JP7514673B2 - Medical image processing device and medical image processing system - Google Patents
Medical image processing device and medical image processing system Download PDFInfo
- Publication number
- JP7514673B2 JP7514673B2 JP2020114343A JP2020114343A JP7514673B2 JP 7514673 B2 JP7514673 B2 JP 7514673B2 JP 2020114343 A JP2020114343 A JP 2020114343A JP 2020114343 A JP2020114343 A JP 2020114343A JP 7514673 B2 JP7514673 B2 JP 7514673B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ray
- medical
- ultrasound
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 163
- 238000002604 ultrasonography Methods 0.000 claims description 177
- 239000000523 sample Substances 0.000 claims description 70
- 238000003384 imaging method Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 32
- 238000002059 diagnostic imaging Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 158
- 238000002591 computed tomography Methods 0.000 description 56
- 210000005246 left atrium Anatomy 0.000 description 45
- 230000005540 biological transmission Effects 0.000 description 26
- 238000013175 transesophageal echocardiography Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 210000002216 heart Anatomy 0.000 description 11
- 210000004204 blood vessel Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000012285 ultrasound imaging Methods 0.000 description 10
- 238000002594 fluoroscopy Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 210000004115 mitral valve Anatomy 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 206010027727 Mitral valve incompetence Diseases 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 2
- 210000001765 aortic valve Anatomy 0.000 description 2
- 230000001746 atrial effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 208000018578 heart valve disease Diseases 0.000 description 2
- 210000005248 left atrial appendage Anatomy 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010967 transthoracic echocardiography Methods 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
本明細書及び図面に開示の実施形態は、医用画像処理装置及び医用画像処理システムに関する。 The embodiments disclosed in this specification and the drawings relate to a medical image processing device and a medical image processing system.
医用分野では、超音波プローブの複数の振動子（圧電振動子）を用いて発生させた超音波を利用して、被検体内部を画像化する超音波診断装置が使用されている。超音波診断装置は、超音波診断装置に接続された超音波プローブから被検体内に超音波を送信させ、反射波に基づくエコー信号を生成し、画像処理によって所望の超音波画像を得る。 In the medical field, ultrasound diagnostic devices are used to image the inside of a subject using ultrasound generated by multiple transducers (piezoelectric transducers) in an ultrasound probe. The ultrasound diagnostic device transmits ultrasound into the subject from an ultrasound probe connected to the ultrasound diagnostic device, generates echo signals based on the reflected waves, and obtains the desired ultrasound image through image processing.
心臓の冠動脈に対してカテーテルを用いたインターベンション治療が行われてきたが、心臓の弁膜症等の器質的な心疾患に対するインターベンション治療が注目されている。弁膜症に対するインターベンション治療は、「ＳＨＤ（Structural Heart Disease）インターベンション治療」と呼ばれる。近年、ＳＨＤインターベンション治療を進める際、Ｘ線撮影装置（例えば、Ｘ線循環器装置（Angio））から得られる透視画像データだけではなく、超音波診断装置から得られる超音波画像データも駆使するケースが増加している。そのため、ＳＨＤインターベンション治療におけるマルチモダリティのニーズは高まっている。 Although interventional treatment using catheters has been performed on the coronary arteries of the heart, attention is now being paid to interventional treatment for organic heart diseases such as valvular heart disease. Interventional treatment for valvular heart disease is called "Structural Heart Disease (SHD) interventional treatment." In recent years, when performing SHD interventional treatment, there are an increasing number of cases in which not only fluoroscopic image data obtained from X-ray imaging devices (e.g., X-ray circulatory system (Angio)) but also ultrasound image data obtained from ultrasound diagnostic devices are used. As a result, there is a growing need for multi-modality in SHD interventional treatment.
具体的には、僧帽弁閉鎖不全症（ＭＲ：Mitral Regurgitation）の患者の体内に挿入されたカテーテルからクリップ等の医用デバイスを挿入し、弁の治療を行なうＭｉｔｒａ Ｃｌｉｐ（登録商標）という術式が適用されている。この術式では、透視画像データによるガイドの下で、術者は、デバイスと心臓組織との位置関係を把握しながら、超音波の経食道心エコーで血流状況を確認しながら医用デバイスの留置を行う。そのため、この術式では、患者を開胸せずに、患者の体力や年齢を考慮して行うことができる。 Specifically, a procedure called Mitra Clip (registered trademark) is used to treat the valve by inserting a medical device such as a clip through a catheter inserted into the body of a patient with mitral regurgitation (MR). In this procedure, under guidance from fluoroscopic image data, the surgeon places the medical device while grasping the positional relationship between the device and the cardiac tissue and checking the blood flow conditions with ultrasonic transesophageal echocardiography. Therefore, this procedure can be performed without opening the patient's chest, taking into consideration the patient's physical strength and age.
また、非弁膜症性心房細動の患者の体内に挿入されたカテーテルの中から、ＷＡＴＣＨＭＡＮ（登録商標）デバイス等の医用デバイスを挿入し、左心耳の中に留置する術式が適用されている。デバイスが留置されると、術者は、超音波画像で左心耳の適切な位置に留置できているかを確認し、医用デバイスをリリースする。 In addition, a surgical procedure is used in which a medical device such as the WATCHMAN (registered trademark) device is inserted through a catheter inserted into the body of a patient with non-valvular atrial fibrillation and placed in the left atrial appendage. Once the device is placed, the surgeon uses ultrasound images to check that it has been placed in the appropriate position in the left atrial appendage, and then releases the medical device.
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、インターベンション治療において、術者等の操作者を支援可能な画像データを生成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。 One of the problems that the embodiments disclosed in this specification and the drawings attempt to solve is to generate image data that can assist an operator such as a surgeon in an interventional treatment. However, the problems that the embodiments disclosed in this specification and the drawings attempt to solve are not limited to the above problem. Problems corresponding to the effects of each configuration shown in the embodiments described below can also be positioned as other problems.
実施形態に係る医用画像処理装置は、第１画像取得部と、第２画像取得部と、第３画像取得部と、第１位置合せ部と、第２位置合せ部と、画像生成部とを有する。第１画像取得部は、被検体の超音波画像を第１の医用画像として取得する。第２画像取得部は、被検体のＸ線画像を第２の医用画像として取得する。第３画像取得部は、超音波画像及びＸ線画像とは異なる、被検体の第３の医用画像を取得する。第１位置合せ部は、Ｘ線画像を、超音波画像に位置合せする。第２位置合せ部は、第３の医用画像を、超音波画像に位置合せする。画像生成部は、第１位置合せ部による位置合せ結果および第２位置合せ部による位置合せ結果に基づいて、Ｘ線画像と第３の医用画像とを位置合せし、Ｘ線画像に対して第３の医用画像が位置合せされた画像を生成する。 The medical image processing device according to the embodiment has a first image acquisition unit, a second image acquisition unit, a third image acquisition unit, a first alignment unit, a second alignment unit, and an image generation unit. The first image acquisition unit acquires an ultrasound image of the subject as a first medical image. The second image acquisition unit acquires an X-ray image of the subject as a second medical image. The third image acquisition unit acquires a third medical image of the subject, which is different from the ultrasound image and the X-ray image. The first alignment unit aligns the X-ray image with the ultrasound image. The second alignment unit aligns the third medical image with the ultrasound image. The image generation unit aligns the X-ray image with the third medical image based on the alignment result by the first alignment unit and the alignment result by the second alignment unit, and generates an image in which the third medical image is aligned with the X-ray image.
以下、図面を参照しながら、医用画像処理装置及び医用画像処理システムの実施形態について詳細に説明する。 Below, we will explain in detail the embodiments of the medical image processing device and medical image processing system with reference to the drawings.
図１は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの構成の一例を示す概略図である。図２は、実施形態に係る医用画像処理装置を設ける医用画像処理システムの外観を示す図である。 Figure 1 is a schematic diagram showing an example of the configuration of a medical image processing system that includes a medical image processing device according to an embodiment. Figure 2 is a diagram showing the external appearance of a medical image processing system that includes a medical image processing device according to an embodiment.
図１は、医用画像処理システム１を示す。医用画像処理システム１は、第１の医用画像生成装置（「モダリティ」とも呼ばれる）としての超音波診断装置１０と、超音波プローブ２０と、位置センサ３０と、第２の医用画像生成装置としてのＸ線撮影装置（例えば、Ｘ線循環器装置（Angio））４０と、医用画像提供装置５０とを備える。なお、超音波診断装置１０に、超音波プローブ２０と、位置センサ３０とのうちの少なくとも１個を加えた装置を超音波診断装置と称する場合もある。以下の説明では、超音波診断装置の外部に、超音波プローブ２０と、位置センサ３０とが備えられる場合について説明する。 Figure 1 shows a medical image processing system 1. The medical image processing system 1 includes an ultrasound diagnostic device 10 as a first medical image generating device (also called a "modality"), an ultrasound probe 20, a position sensor 30, an X-ray imaging device (e.g., an X-ray circulatory system (Angio)) 40 as a second medical image generating device, and a medical image providing device 50. Note that an apparatus in which at least one of the ultrasound probe 20 and the position sensor 30 is added to the ultrasound diagnostic device 10 may also be referred to as an ultrasound diagnostic device. In the following explanation, a case in which the ultrasound probe 20 and the position sensor 30 are provided outside the ultrasound diagnostic device will be described.
超音波診断装置１０は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４と、画像メモリ１５と、ネットワークインターフェース１６と、本実施形態に係る医用画像処理装置１７と、入力インターフェース１８と、ディスプレイ１９とを備える。回路１１～１４は、特定用途向け集積回路（ＡＳＩＣ:Application Specific Integrated Circuit）等によって構成されるものである。しかしながら、その場合に限定されるものではなく、回路１１～１４の機能の全部又は一部は、医用画像処理装置１７の処理回路１７１がプログラムを実行することで実現されるものであってもよい。また、超音波診断装置１０は、入力インターフェース１８と、ディスプレイ１９とのうちの少なくとも１個をその外部に備えてもよい。以下の説明では、超音波診断装置の内部に、入力インターフェース１８と、ディスプレイ１９との両方が備えられる場合について説明する。 The ultrasound diagnostic device 10 includes a transmission/reception circuit 11, a B-mode processing circuit 12, a Doppler processing circuit 13, an image generation circuit 14, an image memory 15, a network interface 16, a medical image processing device 17 according to this embodiment, an input interface 18, and a display 19. The circuits 11 to 14 are configured by application specific integrated circuits (ASICs) or the like. However, this is not limited to this case, and all or part of the functions of the circuits 11 to 14 may be realized by the processing circuit 171 of the medical image processing device 17 executing a program. The ultrasound diagnostic device 10 may also include at least one of the input interface 18 and the display 19 externally. In the following description, a case in which both the input interface 18 and the display 19 are provided inside the ultrasound diagnostic device will be described.
送受信回路１１は、送信回路と受信回路とを有する（図示省略）。送受信回路１１は、処理回路１７１による制御の下、超音波の送受信における送信指向性と受信指向性とを制御する。なお、送受信回路１１が超音波診断装置１０に設けられる場合について説明するが、送受信回路１１は、超音波プローブ２０に設けられてもよいし、超音波診断装置１０と超音波プローブ２０との両方に設けられてもよい。なお、送受信回路１１は、送受信部の一例である。 The transmission/reception circuit 11 has a transmission circuit and a reception circuit (not shown). The transmission/reception circuit 11 controls the transmission directivity and reception directivity in transmitting and receiving ultrasound under the control of the processing circuit 171. Note that, although a case where the transmission/reception circuit 11 is provided in the ultrasound diagnostic device 10 will be described, the transmission/reception circuit 11 may be provided in the ultrasound probe 20, or may be provided in both the ultrasound diagnostic device 10 and the ultrasound probe 20. Note that the transmission/reception circuit 11 is an example of a transmission/reception unit.
送信回路は、パルス発生回路と、送信遅延回路と、パルサ回路等を有し、超音波振動子に駆動信号を供給する。パルス発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波プローブ２０の超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生回路が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスに基づくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。 The transmission circuit has a pulse generation circuit, a transmission delay circuit, a pulsar circuit, etc., and supplies a drive signal to the ultrasonic transducer. The pulse generation circuit repeatedly generates rate pulses to form a transmission ultrasonic wave at a predetermined rate frequency. The transmission delay circuit provides each rate pulse generated by the pulse generation circuit with a delay time for each piezoelectric transducer required to focus the ultrasonic waves generated from the ultrasonic transducers of the ultrasonic probe 20 into a beam and determine the transmission directivity. In addition, the pulsar circuit applies a drive pulse to the ultrasonic transducer at a timing based on the rate pulse. The transmission delay circuit changes the delay time provided to each rate pulse to arbitrarily adjust the transmission direction of the ultrasonic beam transmitted from the piezoelectric transducer surface.
受信回路は、アンプ回路と、Ａ／Ｄ（Analog to Digital）変換器と、加算器等を有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行ってエコーデータを生成する。アンプ回路は、エコー信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正されたエコー信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理されたエコー信号の加算処理を行ってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。 The receiving circuit has an amplifier circuit, an A/D (Analog to Digital) converter, an adder, etc., and receives the echo signal received by the ultrasonic transducer and performs various processes on this echo signal to generate echo data. The amplifier circuit amplifies the echo signal for each channel and performs gain correction processing. The A/D converter A/D converts the gain-corrected echo signal and gives the digital data a delay time required to determine the reception directivity. The adder performs addition processing of the echo signal processed by the A/D converter to generate echo data. The addition processing of the adder emphasizes the reflected components from the direction corresponding to the reception directivity of the echo signal.
Ｂモード処理回路１２は、処理回路１７１による制御の下、受信回路からエコーデータを受信し、対数増幅と、包絡線検波処理等を行って、信号強度が輝度の明るさで表現されるデータ（２次元又は３次元データ）を生成する。このデータは、一般に、Ｂモードデータと呼ばれる。なお、Ｂモード処理回路１２は、Ｂモード処理部の一例である。 Under the control of the processing circuit 171, the B-mode processing circuit 12 receives echo data from the receiving circuit, and performs logarithmic amplification and envelope detection processing, etc. to generate data (two-dimensional or three-dimensional data) in which the signal strength is expressed as luminance brightness. This data is generally called B-mode data. The B-mode processing circuit 12 is an example of a B-mode processing unit.
なお、Ｂモード処理回路１２は、フィルタ処理により、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。Ｂモード処理回路１２のフィルタ処理機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）や、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）等のハーモニックイメージングを実行可能である。すなわち、Ｂモード処理回路１２は、造影剤が注入された被検体の反射波データから、造影剤（微小気泡、バブル）を反射源とするハーモニック成分の反射波データ（高調波データ又は分周波データ）と、被検体内の組織を反射源とする基本波成分の反射波データ（基本波データ）とを分離することができる。Ｂモード処理回路１２は、また、ハーモニック成分の反射波データ（受信信号）から、造影画像データを生成するためのＢモードデータを生成することができ、また、基本波成分の反射波データ（受信信号）から、基本波（ファンダメンタル）画像データを生成するためのＢモードデータを生成することができる。 The B-mode processing circuit 12 can change the frequency band to be visualized by changing the detection frequency through filter processing. By using the filter processing function of the B-mode processing circuit 12, it is possible to perform harmonic imaging such as contrast harmonic imaging (CHI) and tissue harmonic imaging (THI). That is, the B-mode processing circuit 12 can separate reflected wave data (harmonic data or sub-frequency data) of harmonic components whose reflection source is the contrast agent (microbubbles, bubbles) from reflected wave data of a subject into which a contrast agent has been injected, and reflected wave data (fundamental wave data) of fundamental components whose reflection source is tissue in the subject, from reflected wave data of the harmonic component (received signal). The B-mode processing circuit 12 can also generate B-mode data for generating contrast image data from reflected wave data of the harmonic component (received signal), and can also generate B-mode data for generating fundamental image data from reflected wave data of the fundamental component (received signal).
また、Ｂモード処理回路１２のフィルタ処理機能を用いることによるＴＨＩにおいて、被検体の反射波データから、ハーモニック成分の反射波データ（受信信号）である高調波データ又は分周波データを分離することができる。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）から、ノイズ成分を除去した組織画像データを生成するためのＢモードデータを生成することができる。 In addition, in THI, by using the filter processing function of the B-mode processing circuit 12, harmonic data or sub-frequency data, which is reflected wave data (received signal) of harmonic components, can be separated from the reflected wave data of the subject.The B-mode processing circuit 12 can then generate B-mode data for generating tissue image data from which noise components have been removed, from the reflected wave data (received signal) of harmonic components.
さらに、ＣＨＩやＴＨＩのハーモニックイメージングを行う際、Ｂモード処理回路１２は、上述したフィルタ処理を用いた方法とは異なる方法により、ハーモニック成分を抽出することができる。ハーモニックイメージングでは、振幅変調（ＡＭ：Amplitude Modulation）法、位相変調（ＰＭ：Phase Modulation）法、ＡＭ法及びＰＭ法を組み合せたＡＭＰＭ法と呼ばれる映像法が行われる。ＡＭ法と、ＰＭ法と、ＡＭＰＭ法とでは、同一の走査線に対して振幅や位相が異なる超音波送信を複数回行う。これにより、送受信回路１１は、各走査線で複数の反射波データ（受信信号）を生成し出力する。そして、Ｂモード処理回路１２は、各走査線の複数の反射波データ（受信信号）を、変調法に応じた加減算処理することで、ハーモニック成分を抽出する。そして、Ｂモード処理回路１２は、ハーモニック成分の反射波データ（受信信号）に対して包絡線検波処理等を行って、Ｂモードデータを生成する。 Furthermore, when performing harmonic imaging of CHI or THI, the B-mode processing circuit 12 can extract harmonic components by a method different from the above-mentioned method using filter processing. In harmonic imaging, an imaging method called the AMPM method, which is a combination of the amplitude modulation (AM) method, the phase modulation (PM) method, and the AM method and PM method, is performed. In the AM method, the PM method, and the AMPM method, ultrasonic waves with different amplitudes and phases are transmitted multiple times for the same scanning line. As a result, the transmission/reception circuit 11 generates and outputs multiple reflected wave data (received signals) for each scanning line. Then, the B-mode processing circuit 12 extracts harmonic components by performing addition and subtraction processing on the multiple reflected wave data (received signals) for each scanning line according to the modulation method. Then, the B-mode processing circuit 12 performs envelope detection processing or the like on the reflected wave data (received signals) of the harmonic components to generate B-mode data.
例えば、ＰＭ法が行われる場合、送受信回路１１は、処理回路１７１が設定したスキャンシーケンスにより、例えば（－１，１）のように、位相極性を反転させた同一振幅の超音波を、各走査線で２回送信させる。そして、送受信回路１１は、「－１」の送信による受信信号と、「１」の送信による受信信号とを生成し、Ｂモード処理回路１２は、これら２つの受信信号を加算する。これにより、基本波成分が除去され、２次高調波成分が主に残存した信号が生成される。そして、Ｂモード処理回路１２は、この信号に対して包絡線検波処理等を行って、ＴＨＩのＢモードデータやＣＨＩのＢモードデータを生成する。 For example, when the PM method is performed, the transmission/reception circuitry 11 transmits ultrasound waves of the same amplitude with inverted phase polarity, for example (-1, 1), twice on each scan line according to the scan sequence set by the processing circuitry 171. The transmission/reception circuitry 11 then generates a reception signal resulting from the transmission of "-1" and a reception signal resulting from the transmission of "1", and the B-mode processing circuitry 12 adds these two reception signals together. This removes the fundamental wave component, generating a signal in which the second harmonic component remains as the main component. The B-mode processing circuitry 12 then performs envelope detection processing on this signal, generating B-mode data for THI and B-mode data for CHI.
又は、例えば、ＴＨＩでは、受信信号に含まれる２次高調波成分と差音成分とを用いて映像化を行う方法が実用化されている。差音成分を用いた映像化法では、例えば、中心周波数が「ｆ１」の第１基本波と、中心周波数が「ｆ１」より大きい「ｆ２」の第２基本波とを合成した合成波形の送信超音波を、超音波プローブ２０から送信させる。この合成波形は、２次高調波成分と同一の極性を持つ差音成分が発生するように、互いの位相が調整された第１基本波の波形と第２基本波の波形とを合成した波形である。送受信回路１１は、合成波形の送信超音波を、位相を反転させながら、例えば、２回送信させる。かかる場合、例えば、Ｂモード処理回路１２は、２つの受信信号を加算することで、基本波成分が除去され、差音成分及び２次高調波成分が主に残存したハーモニック成分を抽出した後、包絡線検波処理等を行う。 Alternatively, for example, in THI, a method of imaging using the second harmonic component and the difference frequency component contained in the received signal has been put to practical use. In the imaging method using the difference frequency component, for example, a transmission ultrasound having a composite waveform obtained by combining a first fundamental wave having a center frequency of "f1" and a second fundamental wave having a center frequency of "f2" greater than "f1" is transmitted from the ultrasound probe 20. This composite waveform is a waveform obtained by combining the waveform of the first fundamental wave and the waveform of the second fundamental wave, the phases of which are adjusted so that a difference frequency component having the same polarity as the second harmonic component is generated. The transmission/reception circuit 11 transmits the transmission ultrasound having the composite waveform, for example, twice while inverting the phase. In such a case, for example, the B-mode processing circuit 12 adds two received signals to remove the fundamental wave component, extracts the harmonic components in which the difference frequency component and the second harmonic component mainly remain, and then performs envelope detection processing, etc.
ドプラ処理回路１３は、処理回路１７１による制御の下、受信回路からのエコーデータから速度情報を周波数解析し、平均速度、分散、パワー等の移動体の移動情報を多点について抽出したデータ（２次元又は３次元データ）を生成する。このデータは、一般に、ドプラデータと呼ばれる。ここで、移動体の例としては、血流と、心壁等の組織と、造影剤等が挙げられる。なお、ドプラ処理回路１３は、ドプラ処理部の一例である。 Under the control of the processing circuit 171, the Doppler processing circuit 13 performs frequency analysis of the velocity information from the echo data from the receiving circuit, and generates data (two-dimensional or three-dimensional data) that extracts the movement information of the moving object, such as the average velocity, variance, and power, for multiple points. This data is generally called Doppler data. Examples of moving objects include blood flow, tissues such as the heart wall, and contrast agents. The Doppler processing circuit 13 is an example of a Doppler processing unit.
画像生成回路１４は、処理回路１７１による制御の下、超音波プローブ２０が受信したエコー信号に基づいて、所定の輝度レンジで表現された超音波画像データを生成する。例えば、画像生成回路１４は、超音波画像データとして、Ｂモード処理回路１２によって生成された２次元のＢモードデータから反射波の強度を輝度にて表したＢモード画像データを生成する。また、画像生成回路１４は、超音波画像データとして、ドプラ処理回路１３によって生成された２次元のドプラデータから移動態情報を表す平均速度画像データ、分散画像データ、パワー画像データ、又は、これらの組み合せの画像データとしてのカラードプラ画像データを生成する。なお、画像生成回路１４は、画像生成部の一例である。 Under the control of the processing circuit 171, the image generation circuit 14 generates ultrasound image data expressed in a predetermined brightness range based on the echo signal received by the ultrasound probe 20. For example, the image generation circuit 14 generates, as ultrasound image data, B-mode image data in which the intensity of the reflected wave is expressed as brightness from the two-dimensional B-mode data generated by the B-mode processing circuit 12. The image generation circuit 14 also generates, as ultrasound image data, average velocity image data, variance image data, power image data, or color Doppler image data as image data of a combination of these, which represent the locomotion information from the two-dimensional Doppler data generated by the Doppler processing circuit 13. The image generation circuit 14 is an example of an image generation unit.
ここで、画像生成回路１４は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の超音波画像データを生成する。具体的には、画像生成回路１４は、超音波プローブ２０による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。また、画像生成回路１４は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理（平滑化処理）や、画像内で微分フィルタを用いる画像処理（エッジ強調処理）等を行う。また、画像生成回路１４は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。 Here, the image generating circuit 14 generally converts (scan converts) the scan line signal sequence of the ultrasound scan into a scan line signal sequence of a video format, such as that of a television, to generate ultrasound image data for display. Specifically, the image generating circuit 14 generates ultrasound image data for display by performing coordinate conversion according to the ultrasound scanning form of the ultrasound probe 20. In addition to scan conversion, the image generating circuit 14 also performs various image processing, such as image processing (smoothing processing) that regenerates an average brightness image using multiple image frames after scan conversion, and image processing (edge enhancement processing) that uses a differential filter within the image. The image generating circuit 14 also combines text information of various parameters, scales, body marks, etc., with the ultrasound image data.
すなわち、Ｂモードデータとドプラデータとは、スキャンコンバート処理前の超音波画像データであり、画像生成回路１４が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Ｂモードデータとドプラデータとは、生データ（Raw Data）とも呼ばれる。画像生成回路１４は、スキャンコンバート処理前の２次元超音波画像データから、表示用の２次元超音波画像データを生成する。 That is, the B-mode data and Doppler data are ultrasound image data before the scan conversion process, and the data generated by the image generation circuit 14 is ultrasound image data for display after the scan conversion process. Note that the B-mode data and Doppler data are also called raw data. The image generation circuit 14 generates two-dimensional ultrasound image data for display from the two-dimensional ultrasound image data before the scan conversion process.
さらに、画像生成回路１４は、Ｂモード処理回路１２によって生成された３次元のＢモードデータに対して座標変換を行うことで、３次元Ｂモード画像データを生成する。また、画像生成回路１４は、ドプラ処理回路１３によって生成された３次元のドプラデータに対して座標変換を行うことで、３次元ドプラ画像データを生成する。画像生成回路１４は、「３次元のＢモード画像データや３次元ドプラ画像データ」を「３次元超音波画像データ（ボリュームデータ）」として生成する。 Furthermore, the image generation circuitry 14 generates three-dimensional B-mode image data by performing coordinate transformation on the three-dimensional B-mode data generated by the B-mode processing circuitry 12. The image generation circuitry 14 also generates three-dimensional Doppler image data by performing coordinate transformation on the three-dimensional Doppler data generated by the Doppler processing circuitry 13. The image generation circuitry 14 generates "three-dimensional B-mode image data or three-dimensional Doppler image data" as "three-dimensional ultrasound image data (volume data)."
そして、画像生成回路１４は、３次元メモリに記憶されたボリュームデータをディスプレイ１９にて表示するための各種の２次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行う。画像生成回路１４は、レンダリング処理として、例えば、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）を行ってボリュームデータからＭＰＲ画像データを生成する処理を行う。また、画像生成回路１４は、レンダリング処理として、例えば、３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（ＶＲ：Volume Rendering）処理を行う。 Then, the image generation circuitry 14 performs rendering processing on the volume data to generate various types of two-dimensional image data for displaying the volume data stored in the three-dimensional memory on the display 19. As the rendering processing, the image generation circuitry 14 performs, for example, multi-planar reconstruction (MPR) to generate MPR image data from the volume data. As the rendering processing, the image generation circuitry 14 also performs, for example, volume rendering (VR) processing to generate two-dimensional image data reflecting three-dimensional information.
画像メモリ１５は、例えば、磁気的記録媒体、光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ１５は、処理回路１７１の制御による制御の下、画像生成回路１４によって生成された超音波画像データを保存する。なお、画像メモリ１５は、記憶部の一例である。 The image memory 15 includes a processor-readable recording medium, such as a magnetic recording medium, an optical recording medium, or a semiconductor memory. The image memory 15 stores ultrasound image data generated by the image generation circuitry 14 under the control of the processing circuitry 171. The image memory 15 is an example of a storage unit.
ネットワークインターフェース１６は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインターフェース１６は、この各種プロトコルに従って、超音波診断装置１０と、外部のＸ線撮影装置４０や、医用画像提供装置５０等の他の機器とを接続する。この接続には、電子ネットワークを介した電気的な接続等を適用することができる。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線の病院基幹のＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワーク及び衛星通信ネットワーク等を含む。 The network interface 16 implements various information communication protocols according to the type of network. In accordance with these various protocols, the network interface 16 connects the ultrasound diagnostic apparatus 10 to other devices such as an external X-ray imaging apparatus 40 and a medical image providing apparatus 50. This connection can be an electrical connection via an electronic network. Here, the electronic network refers to a general information communication network that uses electrical communication technology, and includes not only wireless/wired hospital-based LANs (Local Area Networks) and Internet networks, but also telephone communication line networks, optical fiber communication networks, cable communication networks, and satellite communication networks.
また、ネットワークインターフェース１６は、非接触無線通信用の種々のプロトコルを実装してもよい。この場合、超音波診断装置１０は、例えば超音波プローブ２０と、ネットワークを介さず直接にデータ送受信することができる。なお、ネットワークインターフェース１６は、ネットワーク接続部の一例である。 The network interface 16 may also implement various protocols for non-contact wireless communication. In this case, the ultrasound diagnostic device 10 can transmit and receive data directly to, for example, the ultrasound probe 20 without going through a network. The network interface 16 is an example of a network connection unit.
医用画像処理装置１７は、処理回路１７１と、メインメモリ１７２とを備える。 The medical image processing device 17 includes a processing circuit 171 and a main memory 172.
処理回路１７１は、専用又は汎用のＣＰＵ（central processing unit）、ＭＰＵ（micro processor unit）、又はＧＰＵ（Graphics Processing Unit）の他、ＡＳＩＣ、及び、プログラマブル論理デバイス等を意味する。プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：simple programmable logic device）、複合プログラマブル論理デバイス（ＣＰＬＤ：complex programmable logic device）、及び、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）等が挙げられる。 The processing circuit 171 refers to a dedicated or general-purpose CPU (central processing unit), MPU (micro processor unit), or GPU (graphics processing unit), as well as an ASIC and a programmable logic device. Examples of programmable logic devices include a simple programmable logic device (SPLD), a complex programmable logic device (CPLD), and a field programmable gate array (FPGA).
また、処理回路１７１は、単一の回路によって構成されてもよいし、複数の独立した回路要素の組み合せによって構成されてもよい。後者の場合、メインメモリ１７２は回路要素ごとに個別に設けられてもよいし、単一のメインメモリ１７２が複数の回路要素の機能に対応するプログラムを記憶するものであってもよい。なお、処理回路１７１は、処理部の一例である。 The processing circuit 171 may be configured as a single circuit, or may be configured as a combination of multiple independent circuit elements. In the latter case, the main memory 172 may be provided separately for each circuit element, or a single main memory 172 may store programs corresponding to the functions of multiple circuit elements. The processing circuit 171 is an example of a processing unit.
メインメモリ１７２は、ＲＡＭ（random access memory）、フラッシュメモリ（flash memory）等の半導体メモリ素子、ハードディスク、光ディスク等によって構成される。メインメモリ１７２は、ＵＳＢ（universal serial bus）メモリ及びＤＶＤ（digital video disk）等の可搬型メディアによって構成されてもよい。メインメモリ１７２は、処理回路１７１において用いられる各種処理プログラム（アプリケーションプログラムの他、ＯＳ（operating system）等も含まれる）や、プログラムの実行に必要なデータを記憶する。また、ＯＳに、操作者に対するディスプレイ１９への情報の表示にグラフィックを多用し、基礎的な操作を入力インターフェース１８によって行うことができるＧＵＩ（graphical user interface）を含めることもできる。なお、メインメモリ１７２は、記憶部の一例である。 The main memory 172 is composed of semiconductor memory elements such as RAM (random access memory) and flash memory, a hard disk, an optical disk, etc. The main memory 172 may be composed of portable media such as a universal serial bus (USB) memory and a digital video disk (DVD). The main memory 172 stores various processing programs (including application programs and an operating system (OS)) used in the processing circuit 171 and data required for executing the programs. The OS can also include a graphical user interface (GUI) that makes extensive use of graphics to display information to the operator on the display 19 and allows basic operations to be performed by the input interface 18. The main memory 172 is an example of a storage unit.
入力インターフェース１８は、操作者によって操作が可能な入力デバイスと、入力デバイスからの信号を入力する入力回路とを含む。入力デバイスは、トラックボール、スイッチ、マウス、キーボード、操作面に触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一化されたタッチスクリーン、光学センサを用いた非接触入力デバイス、及び音声入力デバイス等によって実現される。また、超音波プローブ２０がＴＥＥプローブである場合は、入力デバイスは、ＴＥＥプローブを操作可能なコントローラによって実現される場合もある。操作者により入力デバイスが操作されると、入力回路はその操作に応じた信号を生成して処理回路１７１に出力する。なお、入力インターフェース１８は、入力部の一例である。 The input interface 18 includes an input device that can be operated by the operator, and an input circuit that inputs a signal from the input device. The input device can be realized by a trackball, a switch, a mouse, a keyboard, a touchpad that performs input operations by touching the operation surface, a touchscreen that integrates the display screen and touchpad, a non-contact input device that uses an optical sensor, and a voice input device. In addition, when the ultrasound probe 20 is a TEE probe, the input device can also be realized by a controller that can operate the TEE probe. When the input device is operated by the operator, the input circuit generates a signal corresponding to the operation and outputs it to the processing circuit 171. The input interface 18 is an example of an input unit.
ディスプレイ１９は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ１９は、処理回路１７１の制御に従って各種情報を表示する。なお、ディスプレイ１９は、表示部の一例である。 The display 19 is configured with a general display output device such as a liquid crystal display or an OLED (Organic Light Emitting Diode) display. The display 19 displays various information according to the control of the processing circuit 171. The display 19 is an example of a display unit.
超音波プローブ２０は、前面部に複数個の微小な振動子（圧電素子）を備え、対象を含む領域、例えば心臓の左心房を含む領域に対して超音波の送受波を行う。各振動子は電気音響変換素子であり、送信時には電気パルスを超音波パルスに変換し、また、受信時には反射波を電気信号（受信信号）に変換する機能を有する。超音波プローブ２０は小型、軽量に構成されており、ケーブル（又は無線通信）を介して超音波診断装置１０に接続される。 The ultrasound probe 20 has multiple tiny transducers (piezoelectric elements) on the front surface, and transmits and receives ultrasound waves to and from an area including a target, such as an area including the left atrium of the heart. Each transducer is an electroacoustic conversion element, and has the function of converting an electrical pulse into an ultrasonic pulse when transmitting, and converting a reflected wave into an electrical signal (received signal) when receiving. The ultrasound probe 20 is small and lightweight, and is connected to the ultrasound diagnostic device 10 via a cable (or wireless communication).
超音波プローブ２０は、スキャン方式の違いにより、リニア型、コンベックス型、及びセクタ型等の種類に分けられる。また、超音波プローブ２０は、アレイ配列次元の違いにより、アジマス方向に１次元（１Ｄ）的に複数個の振動子が配列された１Ｄアレイプローブと、アジマス方向かつエレベーション方向に２次元（２Ｄ）的に複数個の振動子が配列された２Ｄアレイプローブとの種類に分けられる。なお、１Ｄアレイプローブは、エレベーション方向に少数の振動子が配列されたプローブを含む。 The ultrasonic probe 20 is divided into types such as linear type, convex type, and sector type depending on the scanning method. Also, the ultrasonic probe 20 is divided into types such as 1D array probes in which multiple transducers are arranged one-dimensionally (1D) in the azimuth direction and 2D array probes in which multiple transducers are arranged two-dimensionally (2D) in both the azimuth direction and the elevation direction depending on the array arrangement dimension. Note that 1D array probes include probes in which a small number of transducers are arranged in the elevation direction.
ここで、３Ｄ撮影、つまり、ボリューム撮影（例えば、ボリュームスキャン）が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備えた２Ｄアレイプローブが利用される。又は、ボリューム撮影が実行される場合、超音波プローブ２０として、リニア型、コンベックス型、及びセクタ型等のスキャン方式を備え、エレベーション方向に機械的に揺動する機構を備えた１Ｄプローブが利用される。後者のプローブは、メカ４Ｄプローブとも呼ばれる。 Here, when 3D imaging, i.e., volume imaging (e.g., volume scan), is performed, a 2D array probe equipped with a scanning method such as linear type, convex type, or sector type is used as the ultrasound probe 20. Alternatively, when volume imaging is performed, a 1D probe equipped with a scanning method such as linear type, convex type, or sector type and equipped with a mechanism for mechanically oscillating in the elevation direction is used as the ultrasound probe 20. The latter probe is also called a mechanical 4D probe.
ここで、超音波プローブ２０は、被検体、例えば患者Ｐの体表上で操作される超音波プローブ（即ち、体表プローブ）である。例えば、超音波プローブ２０は、患者Ｐの胸部の体表上で操作され、左室、左房、大動脈、僧帽弁、大動脈弁等を走査することができる経胸壁心エコー（ＴＴＥ：Transthoracic echocardiography）プローブである。又は、超音波プローブ２０は、患者Ｐの体腔内に挿入されて体腔内で操作される超音波プローブ（即ち、体腔内プローブ）である。例えば、超音波プローブ２０は、食道内で操作され、左室、左房、大動脈、僧帽弁、大動脈弁などを走査することができる経食道心エコー（ＴＥＥ：Transesophageal echocardiography）プローブである。なお、ＴＥＥプローブは、略リアルタイムで心臓等の３次元の超音波画像データを取得することができる。 Here, the ultrasound probe 20 is an ultrasound probe (i.e., a body surface probe) that is operated on the body surface of the subject, for example, patient P. For example, the ultrasound probe 20 is a transthoracic echocardiography (TTE) probe that is operated on the body surface of the patient P's chest and can scan the left ventricle, left atrium, aorta, mitral valve, aortic valve, etc. Alternatively, the ultrasound probe 20 is an ultrasound probe (i.e., an intracavity probe) that is inserted into the body cavity of the patient P and operated within the body cavity. For example, the ultrasound probe 20 is a transesophageal echocardiography (TEE) probe that is operated in the esophagus and can scan the left ventricle, left atrium, aorta, mitral valve, aortic valve, etc. Note that the TEE probe can acquire three-dimensional ultrasound image data of the heart, etc. in approximately real time.
位置センサ３０は、超音波プローブ２０の、時系列に複数の位置情報を検知して、超音波診断装置１０に出力する。位置センサ３０としては、超音波プローブ２０に取り付けられるタイプのセンサと、超音波プローブ２０としての体表プローブとは別体で設けられるタイプのセンサとがある。後者のセンサは、光学式センサであり、測定対象である体表プローブの特徴点を複数位置から撮影し、三角測量の原理で体表プローブの各位置を検出する。以下、位置センサ３０が前者のセンサである場合について説明する。 The position sensor 30 detects multiple pieces of position information of the ultrasound probe 20 in time series and outputs them to the ultrasound diagnostic device 10. There are two types of position sensor 30: a sensor that is attached to the ultrasound probe 20, and a sensor that is provided separately from the body surface probe that serves as the ultrasound probe 20. The latter type of sensor is an optical sensor that captures images of the characteristic points of the body surface probe, which is the measurement target, from multiple positions and detects each position of the body surface probe using the principle of triangulation. Below, we will explain the case where the position sensor 30 is the former type of sensor.
位置センサ３０は、超音波プローブ２０に取り付けられ、自身の位置情報を検知して、超音波診断装置１０に出力する。位置センサ３０の位置情報を、超音波プローブ２０の位置情報と見なすこともできる。超音波プローブ２０の位置情報は、超音波プローブ２０の位置及び姿勢（傾き角）を含む。例えば、磁場送信器（図示省略）が３軸の磁場を順次送信しその磁場を位置センサ３０で順次受信することにより超音波プローブ２０の姿勢が検知され得る。また、位置センサ３０は、３次元空間における３軸の角速度を検知する３軸ジャイロセンサ、３次元空間における３軸の加速度を検知する３軸加速度センサ、３次元空間における３軸の地磁気を検知する３軸地磁気センサのうち少なくともいずれかを含む、いわゆる９軸センサであってもよい。 The position sensor 30 is attached to the ultrasonic probe 20, detects its own position information, and outputs it to the ultrasonic diagnostic device 10. The position information of the position sensor 30 can also be considered as the position information of the ultrasonic probe 20. The position information of the ultrasonic probe 20 includes the position and attitude (tilt angle) of the ultrasonic probe 20. For example, the attitude of the ultrasonic probe 20 can be detected by a magnetic field transmitter (not shown) sequentially transmitting three-axis magnetic fields and the position sensor 30 sequentially receiving the magnetic fields. The position sensor 30 may also be a so-called nine-axis sensor that includes at least one of a three-axis gyro sensor that detects three-axis angular velocity in three-dimensional space, a three-axis acceleration sensor that detects three-axis acceleration in three-dimensional space, and a three-axis geomagnetic sensor that detects three-axis geomagnetism in three-dimensional space.
Ｘ線撮影装置４０は、ネットワークＮを介して、超音波診断装置１０と、医用画像提供装置５０と相互に通信可能なように接続される。 The X-ray imaging device 40 is connected to the ultrasound diagnostic device 10 and the medical image providing device 50 via the network N so that they can communicate with each other.
図３は、医用画像処理システム１のＸ線撮影装置４０の構成の一例を示す概略図である。 Figure 3 is a schematic diagram showing an example of the configuration of the X-ray imaging device 40 of the medical image processing system 1.
Ｘ線撮影装置４０は、高電圧供給装置４１と、Ｘ線照射装置４２と、Ｘ線検出装置４３と、入力インターフェース４４と、ディスプレイ４５と、ネットワークインターフェース４６と、医用画像処理装置４７と、Ｃアーム４８（図２のみに図示）と、寝台４９（図２のみに図示）とを備える。 The X-ray imaging device 40 includes a high-voltage supply device 41, an X-ray irradiation device 42, an X-ray detection device 43, an input interface 44, a display 45, a network interface 46, a medical image processing device 47, a C-arm 48 (shown only in FIG. 2), and a bed 49 (shown only in FIG. 2).
高電圧供給装置４１は、処理回路４７１による制御の下、Ｘ線照射装置４２のＸ線管に高電圧電力を供給する。 The high voltage supply device 41 supplies high voltage power to the X-ray tube of the X-ray irradiation device 42 under the control of the processing circuit 471.
Ｘ線照射装置４２は、Ｃアーム４８の一端に設けられる。Ｘ線照射装置４２は、Ｘ線管（Ｘ線源）と可動絞り装置とを設ける。Ｘ線管は、高電圧供給装置４１から高電圧電力の供給を受けて、高電圧電力の条件に応じてＸ線を発生する。可動絞り装置は、処理回路４７１による制御の下、Ｘ線管のＸ線照射口で、Ｘ線を遮蔽する物質から構成された絞り羽根を移動可能に支持する。なお、Ｘ線管の前面に、Ｘ線管によって発生されたＸ線の線質を調整する線質調整フィルタ（図示省略）を備えてもよい。 The X-ray irradiation device 42 is provided at one end of the C-arm 48. The X-ray irradiation device 42 is provided with an X-ray tube (X-ray source) and a movable diaphragm device. The X-ray tube receives high-voltage power from the high-voltage supply device 41 and generates X-rays according to the conditions of the high-voltage power. Under the control of the processing circuit 471, the movable diaphragm device movably supports diaphragm blades made of a material that blocks X-rays at the X-ray irradiation port of the X-ray tube. In addition, a radiation quality adjustment filter (not shown) that adjusts the radiation quality of the X-rays generated by the X-ray tube may be provided on the front side of the X-ray tube.
Ｘ線検出装置４３は、Ｃアーム４８の他端に、Ｘ線照射装置４２に対向するように設けられる。Ｘ線検出装置４３は、処理回路４７１による制御の下、ＳＩＤ（Source-Image Distance）方向に沿って動作、即ち、前後動作を行うことができる。また、Ｘ線検出装置４３は、処理回路４７１による制御の下、ＳＩＤ方向を中心とした回転方向に沿って動作、即ち、回転動作を行うことができる。 The X-ray detection device 43 is provided at the other end of the C-arm 48 so as to face the X-ray irradiation device 42. Under the control of the processing circuit 471, the X-ray detection device 43 can move along the SID (Source-Image Distance) direction, i.e., can move back and forth. Also, under the control of the processing circuit 471, the X-ray detection device 43 can move along a rotational direction centered on the SID direction, i.e., can perform a rotational movement.
入力インターフェース４４は、入力インターフェース１８と同等な構成を有する。治療室内の操作者Ｄ（手技者Ｄ１、超音波技師Ｄ２、及び助手等）によって入力インターフェース４４が操作されると、操作信号が処理回路４７１に送られる。 The input interface 44 has the same configuration as the input interface 18. When the input interface 44 is operated by an operator D (technologist D1, ultrasound technician D2, assistant, etc.) in the treatment room, an operation signal is sent to the processing circuit 471.
ディスプレイ４５は、ディスプレイ１９と同等な構成を有する。ディスプレイ４５は、インターベンション治療の手技中に、Ｘ線透視画像データをＸ線透視画像として表示させる。ディスプレイ４５は、インターベンション治療の手技中に、Ｘ線透視画像データに第３の医用画像データ（例えば、ＣＴ画像データ）が重畳された重畳画像データを重畳画像として表示させる。 The display 45 has a configuration equivalent to that of the display 19. The display 45 displays X-ray fluoroscopic image data as an X-ray fluoroscopic image during the interventional treatment procedure. The display 45 displays superimposed image data in which third medical image data (e.g., CT image data) is superimposed on the X-ray fluoroscopic image data as a superimposed image during the interventional treatment procedure.
ネットワークインターフェース４６は、ネットワークインターフェース１６と同等の構成を有する。 Network interface 46 has the same configuration as network interface 16.
医用画像処理装置４７は、処理回路４７１と、メモリ４７２とを備える。 The medical image processing device 47 includes a processing circuit 471 and a memory 472.
処理回路４７１は、処理回路１７１と同等の構成を有する。メモリ４７２は、メインメモリ１７２と同等の構成を有する。 The processing circuit 471 has a configuration equivalent to that of the processing circuit 171. The memory 472 has a configuration equivalent to that of the main memory 172.
Ｃアーム４８（図２に図示）は、Ｘ線照射装置４２とＸ線検出装置４３とを、対向配置するように支持する。Ｃアーム４８は、処理回路４７１による制御の下、又は、手動操作に従って、円弧方向の回転、即ち、ＣＲＡ（Cranial View）の向きの回転と、ＣＡＵ（Caudal View）の向きの回転とが可能である。また、Ｃアーム４８は、処理回路４７１による制御の下、又は、手動操作に従って、支点中心の回転、即ち、ＬＡＯ（Left Anterior Oblique View）の向きの回転と、ＲＡＯ（Right Anterior Oblique View）の向きの回転とに対応する。なお、Ｃアーム４８の円弧方向の回転が、ＬＡＯの向きの回転とＲＡＯの向きの回転とに対応し、Ｃアーム４８の支点中心の回転が、ＣＲＡの向きの回転とＣＡＵの向きの回転とに対応する構成を有していてもよい。 The C-arm 48 (shown in FIG. 2) supports the X-ray irradiator 42 and the X-ray detector 43 so that they are arranged opposite to each other. The C-arm 48 can rotate in an arc direction, i.e., in the direction of the CRA (Cranial View) and in the direction of the CAU (Caudal View), under the control of the processing circuit 471 or in accordance with manual operation. The C-arm 48 can also rotate around a fulcrum, i.e., in the direction of the LAO (Left Anterior Oblique View) and in the direction of the RAO (Right Anterior Oblique View), under the control of the processing circuit 471 or in accordance with manual operation. The C-arm 48 may have a configuration in which the rotation in the arc direction corresponds to the rotation in the LAO direction and the rotation in the RAO direction, and the rotation around the fulcrum corresponds to the rotation in the CRA direction and the rotation in the CAU direction.
また、図２において、Ｘ線撮影装置４０が備えるＣアーム構造は、Ｘ線照射装置４２が寝台４９の天板の下方に位置するアンダーテーブルの場合を示す。しかしながらその場合に限定されるものではなく、Ｘ線照射装置４２が天板の上方に位置するオーバーテーブルの場合であってもよい。また、Ｃアーム４８は、Ωアームにより代替されてもよいし、Ωアームが組み合わされてもよい。 In addition, in FIG. 2, the C-arm structure of the X-ray imaging device 40 is shown as an under-table structure in which the X-ray irradiator 42 is located below the top plate of the bed 49. However, this is not limited to this case, and the X-ray irradiator 42 may be an over-table structure in which the X-ray irradiator 42 is located above the top plate. In addition, the C-arm 48 may be replaced by an Ω arm, or may be combined with an Ω arm.
寝台４９は、患者Ｐを載置可能な天板（図示省略）を備える。天板は、処理回路４７１による制御の下、Ｘ軸方向に沿って動作、即ち、左右方向へのスライドを行うことができる。天板は、処理回路４７１による制御の下、Ｙ軸方向に沿って動作、即ち、昇降方向へのスライドを行うことができる。天板は、処理回路４７１による制御の下、Ｚ軸方向に沿って動作、即ち、頭足方向へのスライドを行うことができる。また、天板は、処理回路４７１による制御の下、ローリング動作や、チルト動作を行うことも可能である。 The bed 49 is equipped with a tabletop (not shown) on which the patient P can be placed. The tabletop can move along the X-axis direction, i.e., slide left and right, under the control of the processing circuit 471. The tabletop can move along the Y-axis direction, i.e., slide up and down, under the control of the processing circuit 471. The tabletop can move along the Z-axis direction, i.e., slide head-to-foot, under the control of the processing circuit 471. The tabletop can also perform rolling and tilting movements under the control of the processing circuit 471.
図１及び図２の説明に戻って、医用画像提供装置５０は、ネットワークＮを介して、超音波診断装置１０と、Ｘ線撮影装置４０と相互に通信可能なように接続される。例えば、医用画像提供装置５０は、超音波画像データと、Ｘ線画像データとの両方と種類の異なる第３の医用画像データを生成する第３の医用画像生成装置から第３の医用画像データを収集して保管する医用画像管理装置（「画像サーバ」とも呼ばれる）である。医用画像提供装置５０としての医用画像管理装置は、例えば、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）サーバであり、ネットワークＮを介して通信可能に超音波診断装置１０等の機器に接続される。医用画像管理装置は、第３の医用画像データをＤＩＣＯＭファイルとして管理する。 Returning to the explanation of Figures 1 and 2, the medical image providing device 50 is connected to the ultrasound diagnostic device 10 and the X-ray imaging device 40 via the network N so as to be able to communicate with each other. For example, the medical image providing device 50 is a medical image management device (also called an "image server") that collects and stores third medical image data from a third medical image generating device that generates third medical image data of a different type from both ultrasound image data and X-ray image data. The medical image management device as the medical image providing device 50 is, for example, a DICOM (Digital Imaging and Communications in Medicine) server, and is connected to devices such as the ultrasound diagnostic device 10 so as to be able to communicate with each other via the network N. The medical image management device manages the third medical image data as a DICOM file.
又は、医用画像提供装置５０は、第３の医用画像データを生成する第３の医用画像生成装置そのものである。例えば、医用画像提供装置５０は、Ｘ線ＣＴ（Computed Tomography）装置や、ＭＲＩ（Magnetic Resonance Imaging）装置等である。以下、医用画像提供装置５０がＸ線ＣＴ（Computed Tomography）装置である場合について説明する。しかし、その場合に限定されるものではない。 Alternatively, the medical image providing device 50 is a third medical image generating device itself that generates the third medical image data. For example, the medical image providing device 50 is an X-ray CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, or the like. Below, a case will be described where the medical image providing device 50 is an X-ray CT (Computed Tomography) device. However, the present invention is not limited to this case.
続いて、医用画像処理システム１の機能について説明する。 Next, we will explain the functions of the medical image processing system 1.
図４は、医用画像処理システム１の機能の一例を示すブロック図である。 Figure 4 is a block diagram showing an example of the functions of the medical image processing system 1.
超音波診断装置１０の処理回路１７１は、メインメモリ１７２、又は、処理回路１７１内のメモリ等の非一過性の記録媒体に記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、第１画像取得機能Ｆ１と、第２画像取得機能Ｆ２と、第３画像取得機能Ｆ３と、第１位置合せ機能Ｆ４と、第２位置合せ機能Ｆ５と、画像生成機能Ｆ６と、出力制御機能Ｆ７とを実現する。以下、機能Ｆ１～Ｆ７がコンピュータプログラムによって実現される場合を例に挙げて説明するが、機能Ｆ１～Ｆ７の全部又は一部は、超音波診断装置１０にＡＳＩＣ等の回路等の機能として設けられるものであってもよい。 The processing circuitry 171 of the ultrasound diagnostic device 10 reads and executes a computer program (e.g., an image processing program) stored in the main memory 172 or a non-transitory recording medium such as a memory within the processing circuitry 171, thereby realizing a first image acquisition function F1, a second image acquisition function F2, a third image acquisition function F3, a first alignment function F4, a second alignment function F5, an image generation function F6, and an output control function F7. Below, an example will be described in which functions F1 to F7 are realized by a computer program, but all or part of functions F1 to F7 may be provided in the ultrasound diagnostic device 10 as functions of a circuit such as an ASIC.
超音波診断装置１０の医用画像処理装置１７は、送受信回路１１と、Ｂモード処理回路１２と、ドプラ処理回路１３と、画像生成回路１４等を制御して、超音波プローブ２０を用いた超音波撮影を実行させて、第１の医用画像データとして超音波画像データを生成する。超音波画像データは、画像メモリ１５に記憶される。 The medical image processing device 17 of the ultrasound diagnostic device 10 controls the transmission/reception circuit 11, the B-mode processing circuit 12, the Doppler processing circuit 13, the image generation circuit 14, etc. to perform ultrasound imaging using the ultrasound probe 20 and generate ultrasound image data as first medical image data. The ultrasound image data is stored in the image memory 15.
第１画像取得機能Ｆ１は、画像メモリ１５に記憶された超音波画像データを取得する機能を含む。具体的には、画像取得機能Ｆ１は、超音波画像データとして、Ｂモード画像データ等を取得する。なお、第１画像取得機能Ｆ１は、第１画像取得部の一例である。 The first image acquisition function F1 includes a function of acquiring ultrasound image data stored in the image memory 15. Specifically, the image acquisition function F1 acquires B-mode image data or the like as ultrasound image data. The first image acquisition function F1 is an example of a first image acquisition unit.
第２画像取得機能Ｆ２は、ネットワークＮを介して、Ｘ線画像データを生成するＸ線撮影装置４０から、第２の医用画像データとしてＸ線画像データを取得する機能を含む。なお、第２画像取得機能Ｆ２は、第２画像取得部の一例である。 The second image acquisition function F2 includes a function of acquiring X-ray image data as second medical image data from an X-ray imaging device 40 that generates X-ray image data via the network N. The second image acquisition function F2 is an example of a second image acquisition unit.
Ｘ線画像データと超音波画像データとのマルチフュージョン（画像出力に対するフュージョン）は実現できているが、超音波画像データでは左心房の全体（又は、心臓全体）を撮影することが難しい。仮に、超音波診断装置１０からＸ線撮影装置４０に超音波画像データやマーカを出力しても、Ｘ線撮影装置４０のディスプレイ４５において操作者が左心房の全体の位置情報を把握することは難しい。例えば、心房中隔穿刺を行う際に、超音波プローブ２０としてのＴＥＥプローブによる超音波画像単体の表示では穿刺位置が見づらく、術前のＣＴ検査により穿刺位置や角度を見ているのが現状である。また、心臓の左心房がどのあたりにどの大きさで存在するかを確認したい場合であっても、左心房がＴＥＥプローブ２０に近すぎて左心房の全体を画像化することができないので、左心房の全体を確認できない。 Although multi-fusion (fusion of image output) between X-ray image data and ultrasound image data has been realized, it is difficult to image the entire left atrium (or the entire heart) using ultrasound image data. Even if ultrasound image data and markers are output from the ultrasound diagnostic device 10 to the X-ray imaging device 40, it is difficult for the operator to grasp the overall position information of the left atrium on the display 45 of the X-ray imaging device 40. For example, when performing atrial septal puncture, it is difficult to see the puncture position when displaying an ultrasound image alone using a TEE probe as the ultrasound probe 20, and the current situation is that the puncture position and angle are seen using a preoperative CT scan. Also, even if one wants to confirm where the left atrium of the heart is located and how large it is, the left atrium is too close to the TEE probe 20 to image the entire left atrium, so the entire left atrium cannot be confirmed.
そこで、医用画像処理装置１７は、以下のような機能Ｆ３～Ｆ７を備え、超音波画像データを介して他の第２の医用画像データと第３の医用画像データとの位置合せを行い、第２の医用画像データに第３の医用画像データをフュージョン（重畳）して重畳画像データを生成するものである。その一例として、超音波診断装置１０側で重畳画像データを生成し、Ｘ線撮影装置４０に出力し、Ｘ線撮影装置４０のディスプレイ４５に表示させる場合を想定して説明する。 The medical image processing device 17 has the following functions F3 to F7, and aligns the second medical image data with the third medical image data via the ultrasound image data, and generates superimposed image data by fusing (superimposing) the third medical image data on the second medical image data. As an example, we will assume that the superimposed image data is generated on the ultrasound diagnostic device 10 side, output to the X-ray imaging device 40, and displayed on the display 45 of the X-ray imaging device 40.
第３画像取得機能Ｆ３は、ネットワークＮを介して医用画像提供装置５０から、超音波画像データ及びＸ線画像データとは異なる第３の医用画像データを取得する機能を含む。例えば、第３画像取得機能Ｆ３は、超音波画像データ及びＸ線画像データとは異なる第３の医用画像データとして、超音波画像データ及びＸ線画像データとは異なる種類である画像データを取得する。超音波画像データ及びＸ線画像データとは異なる種類である画像データとしては、ＣＴ画像データ、ＭＲＩ画像データ、所定の解剖学的特徴（例えば、左心房、心臓等）を含む画像データ、又は、カテーテルの経路を示す情報（例えば、血管）を含む画像等が挙げられる。また、例えば、第３画像取得機能Ｆ３は、超音波画像データ及びＸ線画像データとは異なる第３の医用画像データとして、超音波画像データと同一種類で、取得された時相が異なる超音波画像データ（例えば、過去の超音波画像データ）を取得する。以下、第３画像取得機能Ｆ３がＣＴ画像データを取得する場合について説明する。なお、第３画像取得機能Ｆ３は、第３画像取得部の一例である。 The third image acquisition function F3 includes a function of acquiring third medical image data different from ultrasound image data and X-ray image data from the medical image providing device 50 via the network N. For example, the third image acquisition function F3 acquires image data of a type different from ultrasound image data and X-ray image data as third medical image data different from ultrasound image data and X-ray image data. Examples of image data of a type different from ultrasound image data and X-ray image data include CT image data, MRI image data, image data including a predetermined anatomical feature (e.g., left atrium, heart, etc.), or an image including information indicating a catheter path (e.g., blood vessels). In addition, for example, the third image acquisition function F3 acquires ultrasound image data (e.g., past ultrasound image data) of the same type as the ultrasound image data but acquired in a different time phase as the third medical image data different from the ultrasound image data and X-ray image data. Below, a case where the third image acquisition function F3 acquires CT image data will be described. Note that the third image acquisition function F3 is an example of a third image acquisition unit.
第１位置合せ機能Ｆ４は、第２画像取得機能Ｆ２によって取得されたＸ線画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。位置合せは、両画像データの空間的な同期を意味する。第１位置合せ機能Ｆ４は、Ｘ線画像データを、超音波画像データに対して位置合せした後の画像データを新たに生成するか、Ｘ線画像データを、超音波画像データに対して位置合せした後の、Ｘ線画像データの各部分の移動量に関するデータを生成する。なお、第１位置合せ機能Ｆ４は、第１位置合せ部の一例である。 The first alignment function F4 includes a function of aligning the X-ray image data acquired by the second image acquisition function F2 with the ultrasound image data acquired by the first image acquisition function F1. Alignment means spatial synchronization of both image data. The first alignment function F4 either generates new image data after aligning the X-ray image data with the ultrasound image data, or generates data regarding the amount of movement of each part of the X-ray image data after aligning the X-ray image data with the ultrasound image data. The first alignment function F4 is an example of a first alignment unit.
第２位置合せ機能Ｆ５は、第３画像取得機能Ｆ３によって取得されたＣＴ画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。第２位置合せ機能Ｆ５は、ＣＴ画像データを、超音波画像データに対して位置合せした後の画像データを新たに生成するか、ＣＴ画像データを、超音波画像データに対して位置合せした後の、ＣＴ画像データの各部分の移動量に関するデータを生成する。なお、第２位置合せ機能Ｆ５は、第２位置合せ部の一例である。 The second alignment function F5 includes a function of aligning the CT image data acquired by the third image acquisition function F3 with the ultrasound image data acquired by the first image acquisition function F1. The second alignment function F5 either generates new image data after aligning the CT image data with respect to the ultrasound image data, or generates data regarding the amount of movement of each part of the CT image data after aligning the CT image data with respect to the ultrasound image data. The second alignment function F5 is an example of a second alignment unit.
画像生成機能Ｆ６は、第１位置合せ機能Ｆ４による位置合せ結果と、第２位置合せ機能Ｆ５による位置合せ結果とに基づいて、Ｘ線画像データとＣＴ画像データとを位置合せし、Ｘ線画像データに対してＣＴ画像データが位置合せされた画像データを生成する機能を含む。例えば、画像生成機能Ｆ６は、Ｘ線画像データに対してＣＴ画像データが位置合せされた画像データとして、Ｘ線画像データに、位置合せされたＣＴ画像データが重畳された重畳画像データを生成する。以下、画像生成機能Ｆ６が、重畳画像データを生成する場合を例にとって説明する。なお、画像生成機能Ｆ６は、画像生成部の一例である。 The image generation function F6 includes a function of aligning the X-ray image data and the CT image data based on the alignment result by the first alignment function F4 and the alignment result by the second alignment function F5, and generating image data in which the CT image data is aligned with the X-ray image data. For example, the image generation function F6 generates superimposed image data in which the aligned CT image data is superimposed on the X-ray image data as image data in which the CT image data is aligned with the X-ray image data. The following describes an example in which the image generation function F6 generates superimposed image data. Note that the image generation function F6 is an example of an image generation unit.
出力制御機能Ｆ７は、ネットワークＮを介して、画像生成機能Ｆ６によって生成された重畳画像データを、外部のＸ線撮影装置４０に出力する機能を含む。また、出力制御機能Ｆ７は、重畳画像データをディスプレイ１９に表示させる機能を含んでもよい。なお、出力制御機能Ｆ７は、出力制御部の一例である。 The output control function F7 includes a function for outputting the superimposed image data generated by the image generation function F6 to an external X-ray imaging device 40 via the network N. The output control function F7 may also include a function for displaying the superimposed image data on the display 19. The output control function F7 is an example of an output control unit.
Ｘ線撮影装置４０の処理回路４７１は、メモリ４７２、又は、処理回路４７１内のメモリ等の非一過性の記録媒体に記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、表示制御機能Ｆ８を実現する。以下、機能Ｆ８がコンピュータプログラムによって実現される場合を例に挙げて説明するが、機能Ｆ８の全部又は一部は、Ｘ線撮影装置４０にＡＳＩＣ等の回路等の機能として設けられるものであってもよい。 The processing circuit 471 of the X-ray imaging device 40 realizes the display control function F8 by reading and executing a computer program (e.g., an image processing program) stored in a non-transient recording medium such as the memory 472 or a memory in the processing circuit 471. Below, an example will be described in which the function F8 is realized by a computer program, but all or part of the function F8 may be provided in the X-ray imaging device 40 as a function of a circuit such as an ASIC.
Ｘ線撮影装置４０の医用画像処理装置４７は、高電圧供給装置４１と、Ｘ線照射装置４２と、Ｘ線検出装置４３等を制御して、Ｘ線撮影を実行させて、第２の医用画像データとしてＸ線画像データを生成する。Ｘ線画像データは、メモリ４７２に記憶される。 The medical image processing device 47 of the X-ray imaging device 40 controls the high voltage supply device 41, the X-ray irradiation device 42, the X-ray detection device 43, etc. to perform X-ray imaging and generate X-ray image data as second medical image data. The X-ray image data is stored in the memory 472.
表示制御機能Ｆ８は、超音波診断装置１０から出力された重畳画像データを重畳画像としてディスプレイ４５に表示させる機能を含む。超音波診断装置１０の出力制御機能Ｆ７による重畳画像データの出力により、Ｘ線撮影装置４０のディスプレイ４５は、重畳画像データを重畳画像として略リアルタイムで表示することができる。また、表示制御機能Ｆ８は、メモリ４７２に記憶されたＸ線画像データを取得して、取得されたＸ線画像データをＸ線画像として略リアルタイムでディスプレイ４５に表示させる機能を含む。出力制御機能Ｆ７による重畳画像データの出力により、Ｘ線撮影装置４０のディスプレイ４５は、重畳画像データを重畳画像として略リアルタイムで表示することができる。なお、「略リアルタイム」は、Ｘ線の検出と同時にＸ線画像データや重畳画像データを生成（又は、表示）する場合に加え、Ｘ線の検出からＸ線画像データや重畳画像データを生成（又は、表示）するまでの処理時間の分だけタイムラグがある場合を含む。 The display control function F8 includes a function for displaying the superimposed image data output from the ultrasound diagnostic device 10 on the display 45 as a superimposed image. The output of the superimposed image data by the output control function F7 of the ultrasound diagnostic device 10 allows the display 45 of the X-ray imaging device 40 to display the superimposed image data as a superimposed image in approximately real time. The display control function F8 also includes a function for acquiring the X-ray image data stored in the memory 472 and displaying the acquired X-ray image data as an X-ray image on the display 45 in approximately real time. The output of the superimposed image data by the output control function F7 allows the display 45 of the X-ray imaging device 40 to display the superimposed image data as a superimposed image in approximately real time. Note that "approximately real time" includes a case where the X-ray image data or superimposed image data is generated (or displayed) at the same time as the detection of the X-ray, as well as a case where there is a time lag corresponding to the processing time from the detection of the X-ray to the generation (or display) of the X-ray image data or superimposed image data.
機能Ｆ１～Ｆ８の詳細については、図５～図１０を用いて説明する。 Details of functions F1 to F8 are explained using Figures 5 to 10.
続いて、医用画像処理システム１の動作について説明する。 Next, we will explain the operation of the medical image processing system 1.
図５及び図６は、医用画像処理システム１の動作の一例をフローチャートとして示す図である。図５及び図６において、「ＳＴ」に数字を付した符号はフローチャートの各ステップを示す。なお、図５及び図６の説明において、超音波プローブ２０がＴＥＥプローブである場合について説明するが、その場合に限定されるものではない。超音波プローブ２０は、体表プローブであってもよい。 Figures 5 and 6 are diagrams showing an example of the operation of the medical image processing system 1 as a flowchart. In Figures 5 and 6, the letters "ST" followed by a number indicate each step of the flowchart. Note that in the explanation of Figures 5 and 6, the ultrasound probe 20 is a TEE probe, but the present invention is not limited to this case. The ultrasound probe 20 may also be a body surface probe.
まず、図５について説明する。第３画像取得機能Ｆ３は、医用画像提供装置５０から、インターベンション治療の対象である所定の患者Ｐに関する第３の医用画像データとしてＣＴ画像データ（例えば、ボリュームデータ）を取得する（ステップＳＴ１）。ＣＴ画像データは、少なくとも、医用デバイスを僧帽弁に留置するために観察が必要な左心房の全体の像を含むものとする。 First, FIG. 5 will be described. The third image acquisition function F3 acquires CT image data (e.g., volume data) from the medical image providing device 50 as third medical image data relating to a specific patient P who is the subject of interventional treatment (step ST1). The CT image data includes at least an image of the entire left atrium that needs to be observed in order to place a medical device in the mitral valve.
続いて、医用画像処理システム１は、医用デバイスを用いた患者Ｐの僧帽弁のインターベンション治療において、Ｘ線撮影装置４０によりＸ線透視画像データを生成するとともに、患者Ｐの食道に挿入されたＴＥＥプローブ２０を用いた超音波診断装置１０により超音波画像データを取得する。そして、医用画像処理システム１は、超音波画像データを基準として位置合せされたＸ線透視画像データに第３の医用画像データを重畳し、当該Ｘ線透視画像データに第３の医用画像データが重畳された重畳画像データを略リアルタイムで生成するものである（後述するステップＳＴ２～ＳＴ１３）。手技を実施する術者Ｄ１等の操作者は、略リアルタイムで表示された重畳画像データを観察しながら医用デバイスを進め、所定の位置に医用デバイスを到達させる。 Next, in the interventional treatment of the mitral valve of patient P using a medical device, the medical image processing system 1 generates X-ray fluoroscopic image data using the X-ray imaging device 40, and acquires ultrasound image data using the ultrasound diagnostic device 10 using the TEE probe 20 inserted into the esophagus of patient P. Then, the medical image processing system 1 superimposes third medical image data on the X-ray fluoroscopic image data aligned based on the ultrasound image data, and generates superimposed image data in which the third medical image data is superimposed on the X-ray fluoroscopic image data in approximately real time (steps ST2 to ST13 described below). An operator such as surgeon D1 performing the procedure advances the medical device while observing the superimposed image data displayed in approximately real time, and the medical device reaches a predetermined position.
Ｘ線撮影装置４０は、Ｘ線透視撮影を開始する（ステップＳＴ２）。Ｘ線撮影装置４０は、高電圧供給装置４１と、Ｘ線照射装置４２と、Ｘ線検出装置４３とを制御してＸ線撮影を実行することで、患者Ｐに関する所定フレームのＸ線画像データ（例えば、低いＸ線量によるＸ線透視画像データ）を生成し、Ｘ線透視画像データをＸ線撮影装置４０のディスプレイ４５に表示させる（ステップＳＴ３）。 The X-ray imaging device 40 starts X-ray fluoroscopy (step ST2). The X-ray imaging device 40 controls the high-voltage supply device 41, the X-ray irradiation device 42, and the X-ray detection device 43 to perform X-ray imaging, thereby generating a predetermined frame of X-ray image data (e.g., X-ray fluoroscopy image data with a low X-ray dose) for the patient P, and displays the X-ray fluoroscopy image data on the display 45 of the X-ray imaging device 40 (step ST3).
第１画像取得機能Ｆ１は、患者Ｐの食道内に挿入されたＴＥＥプローブ２０を使った超音波診断装置１０による超音波撮影（例えば、ボリューム撮影）を開始するか否かを判断する（ステップＳＴ４）。ステップＳＴ４の判断にてＮＯ、即ち、超音波診断装置１０による超音波撮影を開始しないと判断される場合、Ｘ線撮影装置４０は、次のフレームについてＸ線透視画像データを生成して表示させる（ステップＳＴ３）。複数のフレームにおいてＸ線透視画像データを表示している間に、術者Ｄ１は、患者Ｐの体内におけるカテーテルを進行させる手技を継続する。 The first image acquisition function F1 determines whether or not to start ultrasound imaging (e.g., volume imaging) by the ultrasound diagnostic device 10 using the TEE probe 20 inserted into the esophagus of the patient P (step ST4). If the determination in step ST4 is NO, i.e., if it is determined that ultrasound imaging by the ultrasound diagnostic device 10 is not to be started, the X-ray imaging device 40 generates and displays X-ray fluoroscopic image data for the next frame (step ST3). While the X-ray fluoroscopic image data is being displayed for multiple frames, the surgeon D1 continues the procedure of advancing the catheter inside the patient P's body.
一方で、ステップＳＴ４の判断にてＹＥＳ、即ち、超音波診断装置１０による超音波撮影を開始すると判断される場合、第２画像取得機能Ｆ２は、Ｘ線撮影装置４０に、Ｘ線透視画像データの出力を要求する（ステップＳＴ４）。Ｘ線撮影装置４０は、次のフレームについてＸ線透視画像データを生成し（ステップＳＴ７）、ネットワークＮを介して、生成したＸ線透視画像データを超音波診断装置１０に出力する。 On the other hand, if the determination in step ST4 is YES, i.e., if it is determined that ultrasound imaging by the ultrasound diagnostic device 10 is to be started, the second image acquisition function F2 requests the X-ray imaging device 40 to output X-ray fluoroscopic image data (step ST4). The X-ray imaging device 40 generates X-ray fluoroscopic image data for the next frame (step ST7) and outputs the generated X-ray fluoroscopic image data to the ultrasound diagnostic device 10 via the network N.
第２画像生成機能Ｆ２は、Ｘ線撮影装置４０からＸ線透視画像データを取得する（ステップＳＴ８）。また、超音波診断装置１０は、送受信回路１１と、Ｂモード処理回路１２（又は、ドプラ処理回路１３）と、画像生成回路１４とを制御して超音波撮影を実行することで、患者Ｐに関する所定フレームの超音波画像データを生成する。第１画像取得機能Ｆ１は、画像メモリ１５から超音波画像データを取得する（ステップＳＴ８）。 The second image generation function F2 acquires X-ray fluoroscopic image data from the X-ray imaging device 40 (step ST8). The ultrasound diagnostic device 10 controls the transmission/reception circuitry 11, the B-mode processing circuitry 12 (or the Doppler processing circuitry 13), and the image generation circuitry 14 to perform ultrasound imaging, thereby generating a predetermined frame of ultrasound image data for the patient P. The first image acquisition function F1 acquires ultrasound image data from the image memory 15 (step ST8).
第１位置合せ機能Ｆ４は、ステップＳＴ７によって取得されたＸ線透視画像データを、ステップＳＴ８によって取得された超音波画像データに位置合せする（ステップＳＴ９）。例えば、第１位置合せ機能Ｆ４は、位置センサ３０によりＴＥＥプローブ２０の位置を検出することで、又は、Ｘ線透視画像データからＴＥＥプローブ２０の位置を検出することで、Ｘ線透視画像データの、超音波画像データとの位置合せを行う。 The first alignment function F4 aligns the X-ray fluoroscopy image data acquired in step ST7 with the ultrasound image data acquired in step ST8 (step ST9). For example, the first alignment function F4 aligns the X-ray fluoroscopy image data with the ultrasound image data by detecting the position of the TEE probe 20 with the position sensor 30, or by detecting the position of the TEE probe 20 from the X-ray fluoroscopy image data.
また、第２位置合せ機能Ｆ５は、ステップＳＴ１によって取得された左心房の全体を含むＣＴ画像データを、ステップＳＴ８によって取得された超音波画像データに位置合せする（ステップＳＴ１０）。ここで、第２位置合せ機能Ｆ５は、第１位置合せ機能Ｆ４によるＸ線透視画像データの、超音波画像データとの位置合せ方法とは異なる方法で、ＣＴ画像データの、超音波画像データとの位置合せを行う。例えば、第２位置合せ機能Ｆ５は、ＣＴ画像データと超音波画像データとに描出される特徴部位（例えば、心臓、左心房、血管等）に基づいて、ＣＴ画像データの、超音波画像データとの位置合せを行う。 The second alignment function F5 also aligns the CT image data including the entire left atrium acquired in step ST1 with the ultrasound image data acquired in step ST8 (step ST10). Here, the second alignment function F5 aligns the CT image data with the ultrasound image data using a method different from the method of aligning the X-ray fluoroscopic image data with the ultrasound image data by the first alignment function F4. For example, the second alignment function F5 aligns the CT image data with the ultrasound image data based on characteristic areas depicted in the CT image data and the ultrasound image data (e.g., the heart, left atrium, blood vessels, etc.).
図６の説明に移って、画像生成機能Ｆ６は、ステップＳＴ９による位置合せの結果に基づくＸ線透視画像データに、ステップＳＴ１０による位置合せの結果に基づくＣＴ画像データが重畳された重畳画像データを生成する（ステップＳＴ１１）。これにより、インターベンション治療において、術者Ｄ１等の操作者を支援可能な重畳画像データを生成することができる。 Moving on to the explanation of FIG. 6, the image generation function F6 generates superimposed image data (step ST11) in which CT image data based on the result of the alignment in step ST10 is superimposed on the X-ray fluoroscopic image data based on the result of the alignment in step ST9. This makes it possible to generate superimposed image data that can assist an operator such as surgeon D1 in interventional treatment.
出力制御機能Ｆ７は、ネットワークＮを介して、ステップＳＴ１１によって生成された重畳画像データをＸ線撮影装置４０に出力する（ステップＳＴ１２）。Ｘ線撮影装置４０の表示制御機能Ｆ８は、ステップＳＴ１２によって出力された重畳画像画像データを重畳画像としてディスプレイ４５に表示させる（ステップＳＴ１３）。これにより、インターベンション治療において、位置合せされたＣＴ画像データが重畳された重畳画像データがディスプレイ４５に表示されることで、術者Ｄ１等の操作者の手技を適切に支援することができる。 The output control function F7 outputs the superimposed image data generated in step ST11 to the X-ray imaging device 40 via the network N (step ST12). The display control function F8 of the X-ray imaging device 40 displays the superimposed image data output in step ST12 as a superimposed image on the display 45 (step ST13). As a result, in interventional treatment, the superimposed image data on which the aligned CT image data is superimposed is displayed on the display 45, thereby appropriately supporting the procedure of an operator such as the surgeon D1.
図７は、Ｘ線透視画像データに、超音波画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図である。 Figure 7 shows an example of a superimposed image based on superimposed image data in which ultrasound image data is superimposed on X-ray fluoroscopic image data.
図７に示す重畳画像は、左心房の全体を含む領域をＸ線撮影して取得されるＸ線透視画像ＩＸと、それに重畳された超音波画像ＩＵとを含んで成る。上述したように、左心房（左心房の像ＬＡ）の位置がＴＥＥプローブ２０（ＴＥＥプローブの像Ｑ）に近すぎて左心房の全体を画像化することができない。 The superimposed image shown in FIG. 7 includes an X-ray fluoroscopic image IX obtained by X-raying an area including the entire left atrium, and an ultrasound image IU superimposed thereon. As described above, the position of the left atrium (left atrium image LA) is too close to the TEE probe 20 (TEE probe image Q) so that the entire left atrium cannot be imaged.
そこで、超音波画像データと同様にボリュームデータであり、３次元的な位置合せが可能であり左心房の全体を含むＣＴ画像データが超音波画像データを基準にして位置合せされる。画像生成機能Ｆ６は、位置合せ後のＣＴ画像データを、同じく超音波画像データを基準にして位置合せされたＸ線透視画像データ上に重畳する。 The CT image data, which is volume data like the ultrasound image data and can be aligned three-dimensionally and includes the entire left atrium, is aligned with the ultrasound image data as a reference. The image generation function F6 superimposes the aligned CT image data on the X-ray fluoroscopy image data that has also been aligned with the ultrasound image data as a reference.
図８は、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図である。 Figure 8 shows an example of a superimposed image based on superimposed image data in which CT image data including the entire left atrium is superimposed on X-ray fluoroscopic image data.
図８に示す重畳画像は、左心房の全体を含む領域をＸ線撮影して取得されるＸ線透視画像ＩＸと、それに重畳された左心房の全体を含むＣＴ画像ＩＣとを含んで成る。左心房の位置がＴＥＥプローブ２０（ＴＥＥプローブの像Ｑ）に近すぎて左心房の全体を画像化することができない場合であっても、適切に位置合せされたＣＴ画像に描画される左心房（左心房の像ＬＡ）により、術者Ｄ１等の操作者は左心房の全体を視認できる。また、この表示により、心房中隔穿刺を行う際に、ビューの大きいＣＴ画像等による穿刺位置や角度の事前確認が不要となり、操作者による穿刺位置や角度の決定を支援することができる。 The superimposed image shown in FIG. 8 comprises an X-ray fluoroscopic image IX obtained by X-raying an area including the entire left atrium, and a CT image IC including the entire left atrium superimposed thereon. Even if the position of the left atrium is too close to the TEE probe 20 (TEE probe image Q) to image the entire left atrium, an operator such as surgeon D1 can visually confirm the entire left atrium from the left atrium (left atrium image LA) depicted in an appropriately aligned CT image. In addition, this display makes it unnecessary to check the puncture position and angle in advance using a CT image with a large view when performing atrial septal puncture, and can assist the operator in determining the puncture position and angle.
なお、表示画面は、重畳画像に、位置合せの基準となった超音波画像の画像領域ＩＵ´がフレーム（枠）として示されてもよい。 In addition, the display screen may show the image area IU' of the ultrasound image that was used as the reference for alignment as a frame on the superimposed image.
図６の説明に戻って、第１画像取得機能Ｆ１は、超音波撮影を終了するか否かを判断する（ステップＳＴ１４）。所定位置への医用デバイスの留置とリリースが終了すると、術者Ｄ１は、Ｘ線撮影装置４０の入力インターフェース４４を操作して、超音波診断装置１０に対して超音波撮影の終了を指示する。又は、超音波技師Ｄ２は、超音波診断装置１０の入力インターフェース１８を操作して、超音波撮影の終了を指示する。 Returning to the explanation of FIG. 6, the first image acquisition function F1 determines whether or not to end the ultrasound imaging (step ST14). When the placement and release of the medical device in the specified position is completed, the surgeon D1 operates the input interface 44 of the X-ray imaging device 40 to instruct the ultrasound diagnostic device 10 to end the ultrasound imaging. Alternatively, the ultrasound technician D2 operates the input interface 18 of the ultrasound diagnostic device 10 to instruct the ultrasound imaging to end.
ステップＳＴ１４の判断にてＹＥＳ、即ち、超音波撮影を終了すると判断された場合、第１画像取得機能Ｆ１は、Ｘ線撮影装置４０にＸ線透視画像データの出力を終了するように要求し（ステップＳＴ１５）。その要求により、Ｘ線撮影装置４０は、ディスプレイ４５への重畳画像データの表示を終了し、Ｘ線透視画像データ単独の表示に戻る（ステップＳＴ３）。 If the determination in step ST14 is YES, i.e., if it is determined that the ultrasound imaging is to be terminated, the first image acquisition function F1 requests the X-ray imaging device 40 to terminate the output of the X-ray fluoroscopic image data (step ST15). In response to the request, the X-ray imaging device 40 terminates the display of the superimposed image data on the display 45 and returns to displaying the X-ray fluoroscopic image data alone (step ST3).
一方で、ステップＳＴ１４の判断にてＮＯ、即ち、超音波撮影を終了しないと判断された場合、Ｘ線撮影装置４０にＸ線透視画像データの出力を終了するように要求されていない。そのため、Ｘ線撮影装置４０は、次のフレームについてＸ線透視画像データを生成し（ステップＳＴ６）、次のフレームについてＸ線透視画像データを超音波診断装置１０に出力することで（ステップＳＴ７）、ディスプレイ４５への重畳画像データの更新表示を維持する。 On the other hand, if the determination in step ST14 is NO, i.e., if it is determined that ultrasound imaging is not to be terminated, the X-ray imaging device 40 is not requested to terminate the output of X-ray fluoroscopic image data. Therefore, the X-ray imaging device 40 generates X-ray fluoroscopic image data for the next frame (step ST6) and outputs the X-ray fluoroscopic image data for the next frame to the ultrasound diagnostic device 10 (step ST7), thereby maintaining the updated display of the superimposed image data on the display 45.
図５及び図６を用いて説明したように、画像生成機能Ｆ６は、第１位置合せ機能Ｆ４による位置合せ結果と第２位置合せ機能Ｆ５による位置合せ結果とに基づいて、連続する全てのフレームに関するＸ線画像データ（例えば、Ｘ線透視画像データ）にとＣＴ画像データとを位置合せし、連続する全てのフレームに関するＸ線透視画像データに対してＣＴ画像データが位置合せされた画像データ、例えば重畳画像データを生成する。そして、表示制御機能Ｆ８は、重畳画像データを、略リアルタイムで動画としてディスプレイ４５に表示させる。なお、その場合に限定されるものではない。画像生成機能Ｆ６は、第１位置合せ機能Ｆ４による位置合せ結果と、第２位置合せ機能Ｆ５による位置合せ結果とに基づいて、連続する複数のフレームのうち所定のフレームに関するＸ線透視画像データとＣＴ画像データとを位置合せし、所定のフレームに関するＸ線透視画像に対してＣＴ画像データが位置合せされた画像データ、例えば重畳画像データを生成してもよい。その場合、表示制御機能Ｆ８は、重畳画像データの要素としてのＸ線透視画像データを動画像として、ＣＴ画像データを静止画としてディスプレイ４５に表示させる。 5 and 6, the image generation function F6 aligns the X-ray image data (e.g., X-ray fluoroscopic image data) and the CT image data for all consecutive frames based on the alignment result by the first alignment function F4 and the alignment result by the second alignment function F5, and generates image data in which the CT image data is aligned with the X-ray fluoroscopic image data for all consecutive frames, for example, superimposed image data. Then, the display control function F8 displays the superimposed image data on the display 45 as a moving image in approximately real time. Note that this is not limited to this case. The image generation function F6 may align the X-ray fluoroscopic image data and the CT image data for a predetermined frame out of the consecutive frames based on the alignment result by the first alignment function F4 and the alignment result by the second alignment function F5, and generate image data in which the CT image data is aligned with the X-ray fluoroscopic image for the predetermined frame, for example, superimposed image data. In this case, the display control function F8 displays the X-ray fluoroscopic image data as an element of the superimposed image data on the display 45 as a moving image and the CT image data as a still image.
以上のように、医用画像処理システム１によれば、インターベンション治療を進める際に、位置合せされた、左心房の全体を含むＣＴ画像データが重畳された重畳画像データをディスプレイ４５に表示することで、術者Ｄ１等の操作者は、左心房の全体の位置情報を容易に把握することができる。 As described above, according to the medical image processing system 1, when performing interventional treatment, superimposed image data on which aligned CT image data including the entire left atrium is superimposed is displayed on the display 45, allowing an operator such as surgeon D1 to easily grasp the overall positional information of the left atrium.
（第１変形例）
図８において、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データを重畳することで重畳画像データを生成する場合について説明したが、その場合に限定されるものではない。例えば、画像生成機能Ｆ６は、左心房の全体を含むＣＴ画像データと、位置合せの基準となった超音波画像データとが、Ｘ線透視画像データに重畳された重畳画像データを生成することができる。超音波画像データは、左心房の像を部分的に含む。それにより、表示制御機能Ｆ８は、Ｘ線撮影装置４０のディスプレイ４５に重畳画像データを重畳画像として表示させることができる。
(First Modification)
In Fig. 8, a case has been described in which the superimposed image data is generated by superimposing CT image data including the entire left atrium on the X-ray fluoroscopic image data, but the present invention is not limited to this case. For example, the image generating function F6 can generate superimposed image data in which the CT image data including the entire left atrium and the ultrasound image data used as the reference for alignment are superimposed on the X-ray fluoroscopic image data. The ultrasound image data partially includes an image of the left atrium. This allows the display control function F8 to display the superimposed image data as a superimposed image on the display 45 of the X-ray imaging device 40.
図９は、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データと心臓を部分的に含む超音波画像データとが重畳された重畳画像データに基づく重畳画像の一例を示す図である。 Figure 9 shows an example of a superimposed image based on superimposed image data in which CT image data including the entire left atrium and ultrasound image data including part of the heart are superimposed on X-ray fluoroscopy image data.
図９に示すように、図８に示すＣＴ画像の左心房ＬＡ上に、超音波画像上の左心房ＬＡがさらに重畳される。これにより、左心房の全体を含む過去のＣＴ画像における部分の表示を、現状を示す超音波画像に置き換えることができる。なお、表示制御機能Ｆ８は、Ｘ線透視画像上に現われるカテーテルの位置、又は、入力インターフェース４４を介した操作に基づいて、図８に示す重畳画像の表示から、図９に示す重畳画像の表示に切り替えることができる。なお、表示制御機能Ｆ８は、重畳画像データに、位置合せの基準となった超音波画像データを重畳して表示する場合に限定されるものではなく、重畳画像データと、位置合せの基準となった超音波画像データとを並列でディスプレイ４５に表示させてもよい。 As shown in FIG. 9, the left atrium LA on the ultrasound image is further superimposed on the left atrium LA on the CT image shown in FIG. 8. This allows the display of a portion of the past CT image including the entire left atrium to be replaced with an ultrasound image showing the current state. The display control function F8 can switch from displaying the superimposed image shown in FIG. 8 to displaying the superimposed image shown in FIG. 9 based on the position of the catheter appearing on the X-ray fluoroscopic image or an operation via the input interface 44. The display control function F8 is not limited to displaying the superimposed image data superimposed with the ultrasound image data that was the reference for alignment, and may display the superimposed image data and the ultrasound image data that was the reference for alignment in parallel on the display 45.
第１変形例によれば、上記効果に加え、左心房の全体を含む過去のＣＴ画像における部分の表示を、現状を示す超音波画像に置き換えることができるので、術者Ｄ１等の操作者は、左心房の全体の位置情報を容易に把握することができる。 In addition to the above effects, the first modified example allows the display of a portion of a past CT image that includes the entire left atrium to be replaced with an ultrasound image showing the current state, allowing an operator such as surgeon D1 to easily grasp the overall positional information of the left atrium.
（第２変形例）
図８において、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データを重畳することで重畳画像データを生成する場合について説明し、図９において、Ｘ線透視画像データに、左心房の全体を含むＣＴ画像データと心臓を部分的に含む超音波画像データとを重畳することで重畳画像データを生成する場合について説明したが、その場合に限定されるものではない。例えば、第３画像取得機能Ｆ３が、血管を含むＣＴ画像データを取得することで、画像生成機能Ｆ６は、血管を含むＣＴ画像データが、Ｘ線透視画像データに重畳された重畳画像データを生成することができる。それにより、表示制御機能Ｆ８は、Ｘ線撮影装置４０のディスプレイ４５に重畳画像データを重畳画像として表示させることができる。
(Second Modification)
In Fig. 8, a case where superimposed image data is generated by superimposing CT image data including the entire left atrium on X-ray fluoroscopic image data has been described, and in Fig. 9, a case where superimposed image data is generated by superimposing CT image data including the entire left atrium and ultrasound image data including a part of the heart on X-ray fluoroscopic image data has been described, but the present invention is not limited to this case. For example, the third image acquisition function F3 acquires CT image data including blood vessels, and the image generation function F6 can generate superimposed image data in which the CT image data including blood vessels is superimposed on the X-ray fluoroscopic image data. This allows the display control function F8 to display the superimposed image data as a superimposed image on the display 45 of the X-ray imaging device 40.
図１０は、Ｘ線透視画像データに、血管を含むＣＴ画像データが重畳された重畳画像データに基づく重畳画像の一例を示す図である。 Figure 10 shows an example of a superimposed image based on superimposed image data in which CT image data including blood vessels is superimposed on X-ray fluoroscopic image data.
図１０に示す重畳画像は、左心房の周辺を含む領域をＸ線撮影して取得されるＸ線透視画像ＩＸと、それに重畳された、僧帽弁に至るまでのカテーテルの経路、つまり、血管を含むＣＴ画像ＩＣとを含んで成る。左心房の位置がＴＥＥプローブ２０（ＴＥＥプローブの像Ｑ）に近すぎて左心房の周辺を画像化することができない場合であっても、適切に位置合せされたＣＴ画像に描画される血管（血管の像Ｂ）により、術者Ｄ１等の操作者は左心房の周辺のカテーテルの経路を視認できる。 The superimposed image shown in FIG. 10 comprises an X-ray fluoroscopic image IX obtained by X-raying an area including the periphery of the left atrium, and a CT image IC including the catheter path up to the mitral valve, i.e., blood vessels, superimposed thereon. Even if the position of the left atrium is too close to the TEE probe 20 (TEE probe image Q) to image the periphery of the left atrium, an operator such as surgeon D1 can visually confirm the catheter path around the left atrium from the blood vessels (blood vessel image B) depicted in an appropriately aligned CT image.
第２変形例によれば、インターベンション治療を進める際に、位置合せされた、血管を含むＣＴ画像データが重畳された重畳画像データをディスプレイ４５に表示することで、術者Ｄ１等の操作者は、カテーテルの経路を容易に把握することができる。 According to the second modified example, when performing interventional treatment, superimposed image data on which aligned CT image data including blood vessels is superimposed is displayed on the display 45, allowing an operator such as surgeon D1 to easily understand the catheter path.
（第３変形例）
図４において、超音波診断装置１０の医用画像処理装置１７が機能Ｆ１～Ｆ７を備え、Ｘ線撮影装置４０の医用画像処理装置４７が機能Ｆ８を備える場合について説明したが、その場合に限定されるものではない。医用画像処理システム１において、複数の装置が連携して重畳画像データを生成することができる。つまり、医用画像処理システム１において、Ｘ線撮影装置４０が機能Ｆ８を備えていれば、機能Ｆ１～Ｆ７はいずれに備えられてもよい。例えば、超音波診断装置１０が機能Ｆ１～Ｆ５，Ｆ７を備え、Ｘ線撮影装置４０が機能Ｆ６，Ｆ８を備えてもよい。その場合について、図１１を用いて説明する。
(Third Modification)
4, the medical image processing device 17 of the ultrasound diagnostic device 10 has the functions F1 to F7, and the medical image processing device 47 of the X-ray imaging device 40 has the function F8, but the present invention is not limited to this case. In the medical image processing system 1, multiple devices can cooperate to generate superimposed image data. In other words, in the medical image processing system 1, as long as the X-ray imaging device 40 has the function F8, any of the functions F1 to F7 may be provided. For example, the ultrasound diagnostic device 10 may have the functions F1 to F5 and F7, and the X-ray imaging device 40 may have the functions F6 and F8. This case will be described with reference to FIG. 11.
図１１は、図３に示す医用画像処理システム１の変形例を示すブロック図である。 Figure 11 is a block diagram showing a modified example of the medical image processing system 1 shown in Figure 3.
超音波診断装置１０の処理回路１７１は、メインメモリ１７２、又は、処理回路１７１内のメモリ等の非一過性の記録媒体に記憶されたコンピュータプログラム（例えば、画像処理プログラム）を読み出して実行することで、第１画像取得機能Ｆ１と、第２画像取得機能Ｆ２と、第３画像取得機能Ｆ３と、第１位置合せ機能Ｆ４と、第２位置合せ機能Ｆ５と、出力制御機能Ｆ７とを実現する。 The processing circuitry 171 of the ultrasound diagnostic device 10 reads and executes a computer program (e.g., an image processing program) stored in the main memory 172 or a non-transitory recording medium such as a memory within the processing circuitry 171, thereby realizing a first image acquisition function F1, a second image acquisition function F2, a third image acquisition function F3, a first alignment function F4, a second alignment function F5, and an output control function F7.
第１画像取得機能Ｆ１は、前述したように、第１の医用画像データとして超音波画像データを取得する機能を含む。第２画像取得機能Ｆ２は、前述したように、ネットワークＮを介して、Ｘ線画像データを生成するＸ線撮影装置４０から、第２の医用画像データとしてＸ線画像データを取得する機能を含む。第３画像取得機能Ｆ３は、前述したように、ネットワークＮを介して医用画像提供装置５０から、第３の医用画像データを取得する機能を含む。 The first image acquisition function F1, as described above, includes a function of acquiring ultrasound image data as the first medical image data. The second image acquisition function F2, as described above, includes a function of acquiring X-ray image data as the second medical image data from an X-ray imaging device 40 that generates X-ray image data via a network N. The third image acquisition function F3, as described above, includes a function of acquiring third medical image data from a medical image provision device 50 via a network N.
第１位置合せ機能Ｆ４は、前述したように、第２画像取得機能Ｆ２によって取得されたＸ線画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。第２位置合せ機能Ｆ５は、前述したように、第３画像取得機能Ｆ３によって取得されたＣＴ画像データを、第１画像取得機能Ｆ１によって取得された超音波画像データに位置合せする機能を含む。 As described above, the first alignment function F4 includes a function for aligning the X-ray image data acquired by the second image acquisition function F2 with the ultrasound image data acquired by the first image acquisition function F1. As described above, the second alignment function F5 includes a function for aligning the CT image data acquired by the third image acquisition function F3 with the ultrasound image data acquired by the first image acquisition function F1.
出力制御機能Ｆ７は、ネットワークＮを介して、第１位置合せ機能Ｆ４によって生成された位置合せ後のＸ線画像データと、第２位置合せ機能Ｆ５によって生成された位置合せ後のＣＴ画像データとを、外部のＸ線撮影装置４０に出力する機能とを含む。 The output control function F7 includes a function to output the aligned X-ray image data generated by the first alignment function F4 and the aligned CT image data generated by the second alignment function F5 to an external X-ray imaging device 40 via the network N.
Ｘ線撮影装置４０の画像生成機能Ｆ６は、出力制御機能Ｆ７から出力された、第１位置合せ機能Ｆ４による位置合せの結果に基づくＸ線画像データに、第２位置合せ機能Ｆ５による位置合せの結果に基づくＣＴ画像データが重畳された重畳画像データを生成する機能を含む。 The image generation function F6 of the X-ray imaging device 40 includes a function for generating superimposed image data in which CT image data based on the result of alignment by the second alignment function F5 is superimposed on X-ray image data based on the result of alignment by the first alignment function F4, which is output from the output control function F7.
表示制御機能Ｆ８は、画像生成機能Ｆ６によって生成された重畳画像データを、ディスプレイ４５に表示させる機能を含む。超音波診断装置１０出力制御機能Ｆ７による重畳画像データの出力により、Ｘ線撮影装置４０のディスプレイ４５は、重畳画像データを重畳画像として略リアルタイムで表示することができる。 The display control function F8 includes a function for displaying the superimposed image data generated by the image generation function F6 on the display 45. By outputting the superimposed image data by the ultrasound diagnostic device 10 output control function F7, the display 45 of the X-ray imaging device 40 can display the superimposed image data as a superimposed image in approximately real time.
また、例えば、Ｘ線撮影装置４０が機能Ｆ８を備え、ネットワークＮを介して接続される、超音波診断装置１０でもＸ線撮影装置４０でもない第３の医用画像処理装置が機能Ｆ１～Ｆ７を備えてもよい。例えば、第３の医用画像処理装置は、医用画像データに対して各種画像処理を施すワークステーションや、タブレット端末等の携帯型情報処理端末等である。 For example, the X-ray imaging device 40 may have function F8, and a third medical image processing device that is neither the ultrasound diagnostic device 10 nor the X-ray imaging device 40 and is connected via the network N may have functions F1 to F7. For example, the third medical image processing device may be a workstation that performs various image processing on medical image data, or a portable information processing terminal such as a tablet terminal.
第３変形例によれば、既存の装置１０，４０に新たに機能Ｆ１～Ｆ７を導入することなく、上記効果を得ることができる。 According to the third modified example, the above effects can be obtained without introducing new functions F1 to F7 into the existing devices 10 and 40.
以上説明した少なくとも１つの実施形態によれば、インターベンション治療において、術者等の操作者を支援可能な画像データを生成することができる。 According to at least one of the embodiments described above, it is possible to generate image data that can assist an operator, such as a surgeon, during interventional treatment.
なお、第１画像取得機能Ｆ１は、第１画像取得部の一例である。第２画像取得機能Ｆ２は、第２画像取得部の一例である。第３画像取得機能Ｆ３は、第３画像取得部の一例である。第１位置合せ機能Ｆ４は、第１位置合せ部の一例である。第２位置合せ機能Ｆ５は、第２位置合せ部の一例である。画像生成機能Ｆ６は、画像生成部の一例である。出力制御機能Ｆ７は、出力制御部の一例である。表示制御機能Ｆ８は、表示制御部の一例である。 The first image acquisition function F1 is an example of a first image acquisition section. The second image acquisition function F2 is an example of a second image acquisition section. The third image acquisition function F3 is an example of a third image acquisition section. The first alignment function F4 is an example of a first alignment section. The second alignment function F5 is an example of a second alignment section. The image generation function F6 is an example of an image generation section. The output control function F7 is an example of an output control section. The display control function F8 is an example of a display control section.
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合せ、実施形態と１又は複数の変形例との組み合せを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, modifications, combinations of embodiments, and combinations of embodiments with one or more modified examples can be made without departing from the spirit of the invention. These embodiments and their modifications are included within the scope and spirit of the invention, and are included in the scope of the invention and its equivalents as set forth in the claims.
１ 医用画像処理システム
１０ 超音波診断装置
１７１，４７１ 処理回路
４０ Ｘ線撮影装置
４５ ディスプレイ
５０ 医用画像提供装置
Ｆ１ 第１画像取得機能
Ｆ２ 第２画像取得機能
Ｆ３ 第３画像取得機能
Ｆ４ 第１位置合せ機能
Ｆ５ 第２位置合せ機能
Ｆ６ 画像生成機能
Ｆ７ 出力制御機能
Ｆ８ 表示制御機能
1 Medical image processing system 10 Ultrasound diagnostic device 171, 471 Processing circuit 40 X-ray imaging device 45 Display 50 Medical image providing device F1 First image acquisition function F2 Second image acquisition function F3 Third image acquisition function F4 First alignment function F5 Second alignment function F6 Image generation function F7 Output control function F8 Display control function
Claims (12)
前記被検体のＸ線画像を第２の医用画像として取得する第２画像取得部と、
前記超音波画像及び前記Ｘ線画像とは異なる、前記被検体の第３の医用画像を取得する第３画像取得部と、
前記Ｘ線画像を、前記超音波画像に位置合せする第１位置合せ部と、
前記第３の医用画像を、前記超音波画像に位置合せする第２位置合せ部と、
前記第１位置合せ部による位置合せ結果および前記第２位置合せ部による位置合せ結果に基づいて、前記Ｘ線画像と前記第３の医用画像とを位置合せし、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を生成する画像生成部と、
前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を表示部に表示させる表示制御部と、
を有し、
前記表示制御部は、位置合せの基準となった前記超音波画像を位置合せしてさらに前記表示部に表示させ、前記Ｘ線画像に現れるカテーテルの位置に基づいて、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像の表示から、前記Ｘ線画像に対して前記第３の医用画像と前記超音波画像とが位置合せされた画像の表示に切り替える、
医用画像処理装置。 a first image acquisition unit that acquires an ultrasound image of a subject as a first medical image;
a second image acquisition unit that acquires an X-ray image of the subject as a second medical image;
a third image acquisition unit that acquires a third medical image of the subject, the third medical image being different from the ultrasound image and the X-ray image;
a first registration unit that registers the X-ray image with the ultrasound image;
a second registration unit that registers the third medical image with the ultrasound image;
an image generating unit that aligns the X-ray image and the third medical image based on a result of the alignment by the first alignment unit and a result of the alignment by the second alignment unit, and generates an image in which the third medical image is aligned with the X-ray image;
a display control unit that causes a display unit to display an image in which the third medical image is aligned with the X-ray image;
having
the display control unit aligns the ultrasound image that is the reference for alignment and further displays it on the display unit, and switches from displaying an image in which the third medical image is aligned with respect to the X-ray image to displaying an image in which the third medical image and the ultrasound image are aligned with respect to the X-ray image based on a position of the catheter that appears in the X-ray image.
Medical imaging equipment .
請求項１に記載の医用画像処理装置。 the second alignment unit aligns the third medical image with the ultrasound image by a method different from a method of aligning the X-ray image with the ultrasound image by the first alignment unit;
The medical image processing device according to claim 1 .
前記第２位置合せ部は、前記第３の医用画像と前記超音波画像とに描出される特徴部位に基づいて、前記第３の医用画像の、前記超音波画像との位置合せを行う、
請求項２に記載の医用画像処理装置。 the first alignment unit detects a position of an ultrasound probe from the X-ray image to align the X-ray image with the ultrasound image;
The second registration unit performs registration of the third medical image with the ultrasound image based on characteristic parts depicted in the third medical image and the ultrasound image.
The medical image processing device according to claim 2 .
請求項１乃至３のいずれか一項に記載の医用画像処理装置。 the third image acquisition unit acquires, as the third medical image, a CT image or an MRI image of the subject, which is a type different from the ultrasound image and the X-ray image;
The medical image processing device according to claim 1 .
請求項１乃至４のいずれか一項に記載の医用画像処理装置。 The third image acquisition unit acquires an image including a predetermined anatomical feature as the third medical image.
The medical image processing apparatus according to claim 1 .
請求項１乃至４のいずれか一項に記載の医用画像処理装置。 the third image acquisition unit acquires, as the third medical image, an image including information indicating a path of the catheter;
The medical image processing apparatus according to claim 1 .
被検体の超音波画像を第１の医用画像として取得する第１画像取得部と、
前記被検体のＸ線画像を第２の医用画像として取得する第２画像取得部と、
前記超音波画像及び前記Ｘ線画像とは異なる、前記被検体の第３の医用画像を取得する第３画像取得部と、
前記Ｘ線画像を、前記超音波画像に位置合せする第１位置合せ部と、
前記第３の医用画像を、前記超音波画像に位置合せする第２位置合せ部と、
前記第１位置合せ部による位置合せ結果および前記第２位置合せ部による位置合せ結果に基づいて、前記Ｘ線画像と前記第３の医用画像とを位置合せし、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を生成する画像生成部と、
を有し、
前記Ｘ線撮影装置に、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像を表示部に表示させる表示制御部を有し、
前記表示制御部は、位置合せの基準となった前記超音波画像を位置合せしてさらに前記表示部に表示させ、前記Ｘ線画像に現れるカテーテルの位置に基づいて、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像の表示から、前記Ｘ線画像に対して前記第３の医用画像と前記超音波画像とが位置合せされた画像の表示に切り替える、
医用画像処理システム。 A medical image processing system including an ultrasonic diagnostic device that generates ultrasonic images and an X-ray imaging device that generates X-ray images,
a first image acquisition unit that acquires an ultrasound image of a subject as a first medical image;
a second image acquisition unit that acquires an X-ray image of the subject as a second medical image;
a third image acquisition unit that acquires a third medical image of the subject, the third medical image being different from the ultrasound image and the X-ray image;
a first registration unit that registers the X-ray image with the ultrasound image;
a second registration unit that registers the third medical image with the ultrasound image;
an image generating unit that aligns the X-ray image and the third medical image based on a result of the alignment by the first alignment unit and a result of the alignment by the second alignment unit, and generates an image in which the third medical image is aligned with the X-ray image;
having
a display control unit for causing a display unit to display an image in which the third medical image is aligned with the X-ray image,
the display control unit aligns the ultrasound image that is the reference for alignment and further displays it on the display unit, and switches from displaying an image in which the third medical image is aligned with respect to the X-ray image to displaying an image in which the third medical image and the ultrasound image are aligned with respect to the X-ray image based on a position of the catheter that appears in the X-ray image.
Medical image processing system .
請求項７に記載の医用画像処理システム。 The first alignment unit is provided in the ultrasonic diagnostic apparatus.
The medical image processing system according to claim 7 .
請求項７又は８に記載の医用画像処理システム。 The image generating unit is provided in the X-ray imaging device.
9. The medical image processing system according to claim 7 or 8 .
請求項７乃至９のいずれか一項に記載の医用画像処理システム。 the display control unit causes the display unit to display, in parallel, an image in which the third medical image is registered with respect to the X-ray image and the ultrasound image used as a reference for the registration.
The medical image processing system according to any one of claims 7 to 9 .
前記表示制御部は、前記複数の画像を、略リアルタイムで動画として前記表示部に表示させる、
請求項７乃至１０のいずれか一項に記載の医用画像処理システム。 the image generating unit aligns the X-ray images and the third medical image for all consecutive frames based on the alignment result by the first alignment unit and the alignment result by the second alignment unit, and generates a plurality of images in which the third medical image is aligned with the X-ray images for all consecutive frames;
The display control unit causes the display unit to display the plurality of images as a moving image in approximately real time.
The medical image processing system according to any one of claims 7 to 10 .
前記表示制御部は、前記Ｘ線画像に対して前記第３の医用画像が位置合せされた画像の要素としてのＸ線画像を動画として、前記要素としての第３の医用画像を静止画として前記表示部に表示させる、
請求項７乃至１０のいずれか一項に記載の医用画像処理システム。
the image generating unit aligns an X-ray image relating to a predetermined frame among a plurality of consecutive frames with the third medical image based on a result of the alignment by the first alignment unit and a result of the alignment by the second alignment unit, and generates an image in which the third medical image is aligned with the X-ray image relating to the predetermined frame;
the display control unit causes the display unit to display the X-ray image as an element of an image in which the third medical image is aligned with the X-ray image as a moving image and the third medical image as the element as a still image.
The medical image processing system according to any one of claims 7 to 10 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020114343A JP7514673B2 (en) | 2020-07-01 | 2020-07-01 | Medical image processing device and medical image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020114343A JP7514673B2 (en) | 2020-07-01 | 2020-07-01 | Medical image processing device and medical image processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022012486A JP2022012486A (en) | 2022-01-17 |
| JP7514673B2 true JP7514673B2 (en) | 2024-07-11 |
Family
ID=80148748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020114343A Active JP7514673B2 (en) | 2020-07-01 | 2020-07-01 | Medical image processing device and medical image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7514673B2 (en) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080095421A1 (en) | 2006-10-20 | 2008-04-24 | Siemens Corporation Research, Inc. | Registering 2d and 3d data using 3d ultrasound data |
| JP2009095671A (en) | 2007-10-15 | 2009-05-07 | General Electric Co <Ge> | Method and system for visualizing registered image |
| JP2010029641A (en) | 2008-07-04 | 2010-02-12 | Toshiba Corp | X-ray imaging apparatus, x-ray imaging method, and image processing apparatus |
| US20120065498A1 (en) | 2010-09-14 | 2012-03-15 | Thomas Redel | Apparatus and method for minimally invasive therapy of mitral regurgitation |
| JP2013513412A (en) | 2009-12-09 | 2013-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Combination of ultrasound and X-ray system |
| US20130279780A1 (en) | 2012-01-24 | 2013-10-24 | Siemens Aktiengesellschaft | Method and System for Model Based Fusion on Pre-Operative Computed Tomography and Intra-Operative Fluoroscopy Using Transesophageal Echocardiography |
| JP2014061093A (en) | 2012-09-20 | 2014-04-10 | Toshiba Corp | Image processor, x-ray diagnostic device, and program |
| JP2018534038A (en) | 2015-10-09 | 2018-11-22 | インサイテック リミテッド | Systems and methods for registering images obtained using various imaging modalities and verifying image registration |
| JP2019072465A (en) | 2017-10-12 | 2019-05-16 | キヤノンメディカルシステムズ株式会社 | X-ray diagnosis apparatus, medical image processing apparatus, medical image processing system, and medical image processing program |
| JP2019093123A (en) | 2017-11-24 | 2019-06-20 | キヤノンメディカルシステムズ株式会社 | Medical image diagnostic apparatus and medical image processing apparatus |
| JP2020005785A (en) | 2018-07-05 | 2020-01-16 | キヤノンメディカルシステムズ株式会社 | Medical information processing system, medical information processing apparatus, and ultrasonic diagnostic apparatus |
| JP2020044266A (en) | 2018-09-21 | 2020-03-26 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, x-ray diagnostic device and medical information processing program |
| JP2020065593A (en) | 2018-10-22 | 2020-04-30 | キヤノンメディカルシステムズ株式会社 | Medical image processing device, x-ray diagnostic device and medical image processing program |
-
2020
- 2020-07-01 JP JP2020114343A patent/JP7514673B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080095421A1 (en) | 2006-10-20 | 2008-04-24 | Siemens Corporation Research, Inc. | Registering 2d and 3d data using 3d ultrasound data |
| JP2009095671A (en) | 2007-10-15 | 2009-05-07 | General Electric Co <Ge> | Method and system for visualizing registered image |
| JP2010029641A (en) | 2008-07-04 | 2010-02-12 | Toshiba Corp | X-ray imaging apparatus, x-ray imaging method, and image processing apparatus |
| JP2013513412A (en) | 2009-12-09 | 2013-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Combination of ultrasound and X-ray system |
| US20120065498A1 (en) | 2010-09-14 | 2012-03-15 | Thomas Redel | Apparatus and method for minimally invasive therapy of mitral regurgitation |
| US20130279780A1 (en) | 2012-01-24 | 2013-10-24 | Siemens Aktiengesellschaft | Method and System for Model Based Fusion on Pre-Operative Computed Tomography and Intra-Operative Fluoroscopy Using Transesophageal Echocardiography |
| JP2014061093A (en) | 2012-09-20 | 2014-04-10 | Toshiba Corp | Image processor, x-ray diagnostic device, and program |
| JP2018534038A (en) | 2015-10-09 | 2018-11-22 | インサイテック リミテッド | Systems and methods for registering images obtained using various imaging modalities and verifying image registration |
| JP2019072465A (en) | 2017-10-12 | 2019-05-16 | キヤノンメディカルシステムズ株式会社 | X-ray diagnosis apparatus, medical image processing apparatus, medical image processing system, and medical image processing program |
| JP2019093123A (en) | 2017-11-24 | 2019-06-20 | キヤノンメディカルシステムズ株式会社 | Medical image diagnostic apparatus and medical image processing apparatus |
| JP2020005785A (en) | 2018-07-05 | 2020-01-16 | キヤノンメディカルシステムズ株式会社 | Medical information processing system, medical information processing apparatus, and ultrasonic diagnostic apparatus |
| JP2020044266A (en) | 2018-09-21 | 2020-03-26 | キヤノンメディカルシステムズ株式会社 | Medical information processing device, x-ray diagnostic device and medical information processing program |
| JP2020065593A (en) | 2018-10-22 | 2020-04-30 | キヤノンメディカルシステムズ株式会社 | Medical image processing device, x-ray diagnostic device and medical image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022012486A (en) | 2022-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230200784A1 (en) | Ultrasonic diagnostic device, image processing device, and image processing method | |
| US9931090B2 (en) | Image processing apparatus, X-ray diagnosis apparatus, and display method | |
| US9747689B2 (en) | Image processing system, X-ray diagnostic apparatus, and image processing method | |
| US9949723B2 (en) | Image processing apparatus, medical image apparatus and image fusion method for the medical image | |
| US9547900B2 (en) | Image processing apparatus, X-ray diagnosis apparatus, and registration method | |
| US11191524B2 (en) | Ultrasonic diagnostic apparatus and non-transitory computer readable medium | |
| JP6125380B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and image processing program | |
| JP2015006438A (en) | Ultrasonic diagnostic device, image processor and image processing program | |
| JP7258483B2 (en) | Medical information processing system, medical information processing device and ultrasonic diagnostic device | |
| US10298849B2 (en) | Imaging apparatus and control method thereof | |
| JP7134687B2 (en) | X-ray diagnostic device, medical image processing device, and medical image diagnostic device | |
| CN110123372B (en) | Medical image diagnosis apparatus and X-ray irradiation control apparatus | |
| JP2019093123A (en) | Medical image diagnostic apparatus and medical image processing apparatus | |
| US10624592B2 (en) | X-ray diagnosis apparatus and arm control method | |
| JP7514673B2 (en) | Medical image processing device and medical image processing system | |
| JP7114263B2 (en) | Medical image diagnosis device and X-ray irradiation control device | |
| JP7271126B2 (en) | Ultrasound diagnostic equipment and medical image processing equipment | |
| US20240074737A1 (en) | Medical image processing apparatus, x-ray diagnostic system, and non-transitory computer-readable storage medium storing medical image processing program | |
| JP2019181065A (en) | X-ray diagnostic apparatus and medical image processing apparatus | |
| JP2018191848A (en) | X-ray diagnostic apparatus and medical image diagnostic system | |
| JP2015012977A (en) | Medical image diagnostic system and medical image diagnostic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230418 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240701 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7514673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |