JP5346734B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP5346734B2 JP5346734B2 JP2009184087A JP2009184087A JP5346734B2 JP 5346734 B2 JP5346734 B2 JP 5346734B2 JP 2009184087 A JP2009184087 A JP 2009184087A JP 2009184087 A JP2009184087 A JP 2009184087A JP 5346734 B2 JP5346734 B2 JP 5346734B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- area
- dimensional image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 5
- 239000011165 3D composite Substances 0.000 claims description 4
- 230000000241 respiratory effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 53
- 238000004891 communication Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の断層像から3次元画像を生成する画像処理装置に関する。 The present invention relates to an image processing apparatus that generates a three-dimensional image from a plurality of tomographic images.
従来から、例えばX線CT(computed tomography)装置やMRI(magnetic resonance imaging)装置、超音波診断装置等によって撮影される一連の断層像群を用い、対象物の3次元画像を生成する手法が知られている。例えば、特許文献1には、複数の断層像から3次元画像を構成し、ボリュームレンダリング法で用いられる陰影付けの勾配を断層像の画素値及び画素値勾配を用いることにより、部位に応じた適切な陰影付けを施す手法が開示されている。更に、時間の経過に伴い複数の時相で断続的に撮影された各断層像群から3次元画像を複数生成し、連続的な動画として表示させる手法も知られている。 Conventionally, a method for generating a three-dimensional image of an object using a series of tomographic images captured by, for example, an X-ray CT (computed tomography) apparatus, an MRI (magnetic resonance imaging) apparatus, an ultrasonic diagnostic apparatus, or the like has been known. It has been. For example, in Patent Document 1, a three-dimensional image is formed from a plurality of tomographic images, and the shading gradient used in the volume rendering method is appropriately set according to the region by using the pixel value and pixel value gradient of the tomographic image. A technique for applying a shading is disclosed. Furthermore, a technique is also known in which a plurality of three-dimensional images are generated from each tomographic image group intermittently photographed at a plurality of time phases as time passes, and are displayed as continuous moving images.
しかしながら、一般に3次元画像の構成処理は演算量が多く、処理時間が長くなる傾向があった。特に、動画のように多数の3次元画像を生成するにはより多くの処理時間が必要であった。
ところで、演算対象とする各断層像には、時間の経過に伴い、動きの大きい領域とほとんど動かない領域とが含まれることがある。例えば、心臓領域を対象に撮影した断層像では、動脈弁領域は時間の経過に伴い動きがあるが、その他の領域はほとんど動きがない。
However, generally, the processing for constructing a three-dimensional image has a large amount of calculation and tends to increase the processing time. In particular, more processing time is required to generate a large number of three-dimensional images such as moving images.
By the way, each tomographic image to be calculated may include a region with a large movement and a region with little movement over time. For example, in a tomographic image taken for the heart region, the arterial valve region moves with the passage of time, but the other regions hardly move.
本発明は、以上の問題点に鑑みてなされたものであり、時間経過に伴い変化する領域を含む断層像に基づいて、高速に3次元動画を生成し、表示する画像処理装置を提供することを目的とする。 The present invention has been made in view of the above problems, and provides an image processing apparatus that generates and displays a three-dimensional moving image at high speed based on a tomographic image including a region that changes over time. With the goal.
前述した目的を達成するために、本発明は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像を用いて、各時相の3次元画像をそれぞれ生成し、動画表示する画像処理装置であって、前記対象領域のうち、時相間で変化が大きい変化領域を決定する領域決定手段と、前記変化領域については忠実に3次元画像を生成し、その他の領域については簡略に3次元画像を生成する生成手段と、前記一連の断層像を取得した際の心拍データまたは呼吸データを取得する取得手段と、前記取得手段によって取得したデータに基づき心拍または呼吸の周期を解析し、周期的に対応する時相を特定する周期特定手段と、前記生成手段によって生成された3次元画像を時系列に順次表示する表示手段と、を備え、前記生成手段は、ある周期について、前記変化領域については忠実に、その他の領域については簡略に基準3次元画像を生成する基準画像生成手段と、その他の周期について、周期的に対応する時相の対応する断層像を比較し、差分のある領域の3次元画像を生成する差分領域画像生成手段と、前記差分領域画像生成手段によって生成された差分のある領域の3次元画像をその時相に対応する時相の、既に生成済みの基準3次元画像と合成する第1の合成手段と、を備え、前記表示手段は、前記ある周期の各時相の3次元画像と、前記第1の合成手段によって生成された各時相の合成画像とを、時系列に順次表示することを特徴とする画像処理装置である。 In order to achieve the above-described object, the present invention generates a three-dimensional image of each time phase by using each series of tomographic images obtained by intermittently capturing a target region with time, and displaying an animation. A processing apparatus, which includes a region determination unit that determines a change region having a large change between time phases among the target regions, a three-dimensional image faithfully generated for the change region, and a simple 3 for other regions. Generating means for generating a dimensional image; acquisition means for acquiring heart rate data or respiration data when the series of tomographic images are acquired; analyzing a heartbeat or respiration period based on the data acquired by the acquisition means; a period specifying means for specifying a time phase corresponding to, the and a display means for sequentially displaying in time series three-dimensional image generated by the generating means, said generating means, for a period The reference image generating means for generating the reference three-dimensional image faithfully for the change region and the other regions simply and the corresponding tomograms of the time phases corresponding to the other periods are compared, and the difference A difference area image generating means for generating a three-dimensional image of a certain area, and a reference that has already been generated in a time phase corresponding to the time phase of the three-dimensional image of the difference area generated by the difference area image generating means First synthesizing means for synthesizing with a three-dimensional image, wherein the display means is a three-dimensional image of each time phase of the certain period, and a synthesized image of each time phase generated by the first synthesizing means. Are sequentially displayed in time series .
本発明の画像処理装置により、時間経過に伴い変化する領域を含む断層像に基づいて、高速に3次元動画を生成し、表示できる。 With the image processing apparatus of the present invention, a three-dimensional moving image can be generated and displayed at high speed based on a tomographic image including a region that changes over time.
以下図面に基づいて、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[第1の実施の形態]
まず、図1を参照して、本発明の画像処理装置100を適用した画像処理システム1の構成について説明する。
[First Embodiment]
First, the configuration of an image processing system 1 to which the image processing apparatus 100 of the present invention is applied will be described with reference to FIG.
図1に示すように、画像処理システム1は、表示装置107、入力装置109を有する画像処理装置100と、画像処理装置100にネットワーク110を介して接続される画像データベース111と、画像撮影装置112とを備える。
As shown in FIG. 1, the image processing system 1 includes an image processing device 100 having a
画像処理装置100は、画像生成、画像解析等の処理を行うコンピュータである。例えば、病院等に設置される医用画像処理装置を含む。
画像処理装置100は、図1に示すように、CPU(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106を備え、各部はバス113を介して接続されている。
The image processing apparatus 100 is a computer that performs processing such as image generation and image analysis. For example, a medical image processing apparatus installed in a hospital or the like is included.
As shown in FIG. 1, the image processing apparatus 100 includes an external device such as a CPU (Central Processing Unit) 101, a
CPU101は、主メモリ102または記憶装置103等に格納されるプログラムを主メモリ102のRAM上のワークメモリ領域に呼び出して実行し、バス113を介して接続された各部を駆動制御し、画像処理装置100が行う各種処理を実現する。
The
また、CPU101は、後述する3次元動画表示処理(図2参照)において、時間の経過に伴い複数の時相で断続的に撮影された各一連の断層像について、時相間の変化が大きい変化領域を決定し、変化領域については忠実な3次元動画を生成し、その他の領域(変化の少ない領域)については既に生成した3次元画像を利用する等して演算処理を簡略化し、これらの各領域の画像を合成した埋め込み動画を表示する。
変化領域の決定や埋め込み動画の生成についての詳細は後述する。
In addition, the
Details of the change area determination and the generation of the embedded moving image will be described later.
主メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。ROMは、コンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。また、RAMは、ROM、記憶装置103等からロードしたプログラム、データ等を一時的に保持するとともに、CPU101が各種処理を行う為に使用するワークエリアを備える。
The
記憶装置103は、HDD(ハードディスクドライブ)や他の記録媒体へのデータの読み書きを行う記憶装置であり、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、CPU101により必要に応じて読み出されて主メモリ102のRAMに移され、各種の手段として実行される。
The
通信I/F104は、通信制御装置、通信ポート等を有し、画像処理装置100とネットワーク110との通信を媒介する。また通信I/F104は、ネットワーク110を介して、画像データベース111や、他のコンピュータ、或いは、X線CT装置、MRI装置等の画像撮影装置112との通信制御を行う。
I/F106は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106を介して接続させるようにしてもよい。
The communication I /
The I /
表示メモリ105は、CPU101から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置107に出力される。
The
表示装置107は、液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ105を介してCPU101に接続される。表示装置107はCPU101の制御により表示メモリ105に蓄積された表示データを表示する。
The
入力装置109は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をCPU101に出力する。操作者は、表示装置107、入力装置109、及びマウス108等の外部機器を使用して対話的に画像処理装置100を操作する。
The input device 109 is an input device such as a keyboard, for example, and outputs various instructions and information input by the operator to the
ネットワーク110は、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、インターネット等の各種通信網を含み、画像データベース111やサーバ、他の情報機器等と画像処理装置100との通信接続を媒介する。
The network 110 includes various communication networks such as a LAN (Local Area Network), a WAN (Wide Area Network), an intranet, and the Internet, and connects the
画像データベース111は、画像撮影装置112によって撮影された画像データを蓄積して記憶するものである。図1に示す画像処理システム1では、画像データベース111はネットワーク110を介して画像処理装置100に接続される構成であるが、画像処理装置100内の例えば記憶装置103に画像データベース111を設けるようにしてもよい。
The
次に、図2〜図7を参照して、画像処理装置100の動作について説明する。 Next, the operation of the image processing apparatus 100 will be described with reference to FIGS.
画像処理装置100のCPU101は、主メモリ102から図2の3次元動画表示処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。
The
なお、以下の3次元動画表示処理の実行開始に際して、演算対象とする断層像データは画像データベース111等からネットワーク110及び通信I/F104を介して取り込まれ、画像処理装置100の記憶装置103に記憶されているものとする。
At the start of execution of the following three-dimensional moving image display processing, tomographic image data to be calculated is fetched from the
図2の3次元動画表示処理において、まず画像処理装置100のCPU101は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像を入力画像データとして読み込む。ここで読み込む画像は、例えば心臓の動脈弁のように動きのある領域を含む対象についての一連の断層像群とし、対象領域は全時相で同一のままとする。入力画像データの好適な例として、超音波画像、CT画像、またはMR画像等が挙げられる。
なお、対象領域は心臓に限定されるものではなく、他の臓器としてもよい。
In the three-dimensional moving image display process of FIG. 2, first, the
Note that the target region is not limited to the heart, and may be another organ.
CPU101は、読み込んだ画像データから、時相間で変化する領域(変化領域)を決定する。
すなわち、CPU101は、時相の異なる断層像のうち対応するスライス位置の画像(以下、対応画像という)間で差分を算出し(ステップS1)、差分値の大きさが大きい領域を変化領域として決定する(ステップS2)。
The
That is, the
変化領域を決定する際、CPU101は、図3に示すように前後する時相の対応画像から各画素の差分を算出し、その差分値の大きさが所定の閾値より大きい領域を変化領域として決定する。また、変化領域の別の決定方法として、図4に示すように、CPU101は、全時相の対応画像から各画素の最大画素値と最小画素値との差分を算出し、その差分値の大きさが所定の閾値より大きい領域を変化領域として決定するようにしてもよい。
When determining the change area, the
前後時相の断層像に基づいて変化領域を決定する場合は、具体的には、図3(A)に示すように、ある時相t1の断層像群51と次の時相t2の断層像群52との差分を算出する。時相t1の断層像群51は、断層像SL511,SL512,SL513,SL514,・・・から構成され、時相t2の断層像群52は、複数の断層像SL521,SL522,SL523,SL524,・・・から構成されるものとする。CPU101は、例えばSL511とSL521、SL512とSL522のように、対応画像の各画素について画素値(濃度値)の差分を算出する。
When the change region is determined based on the tomographic images at the front and back time phases, specifically, as shown in FIG. 3A, the
そしてCPU101は、対応画像の画素値の差分が所定値より大きい画素についてはフラグ「1」、上記差分が所定値以下の画素についてはフラグ「0」として画素毎に変化フラグを設定し、フラグ格納面6に格納する。同様に全てのスライス位置についてのフラグ格納面6を主メモリ102に保持する。なお、このフラグ格納面6は比較した時相毎に作成されることとなる。
Then, the
図3(B)に示すように、変化フラグ「1」が設定された領域を変化領域61、62として決定することができる。
また、図3(C)に示すように、算出した変化領域61,62の周囲を拡張し、拡張した領域63,64を変化領域とすることが望ましい。領域の拡張は、拡張領域63のように直方体に拡張しても良いし、拡張領域64のように相似形に拡張しても良いし、図示しないが楕円球としてもよい。このように変化領域を広く抽出しておくことにより、後の処理で生成される3次元画像の正確さを向上でき、医用画像としての信頼性を高めることができる。また拡張領域63のように直方体に拡張した場合は、変化領域が三軸方向の各最大座標及び最小座標のみで決定されることとなるため小さなデータ量で保存でき、メモリ領域の縮小に寄与できる。
As shown in FIG. 3B, the areas where the change flag “1” is set can be determined as the
Further, as shown in FIG. 3C, it is desirable that the periphery of the
一方、変化領域を決定する別の手法として、全時相の対応画像から各画素の最大画素値と最小画素値との差分を算出する場合には、CPU101は、図4(A)に示すように、時相t1〜tNの全ての時相の断層像群51〜断層像群5Nから、各画素について最小画素値及び最大画素値を求める。この演算はスキャン中に行ってもよいし、スキャン終了後に行ってもよい。
図4(B)に示すように、各断層像の各画素について最小画素値及び最大画素値が決定すると、CPU101は最小画素値と最大画素値との差分を算出する。
On the other hand, as another method for determining the change area, when calculating the difference between the maximum pixel value and the minimum pixel value of each pixel from the corresponding images of all time phases, the
As shown in FIG. 4B, when the minimum pixel value and the maximum pixel value are determined for each pixel of each tomographic image, the
そしてCPU101は、図3の例と同様に、上記差分が所定値より大きい画素については変化フラグ「1」、上記差分が所定値以下の画素については変化フラグ「0」のように画素毎に変化フラグを設定し、フラグ格納面6に格納する。同様に全てのスライス位置についてフラグ格納面6を生成し、主メモリ102に保持する。なお、この場合フラグ格納面6は全時相に一つとなる。
この結果、図4(C)に示すように、変化フラグ「1」が設定された領域を変化領域61として決定することができる。また、図3の例と同様に図4(D)に示すように、変化領域61の周囲を拡張し、拡張領域63を変化領域とすることが望ましい。
Similarly to the example of FIG. 3, the
As a result, as shown in FIG. 4C, an area in which the change flag “1” is set can be determined as the
なお、図4の例では、上述のようにすべての時相について画素値の大きさを比較してもよいし、処理時間の短縮のためにある程度時相を間引いて変化領域を決定してもよい。 In the example of FIG. 4, the pixel values may be compared for all time phases as described above, or the change region may be determined by thinning out the time phases to some extent in order to shorten the processing time. Good.
図3に示す例では、前後する時相(連続する二つの時相)の断層像間で対応画像を比較するため、変化領域の抽出結果は時相毎に異なるのに対し、図4に示す例では、時相全体で対応画像を比較して変化領域を抽出するため、変化領域が時相毎に変化しない。よって、図3の手法では時間による変化をより細かく捉え、より信頼性の高い3次元動画を得ることとなる。一方、図4の手法では全体的な変化の要所を捉えつつ、変化領域決定に要する処理量を比較的少なくできる。従って、変化領域の決定にどちらの手法を使用するかは、要求される画像の信頼性や、処理時間、あるいは対象領域に応じて選択すべきである。 In the example shown in FIG. 3, since the corresponding images are compared between the tomographic images of the preceding and succeeding time phases (two consecutive time phases), the change region extraction results differ for each time phase. In the example, since the change area is extracted by comparing the corresponding images in the entire time phase, the change area does not change for each time phase. Therefore, the method of FIG. 3 captures changes with time more finely and obtains a more reliable three-dimensional video. On the other hand, with the method of FIG. 4, it is possible to relatively reduce the amount of processing required for determining the change area while grasping the key points of overall change. Therefore, which method should be used to determine the change area should be selected according to the required image reliability, processing time, or target area.
ステップS1〜ステップS2の処理によって変化領域を決定すると、次に、CPU101は3次元画像の生成を開始する。
このとき、CPU101はある時相、例えば最初の時相について全体の3次元画像を生成し、ステップS1〜S2で決定した変化領域については更に、各時相についてそれぞれ3次元画像を生成する(ステップS3)。
そして、ある時相(例えば最初の時相)についての3次元画像内に、変化領域の各時相の3次元画像をそれぞれ合成した埋め込み画像を生成し、時系列に順次表示することにより動画表示とする(ステップS4)。
When the change area is determined by the processing of step S1 to step S2, the
At this time, the
Then, in the three-dimensional image for a certain time phase (for example, the first time phase), an embedded image obtained by synthesizing the three-dimensional image of each time phase of the change region is generated and displayed in time series to display a moving image. (Step S4).
3次元画像の生成は、図5に示すような中心投影法としてもよいし、図6にしめすような平行投影法としてもよい。
図5に示すように、時相t2の断層像群52の3次元画像を生成する場合、CPU101は時相t2についてのフラグ格納面6を参照して変化領域61(または拡張した変化領域63)、変化領域62(または拡張した変化領域64)についての3次元画像71、72を構成する。その他の領域については、既に演算済みの別の時相(例えばt1)の全領域3次元画像73を利用(コピー)する。
The three-dimensional image may be generated by the central projection method as shown in FIG. 5 or the parallel projection method shown in FIG.
As shown in FIG. 5, when generating a three-dimensional image of the
図5の投影面7には、時相t2の断層像52の変化領域61(その拡張領域63)の3次元画像71と、時相t2の断層像52の変化領域62(その拡張領域64)の3次元画像72とが投影されるとともに、その他の領域の画像としてある時相(例えばt1)の3次元画像73が投影される。他の時相についても、同様に、変化領域の3次元画像を生成し、その他の領域については既に演算済みの時相の3次元画像を利用し、合成する。
On the
また、図6に示すように、平行投影法により3次元画像を生成する場合も同様に、変化領域61(または拡張した変化領域63)や変化領域62(または拡張した変化領域64)について3次元画像81、82を構成し、その他の領域については、既に演算済みの別の時相(例えばt1)の3次元画像83を利用(コピー)する。
図6の投影面8には、時相t2の断層像52の変化領域61(その拡張領域63)の3次元画像81と、変化領域62(その拡張領域64)の3次元画像82とが投影されるとともに、ある時相(例えばt1)の3次元画像83が投影される。他の時相についても、同様に、変化領域の3次元画像を生成し、その他の領域については既に演算済みの時相の3次元画像を合成する。
Further, as shown in FIG. 6, when a three-dimensional image is generated by the parallel projection method, similarly, a three-dimensional image of the change area 61 (or the extended change area 63) or the change area 62 (or the extended change area 64) is used. The
A projection plane 8 in FIG. 6 projects a three-
次に、図7を参照して、3次元動画表示処理における画像の生成及び表示の手順を詳細に説明する。
なお、図7に示す処理の開始までに、図2のステップS1及びステップS2の処理によって、対象画像から変化領域が決定されているものとする。
Next, a procedure for generating and displaying an image in the three-dimensional moving image display process will be described in detail with reference to FIG.
Note that it is assumed that the change area has been determined from the target image by the processing in steps S1 and S2 in FIG. 2 before the start of the processing illustrated in FIG.
図7の処理において、まず、CPU101は、最初の時相t1の全領域の3次元画像(全領域3D)を構成する(ステップS101)。その後、次の時相t2の変化領域の3次元画像(変化領域3D)を構成する(ステップS102)。そして、最初時相t1の全領域3Dに次の時相t2の変化領域3Dを上塗りするように合成し、3次元合成画像とする。
In the process of FIG. 7, first, the
ここで上塗りとは、既に生成済みの全領域3Dを投影面にコピーし、そのコピー画像の変化領域の部分のみを新たに生成した画像に更新することをいう。或いはその逆に、変化領域の画像を生成した投影面に、既に生成済みの全領域3Dの変化領域以外の部分の画像をコピーして合成する。
つまり、変化領域については時刻t2の画像、その他の領域については時刻t1の画像が1画面内に合成される。
この上塗り合成された画像を以下、埋め込み画像と呼ぶ。
この段階で生成されている各時相の3次元画像(時刻t1の全領域3Dと時刻t2の埋め込み画像)は表示装置107に順次表示される。或いは、ユーザの選択操作に応じて、非表示としてもよい(ステップS103)。
Here, overcoating refers to copying all the already generated area 3D to the projection plane and updating only the changed area portion of the copy image with the newly generated image. Or conversely, the image of the part other than the change area of the already generated all areas 3D is copied and synthesized on the projection plane where the image of the change area is generated.
That is, the image at time t2 is synthesized for the change area, and the image at time t1 is synthesized in one screen for the other areas.
This overcoated image is hereinafter referred to as an embedded image.
The three-dimensional images of each time phase generated at this stage (the entire region 3D at time t1 and the embedded image at time t2) are sequentially displayed on the
CPU101は、全時相での変化領域3Dが終了したか否かを判定し、まだ全時相での変化領域3Dを構成していない場合は(ステップS104;No)、ステップS102に戻り、次の時相での変化領域3Dを構成し、最初時相の全領域3Dに上塗り合成する。
The
全時相での変化領域3Dの構成が終了した場合は(ステップS104;Yes)、次に、全時相の全領域3Dの構成を開始する。ここでは全領域3Dの構成処理は、本処理(ステップS101〜S110)の別のプロシジャ、プロセスまたはメソッドとして実行されるようにする。 When the configuration of the change area 3D in all time phases is completed (step S104; Yes), the configuration of the entire area 3D in all time phases is started. Here, the configuration process of the entire area 3D is executed as another procedure, process, or method of this process (steps S101 to S110).
CPU101は、ステップS101〜ステップS104の処理によって生成した埋め込み画像を時系列に順次表示している(ステップS105)。
The
一方で、ステップS104の後に起動したプロシジャ(全領域3D構成処理)では、まず最初時相の全領域3Dを演算し(ステップS201)、演算結果を本処理側に渡す(ステップS202)。なお、最初時相の全領域3Dは、ステップS101において生成済みであるため、ステップS201〜ステップS202の処理は省略してもよい。また、次の時相の全領域3Dを演算し(ステップS203)、演算結果を本処理側に渡す(ステップS204)。ステップS203〜ステップS204を全ての時相について繰り返し、全ての時相について全領域3Dの演算が終了した場合は(ステップS205)、全領域3D構成処理を終了する。 On the other hand, in the procedure (all region 3D configuration processing) started after step S104, first, all region 3D in the first time phase is calculated (step S201), and the calculation result is passed to the main processing side (step S202). Note that the entire initial time phase region 3D has already been generated in step S101, and thus the processing in steps S201 to S202 may be omitted. Further, the entire area 3D of the next time phase is calculated (step S203), and the calculation result is passed to the processing side (step S204). Steps S203 to S204 are repeated for all the time phases, and when the calculation of the entire area 3D is completed for all the time phases (step S205), the entire area 3D configuration process is ended.
一方、本処理側では、埋め込み3D動画を表示しつつ、プロシジャ(全領域3D構成処理)が特定時相での全領域3Dを演算したかを調べ、演算結果を得ている場合には(ステップS106;Yes)、その時相の全領域3Dで、同じ時相の埋め込み画像を置き換える(ステップS107)。CPU101は、ステップS106〜ステップS107の置き換え処理を全ての時相について順次画像を置き換える。
On the other hand, on the processing side, while displaying the embedded 3D video, it is checked whether the procedure (all area 3D configuration process) has calculated all areas 3D in a specific time phase. S106; Yes), the embedded image of the same time phase is replaced with the entire region 3D of that time phase (step S107). The
CPU101は、全ての時相についての置き換えが終了すると(ステップS108;Yes)、全領域3Dを時系列に順次表示して動画表示とする(ステップS109)。その後、ユーザにより終了指示が入力されると(ステップS110;Yes)、本処理を終了する。
When the replacement for all the time phases is completed (step S108; Yes), the
以上説明したように、第1の実施の形態の画像処理装置100は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像について、対象領域のうち、時相間で変化が大きい変化領域を決定する。そして、ある時相の一連の断層像を用いて、前記対象領域全体についての3次元画像(全領域3D)を生成するとともに、変化領域については、各時相の一連の断層像を用いて3次元画像(変化領域3D)をそれぞれ生成する。そして、ある時相の全領域3Dに各時相での変化領域3Dを上塗り合成し、各時相の3次元合成画像(埋め込み画像)を生成し、時系列に順次表示する。 As described above, the image processing apparatus 100 according to the first embodiment has a large change between time phases in a target region for each series of tomographic images obtained by intermittently capturing the target region over time. Determine the area. Then, a three-dimensional image (entire region 3D) of the entire target region is generated using a series of tomographic images at a certain time phase, and a change region is represented by 3 using a series of tomographic images at each time phase. A dimensional image (change area 3D) is generated. Then, the change area 3D in each time phase is overcoated with the entire area 3D in a certain time phase, a three-dimensional synthesized image (embedded image) in each time phase is generated, and sequentially displayed in time series.
従って、対象領域のうち、動きの大きい部位(変化領域)についてのみ、各時相の3次元画像を構成するが、その他の領域についてはある時相についての3次元画像を利用できるので、演算量を少なくでき、3D動画の演算処理に要する時間が短縮できる。そのため、3D動画を表示させるための待ち時間を短くすることができる。 Accordingly, a three-dimensional image of each time phase is configured only for a portion (change region) having a large movement in the target region, but a three-dimensional image of a certain time phase can be used for the other regions. Can be reduced, and the time required for the calculation processing of the 3D moving image can be shortened. Therefore, the waiting time for displaying the 3D moving image can be shortened.
また、対象領域から変化領域を決定する際に、前後する時相(連続する二つの時相)で対応画像を比較する手法を用いる場合には、変化を細かく捉えることができ、より信頼性の高い3次元動画を得られる。
また、時相全体で対応画像を比較する手法を用いる場合には、変化領域決定に要する処理量がより少なくなり、処理時間をより短縮できる。
In addition, when determining the change area from the target area, when using a method that compares the corresponding images in the preceding and following time phases (two consecutive time phases), the change can be captured in detail and more reliable. High 3D video can be obtained.
In addition, when using a method of comparing corresponding images in the entire time phase, the processing amount required for determining the change area is reduced, and the processing time can be further shortened.
また、3次元画像の生成と表示の手順として、本実施の形態に示すように、例えば最初時相の対象領域全体についての3次元画像(全領域3D)を生成した後に、各時相の変化領域についてのみ3次元画像(変化領域3D)をそれぞれ生成し、はじめに、前記最初時相の全領域3Dと、各時相の前記変化領域3Dとを合成した3次元合成画像(埋め込み画像)を時系列に順次表示し、次に、全ての時相について全領域3Dを生成して時系列に順次表示するようにすれば、正確な3次元画像の演算が終了するまでの間に、埋め込み画像を高速に構成して表示できるため、ユーザは少ない待ち時間で埋め込み画像による大まかな表示内容を視認でき、かつ後の段階では正確な3次元画像を用いて画像診断を行える。 As a procedure for generating and displaying a three-dimensional image, as shown in the present embodiment, for example, after generating a three-dimensional image (entire region 3D) for the entire target region of the first time phase, each time phase changes A three-dimensional image (change region 3D) is generated only for each region, and first, a three-dimensional composite image (embedded image) obtained by combining the entire region 3D in the first time phase and the change region 3D in each time phase is If all regions 3D are generated for all time phases and then all regions 3D are generated and sequentially displayed in time sequence, the embedded image is displayed until the calculation of the accurate three-dimensional image is completed. Since it can be configured and displayed at a high speed, the user can visually check the display contents of the embedded image with a small waiting time, and can perform image diagnosis using an accurate three-dimensional image at a later stage.
なお、上述の実施の形態では、最初時相(t1)の全領域3Dを基準画像とし、変化領域3Dをこの基準画像に合成し、埋め込み画像を生成する例を示したが、基準画像は、最初時相に限らず他の時相の全領域3Dとしてもよい。 In the above-described embodiment, an example in which the entire region 3D in the initial time phase (t1) is used as a reference image and the change region 3D is combined with the reference image to generate an embedded image has been described. Not only the initial time phase but also the entire region 3D of other time phases may be used.
[第2の実施の形態]
次に、図8〜図11を参照して、本発明の第2の実施の形態について説明する。
第2の実施の形態の画像処理装置100のハードウエア構成は第1の実施の形態と同様であるので説明を省略し、同一の各部は同一の符号を用いることとする。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIGS.
Since the hardware configuration of the image processing apparatus 100 of the second embodiment is the same as that of the first embodiment, description thereof is omitted, and the same reference numerals are used for the same parts.
第2の実施の形態の画像処理装置100は、3次元画像生成の演算モードとして、「変化領域のみモード」、「高/低密度」モード、「高/低フレームレート」モードの3種類のモードを有し、操作者の所望する演算モードを選択可能とする。各モードの説明は後述する。 The image processing apparatus 100 according to the second embodiment has three types of operation modes for generating a three-dimensional image: “change area only mode”, “high / low density” mode, and “high / low frame rate” mode. The calculation mode desired by the operator can be selected. Each mode will be described later.
図8に示すように、3次元画像を生成する処理の実行に先立ち、CPU101は演算モード選択画面9を表示装置107に表示する。演算モード選択画面9には、画像表示エリア91と、演算モードを選択するための各種ボタン96、97、98、及び終了ボタン99等が表示される。
As shown in FIG. 8, the
「変化領域のみ」モードは、第1の実施の形態にて説明したように、変化領域のみ各時相の3次元画像を生成し、これを既に演算済みの、ある時相の全領域3Dに上塗り合成して、埋め込み動画を表示するモードである。 In the “change region only” mode, as described in the first embodiment, a three-dimensional image of each time phase is generated only in the change region, and this is already calculated and applied to all regions 3D in a certain time phase. This is a mode for overlay painting and displaying embedded video.
「高/低密度」モードとは、図8に示すように、変化領域95については高画素密度に3次元画像を生成し、その他の領域93については低画素密度に3次元画像を生成するモードである。
As shown in FIG. 8, the “high / low density” mode is a mode in which a three-dimensional image is generated at a high pixel density for the
「高/低フレームレート」モードとは、変化領域については3次元画像を高フレームレート(例えば、全時相)で生成し、その他の領域を含む全領域については低フレームレート、すなわち時相を間引いて3次元画像を生成するモードである。例えば、全時相を複数時相毎に区切り、各区間に1つ全領域3Dを生成するとともに各時相の変化領域3Dを生成し、その区間の全領域3Dに上塗り合成して埋め込み画像とする。 “High / low frame rate” mode means that a three-dimensional image is generated at a high frame rate (for example, all time phases) for a change region, and a low frame rate, that is, a time phase is set for all regions including other regions. In this mode, a three-dimensional image is generated by thinning. For example, all time phases are divided into a plurality of time phases, one entire region 3D is generated for each section, and a change region 3D for each time phase is generated. To do.
演算モード選択画面9において、演算モードの選択ボタン96が押下操作され、「高/低密度」モードが選択されると、CPU101は、図9に示す「高/低密度」モードの演算処理を実行する。
なお、図9に示す「高/低密度」モードの演算処理の開始までに、図2のステップS1及びステップS2の処理によって、対象画像から変化領域が決定されているものとする。
When the calculation
Note that it is assumed that the change region is determined from the target image by the processing in step S1 and step S2 in FIG. 2 before the calculation processing in the “high / low density” mode illustrated in FIG. 9 is started.
図9の「高/低密度」モードの演算処理において、まずCPU101は、最初の時相t1について、全領域低密度で3次元画像を構成し、これを基準画像とする(ステップS301)。その後、次の時相t2について、変化領域のみ高密度で3次元画像を構成する(ステップS302)。そして、変化領域3D(高密度)を、ステップS301で演算済みの基準画像(全領域低密度画像)に上塗り合成し、高/低密度3次元画像(高/低密度3D)とする(ステップS303)。この段階で生成されている各時相の高/低密度3Dは表示装置107に順次表示される。或いは、ユーザの選択操作に応じて、非表示としてもよい(ステップS303)。
In the calculation processing in the “high / low density” mode of FIG. 9, first, the
CPU101は、全時相での高/低密度3Dの構成が終了したか否かを判定し、まだ全時相での高/低密度3Dを構成していない場合は(ステップS304;No)、ステップS302に戻り、次の時相での高/低密度3Dを構成する。
The
全時相での高/低密度3Dの構成が終了した場合は(ステップS304;Yes)、次に、CPU101は、全領域について高密度に3次元画像を構成する処理を開始する。ここでは全領域高密度3Dの構成処理は、高/低密度モード演算処理の別のプロシジャ、プロセスまたはメソッドとして実行されるようにする。
When the configuration of the high / low density 3D in all time phases is completed (step S304; Yes), the
CPU101は、ステップS301〜ステップS304の処理によって生成した高/低密度3Dを時系列に順次表示する(ステップS305)。
The
一方、ステップS304で起動したプロシジャ(全領域高密度3D構成処理)では、まず最初時相の全領域高密度3Dを演算し(ステップS401)、演算結果を本処理側に渡す(ステップS402)。また、次の時相の全領域高密度3Dを演算し(ステップS403)、演算結果を本処理側に渡す(ステップS404)。ステップS403〜ステップS404を全ての時相について繰り返し、全ての時相について全領域高密度3Dの演算が終了した場合は(ステップS405)、このプロシジャを終了する。 On the other hand, in the procedure (all-area high-density 3D configuration process) activated in step S304, first, all-area high-density 3D in the first time phase is calculated (step S401), and the calculation result is passed to the main processing side (step S402). In addition, the next area high density 3D of the next time phase is calculated (step S403), and the calculation result is transferred to the main processing side (step S404). Steps S403 to S404 are repeated for all time phases, and when the calculation of all-region high-density 3D is completed for all time phases (step S405), this procedure is ended.
一方、高/低密度モードの演算処理では、高/低密度3Dを表示しつつ、プロシジャ(全領域高密度3D構成処理)が特定時相での全領域高密度3Dを演算したかを調べ、演算結果を得ている場合には(ステップS306;Yes)、その時相の全領域高密度3Dで、同じ時相の高/低密度3Dを置き換える(ステップS307)。CPU101は、ステップS306〜ステップS307の置き換え処理を全ての時相について順次画像を置き換える。
On the other hand, in high / low density mode calculation processing, while displaying high / low density 3D, check whether the procedure (all region high density 3D configuration processing) calculated full region high density 3D in a specific time phase, When the calculation result is obtained (step S306; Yes), the high / low density 3D of the same time phase is replaced with the high density 3D of the entire region of the time phase (step S307). The
CPU101は、全ての時相についての置き換えが終了すると(ステップS308;Yes)、全領域高密度3Dを時系列に順次表示して、動画表示とする(ステップS309)。その後、ユーザにより終了指示が入力されると(ステップS310;Yes)、一連の高/低密度モードの演算処理を終了する。
When the replacement for all the time phases is completed (step S308; Yes), the
次に、図10、図11を参照して「高/低フレームレート」モードについて説明する。 Next, the “high / low frame rate” mode will be described with reference to FIGS. 10 and 11.
演算モード選択画面9において、演算モードの選択ボタン98が押下操作され、「高/低フレームレート」モードが選択されると、CPU101は、図10に示す「高/低フレームレート」モードの演算処理を実行する。
なお、図10に示す「高/低フレームレート」モードの演算処理の開始までに、図2のステップS1及びステップS2の処理によって、対象画像から変化領域が決定されているものとする。また、全時相を複数時相毎に区切り、区間を設定する。1区間の長さはユーザが任意に設定してもよいし、動画のフレームレート(時相刻み)や対象部位に応じて、予め適当な区間が設定されるものとしてもよい。
When the computation
Note that it is assumed that the change area is determined from the target image by the processing in step S1 and step S2 in FIG. 2 before the calculation processing in the “high / low frame rate” mode illustrated in FIG. 10 is started. Further, all time phases are divided into a plurality of time phases, and sections are set. The length of one section may be arbitrarily set by the user, or an appropriate section may be set in advance according to the frame rate (time phase increment) of the moving image and the target part.
図10の「高/低フレームレート」モードの演算処理において、まず、CPU101は、最初の区間内の最初の時相t1の全領域3Dを構成する(ステップS501)。その後、次の時相t2の変化領域3Dを構成する(ステップS502)。そして、最初時相t1の全領域3Dに次の時相t2の変化領域3Dを上塗りするように合成し、3次元合成画像(埋め込み画像)とする。つまり、変化領域については時刻t2の画像、その他の領域については時刻t1の画像が合成され、1つの埋め込み画像が生成される。
この段階で生成されている各時相の3次元画像(全領域3Dまたは埋め込み画像)は表示装置107に順次表示される。或いは、ユーザの選択操作に応じて、非表示としてもよい(ステップS503)。
In the calculation processing in the “high / low frame rate” mode of FIG. 10, first, the
The three-dimensional images (all regions 3D or embedded images) of each time phase generated at this stage are sequentially displayed on the
CPU101は、1区間内の全時相での変化領域3Dの構成が終了したか否かを判定し、まだ1区間内の全時相の変化領域3Dを構成していない場合は(ステップS504;No)、ステップS502に戻り、その区間の次の時相での変化領域3Dを構成し、最初時相に上塗り合成し、埋め込み画像を生成する。
The
1区間内の全時相での変化領域3Dの構成が終了した場合は(ステップS504;Yes)、更に、全区間について上述のステップS501〜ステップS504の処理が終了したか否かを判定し(ステップS505)、終了していない場合はステップS501〜ステップS504の処理を繰り返す。全区間について処理が終了すると、次に、全時相の全領域3Dの構成を開始する(図7のステップS201へ)。ここでは全時相の全領域3Dの構成処理は、第1の実施の形態の処理手順と同様に、別のプロシジャ、プロセスまたはメソッドとして実行されるようにする。 When the configuration of the change region 3D in all time phases within one section is completed (step S504; Yes), it is further determined whether or not the processing of the above-described steps S501 to S504 is completed for all sections ( Step S505), if not completed, the processing of Step S501 to Step S504 is repeated. When processing is completed for all sections, the configuration of all areas 3D for all time phases is started (to step S201 in FIG. 7). Here, the configuration processing of all the areas 3D in all time phases is executed as another procedure, process, or method, as in the processing procedure of the first embodiment.
以降の処理は、図7のステップS105以降と同様とする。
すなわち、全時相の全領域3Dを生成し、演算結果を本処理(高/低フレームレート演算処理)側に渡す一方で、ステップS501〜ステップS505の処理で生成した埋め込み画像を表示する。そして、特定時相での全領域3Dが生成されると、その時相の全領域3Dで同じ時相の埋め込み画像を置き換える。このようにして全ての時相についての置き換えが終了すると、全領域3Dを時系列に順次表示して動画表示とする。その後、ユーザにより終了指示が入力されると一連の高/低フレームレート演算処理を終了する。
The subsequent processing is the same as that after step S105 in FIG.
That is, the entire region 3D of all time phases is generated, and the calculation result is passed to the main processing (high / low frame rate calculation processing) side, while the embedded image generated by the processing in steps S501 to S505 is displayed. When the entire area 3D in the specific time phase is generated, the embedded image in the same time phase is replaced with the entire area 3D in that time phase. When the replacement for all the time phases is completed in this way, the entire area 3D is sequentially displayed in time series to display a moving image. Thereafter, when an end instruction is input by the user, a series of high / low frame rate calculation processing ends.
図11に「高/低フレームレート」モードで構成された3次元画像を示す。
図11の例では、1区間をt1、t2、t3のように連続した3つの時相とする。すると、全領域3Dは、時相t1、t4、・・・、tN−2のように、所定の間隔で生成される。一方、変化領域の3次元画像は全ての時相t1、t2、t3、・・・tNについて生成され、該当区間の全領域3Dに上塗り合成される。よって、変化領域については各時相で更新され、その他の領域については所定の区間毎に更新されることとなる。
FIG. 11 shows a three-dimensional image configured in the “high / low frame rate” mode.
In the example of FIG. 11, one section is assumed to be three time phases that are continuous like t1, t2, and t3. Then, the entire region 3D is generated at predetermined intervals as in the time phases t1, t4,..., TN-2. On the other hand, the three-dimensional image of the change area is generated for all the time phases t1, t2, t3,... TN, and is overcoated with the entire area 3D of the corresponding section. Therefore, the change area is updated at each time phase, and the other areas are updated every predetermined section.
以上説明したように、第2の実施の形態の画像処理装置100は、演算モードの選択を可能とし、「高/低密度」モードが選択された場合は、各時相の3次元画像を、変化領域については高密度に構成し、その他の領域については演算済みの全領域低密度3Dを利用する。そして、生成した高/低密度3次元画像を時系列に順次表示する。また、「高/低フレームレート」モードが選択された場合は、低フレームレートで全領域3Dを生成し、高フレームレートで変化領域3Dを生成する。 As described above, the image processing apparatus 100 according to the second embodiment enables selection of the calculation mode. When the “high / low density” mode is selected, the three-dimensional image of each time phase is The change area is configured with a high density, and the other areas are calculated using the calculated low density 3D of the entire area. The generated high / low density three-dimensional images are sequentially displayed in time series. When the “high / low frame rate” mode is selected, the entire region 3D is generated at a low frame rate and the change region 3D is generated at a high frame rate.
従って、「高/低密度」モードでは、対象領域のうち、動きの大きい部位(変化領域)については、高密度で忠実に3次元画像を構成するが、その他の領域については低密度の3次元画像が利用されるため、演算量を省略することができ、処理時間を短縮できる。そのため、3次元動画を表示させるための待ち時間を短くすることができる。
また、「高/低フレームレート」モードでは、対象領域のうち、動きの大きい部位(変化領域)については、高フレームレートで忠実に3次元画像を構成するが、その他の領域については低フレームレートで3次元画像を構成するため、全体としては演算量を省略しつつも、第1実施形態の処理(「変化領域のみ」モード)と比較して、その他の領域についての画像の信頼性を向上できる。
Therefore, in the “high / low density” mode, a three-dimensional image is formed with high density and faithfully in a region (change region) having a large movement in the target region, but a low-density three-dimensional image is formed in other regions. Since an image is used, the amount of calculation can be omitted, and the processing time can be shortened. Therefore, the waiting time for displaying the three-dimensional moving image can be shortened.
Further, in the “high / low frame rate” mode, a region (change region) having a large movement in the target region faithfully forms a three-dimensional image at a high frame rate, but the other regions have a low frame rate. Since the three-dimensional image is composed of the above, the amount of calculation is omitted as a whole, but the reliability of the image in other regions is improved as compared with the processing of the first embodiment (“change region only” mode). it can.
また、第1の実施の形態と同様に、3次元画像の構成と表示の手順として、はじめに、高/低密度3次元画像(或いは高/低フレームレートで生成した全領域画像及び埋め込み画像)を時系列に順次構成・表示し、次に、各時相の全領域高密度3Dを時系列に順次構成・表示するようにすれば、ユーザは少ない待ち時間で大まかな表示内容を視認でき、かつ後の段階では正確な3次元画像を確認できる。 Similarly to the first embodiment, as a procedure for constructing and displaying a three-dimensional image, first, a high / low density three-dimensional image (or an all-region image and an embedded image generated at a high / low frame rate) is used. By configuring and displaying sequentially in chronological order, and then configuring and displaying all areas of high density 3D in each time phase sequentially in chronological order, the user can visually recognize the rough display contents with less waiting time, and At a later stage, an accurate three-dimensional image can be confirmed.
なお、第2の実施の形態の「高/低密度」モードにおける画素の密度は、要求される演算時間や画質に応じて適当なものに設定されることが望ましい。或いは、高/低の各画素密度をユーザが任意に設定可能としてもよい。
同様に、「高/低フレームレート」モードにおけるフレームの区間も、要求される演算時間や画質に応じて適当なものに設定されることが望ましい。
It should be noted that the pixel density in the “high / low density” mode of the second embodiment is desirably set to an appropriate value according to the required calculation time and image quality. Alternatively, the user may arbitrarily set the pixel density of high / low.
Similarly, it is desirable that the frame section in the “high / low frame rate” mode is set to an appropriate value according to the required calculation time and image quality.
また、「高/低密度」モードにおいて、変化領域以外の領域については、全時相にわたってある時相の低密度3Dを利用するものとしたが、各時相で変化領域以外の低密度3Dを構成し、変化領域の高密度3Dとともに表示すれば、画像の正確さが向上する。また、要求する画質や処理時間に応じて、「高/低密度」と「高/低フレームレート」とを適宜組み合わせ、変化領域については、高密度かつ高フレームレートで3次元画像を生成し、その他の領域では低密度かつ低フレームレートで3次元画像を生成するようにしてもよい。 In the “high / low density” mode, the low density 3D of the time phase is used for all regions other than the change region, but the low density 3D other than the change region is used for each time phase. If configured and displayed with high density 3D of the changing region, the accuracy of the image is improved. In addition, according to the required image quality and processing time, “high / low density” and “high / low frame rate” are appropriately combined, and a three-dimensional image is generated at a high density and high frame rate for the change region, In other regions, a three-dimensional image may be generated at a low density and a low frame rate.
[第3の実施の形態]
次に、図12を参照して、本発明の第3の実施の形態について説明する。
第3の実施の形態では、画像処理装置100は、時間経過に伴い断続的に撮影した各時相の各一連の断層像とともに、その時間に計測した被検者の心拍データ或いは呼吸データを取得し、取得した心拍データまたは呼吸データから動きの周期を解析し、この解析結果を利用して画像の演算処理を簡略化する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described with reference to FIG.
In the third embodiment, the image processing apparatus 100 acquires a series of tomographic images of each time phase taken intermittently with the passage of time and the heartbeat data or respiratory data of the subject measured at that time. Then, the period of movement is analyzed from the acquired heartbeat data or respiration data, and the calculation processing of the image is simplified using the analysis result.
第3の実施の形態の画像処理装置100のハードウエア構成は、第1の実施の形態の画像処理装置100と同様であるので説明を省略し、同一の各部は同一の符号を用いることとする。 Since the hardware configuration of the image processing apparatus 100 according to the third embodiment is the same as that of the image processing apparatus 100 according to the first embodiment, the description thereof is omitted, and the same parts are denoted by the same reference numerals. .
第3の実施の形態の画像処理装置100において、更に演算量を減らすため、CPU101は、心拍データまたは呼吸データの周期的に対応する時相の、対応する断層像同士を比較し、差分のある領域についてのみ3次元画像を生成し、差分のない領域については演算済みの基準画像を利用する。なお、基準とする1周期分の画像については、第1の実施の形態或いは第2の実施の形態の手法(「変化領域のみ」モード、「高/低密度」モード、「高/低フレームレート」モードのいずれでもよい)により、各時相の3次元画像が生成されているものとする。
In the image processing apparatus 100 according to the third embodiment, in order to further reduce the amount of calculation, the
図12に第3の実施の形態における3次元画像生成の概念図を示す。
図12(A)は、被検者の心電波形データであり、横軸は時間tである。
図12(A)に示す心電波形データの各周期をl1、l2、・・とすると、通常、時刻t1aと時刻t2a、時刻t1bと時刻t2b、時刻t1cと時刻t2cのように、周期的に対応する時刻(時相)における心電波形データはそれぞれほぼ一致する。そして周期の対応する時相同士は断層像の差分が小さい。
FIG. 12 shows a conceptual diagram of three-dimensional image generation in the third embodiment.
FIG. 12A shows the electrocardiographic waveform data of the subject, and the horizontal axis is time t.
Assuming that the periods of the electrocardiogram waveform data shown in FIG. 12 (A) are l1, l2,... The electrocardiographic waveform data at the corresponding time (time phase) are almost the same. And the time phase corresponding to a period has a small difference of a tomogram.
そこで、図12(B)に示すように、時相t1a、t1b、t1c、・・・、t2a、t2b、t2c、・・・、t3a、t3b、t3c、・・・のように周期的に変化する一連の断層像が入力画像データとして用いられている場合において、CPU101は、まず1周期目について、第1及び第2の実施の形態の手法により各時相の3次元画像を生成し、2周期目以降については、1周期目と周期的に対応する時相の対応する断層像同士を比較し、差分を求め、差分のある領域についてのみ3次元画像を構成する。そして、CPU101は、周期的に対応する時相の、すでに生成済みの3次元画像(ここでは1周期目の3次元画像)に差分領域の画像を上塗り合成し、埋め込み画像とする。
Therefore, as shown in FIG. 12 (B), the time phases t1a, t1b, t1c,..., T2a, t2b, t2c,..., T3a, t3b, t3c,. In the case where a series of tomographic images are used as input image data, the
このように、心拍や呼吸のような周期的な動きのある画像については、その周期性を利用し、基準とする周期について、変化領域を忠実に演算した3次元画像を生成しておき、その他の周期については、周期的に対応する時相での差分領域のみを更新し、差分のない領域は演算済みの対応する時相の3次元画像をそのまま利用すればよい。
このように、第3の実施の形態の画像処理装置100では、動きの周期性を利用し、差分のみを演算するので、全体の演算量を低減させることができる。
As described above, for an image having a periodic motion such as heartbeat or respiration, the periodicity is used to generate a three-dimensional image in which a change region is faithfully calculated for a reference period. For the period of, only the difference area in the time phase corresponding periodically is updated, and the calculated three-dimensional image in the corresponding time phase is used as it is for the area having no difference.
As described above, in the image processing apparatus 100 according to the third embodiment, since only the difference is calculated using the periodicity of motion, the overall calculation amount can be reduced.
以上、第1〜第3の実施の形態にて説明したように、本発明の画像処理装置は、対象領域を時間経過に伴い断続的に撮影した各一連の断層像から3次元動画を生成・表示する際に、対象領域のうち、時相間で変化が大きい変化領域を決定し、変化領域については忠実に3次元画像を生成し、その他の領域については簡略に3次元画像を生成し、生成された3次元画像を時系列に順次表示する。
したがって、時間経過に伴い変化する領域を含む断層像に基づいて、高速に3次元動画を生成し、表示できる。
As described above, as described in the first to third embodiments, the image processing apparatus of the present invention generates a three-dimensional moving image from each series of tomographic images obtained by intermittently photographing a target region with time. When displaying, a change area having a large change between time phases is determined among the target areas, and a three-dimensional image is generated faithfully for the change area, and a three-dimensional image is simply generated for the other areas. The obtained three-dimensional images are sequentially displayed in time series.
Therefore, a three-dimensional moving image can be generated and displayed at high speed based on a tomographic image including a region that changes with time.
なお、本発明は第1から第3の実施の形態を適宜組み合わせてもよい。例えば、第3の実施の形態において周期を考慮して生成した3次元動画像についても、第1、第2の実施の形態の各表示処理と同様に、はじめの段階では差分のみを生成した合成画像を表示し、後の段階で全領域の3次元画像を忠実に生成して表示することが望ましい。 In the present invention, the first to third embodiments may be appropriately combined. For example, for a three-dimensional moving image generated in consideration of the period in the third embodiment, similarly to each display process in the first and second embodiments, a composition in which only a difference is generated in the first stage. It is desirable to display an image and faithfully generate and display a three-dimensional image of the entire area at a later stage.
また、上述の各実施の形態において、変化領域を決定する際、ユーザが任意に変化領域を設定するようにしてもよい。この場合、時相毎に変化領域を設定してもよいし、全時相で一括して変化領域を設定するようにしてもよい。 Further, in each of the above-described embodiments, the user may arbitrarily set the change area when determining the change area. In this case, the change area may be set for each time phase, or the change area may be set collectively for all time phases.
以上、添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the image processing apparatus according to the present invention have been described above with reference to the accompanying drawings, but the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea disclosed in the present application, and these naturally belong to the technical scope of the present invention. Understood.
1・・・・・画像処理システム
100・・・・・画像処理装置
101・・・・・CPU
102・・・・・主メモリ
103・・・・・記憶装置
104・・・・・通信I/F
105・・・・・表示メモリ
106・・・・・I/F
107・・・・・表示装置
108・・・・・マウス
109・・・・・入力装置
110・・・・・ネットワーク
111・・・・・画像データベース
112・・・・・画像撮影装置
51・・・・・・時相t1における断層像群
52・・・・・・時相t2における断層像群
5N・・・・・・時相tNにおける断層像群
6・・・・・・・フラグ格納面
61,62・・・変化領域
63,64・・・拡張した変化領域
71,72・・・変化領域3D
73・・・・・・全領域3D
9・・・・・・・演算モード選択画面
93・・・・・・低密度3D
95・・・・・・高密度3D
96・・・・・・「高/低密度」モード選択ボタン
97・・・・・・「変化領域のみ」モード選択ボタン
98・・・・・・「高/低フレームレート」モード選択ボタン
DESCRIPTION OF SYMBOLS 1 ... Image processing system 100 ...
102...
105 ...
107: Display device 108: Mouse 109 ... Input device 110 ...
73 ... All areas 3D
9 ・ ・ ・ ・ ・ ・ ・ Operation
95 ... High density 3D
96 ····· “High / low density”
Claims (8)
前記対象領域のうち、時相間で変化が大きい変化領域を決定する領域決定手段と、
前記変化領域については忠実に3次元画像を生成し、その他の領域については簡略に3次元画像を生成する生成手段と、
前記一連の断層像を取得した際の心拍データまたは呼吸データを取得する取得手段と、
前記取得手段によって取得したデータに基づき心拍または呼吸の周期を解析し、周期的に対応する時相を特定する周期特定手段と、
前記生成手段によって生成された3次元画像を時系列に順次表示する表示手段と、
を備え、
前記生成手段は、
ある周期について、前記変化領域については忠実に、その他の領域については簡略に基準3次元画像を生成する基準画像生成手段と、
その他の周期について、周期的に対応する時相の対応する断層像を比較し、差分のある領域の3次元画像を生成する差分領域画像生成手段と、
前記差分領域画像生成手段によって生成された差分のある領域の3次元画像をその時相に対応する時相の、既に生成済みの基準3次元画像と合成する第1の合成手段と、を備え、
前記表示手段は、
前記ある周期の各時相の3次元画像と、前記第1の合成手段によって生成された各時相の合成画像とを、時系列に順次表示することを特徴とする画像処理装置。 An image processing device that generates a three-dimensional image of each time phase by using a series of tomographic images obtained by intermittently photographing a target region over time, and displays a moving image.
Of the target area, area determining means for determining a change area having a large change between time phases;
Generating means for faithfully generating a three-dimensional image for the change region, and simply generating a three-dimensional image for the other regions;
Acquisition means for acquiring heart rate data or respiratory data when acquiring the series of tomographic images;
Analyzing the cycle of heartbeat or respiration based on the data acquired by the acquisition means, and periodically specifying a time phase corresponding to the period;
Display means for sequentially displaying the three-dimensional images generated by the generating means in time series;
Equipped with a,
The generating means includes
For a certain period, reference image generation means for generating a reference three-dimensional image faithfully with respect to the change region, and simply with respect to other regions;
For other periods, a difference area image generation unit that compares tomograms corresponding to time phases corresponding periodically and generates a three-dimensional image of a difference area;
First synthesizing means for synthesizing the three-dimensional image of the difference area generated by the difference area image generating means with the already generated reference three-dimensional image in the time phase corresponding to the time phase;
The display means includes
An image processing apparatus that sequentially displays a three-dimensional image of each time phase in a certain period and a combined image of each time phase generated by the first combining means in time series .
ある時相の一連の断層像を用いて前記対象領域全体についての3次元画像を生成する全領域画像生成手段と、
各時相の一連の断層像を用いて前記変化領域についての3次元画像をそれぞれ生成する変化領域画像生成手段と、
前記全領域画像生成手段によって生成された3次元画像と、前記変化領域画像生成手段によって生成された各時相での前記変化領域についての3次元画像とを合成し、各時相の3次元合成画像を生成する第2の合成手段と、を備え、
前記表示手段は、
前記第2の合成手段によって生成された各時相の3次元合成画像を時系列に順次表示することを特徴とする請求項1に記載の画像処理装置。 The generating means includes
An all-region image generating means for generating a three-dimensional image of the entire target region using a series of tomographic images at a certain time phase;
Change area image generation means for generating a three-dimensional image of the change area using a series of tomographic images of each time phase;
The three-dimensional image generated by the all-region image generation unit and the three-dimensional image of the change region in each time phase generated by the change region image generation unit are combined, and the three-dimensional synthesis of each time phase is performed. Second combining means for generating an image,
The display means includes
The image processing apparatus according to claim 1, wherein the three-dimensional synthesized image of each time phase generated by the second synthesizing unit is sequentially displayed in time series.
各時相の一連の断層像を用いて、前記変化領域については高画素密度で3次元画像を生成し、その他の領域については低画素密度で3次元画像を生成する高/低密度画像生成手段を備え、
前記表示手段は、
前記高/低密度画像生成手段によって生成された各時相の高/低密度3次元画像を時系列に順次表示することを特徴とする請求項1に記載の画像処理装置。 The generating means includes
High / low density image generating means for generating a three-dimensional image with a high pixel density for the change region and a three-dimensional image with a low pixel density for the other regions using a series of tomographic images of each time phase. With
The display means includes
2. The image processing apparatus according to claim 1, wherein the high / low density three-dimensional images of each time phase generated by the high / low density image generating means are sequentially displayed in time series.
最初時相の一連の断層像を用いて、前記対象領域全体についての3次元画像を生成した後に、その他の時相の一連の断層像を用いて、前記対象領域全体についての3次元画像をそれぞれ生成し、
前記表示手段は、
はじめに、前記全領域画像生成手段によって生成された前記最初時相の対象領域全体についての3次元画像と、前記第2の合成手段によって合成された3次元合成画像を時系列に順次表示し、
次に、前記全領域画像生成手段によって生成された各時相の対象領域全体についての3次元画像を時系列に順次表示することを特徴とする請求項2に記載の画像処理装置。 The whole area image generating means includes
After generating a three-dimensional image for the entire target region using a series of tomographic images in the initial time phase, a three-dimensional image for the entire target region is generated using a series of tomographic images in other time phases. Generate
The display means includes
First, a three-dimensional image of the entire target area in the first time phase generated by the all-region image generating means and a three-dimensional composite image synthesized by the second synthesizing means are sequentially displayed in time series,
3. The image processing apparatus according to claim 2, wherein a three-dimensional image of the entire target area of each time phase generated by the all area image generating means is sequentially displayed in time series.
全時相の一連の断層像を用いて、全時相についてそれぞれ前記対象領域全体の3次元画像を高画素密度で生成する高密度3次元画像生成手段を備え、
前記表示手段は、
はじめに、前記高/低密度3次元画像生成手段によって生成された高/低密度3次元画像を時系列に順次表示し、
次に、前記高密度3次元画像生成手段によって生成された高密度3次元画像を時系列に順次表示することを特徴とする請求項3に記載の画像処理装置。 The generating means further includes:
Using a series of tomographic images of all time phases, comprising high-density three-dimensional image generation means for generating a three-dimensional image of the entire target region with a high pixel density for all time phases,
The display means includes
First, the high / low density 3D image generated by the high / low density 3D image generating means is sequentially displayed in time series,
4. The image processing apparatus according to claim 3, wherein the high-density three-dimensional image generated by the high-density three-dimensional image generation means is sequentially displayed in time series.
前記変化領域についての3次元画像を高フレームレートで生成し、その他の領域についての3次元画像を低フレームレートで生成することを特徴とする請求項1に記載の画像処理装置。 The generating means includes
The image processing apparatus according to claim 1, wherein a three-dimensional image for the change area is generated at a high frame rate, and a three-dimensional image for the other area is generated at a low frame rate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009184087A JP5346734B2 (en) | 2009-08-07 | 2009-08-07 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009184087A JP5346734B2 (en) | 2009-08-07 | 2009-08-07 | Image processing device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011036300A JP2011036300A (en) | 2011-02-24 |
JP2011036300A5 JP2011036300A5 (en) | 2012-09-13 |
JP5346734B2 true JP5346734B2 (en) | 2013-11-20 |
Family
ID=43764749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009184087A Expired - Fee Related JP5346734B2 (en) | 2009-08-07 | 2009-08-07 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5346734B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US8364136B2 (en) | 1999-02-01 | 2013-01-29 | Steven M Hoffberg | Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system |
JP5238893B1 (en) * | 2012-02-22 | 2013-07-17 | 株式会社東芝 | X-ray CT apparatus, image display apparatus, and image display method |
JP5984250B2 (en) * | 2012-02-24 | 2016-09-06 | 東芝メディカルシステムズ株式会社 | Medical image processing apparatus and X-ray CT apparatus |
JP6329490B2 (en) * | 2013-02-05 | 2018-05-23 | 株式会社日立製作所 | X-ray CT apparatus and image reconstruction method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2509644B2 (en) * | 1987-11-30 | 1996-06-26 | 株式会社東芝 | Image processing device |
JP4010802B2 (en) * | 2001-03-09 | 2007-11-21 | 株式会社日立メディコ | X-ray CT system |
JP5203761B2 (en) * | 2007-03-30 | 2013-06-05 | 株式会社東芝 | X-ray diagnostic equipment |
-
2009
- 2009-08-07 JP JP2009184087A patent/JP5346734B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011036300A (en) | 2011-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5346734B2 (en) | Image processing device | |
JP4468353B2 (en) | Method for three-dimensional modeling of tubular tissue | |
EP1846896B1 (en) | A method, a system and a computer program for integration of medical diagnostic information and a geometric model of a movable body | |
JP6396310B2 (en) | Method and apparatus for displaying to a user a transition between a first rendering projection and a second rendering projection | |
KR101540946B1 (en) | Method and apparatus for selecting a seed area for tracking nerve fibers in a brain | |
JP2006198407A (en) | Method and system for compensation of motion in magnetic resonance (mr) imaging | |
JP5566370B2 (en) | Medical image processing apparatus and method | |
JP5399407B2 (en) | Image processing apparatus and image processing method | |
JP5029702B2 (en) | Image generating apparatus, image generating method, and program | |
JP6201255B2 (en) | Medical image processing system and medical image processing program | |
CN106991692B (en) | Registering first image data of a first stream with second image data of a second stream | |
US20110176715A1 (en) | Four-dimensional volume imaging system | |
Lamash et al. | Strain analysis from 4-D cardiac CT image data | |
JP7209047B2 (en) | CONVERSION APPARATUS, CONVERSION METHOD, AND PROGRAM | |
US10679350B2 (en) | Method and apparatus for adjusting a model of an anatomical structure | |
JP2018108125A (en) | Information processing apparatus, information processing method and program | |
JP5408493B2 (en) | Medical image processing apparatus and medical image processing program | |
JP6876200B2 (en) | Alignment of static preoperative planning data with respect to dynamic intraoperative segmentation data | |
CN107170021A (en) | The refinement reconstruct of time-variable data | |
Zhang et al. | MR and ultrasound cardiac image dynamic visualization and synchronization over Internet for distributed heart function diagnosis | |
JP2006026396A (en) | Image processing system and method, control program, and storage medium | |
Zakkaroff et al. | Patient-specific coronary blood supply territories for quantitative perfusion analysis | |
JP2004081866A (en) | Method for displaying object by synchronous image reconstruction | |
JP2011092547A (en) | Medical image processor and medical image processing program | |
EP3444778A1 (en) | Method and apparatus for adjusting a model of an anatomical structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |