JP2019013268A - Image generation device, image generation method, and program - Google Patents
Image generation device, image generation method, and program Download PDFInfo
- Publication number
- JP2019013268A JP2019013268A JP2017130348A JP2017130348A JP2019013268A JP 2019013268 A JP2019013268 A JP 2019013268A JP 2017130348 A JP2017130348 A JP 2017130348A JP 2017130348 A JP2017130348 A JP 2017130348A JP 2019013268 A JP2019013268 A JP 2019013268A
- Authority
- JP
- Japan
- Prior art keywords
- image
- algorithm
- parameter
- imaging
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 161
- 230000008569 process Effects 0.000 claims abstract description 103
- 238000003384 imaging method Methods 0.000 claims abstract description 64
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 abstract description 22
- 238000003745 diagnosis Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 16
- 239000013598 vector Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 9
- 238000012804 iterative process Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000010187 selection method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、被検体の画像を生成する画像生成装置及び画像生成方法、並びに、当該画像生成装置としてコンピュータを機能させるためのプログラムに関するものである。 The present invention relates to an image generation apparatus and an image generation method for generating an image of a subject, and a program for causing a computer to function as the image generation apparatus.
従来から、被検体を撮影することによって得られた撮影画像の組から、診断用画像を再構成する技術が提案されている（例えば、非特許文献１参照）。具体的に、非特許文献１には、所定の評価関数に係るアルゴリズムを用いて求解することによって、診断用画像を再構成する技術が記載されている。また、非特許文献２には、非特許文献１とは異なる他のアルゴリズムを用いて求解する技術が記載されている。 Conventionally, a technique for reconstructing a diagnostic image from a set of captured images obtained by imaging a subject has been proposed (see, for example, Non-Patent Document 1). Specifically, Non-Patent Document 1 describes a technique for reconstructing a diagnostic image by finding a solution using an algorithm related to a predetermined evaluation function. Non-Patent Document 2 describes a technique for obtaining a solution using another algorithm different from Non-Patent Document 1.
被検体を撮影することによって得られた撮影画像の組である第１の画像から診断用画像である第２の画像を再構成する際に用いるアルゴリズムとしては、上述したように、複数のアルゴリズムが考えられる。そして、例えば画像生成装置の緒元や要求仕様によって、最適なアルゴリズムが異なり得る。即ち、従来の技術においては、最適なアルゴリズムを選択することが考慮されていないため、再構成する第２の画像の精度を向上させることが困難であるという問題があった。 As described above, a plurality of algorithms are used as an algorithm used to reconstruct the second image, which is a diagnostic image, from the first image, which is a set of captured images obtained by imaging the subject. Conceivable. For example, the optimal algorithm may differ depending on the specifications of the image generation apparatus and the required specifications. That is, in the conventional technique, since the selection of the optimal algorithm is not considered, there is a problem that it is difficult to improve the accuracy of the second image to be reconstructed.
本発明は、このような問題点に鑑みてなされたものであり、被検体を撮影することによって得られた第１の画像から第２の画像を再構成する際に、第２の画像の精度を向上させることが可能な仕組みを提供することを目的とする。 The present invention has been made in view of such problems, and the accuracy of the second image is reconstructed when the second image is reconstructed from the first image obtained by imaging the subject. The purpose is to provide a mechanism that can improve the performance.
本発明の画像生成装置は、被検体の撮影を行う撮影装置から第１の画像を得るための第１のパラメータと、前記第１の画像から第２の画像を生成する際に用いる第２のパラメータとを設定する設定手段と、前記第１のパラメータに従って動作した前記撮影装置から、前記第１の画像を取得する取得手段と、前記第２のパラメータに応じて、複数のアルゴリズムの中から少なくとも１つのアルゴリズムを選択し、当該選択したアルゴリズムを実行して前記第２の画像を生成する生成手段と、前記生成手段で生成された第２の画像を解析する解析手段と、前記解析手段による解析の結果が所定の条件を満たすまで、前記設定手段、前記取得手段、前記生成手段および前記解析手段の各処理を順次行う一連の処理を繰り返し実行する実行手段と、を有する。
また、本発明は、上述した画像生成装置による画像生成方法、及び、上述した画像生成装置の各手段としてコンピュータを機能させるためのプログラムを含む。
An image generation apparatus according to the present invention includes a first parameter for obtaining a first image from an imaging apparatus that performs imaging of a subject, and a second parameter used when generating a second image from the first image. A setting unit for setting a parameter, an acquisition unit for acquiring the first image from the imaging apparatus operated according to the first parameter, and at least one of a plurality of algorithms according to the second parameter A generation unit that selects one algorithm and executes the selected algorithm to generate the second image, an analysis unit that analyzes the second image generated by the generation unit, and an analysis by the analysis unit An execution unit that repeatedly executes a series of processes for sequentially performing the processes of the setting unit, the acquisition unit, the generation unit, and the analysis unit until the result satisfies a predetermined condition. To.
The present invention also includes an image generation method by the above-described image generation apparatus, and a program for causing a computer to function as each unit of the above-described image generation apparatus.
本発明によれば、被検体を撮影することによって得られた第１の画像から第２の画像を再構成する際に、第２の画像の精度を向上させることができる。 According to the present invention, when the second image is reconstructed from the first image obtained by imaging the subject, the accuracy of the second image can be improved.
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。 Hereinafter, embodiments (embodiments) for carrying out the present invention will be described with reference to the drawings.
図１は、本発明の実施形態に係る画像生成装置１００を含む画像生成システム１０の概略構成の一例を示す図である。画像生成システム１０は、図１に示すように、画像生成装置１００、通信回線２００、及び、外部装置３００を有して構成されている。
FIG. 1 is a diagram illustrating an example of a schematic configuration of an
画像生成装置１００は、インターネットやＬＡＮ等の通信回線２００を介して、例えば製造ライン等に設置されている外部装置３００と通信可能に構成されている。この画像生成装置１００は、例えばコンピュータトモグラフィ診断装置を適用することができ、この場合、例えば、複数回のＸ線照射によって得られた被検体の２次元画像の組を用いて被検体の３次元構造を推定し、診断用画像である被検体の３次元画像を再構成して生成する。より一般化して説明すると、この画像生成装置１００は、撮影装置１０５から複数取得した撮影画像から被検体の内部の３次元構造を表す診断用画像を再構成して生成する装置であり、例えば、医用画像診断装置（Ｘ線ＣＴ診断装置、ＭＲＩ診断装置、光音響トモグラフィ診断装置、超音波診断装置等）や、非破壊検査装置等を適用することが可能である。この画像生成装置１００は、図１に示すように、ＣＰＵ１０１、ＲＡＭ１０２、ハードディスク装置１０３、入力装置１０４、撮影装置１０５、表示装置１０６、通信装置１０７、及び、バス１０８のハードウェア構成を有している。
The
ＣＰＵ１０１は、ＲＡＭ１０２にロードされたプログラムやデータを用いて、画像生成装置１００全体の制御を行うと共に、各種の処理を実行する中央演算装置である。
The
ＲＡＭ１０２は、ハードディスク装置１０３からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ１０１が各種の処理を実行する際に必要なワークエリアを備える主記憶装置である。
The
ハードディスク装置１０３は、ＯＳ（オペレーティングシステム）や、ＣＰＵ１０１が各種の制御や各種の処理を実行するためのプログラムやデータが保存されている。ハードディスク装置１０３に保存されているプログラムは、ＣＰＵ１０１によって、ＲＡＭ１０２にロードされて実行されることにより、画像生成装置１００が各種の制御や各種の処理を行う装置として機能する。
The
入力装置１０４は、例えばキーボードやマウス等の操作系の装置により構成されており、各種の指示をＣＰＵ１０１に対して入力することができる。
The
撮影装置１０５は、ＣＰＵ１０１の制御に基づいて、撮影対象物である被検体の撮影処理を行い、その撮影結果を撮影画像として出力する。例えば、撮影装置１０５は、撮影画像として、被検体の２次元画像を出力する。
Based on the control of the
表示装置１０６は、例えば液晶画面等により構成されている。この表示装置１０６は、ＣＰＵ１０１の制御に基づいて、ＣＰＵ１０１による処理結果を文字や画像等で表示する。
The
通信装置１０７は、ＣＰＵ１０１の制御に基づいて、外部装置３００との間でデータ通信を行う際のインターフェースとして機能する。画像生成装置１００は、この通信装置１０７を介して、通信回線２００に接続された外部装置３００等との間で各種のデータの送受信を行う。なお、本実施形態では、ハードディスク装置１０３に保存されているプログラムやデータをＣＰＵ１０１による処理対象としているが、本発明においてはこの形態に限定されるものではない。例えば、通信装置１０７を介して外部装置３００等から受信したプログラムやデータをＣＰＵ１０１による処理対象とする形態も、本発明に適用可能である。
The
バス１０８は、ＣＰＵ１０１、ＲＡＭ１０２、ハードディスク装置１０３、入力装置１０４、撮影装置１０５、表示装置１０６及び通信装置１０７を、通信可能に接続する。
The
次に、図１に示す画像生成装置１００の機能構成について説明する。
図２は、本発明の実施形態に係る画像生成装置１００の機能構成の一例を示す図である。この図２において、図１に示す構成と同様の構成については同じ符号を付している。この画像生成装置１００は、図２に示すように、撮影装置１０５、撮影データ生成部１２０、撮影データ処理部１３０、再構成部１４０、及び、表示装置１０６の機能構成を有している。
Next, a functional configuration of the
FIG. 2 is a diagram illustrating an example of a functional configuration of the
ここで、図１に示す画像生成装置１００のハードウェア構成と、図２に示す画像生成装置１００の機能構成との対応関係の一例について以下に説明する。
例えば、図１に示すＣＰＵ１０１がハードディスク装置１０３に保存されているプログラムを実行することにより、図２に示す撮影データ生成部１２０、撮影データ処理部１３０及び再構成部１４０が実現される。
Here, an example of a correspondence relationship between the hardware configuration of the
For example, when the
撮影装置１０５は、図２に示すように、筐体１１１、信号発生源１１２，１１３及び１１４、並びに、検出器１１５，１１６及び１１７を有して構成されている。信号発生源１１２，１１３及び１１４は、筐体１１１の内部に配置された撮影対象物である被検体Ｈに対し、測定用信号（撮影用信号）を照射する装置である。信号発生源１１２，１１３及び１１４は、例えば、画像生成装置１００がＸ線ＣＴ診断装置であればＸ線源に該当し、画像生成装置１００がＭＲＩ診断装置であれば磁界発生源に該当し、画像生成装置１００が光音響トモグラフィ診断装置であればレーザ光源に該当し、画像生成装置１００が超音波診断装置であれば超音波送信機に該当する。そして、被検体Ｈを透過した信号または被検体Ｈの内部で発生もしくは反射した信号は、検出器１１５，１１６及び１１７で検出される。
As shown in FIG. 2, the photographing
撮影データ生成部１２０は、複数の検出器１１５，１１６及び１１７のそれぞれで検出された信号に係る撮影画像の組を所定のフォーマットに従って１つのデータにまとめて、これを撮影データとして生成する。例えば、撮影データ生成部１２０は、被検体Ｈにおける２次元画像のラスタースキャンによるベクトル表現を用いる場合、図２に示すそれぞれの検出信号（撮影画像）ｂ1，ｂ2，ｂ3の組を１つのベクトルｂとして統合した撮影データを生成する。以下、これを「撮影データｂ」と記載する。
The photographic
撮影データ処理部１３０は、撮影データ生成部１２０で生成された撮影データｂと、予め記憶されている撮影装置１０５の特性を表すデータである係数行例Ａとから、連立方程式：ｂ＝ＡＸを作成する処理を行う。ここで、Ｘは、未知変数であり、Ｎ次元のベクトルである。また、係数行列Ａは、撮影装置１０５を構成する信号発生源１１２〜１１４や検出器１１５〜１１７の物理的特性等を元に理論的に作成したものであっても良いし、内部構造が既知のサンプルを撮影装置１０５で実測した結果から作成したものであっても良い。図２の例では、Ａ1は、信号発生源１１２とこれに対向する検出器１１７とに係る特性を示し、Ａ2は、信号発生源１１３とこれに対向する検出器１１６とに係る特性を示し、Ａ3は、信号発生源１１４とこれに対向する検出器１１５とに係る特性を示している。
The photographic
再構成部１４０は、複数のアルゴリズムの中から１つのアルゴリズムを選択し、撮影データ処理部１３０で処理された撮影データを用いて当該１つのアルゴリズムを実行して、診断用画像を再構成して生成する。
The
具体的に、再構成部１４０は、選択したアルゴリズムを実行して上述した未知変数Ｘを求解することにより、撮影装置１０５から得た撮影画像（本例では、２次元画像）の組から、診断用画像（本例では、３次元画像）を生成する。以下、アルゴリズムの一例について説明する。
Specifically, the
例えば、Ｘ線ＣＴ診断装置やＭＲＩ診断装置等の医用画像診断装置では、人体等の被検体Ｈの内部の３次元構造を、２次元平面への投影撮影画像から再構成する。この際、推定したい３次元構造を上述した未知変数Ｘ、Ｘ線投影のような撮影過程を上述した係数行列Ａとすると、上述した撮影データｂは、以下の（１）式で示すことができる。 For example, in a medical image diagnostic apparatus such as an X-ray CT diagnostic apparatus or an MRI diagnostic apparatus, a three-dimensional structure inside a subject H such as a human body is reconstructed from a projection photographed image on a two-dimensional plane. At this time, if the imaging process such as the above-described unknown variable X and X-ray projection is the above-described coefficient matrix A as the three-dimensional structure to be estimated, the above-described imaging data b can be expressed by the following equation (1). .
（１）式において、未知変数Ｘは、３次元スカラー場である（以下、「３次元画像Ｘ」と記載する）。そして、３次元画像Ｘは、（ｘ，ｙ，ｚ）の３方向をそれぞれ（Ｎx，Ｎy，Ｎz）に分割し、３つのインデックス（ｊ，ｋ，ｌ）で画素の３次元位置を指定することによって、以下に示す（２）式のように有限次元ベクトルとして表現される。 In equation (1), the unknown variable X is a three-dimensional scalar field (hereinafter referred to as “three-dimensional image X”). The three-dimensional image X is obtained by dividing the three directions (x, y, z) into (N x , N y , N z ), respectively, and three-dimensional positions of the pixels at three indexes (j, k, l). Is expressed as a finite-dimensional vector as shown in the following equation (2).
また、撮影データｂは、ｔ回目（ｔ＝｛１，２，…，Ｍt｝）のＸ線照射によって得られた２次元画像の画素（ｒ，ｓ）（ｒ＝｛１，…，Ｍx｝，ｓ＝｛１，…，Ｍy｝）を用いて、以下に示す（３）式のように表現される。 The imaging data b is a pixel (r, s) (r = {1,..., M) of a two-dimensional image obtained by the t-th (t = {1, 2,..., M t }) X-ray irradiation. x}, s = {1, ..., with the M y}), it is expressed as shown below (3).
この際、３次元画像Ｘの推定精度を向上させるために、撮影の回数を多くすることが一般的である。以後、推定すべき３次元画像Ｘの次元をＮ＝ＮxＮyＮz、撮影データｂの次元をＭ＝ＭtＭxＭyとし、Ｍ＜Ｎを仮定する。或いは、Ｍ＞Ｎの場合でも、撮影データに誤差が重畳していると仮定する。上述した（１）式は、（誤差を含めて）未知変数の次元に対して方程式の数が少ないので、劣決定系方程式と呼ばれる。この劣決定系方程式は、解が無数に存在するので、一般に正則化と呼ばれる技術を適用することによって解を一意に決定する。 At this time, in order to improve the estimation accuracy of the three-dimensional image X, it is common to increase the number of shootings. Thereafter, the dimensions of the three-dimensional image X to be estimated N = N x N y N z , the dimension of the imaging data b and M = M t M x M y , the M <N assume. Alternatively, even when M> N, it is assumed that an error is superimposed on the captured data. The above-described equation (1) is called an underdetermined system equation because the number of equations is small with respect to the dimension of unknown variables (including errors). Since this underdetermined system equation has an infinite number of solutions, the solution is uniquely determined by applying a technique generally called regularization.
近年、推定すべき信号のスパース性を仮定することによって、画像のノイズ除去、医用画像の再構成等に有効な技術が提案されている（以下、この技術を「スパース正則化」と記載する）。このスパース正則化による３次元画像Ｘの再構成は、以下に示す（４）式のように定式化することができる。 In recent years, an effective technique has been proposed for denoising an image, reconstructing a medical image, and the like by assuming sparseness of a signal to be estimated (hereinafter, this technique is referred to as “sparse regularization”). . The reconstruction of the three-dimensional image X by this sparse regularization can be formulated as shown in the following equation (4).
（４）式において、∇Ｘは、３次元画像Ｘのグラディエントベクトル場であり、以下の（５）式で表すことができ、各画素ごとに３次元のグラディエントベクトルが対応している。 In Expression (4), ∇X is a gradient vector field of the three-dimensional image X, which can be expressed by the following Expression (5), and a three-dimensional gradient vector corresponds to each pixel.
また、（４）式において、||∇Ｘ||1,2は、∇Ｘの混合（1,2）ノルムであり、以下の（６）式で定義される。また、以下の（６）式では、以下の（７）式とする。 In the equation (4), || ∇X || 1,2 is a mixed (1,2) norm of ∇X, and is defined by the following equation (6). In the following formula (6), the following formula (7) is used.
診断用画像としての医用画像は、対象とする画像が３次元であるため、２次元の場合と比べて、処理するデータが１０2倍〜１０3倍大きくなり、更に診断に費やす時間に制約があることから、その処理時間に強い制約がある。上述したスパース正則化は、反復計算なので、処理時間の短縮には収束性の向上が不可欠である。この点で有用なアルゴリズムとしては、例えば非特許文献１に記載の分離可能放物代理関数法（以下、「ＳＰＳ法」と記載する）を用いたアルゴリズムがある。 A medical image as a diagnostic image has a three-dimensional target image, so that the data to be processed is 10 2 to 10 3 times larger than the two-dimensional case, and the time spent for diagnosis is further limited. For this reason, there are strong restrictions on the processing time. Since the sparse regularization described above is an iterative calculation, improvement in convergence is indispensable for shortening the processing time. As an algorithm useful in this respect, for example, there is an algorithm using a separable parabolic surrogate function method (hereinafter referred to as “SPS method”) described in Non-Patent Document 1.
ＳＰＳ法では、（４）式に示すデータ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））とＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））との線型結合で構成される評価関数を微分可能な関数で近似する。このとき、変数ごとに分離できる２次関数で近似することがＳＰＳ法の特徴である。これによって、２次微分としてのＨｅｓｓｅ行列が対角行列となり、その逆行列の計算が極めて容易になることから、収束性の高いＮｅｗｔｏｎ法を利用することを可能にしている。 In the SPS method, the data matching term (1/2 || b-AX || 2 2 : f (X)) and the TV regularization term (|| ∇X || 1,2 : g ( X)) is approximated by a differentiable function. At this time, the SPS method is characterized by approximation with a quadratic function that can be separated for each variable. As a result, the Hessian matrix as the second derivative becomes a diagonal matrix, and the inverse matrix can be calculated very easily, so that the Newton method with high convergence can be used.
以下、ＳＰＳ法の処理手順を記載する。
［Ｓ−１］再構成する３次元画像をＸ(0)で初期化する。
［Ｓ−２］以下を収束するまで繰り返す。
［Ｓ−３］評価関数（データ整合項＋ＴＶ正則化項）を、Ｘ(n)の周りで要素ごとに分解可能な放物代理関数Φ(n)（Ｘ）で近似する。
［Ｓ−４］Φ(n)（Ｘ）を減少させるように、Ｘ(n)をＮｅｗｔｏｎ法で以下の（８）式により更新する。
Hereinafter, the procedure of the SPS method will be described.
[S-1] A three-dimensional image to be reconstructed is initialized with X (0) .
[S-2] Repeat the following until convergence.
[S-3] The evaluation function (data matching term + TV regularization term) is approximated by a parabolic surrogate function Φ (n) (X) that can be decomposed element by element around X (n) .
[S-4] X (n) is updated by the Newton method according to the following equation (8) so as to decrease Φ (n) (X).
（８）式において、Ｈ（・）は、３次元画像Ｘに関するΦ(n)（Ｘ）のＨｅｓｓｅ行列であり、また、ｈ（・）は、３次元画像Ｘに関するΦ(n)（Ｘ）のグラディエントベクトルである。 In (8), H (·) is the Hesse matrix [Phi on 3D image X (n) (X), also, h (·) is [Phi on 3D image X (n) (X) Is a gradient vector.
このＳＰＳ法は、Ｎｅｗｔｏｎ法を用いるので収束性は良いが、評価関数を変数ごとに分離可能な関数で近似しているので、最終的に到達する解が元の評価関数の解と異なる場合がある。特に、上述したスパース正則化で用いられるＴＶ正則化では、通常Ｌ1,2ノルムを用いるところを、ＳＰＳ法では変数間の分離性のために以下の（９）式で示すＬ1,1ノルム（Ｌ1ノルムと同じ）を用いている。 Since this SPS method uses the Newton method, the convergence is good. However, since the evaluation function is approximated by a function that can be separated for each variable, the finally reached solution may be different from the solution of the original evaluation function. is there. In particular, in the TV regularization used in the sparse regularization described above, the L 1,2 norm is usually used. In the SPS method, the L 1,1 norm represented by the following equation (9) is used for separability between variables. (Same as L 1 norm).
このように、ＴＶ正則化項でのＬ1,2ノルムとＬ1,1ノルムの差異が解に影響を与える。Ｌ1,2ノルムＴＶ正則化の正解に到達するアルゴリズムの中で収束性の良いものとして、例えば非特許文献２に記載のＦＩＳＴＡ（Ｆａｓｔ Ｉｔｅｒａｔｉｖｅ Ｓｈｒｉｎｋａｇｅ−Ｔｈｒｅｓｈｏｌｄｉｎｇ Ａｌｇｏｒｉｔｈｍ）法がある。このＦＩＳＴＡ法では、（４）式に示すデータ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））とＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））を交互に解いている。 Thus, the difference between the L 1,2 norm and the L 1,1 norm in the TV regularization term affects the solution. Among algorithms that reach the correct solution for L 1,2 norm TV regularization, for example, there is a FISTA (Fast Iterative Shrinkage-Threshold Algorithm) method described in Non-Patent Document 2. In the FISTA method, the data matching term (1/2 || b-AX || 2 2 : f (X)) and the TV regularization term (|| ∇X || 1,2 : g shown in the equation (4) are used. (X)) is solved alternately.
以下、ＦＩＳＴＡ法の処理手順を記載する。
［Ｆ−１］再構成する３次元画像をＸ(0)で初期化する。
［Ｆ−２］以下を収束するまで繰り返す。
［Ｆ−３］データ整合項ｆ（Ｘ）が減少するように、Ｘ(n)を最急降下法で以下の（１０）式により更新する。
Hereinafter, the processing procedure of the FISTA method will be described.
[F-1] A three-dimensional image to be reconstructed is initialized with X (0) .
[F-2] Repeat the following until convergence.
[F-3] Update X (n) by the steepest descent method according to the following equation (10) so that the data matching term f (X) decreases.
ただし、（１０）式において、∇ｆ（Ｘ(n)）は、Ｘ(n)でのデータ整合項ｆ（Ｘ）のＸに関するグラディエントベクトルである。 In Equation (10), ∇f (X (n) ) is a gradient vector related to X of the data matching term f (X) at X (n) .
［Ｆ−４］ＴＶ正則化項ｇ（Ｘ）が減少するように、Ｘ(n+1/2)を以下の（１１）式，（１２）式により更新する。 [F-4] X (n + 1/2) is updated by the following equations (11) and (12) so that the TV regularization term g (X) decreases.
ＦＩＳＴＡ法は、データ整合項ｆ（Ｘ）に１次微分情報を用いる凸最適化求解方法の中で収束性は良いが、２次微分情報まで利用しているＳＰＳ法に比べて解への収束が遅い。また、ＦＩＳＴＡ法は、Ｌ1,2ノルムＴＶ正則化を正しく解くために、グラディエントベクトルを中間変数として保持する必要があり、その分、ＳＰＳ法に比べて使用するメモリ容量が増える。 The FISTA method has good convergence in the convex optimization solution method using the first derivative information for the data matching term f (X), but it converges to the solution compared to the SPS method that uses the second derivative information. Is slow. Further, FISTA method is to solve successfully the L 1, 2 norm TV regularization, it is necessary to hold the gradient vector as intermediate variables, correspondingly, the amount of memory used compared to the SPS method increases.
以下、上述したＳＰＳ法の［Ｓ−４］の処理で必要なメモリ容量をＷ1とし、また、上述したＦＩＳＴＡ法の［Ｆ−３］の処理で必要なメモリ容量をＷ2、上述したＦＩＳＴＡ法の［Ｆ−４］の処理で必要なメモリ容量をＷ3とすると、これらには、Ｗ1＜Ｗ2＜Ｗ3の関係が成立する。 Hereinafter, the memory capacity necessary for the above-described SPS method [S-4] is W 1, and the memory capacity necessary for the above-mentioned FISTA method [F-3] is W 2 . When the memory capacity required in the processing of [F-4] of law and W 3, these include the relationship of W 1 <W 2 <W 3 is established.
そこで、本実施形態においては、再構成部１４０は、まず、被検体Ｈの撮影を行う撮影装置１０５から撮影画像の組（第１の画像）を得るための撮影パラメータ（第１のパラメータ）と、撮影画像の組から診断用画像（第２の画像）を生成する際に用いる計算パラメータ（第２のパラメータ）を設定する。続いて、再構成部１４０は、設定した撮影パラメータに従って撮影装置１０５を動作させ、また、撮影データ生成部１２０は、撮影パラメータに従って動作した撮影装置１０５から撮影画像の組（第１の画像）を取得する。続いて、再構成部１４０は、設定した計算パラメータに応じて、複数のアルゴリズムの中から１つのアルゴリズムを選択し、当該１つのアルゴリズムを実行して診断用画像（第２の画像）を生成する。そして、再構成部１４０は、生成した診断用画像を解析し、当該解析の結果が所定の条件を満たすまで、上述した設定処理、上述した取得処理、上述した生成処理、及び、上述した解析処理の各処理を順次行う一連の処理を繰り返し実行する形態を採る。この再構成部１４０の具体的な処理については、図３を用いて後述する。
Therefore, in the present embodiment, the
図２の表示装置１０６は、再構成部１４０で得られた画像等を表示する。この際、表示装置１０６は、被検体Ｈの断面に係る２次元画像を表示しても良いし、被検体Ｈの内部の３次元構造に係る３次元画像を表示しても良い。その際、ユーザーインターフェイスによって、画像の回転・並進などの操作を指示できると好適である。
The
次に、図１及び図２に示す画像生成装置１００による画像生成方法の処理手順について説明する。
図３は、本発明の実施形態に係る画像生成装置１００による画像生成方法の処理手順の一例を示すフローチャートである。なお、以下の図３の説明においては、図２に示す画像生成装置１００の各機能構成を用いた説明を行う。
Next, the processing procedure of the image generation method by the
FIG. 3 is a flowchart illustrating an example of a processing procedure of an image generation method performed by the
まず、図３のステップＳ１０１において、再構成部１４０は、被検体Ｈの撮影を行う撮影装置１０５から撮影画像の組を得るための撮影パラメータと、当該撮影画像の組から診断用画像を生成する際に用いる計算パラメータを設定（決定）する。この際、本実施形態においては、再構成部１４０は、例えば、画像生成装置１００の緒元と要求仕様とに基づいて、撮影パラメータ及び計算パラメータを設定する。このステップＳ１０１の設定処理を行う再構成部１４０は、設定手段を構成する。
First, in step S101 of FIG. 3, the
ここで、撮影パラメータは、例えば画像生成装置１００がＸ線ＣＴ診断装置の場合には、被検体Ｈに対するＸ線照射によって複数の撮影画像を得るためのパラメータである。また、この場合の撮影パラメータには、Ｘ線源の位置と方向のような幾何学的パラメータの他に、撮影時のＸ線照射強度等のパラメータも含む。これらのパラメータは、被検体Ｈの大きさと位置、Ｘ線による総被曝量等も考慮して設定する。
Here, the imaging parameters are parameters for obtaining a plurality of captured images by X-ray irradiation on the subject H, for example, when the
また、計算パラメータには、再構成アルゴリズムの種類や、反復処理回数、各アルゴリズムに特定のパラメータを含む。この計算パラメータは、被検体Ｈの物理的特徴と、使用計算機の計算速度、利用可能メモリ容量、画像再構成に使用できる時間等の画像生成装置１００の諸元と、画像生成装置１００に対する要求仕様、必要なメモリ容量、適用可能な画素数等のアルゴリズム（求解方法）の諸元を考慮して設定する。
The calculation parameters include the type of reconstruction algorithm, the number of iterations, and parameters specific to each algorithm. The calculation parameters include the physical characteristics of the subject H, the calculation speed of the computer used, the available memory capacity, the specifications of the
この際、本実施形態では、計算パラメータに含まれる再構成アルゴリズムの種類としては、複数の第１のアルゴリズム及び第２のアルゴリズムがあるものとする。そして、各計算パラメータには、再構成アルゴリズムの種類として、第１のアルゴリズム及び第２のアルゴリズムの中から１つのアルゴリズムが設定されているものとする。この際、本実施形態では、第１のアルゴリズムまたは第２のアルゴリズムの設定方法としては、画像生成装置１００の利用可能メモリ容量によって選択するものとする。具体的に、本実施形態では、画像生成装置１００の利用可能メモリ容量がＷ3未満の場合には第１のアルゴリズムを設定し、画像生成装置１００の利用可能メモリ容量がＷ3以上の場合には第２のアルゴリズムを設定するものとする。
At this time, in this embodiment, it is assumed that there are a plurality of first algorithms and second algorithms as the types of reconstruction algorithms included in the calculation parameters. In each calculation parameter, it is assumed that one algorithm is set as the type of reconstruction algorithm from the first algorithm and the second algorithm. At this time, in this embodiment, the setting method of the first algorithm or the second algorithm is selected according to the available memory capacity of the
なお、本実施形態においては、説明を簡単にする等のために、再構成アルゴリズムの種類として、第１のアルゴリズム及び第２のアルゴリズムの２種類のアルゴリズムを例示するが、本発明においてはこれに限定されるものではない。即ち、再構成アルゴリズムの種類を、３種類以上のアルゴリズムとする形態も、本発明に適用可能である。 In this embodiment, for the sake of simplicity of explanation, two types of algorithms, the first algorithm and the second algorithm, are exemplified as the types of reconstruction algorithms. It is not limited. That is, a mode in which the types of reconstruction algorithms are three or more types can be applied to the present invention.
ここで、本実施形態においては、複数の再構成アルゴリズムである第１のアルゴリズム及び第２のアルゴリズムは、（４）式に示すデータ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））とＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））との線型結合で構成される評価関数を最小化することによって求解する求解方法であるものとする。この際、データ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））は、微分可能項に相当し、また、ＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））は、劣微分可能項に相当する。 Here, in the present embodiment, the first algorithm and the second algorithm, which are a plurality of reconstruction algorithms, are represented by the data matching term (1/2 || b-AX || 2 2 : f (X)) and a TV regularization term (|| ∇X || 1,2 : g (X)) are solving methods that are solved by minimizing an evaluation function composed of linear combinations. To do. At this time, data integrity term (1/2 || b-AX || 2 2: f (X)) corresponds to a differentiable section, also, TV regularization term (|| ∇X || 1,2 : G (X)) corresponds to a sub-differentiable term.
また、再構成部１４０は、ステップＳ１０１の処理を２回目以降繰り返して実行する場合には、以前（例えば、２回目の場合には１回目）に実行されたステップＳ１０９の解析の結果等も適用して、撮影パラメータ及び計算パラメータを設定する。この際、適用する情報としては、以前に実行されたステップＳ１０９の解析の結果得られた診断用画像の画質や、画像生成装置１００によって処理した結果費やした計算時間を含む。
In addition, when the
続いて、ステップＳ１０２において、撮影装置１０５は、ステップＳ１０１で設定された撮影パラメータに従って、被検体Ｈの撮影処理を行い、その撮影結果を撮影画像の組として出力する。次いで、撮影データ生成部１２０は、撮影装置１０５から出力された撮影画像の組（図２に示す例では、ｂ1，ｂ2，ｂ3の組）を取得する。この取得処理を行う撮影データ生成部１２０は、取得手段を構成する。そして、撮影データ生成部１２０は、撮影画像の組を１つに統合した撮影データｂを生成する。その後、撮影データ処理部１３０は、撮影データ生成部１２０で生成された撮影データｂと、予め記憶されている撮影装置１０５の特性を表すデータである係数行例Ａとから、図２及び（１）式に示す連立方程式：ｂ＝ＡＸを作成する処理を行う。
Subsequently, in step S102, the
続いて、ステップＳ１０３において、再構成部１４０は、ステップＳ１０１で設定した計算パラメータに応じて、複数の再構成アルゴリズムである第１のアルゴリズム及び第２のアルゴリズムの中から１つのアルゴリズムを選択する。そして、再構成部１４０は、選択したアルゴリズムが第１のアルゴリズムか否かを判断する。
Subsequently, in step S103, the
ステップＳ１０３において、再構成部１４０が、第１のアルゴリズムを選択した場合には（Ｓ１０３／ＹＥＳ）、ステップＳ１０４に進む。
ステップＳ１０４に進むと、再構成部１４０は、上述した評価関数の近似関数における微分情報を用いて近似解を更新する第１の更新工程を行う。具体的に、第１の更新工程では、上述したＳＰＳ法の処理手順のうち、［Ｓ−３］と［Ｓ−４］の処理を行う。
In step S103, when the
In step S104, the
続いて、ステップＳ１０５において、再構成部１４０は、ステップＳ１０４における第１の更新工程の反復処理が終了したか否かを判断する。この際、再構成部１４０は、例えば、ステップＳ１０１で設定した計算パラメータに含まれる反復処理回数（或いは、上述した評価関数の収束条件を満たしたか否か）に基づいて、反復処理が終了したか否かを判断する。
Subsequently, in step S105, the
そして、ステップＳ１０５において、再構成部１４０が、第１の更新工程の反復処理が終了していないと判断した場合には（Ｓ１０５／ＮＯ）、ステップＳ１０４に戻り、ステップＳ１０４の処理を再度行う。
一方、ステップＳ１０５において、再構成部１４０が、第１の更新工程の反復処理が終了したと判断した場合には（Ｓ１０５／ＹＥＳ）、ステップＳ１０９に進む。なお、ここでステップＳ１０９に進む場合には、再構成部１４０によって、第１のアルゴリズムに基づく診断用画像（本例では、３次元画像Ｘ）が生成される。図３のステップＳ１０３〜Ｓ１０５の処理を行う再構成部１４０は、生成手段を構成する。
In step S105, when the
On the other hand, when the
また、ステップＳ１０３において、再構成部１４０が、第１のアルゴリズムを選択していない場合（即ち、第２のアルゴリズムを選択した場合）には（Ｓ１０３／ＮＯ）、ステップＳ１０６に進む。
ステップＳ１０６に進むと、再構成部１４０は、上述した評価関数の微分可能項に相当するデータ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））に関して近似解を更新する第２の更新工程を行う。
In step S103, when the
In step S106, the
続いて、ステップＳ１０７において、再構成部１４０は、上述した評価関数の劣微分可能項に相当するＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））に関して近似解を更新する第３の更新工程を行う。
Subsequently, in step S107, the
ここで、以下に、まず、ステップＳ１０６における第２の更新工程について説明する。
ステップＳ１０６における第２の更新工程では、以下に記載する第４の更新工程または第５の更新工程を行う。
Here, first, the second update process in step S106 will be described first.
In the second update process in step S106, a fourth update process or a fifth update process described below is performed.
第４の更新工程は、データ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））を減少させるＸを求解する工程であって、当該データ整合項における微分情報を用いて近似解を更新する工程である。具体的に、第４の更新工程では、例えば、上述したＦＩＳＴＡ法の［Ｆ−３］の処理を行う工程である。この第４の更新工程で必要なメモリ容量はＷ2である。 Fourth updating step, the data integrity claim: A process for solving the X to reduce (1/2 || b-AX || 2 2 f (X)), using the differential information in the data integrity section This is a step of updating the approximate solution. Specifically, in the fourth update step, for example, the above-described FISTA method [F-3] is performed. Memory capacity required in this fourth updating step is W 2.
第５の更新工程は、データ整合項（1/2||ｂ−ＡＸ||2 2：ｆ（Ｘ））を減少させるＸを求解する工程であって、当該データ整合項の近似関数における微分情報を用いて近似解を更新する工程である。具体的に、第５の更新工程では、以下の［５−１］及び［５−２］の処理を行う工程である。この第５の更新工程で必要なメモリ容量はＷ1である。 Fifth update process, data integrity claim: A process for solving the X to reduce (1/2 || b-AX || 2 2 f (X)), the differential in the approximation function of the data integrity section This is a step of updating the approximate solution using information. Specifically, in the fifth update process, the following processes [5-1] and [5-2] are performed. The memory capacity necessary for the fifth update process is W 1 .
［５−１］データ整合項ｆ（Ｘ）を、Ｘ(n)の周りで要素ごとに分解可能な放物代理関数Φf (n)（Ｘ）で近似する。
［５−２］Φf (n)（Ｘ）を減少させるように、Ｘ(n)をＮｅｗｔｏｎ法で以下の（１３）式により更新する。
[5-1] The data matching term f (X) is approximated by a parabolic surrogate function Φ f (n) (X) that can be decomposed element by element around X (n) .
[5-2] X (n) is updated by the Newton method according to the following equation (13) so as to decrease Φ f (n) (X).
そして、以下に、ステップＳ１０６における第２の更新工程として第４の更新工程または第５の更新工程を実行する際の選択方法について説明する。
本実施形態では、第４の更新工程または第５の更新工程を実行する際の選択方法としては、データ整合項ｆ（Ｘ）のＨｅｓｓｅ行列を対角行列に近似する時の近似精度によって選択する。その理由は、第５の更新工程で実施するＮｅｗｔｏｎ法は、正しく利用すれば第４の更新工程で実施する最急降下法よりも収束性は良いが、近似精度が悪いと収束性が劣化するからである。そのため、本実施形態では、当該近似精度が所定の閾値よりも大きい場合には第５の更新工程を実行し、当該近似精度が所定の閾値以下である場合には第４の更新工程を実行する形態を採る。この際、近似精度の評価は、例えば、Ｈｅｓｓｅ行列の対角項と、幾つかの非対角項を計算し、非対角項の絶対値／対角項の絶対値が所定値よりも小さければ、近似精度が所定の閾値よりも大きいと判断する。
And the selection method at the time of performing a 4th update process or a 5th update process as a 2nd update process in step S106 is demonstrated below.
In the present embodiment, as a selection method when executing the fourth update process or the fifth update process, the selection is performed according to the approximation accuracy when the Hess matrix of the data matching term f (X) is approximated to a diagonal matrix. . The reason is that the Newton method implemented in the fifth update step has better convergence than the steepest descent method implemented in the fourth update step if used correctly, but the convergence is degraded if the approximation accuracy is poor. It is. Therefore, in the present embodiment, the fifth update process is executed when the approximation accuracy is greater than the predetermined threshold value, and the fourth update process is executed when the approximation accuracy is equal to or less than the predetermined threshold value. Take the form. In this case, the approximation accuracy is evaluated by, for example, calculating the diagonal terms of the Hessian matrix and several off-diagonal terms, and the absolute value of the off-diagonal terms / the absolute value of the diagonal terms is smaller than a predetermined value. For example, it is determined that the approximation accuracy is greater than a predetermined threshold value.
次いで、以下に、ステップＳ１０７における第３の更新工程について説明する。
ステップＳ１０７における第３の更新工程では、以下に記載する第６の更新工程または第７の更新工程を行う。
Next, the third update process in step S107 will be described below.
In the third update process in step S107, a sixth update process or a seventh update process described below is performed.
第６の更新工程は、ＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））を減少させるＸを求解する工程であって、第２の更新工程で得られた近似解と当該ＴＶ正則化項の近似関数における微分情報を用いて近似解を更新する工程である。具体的に、第６の更新工程では、以下の［６−１］及び［６−２］の処理を行う工程である。この第６の更新工程で必要なメモリ容量はＷ1である。 The sixth update step is a step of finding X that reduces the TV regularization term (|| ∇X || 1,2 : g (X)), and is an approximate solution obtained in the second update step. And updating the approximate solution using differential information in the approximate function of the TV regularization term. Specifically, in the sixth update process, the following processes [6-1] and [6-2] are performed. The memory capacity necessary for the sixth update process is W 1 .
［６−１］ＴＶ正則化項ｇ（Ｘ）を、Ｘ(n)の周りで要素ごとに分解可能な放物代理関数Φg (n)（Ｘ）で近似する。
［６−２］Φg (n)（Ｘ）を減少させるように、Ｘ(n)をＮｅｗｔｏｎ法で以下の（１４）式により更新する。
[6-1] The TV regularization term g (X) is approximated by a parabolic surrogate function Φ g (n) (X) that can be decomposed element by element around X (n) .
[6-2] X (n) is updated by the Newton method according to the following equation (14) so as to decrease Φ g (n) (X).
第７の更新工程は、ＴＶ正則化項（||∇Ｘ||1,2：ｇ（Ｘ））を減少させるＸを求解する工程であって、第２の更新工程で得られた近似解と当該ＴＶ正則化項における劣微分情報を用いて近似解を更新する工程である。具体的に、第７の更新工程では、例えば、上述したＦＩＳＴＡ法の［Ｆ−４］の処理を行う工程である。この第７の更新工程で必要なメモリ容量はＷ3である。 The seventh update step is a step of finding X that decreases the TV regularization term (|| ∇X || 1,2 : g (X)), and is an approximate solution obtained in the second update step. And the approximate solution using the sub-differential information in the TV regularization term. Specifically, in the seventh update process, for example, the above-described FISTA method [F-4] is performed. The memory capacity necessary for the seventh update process is W 3 .
そして、以下に、ステップＳ１０７における第３の更新工程として第６の更新工程または第６の更新工程を実行する際の選択方法について説明する。
本実施形態では、第６の更新工程または第７の更新工程を実行する際の選択方法としては、第２のアルゴリズムを選択した時点で利用可能メモリ容量がＷ3以上であることがわかっているので、ＴＶ正則化項ｇ（Ｘ）のＨｅｓｓｅ行列を対角行列に近似する時の近似精度によって選択する。具体的に、本実施形態では、当該近似精度が所定の閾値よりも大きい場合には第６の更新工程を実行し、当該近似精度が所定の閾値以下である場合にはＴＶ正則化を正しく解いている第７の更新工程を実行する形態を採る。この際、近似精度の評価は、例えば、Ｈｅｓｓｅ行列の対角項と、幾つかの非対角項を計算し、非対角項の絶対値／対角項の絶対値が所定値よりも小さければ、近似精度が所定の閾値よりも大きいと判断する。
And the selection method at the time of performing a 6th update process or a 6th update process as a 3rd update process in step S107 is demonstrated below.
In the present embodiment, as a selection method when executing the sixth update process or the seventh update process, it is known that the available memory capacity is W 3 or more when the second algorithm is selected. Therefore, the selection is made according to the approximation accuracy when the Hesse matrix of the TV regularization term g (X) is approximated to a diagonal matrix. Specifically, in the present embodiment, the sixth update step is executed when the approximation accuracy is greater than a predetermined threshold, and the TV regularization is correctly solved when the approximation accuracy is equal to or less than the predetermined threshold. The seventh update process is executed. In this case, the approximation accuracy is evaluated by, for example, calculating the diagonal terms of the Hessian matrix and several off-diagonal terms, and the absolute value of the off-diagonal terms / the absolute value of the diagonal terms is smaller than a predetermined value. For example, it is determined that the approximation accuracy is greater than a predetermined threshold value.
なお、本実施形態において、第５の更新工程と第６の更新工程との組み合わせが上述したＳＰＳ法に相当し、また、第４の更新工程と第７の更新工程との組み合わせが上述したＦＩＳＴＡ法に相当する。例えば、上述したＦＩＳＴＡ法では、使用可能メモリ量の制約から、大きな３次元画像Ｘの再構成ができない場合がある。また、上述したＳＰＳ法では、再構成する３次元画像Ｘの要求精度から、ＴＶ正則化が好ましくない場合がある。本実施形態は、このようなＳＰＳ法とＦＩＳＴＡ法の問題点を解消し得るものである。例えば、本実施形態において、第５の更新工程と第７の更新工程とを組み合わせることによって、ＳＰＳ法の収束性の良さとＦＩＳＴＡ法のＴＶ正則化の求解精度を併せ持つ求解方法を実現することができる。 In the present embodiment, the combination of the fifth update process and the sixth update process corresponds to the SPS method described above, and the combination of the fourth update process and the seventh update process corresponds to the FISTA described above. Corresponds to the law. For example, in the above-described FISTA method, there are cases where a large three-dimensional image X cannot be reconstructed due to restrictions on the amount of usable memory. In the SPS method described above, TV regularization may not be preferable because of the required accuracy of the three-dimensional image X to be reconstructed. The present embodiment can solve such problems of the SPS method and the FISTA method. For example, in the present embodiment, by combining the fifth update step and the seventh update step, it is possible to realize a solution method that has both good convergence of the SPS method and the solution accuracy of TV regularization of the FISTA method. it can.
続いて、ステップＳ１０８において、再構成部１４０は、ステップＳ１０６における第２の更新工程及びステップＳ１０７における第３の更新工程の反復処理が終了したか否かを判断する。この際、再構成部１４０は、例えば、ステップＳ１０１で設定した計算パラメータに含まれる反復処理回数（或いは、上述した評価関数の収束条件を満たしたか否か）に基づいて、反復処理が終了したか否かを判断する。
Subsequently, in step S108, the
そして、ステップＳ１０８において、再構成部１４０が、第２の更新工程及び第３の更新工程の反復処理が終了していないと判断した場合には（Ｓ１０８／ＮＯ）、ステップＳ１０６に戻り、ステップＳ１０６以降の処理を再度行う。
一方、ステップＳ１０８において、再構成部１４０が、第２の更新工程及び第３の更新工程の反復処理が終了したと判断した場合には（Ｓ１０８／ＹＥＳ）、ステップＳ１０９に進む。なお、ここでステップＳ１０９に進む場合には、再構成部１４０によって、第２のアルゴリズムに基づく診断用画像（本例では、３次元画像Ｘ）が生成される。図３のステップＳ１０３，Ｓ１０６〜Ｓ１０８の処理を行う再構成部１４０は、生成手段を構成する。
In step S108, when the
On the other hand, when the
ステップＳ１０９に進むと、再構成部１４０は、ステップＳ１０４〜Ｓ１０５の処理で生成した診断用画像またはステップＳ１０６〜Ｓ１０８の処理で生成した診断用画像を解析する処理を行う。このステップＳ１０９の処理を行う再構成部１４０は、解析手段を構成する。
In step S109, the
続いて、ステップＳ１１０において、再構成部１４０は、ステップＳ１０９による解析の結果が所定の条件を満たして処理を終了するか否かを判断する。ここでの判断対象である所定の条件を満たす場合としては、診断用画像の位置や画質が適切である場合や、診断用画像中に更に高画質で検査する部分が無い場合等が一例として挙げられる。
Subsequently, in step S110, the
ステップＳ１１０において、再構成部１４０が、処理を終了しないと判断した場合には（Ｓ１１０／ＮＯ）、ステップＳ１０１に戻り、ステップＳ１０１以降の処理を再度行う。即ち、このステップＳ１１０の処理を行う再構成部１４０は、ステップＳ１０９による解析の結果が所定の条件を満たすまで、ステップＳ１０１の設定処理、ステップＳ１０２の取得処理、ステップＳ１０３〜Ｓ１０８の生成処理及びステップＳ１０９の解析処理の各処理を順次行う一連の処理を繰り返し実行する実行手段を構成する。
In step S110, when the
一方、ステップＳ１１０において、再構成部１４０が、処理を終了すると判断した場合には（Ｓ１１０／ＹＥＳ）、図３に示すフローチャートの処理を終了する。
On the other hand, when the
上述した本発明の実施形態では、再構成部１４０は、計算パラメータに応じて複数のアルゴリズムの中から１つのアルゴリズムを選択し、当該１つのアルゴリズムを実行して診断用画像を生成するようにしている（図３のＳ１０３〜Ｓ１０８）。そして、再構成部１４０は、生成した診断用画像を解析し（図３のＳ１０９）、当該解析の結果が所定の条件を満たすまで、図３のステップＳ１０１〜Ｓ１０９の一連の処理を繰り返し実行するようにしている（図３のＳ１１０）。
かかる構成によれば、被検体Ｈを撮影することによって得られた撮影画像の組（第１の画像）から診断用画像（第２の画像）を再構成する際に、診断用画像の精度を向上させることができる。
なお、上述した本発明の実施形態では、計算パラメータに応じて複数のアルゴリズムの中から１つのアルゴリズムを選択する形態を示したが、本発明においては、これに限定されるものではなく、２つ以上のアルゴリズムを選択する形態も本発明に含まれる。即ち、本発明は、計算パラメータに応じて複数のアルゴリズムの中から少なくとも１つのアルゴリズムを選択する形態も含む。
In the embodiment of the present invention described above, the
According to such a configuration, when reconstructing a diagnostic image (second image) from a set of captured images (first image) obtained by photographing the subject H, the accuracy of the diagnostic image is improved. Can be improved.
In the above-described embodiment of the present invention, a mode in which one algorithm is selected from a plurality of algorithms according to calculation parameters has been described. However, the present invention is not limited to this, and two algorithms are selected. A form of selecting the above algorithm is also included in the present invention. In other words, the present invention includes a form in which at least one algorithm is selected from among a plurality of algorithms in accordance with calculation parameters.
また、上述した本発明の実施形態では、図３のステップＳ１０１の各パラメータの設定処理を２回目以降繰り返して実行する場合には、以前（例えば、２回目の場合には１回目）に実行されたステップＳ１０９の解析の結果等も考慮して設定するようにしている。
かかる構成によれば、撮影対象物である被検体Ｈに適した撮影と計算を実行することができる。
Further, in the above-described embodiment of the present invention, when the parameter setting process in step S101 in FIG. 3 is repeatedly executed after the second time, it is executed before (for example, the first time in the second time). The setting is made in consideration of the result of the analysis in step S109.
According to this configuration, it is possible to execute imaging and calculation suitable for the subject H that is the imaging object.
（その他の実施形態）
上述した本発明の実施形態では、未知変数Ｘのグラディエントベクトル∇Ｘのうちの多くがゼロ要素と見なせるとの仮定に基づくものであった。このため、グラディエントベクトル∇Ｘの疎性が十分でない場合には、解の推定精度が低下する等、期待する性能が得られない可能性もあり得る。そこで、本発明の他の実施形態では、撮影データ処理部１３０が、係数行列Ａの代わりに係数行列（ＡΦ-1）を用いて、連立方程式：ｂ＝（ＡΦ-1）ｗを作成し、再構成部１４０が、図３に示す求解方法を用いて未知変数ｗを求めた後に、Ｘ＝Φ-1ｗによって本来の未知変数Ｘを計算するようにしても良い。この際、Φは、未知変数Ｘの疎性を高める作用をもつ特徴量変換行列である。即ち、未知変数Ｘに特徴量変換行列Φを作用させた変数であるｗ＝ΦＸは、未知変数Ｘに比べて高い疎性をもつので、本実施形態の方法による求解が容易となるのである。また、或いは、正則化項として||ΦＸ||1,2を用いても良い。
(Other embodiments)
The above-described embodiment of the present invention is based on the assumption that many of the gradient vectors ∇X of the unknown variable X can be regarded as zero elements. For this reason, when the sparseness of the gradient vector ∇X is not sufficient, there is a possibility that the expected performance cannot be obtained, for example, the solution estimation accuracy is lowered. Therefore, in another embodiment of the present invention, the imaging
また、本実施形態では、Φ＝∇であるが、それ以外にも、被検体Ｈの内部の情報を表す画像データ（変数Ｘ）のゼロ要素を増加させるフィルタ、例えば、２次微分フィルタやｗａｖｅｌｅｔ基底、ｆｒａｍｅｌｅｔ基底等を用いることができる。このような方法により、診断用画像の再構成の精度をより高めることが期待できる。 In this embodiment, Φ = ∇, but in addition to this, a filter that increases the zero element of image data (variable X) representing information inside the subject H, such as a second-order differential filter or wavelet, for example. A base, a framelet base, or the like can be used. By such a method, it can be expected that the accuracy of reconstruction of the diagnostic image is further improved.
上述した本発明の実施形態では、２次元画像である撮影画像の組から、３次元画像である診断用画像を再構成して生成する形態であったが、本発明においてはこの形態に限定されるものではない。本発明においては、被検体Ｈが存在する空間に対して、撮影によって得られた１次元小さい空間での撮影画像の組から、診断用画像を再構成して生成する形態であれば、他の次元の画像であっても適用可能である。 In the above-described embodiment of the present invention, the diagnosis image that is a three-dimensional image is reconstructed and generated from the set of captured images that are two-dimensional images. However, the present invention is limited to this form. It is not something. In the present invention, the diagnostic image is reconstructed and generated from a set of captured images in a one-dimensional small space obtained by imaging with respect to the space in which the subject H exists. Even a three-dimensional image can be applied.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
This program and a computer-readable storage medium storing the program are included in the present invention.
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 Note that the above-described embodiments of the present invention are merely examples of implementation in practicing the present invention, and the technical scope of the present invention should not be construed as being limited thereto. It is. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１００：画像生成装置、１０５：撮影装置、１０６：表示装置、１２０：撮影データ生成部、１３０：撮影データ処理部、１４０：再構成部 100: Image generation device, 105: Imaging device, 106: Display device, 120: Imaging data generation unit, 130: Imaging data processing unit, 140: Reconfiguration unit
Claims (9)
前記第１のパラメータに従って動作した前記撮影装置から、前記第１の画像を取得する取得手段と、
前記第２のパラメータに応じて、複数のアルゴリズムの中から少なくとも１つのアルゴリズムを選択し、当該選択したアルゴリズムを実行して前記第２の画像を生成する生成手段と、
前記生成手段で生成された第２の画像を解析する解析手段と、
前記解析手段による解析の結果が所定の条件を満たすまで、前記設定手段、前記取得手段、前記生成手段および前記解析手段の各処理を順次行う一連の処理を繰り返し実行する実行手段と、
を有することを特徴とする画像生成装置。 Setting means for setting a first parameter for obtaining a first image from an imaging apparatus for imaging a subject, and a second parameter used when generating a second image from the first image; ,
Acquisition means for acquiring the first image from the imaging apparatus operated according to the first parameter;
Generating means for selecting at least one algorithm from a plurality of algorithms according to the second parameter and executing the selected algorithm to generate the second image;
Analyzing means for analyzing the second image generated by the generating means;
Execution means for repeatedly executing a series of processes for sequentially performing the processes of the setting means, the acquisition means, the generation means, and the analysis means until a result of analysis by the analysis means satisfies a predetermined condition;
An image generation apparatus comprising:
前記生成手段は、
前記１つのアルゴリズムとして前記第１のアルゴリズムを選択した場合、前記評価関数の近似関数における微分情報を用いて近似解を更新する第１の更新工程を行うことにより求解して、前記第２の画像を生成し、
前記１つのアルゴリズムとして前記第２のアルゴリズムを選択した場合、前記微分可能項に関して近似解を更新する第２の更新工程と、前記劣微分可能項に関して近似解を更新する第３の更新工程と、を行うことにより求解して、前記第２の画像を生成する
ことを特徴とする請求項４に記載の画像生成装置。 The plurality of algorithms includes a first algorithm and a second algorithm;
The generating means includes
When the first algorithm is selected as the one algorithm, the second image is obtained by performing a first update step of updating an approximate solution using differential information in the approximate function of the evaluation function. Produces
When the second algorithm is selected as the one algorithm, a second update step of updating an approximate solution with respect to the differentiable term, and a third update step of updating the approximate solution with respect to the sub-differentiable term; The image generation apparatus according to claim 4, wherein the second image is generated by performing a solution by performing.
前記第３の更新工程では、前記第２の更新工程で得られた近似解と前記劣微分可能項の近似関数における微分情報を用いて近似解を更新する第６の更新工程、または、前記第２の更新工程で得られた近似解と前記劣微分可能項における劣微分情報を用いて近似解を更新する第７の更新工程を行う
ことを特徴とする請求項５に記載の画像生成装置。 In the second update step, a fourth update step of updating the approximate solution using the differential information in the differentiable term, or the update of the approximate solution using the differential information in the approximate function of the differentiable term. 5 update process,
In the third update step, a sixth update step of updating the approximate solution using differential information in the approximate function obtained in the second update step and the approximate function of the sub-differentiable term, or The image generation apparatus according to claim 5, wherein a seventh update step of updating the approximate solution using the approximate solution obtained in the update step of 2 and the sub-differential information in the sub-differentiable term is performed.
前記生成手段は、前記第２の画像として、複数の前記２次元画像を用いて前記被検体の３次元画像を生成する
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。 The acquisition means acquires a plurality of two-dimensional images of the subject as the first image,
The image according to any one of claims 1 to 6, wherein the generation unit generates a three-dimensional image of the subject using a plurality of the two-dimensional images as the second image. Generator.
前記第１のパラメータに従って動作した前記撮影装置から、前記第１の画像を取得する取得ステップと、
前記第２のパラメータに応じて、複数のアルゴリズムの中から少なくとも１つのアルゴリズムを選択し、当該選択したアルゴリズムを実行して前記第２の画像を生成する生成ステップと、
前記生成ステップで生成された第２の画像を解析する解析ステップと、
前記解析ステップによる解析の結果が所定の条件を満たすまで、前記設定ステップ、前記取得ステップ、前記生成ステップおよび前記解析ステップの各処理を順次行う一連の処理を繰り返し実行する実行ステップと、
を有することを特徴とする画像生成方法。 A setting step for setting a first parameter for obtaining a first image from an imaging apparatus for imaging a subject and a second parameter used when generating a second image from the first image; ,
An acquisition step of acquiring the first image from the imaging device operated according to the first parameter;
Generating at least one algorithm from a plurality of algorithms according to the second parameter, and executing the selected algorithm to generate the second image;
An analysis step of analyzing the second image generated in the generation step;
An execution step of repeatedly executing a series of processes for sequentially performing each process of the setting step, the acquisition step, the generation step, and the analysis step until a result of analysis by the analysis step satisfies a predetermined condition;
An image generation method characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017130348A JP2019013268A (en) | 2017-07-03 | 2017-07-03 | Image generation device, image generation method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017130348A JP2019013268A (en) | 2017-07-03 | 2017-07-03 | Image generation device, image generation method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019013268A true JP2019013268A (en) | 2019-01-31 |
Family
ID=65356302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017130348A Pending JP2019013268A (en) | 2017-07-03 | 2017-07-03 | Image generation device, image generation method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019013268A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045719A1 (en) * | 2021-09-27 | 2023-03-30 | 荣耀终端有限公司 | Algorithm calling method and algorithm calling apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003153893A (en) * | 2001-11-21 | 2003-05-27 | Hitachi Medical Corp | Apparatus for forming tomographic image |
| JP2010246862A (en) * | 2009-03-24 | 2010-11-04 | Japan Health Science Foundation | Medical image generation apparatus and program |
| JP2013000479A (en) * | 2011-06-21 | 2013-01-07 | Hitachi Medical Corp | X-ray ct apparatus and image reconstruction method |
| US20150030118A1 (en) * | 2012-08-31 | 2015-01-29 | Kabushiki Kaisha Toshiba | X-ray ct apparatus |
-
2017
- 2017-07-03 JP JP2017130348A patent/JP2019013268A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003153893A (en) * | 2001-11-21 | 2003-05-27 | Hitachi Medical Corp | Apparatus for forming tomographic image |
| JP2010246862A (en) * | 2009-03-24 | 2010-11-04 | Japan Health Science Foundation | Medical image generation apparatus and program |
| JP2013000479A (en) * | 2011-06-21 | 2013-01-07 | Hitachi Medical Corp | X-ray ct apparatus and image reconstruction method |
| US20150030118A1 (en) * | 2012-08-31 | 2015-01-29 | Kabushiki Kaisha Toshiba | X-ray ct apparatus |
Non-Patent Citations (3)
| Title |
|---|
| AMIR BECK, MARK TEBOULLE: ""A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems"", IAM JOURNAL ON IMAGING SCIENCES, vol. 2, no. 1, JPN7019001647, 2009, pages 183 - 202, XP009167765, ISSN: 0004160410, DOI: 10.1137/080716542 * |
| ANDREY MAKEEV AND STEPHEN J. GLICK: ""Investigation of statistical iterative reconstruction for dedicated breast CT"", MEDICAL PHYSICS, vol. 40, no. 8, JPN7019001646, 3 July 2013 (2013-07-03), pages 081904 - 1, ISSN: 0004160409 * |
| 工藤 博幸: ""新方式コンピュータトモグラフィーと圧縮センシング"", 精密工学会誌, vol. 82, no. 6, JPN6019018848, 5 June 2016 (2016-06-05), JP, pages 506 - 512, ISSN: 0004160408 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045719A1 (en) * | 2021-09-27 | 2023-03-30 | 荣耀终端有限公司 | Algorithm calling method and algorithm calling apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10475214B2 (en) | Tomographic reconstruction based on deep learning | |
| KR102260802B1 (en) | Deep Learning-Based Estimation of Data for Use in Tomographic Reconstruction | |
| EP3716214B1 (en) | Medical image processing apparatus and method for acquiring training images | |
| CN112770838B (en) | System and method for image enhancement using self-focused deep learning | |
| US9595120B2 (en) | Method and system for medical image synthesis across image domain or modality using iterative sparse representation propagation | |
| JP2017094097A (en) | Medical image processing device, x-ray computer tomographic imaging device, and medical image processing method | |
| CN110992433A (en) | System and method for sparse image reconstruction with null data consistency | |
| JP6118324B2 (en) | Image reconstruction method for filter back projection in limited angle tomography | |
| WO2015162968A1 (en) | Image capturing device and method | |
| US10970885B2 (en) | Iterative image reconstruction | |
| EP3937122A1 (en) | 3d-cnn processing for ct image noise removal | |
| KR102428725B1 (en) | Method and program for imaging quality improving | |
| US10013778B2 (en) | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus | |
| HU231302B1 (en) | Method and system and storage device for performing image reconstruction for a volume based on projection data sets | |
| CN108280860B (en) | Reducing the number of spectral channels in multi-energy CT imaging | |
| JP6494218B2 (en) | Underdetermined linear equation solver, subject information acquisition device | |
| JP2019013268A (en) | Image generation device, image generation method, and program | |
| EP4123572A2 (en) | An apparatus and a method for x-ray image restoration | |
| EP4327286A1 (en) | Machine learning-based improvement in iterative image reconstruction | |
| JP6615531B2 (en) | X-ray computed tomography apparatus and medical image processing apparatus | |
| Melli et al. | A sparsity-based iterative algorithm for reconstruction of micro-CT images from highly undersampled projection datasets obtained with a synchrotron X-ray source | |
| Zhao et al. | A fast algorithm for high order total variation minimization based interior tomography | |
| Schwab | Deep Learning Methods for Limited Data Problems in X-Ray Tomography | |
| EP4167187A1 (en) | X-ray diagnostic apparatus and a medical information processing method | |
| US20240029324A1 (en) | Method for image reconstruction, computer device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191126 |