JP2011030753A - Image processor and image processing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To generate a stable animation image without flickering even when the radiographing condition is changed in the process of radiographing animation. <P>SOLUTION: Images before and after the radiographing condition is changed are acquired (S201), corresponding points or corresponding parts of corresponding areas between the two acquired images are decided in two or more sets (S202), and displacement in pixel value in the respective corresponding parts is calculated (S203). A control point related to gradient curve used in processing the image after the radiographing condition is changed is decided based on the displacement of the pixel value calculated in the step S203 and a gradient curve used in processing the image before the radiographing condition is changed (S204). A gradient curve is created using the control point decided in the step S204 (S205), and gradient conversion processing is conducted for the image after the radiographing condition is changed using the created gradient curve (S206). <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像を処理する画像処理装置及び画像処理方法に関するものである。   The present invention relates to an image processing apparatus and an image processing method for processing an image.

従来から、医療分野を中心に、放射線の一種であるＸ線を用いて被写体のＸ線画像を撮影するＸ線画像撮影システムが普及している。このＸ線画像撮影システム（Ｘ線動画撮影システム）によって動画撮影を行う際に、被写体が動いたり或いは撮影範囲が移動したりした場合には、撮影範囲内の被写体の状況が変わってしまう。このような状況に応じて最適な撮影を行うために、撮影条件（Ｘ線発生装置の管電圧や管電流など）を制御して撮影が行われる。   2. Description of the Related Art Conventionally, an X-ray imaging system that captures an X-ray image of a subject using an X-ray that is a kind of radiation has been widespread mainly in the medical field. When moving images are taken with this X-ray image photographing system (X-ray moving image photographing system), if the subject moves or the photographing range moves, the situation of the subject within the photographing range changes. In order to perform optimal imaging according to such a situation, imaging is performed by controlling imaging conditions (such as the tube voltage and tube current of the X-ray generator).

そして、このような動画撮影によって得られる時系列画像は、Ｘ線画像が得られる度に画像処理が行われて表示される。ここでの画像処理は、撮影条件が変わっても常に安定した最適な画像となるような画像処理が行われる。この画像処理の一種の階調変換処理の例を、図９及び図１０を用いて説明する。   A time-series image obtained by such moving image shooting is displayed after image processing is performed every time an X-ray image is obtained. In this image processing, image processing is performed so that a stable and optimal image is always obtained even if the photographing condition changes. An example of this kind of gradation conversion processing of image processing will be described with reference to FIGS.

図９及び図１０は、Ｘ線発生装置の管電流が変わったときの階調曲線のシフトの一例を示す概念図である。具体的に、図９及び図１０には、撮影条件が制御されて第ｎフレーム画像の撮影と第ｎ＋１フレーム画像の撮影との間で管電流が変わったときの様子を示している。   9 and 10 are conceptual diagrams showing an example of the shift of the gradation curve when the tube current of the X-ray generator changes. Specifically, FIGS. 9 and 10 show a state in which the tube current changes between the shooting of the nth frame image and the shooting of the (n + 1) th frame image by controlling the shooting conditions.

撮影条件としてＸ線発生装置の管電流が変わると、Ｘ線撮影に用いるＸ線量が増減して、図９及び図１０に示すように画像全体の画素値に係るヒストグラムが形状はそのままにして横にシフトするという現象が起こる。このような状況で、管電流が変わる前の画像（第ｎフレーム画像）に使用した階調曲線を、管電流が変わった後の画像（第ｎ＋１フレーム画像）にそのまま使用することを考える。この場合、画像全体の画素値に係るヒストグラムがシフトしている分、全体が白っぽく或いは黒っぽく階調変換されることになる結果、第ｎフレーム画像と第ｎ＋１フレーム画像とで画像が大きく変わるため、表示画像がちらついて不安定な動画となってしまう。   When the tube current of the X-ray generator changes as an imaging condition, the X-ray dose used for X-ray imaging increases or decreases, and the histogram related to the pixel values of the entire image is horizontal without changing the shape as shown in FIGS. The phenomenon of shifting to occurs. In such a situation, it is considered that the gradation curve used for the image before the tube current is changed (the nth frame image) is used as it is for the image after the tube current is changed (the n + 1th frame image). In this case, since the histogram relating to the pixel values of the entire image is shifted, the entire image is whitish or blackish, so that the image changes greatly between the nth frame image and the n + 1th frame image. The displayed image flickers and becomes an unstable video.

このような問題に対応するための１つの方法として、例えば図９及び図１０に示す方法がある。   One method for dealing with such a problem is, for example, the method shown in FIGS.

図９の方法では、まず、第ｎフレーム画像において画像の特徴となる画像上の特徴点の画素値が予め指定された画素値になるように階調曲線を設定し、この階調曲線に従って階調変換を行うことによって第ｎフレーム画像の最適な画像を得るようにしている。第ｎ＋１フレーム画像は、撮影条件の管電流が変わって撮影されたものであり、画像全体の画素値に係るヒストグラムが、図１０に示す例では右側にシフトしているがその形状は同じであるから、シフトしたヒストグラムの同じところに特徴点が存在することになる。図９の方法では、これを利用して、第ｎフレーム画像と同様に、この特徴点の画素値が同じ指定画素値になるように第ｎ＋１フレーム画像の階調曲線を設定して階調変換を行うことにより、第ｎ＋１フレーム画像の最適な画像を得るようにしている。   In the method of FIG. 9, first, a gradation curve is set so that the pixel value of the feature point on the image that is a feature of the image in the nth frame image becomes a pixel value specified in advance, and the gradation curve is set according to this gradation curve. An optimal image of the nth frame image is obtained by performing the tone conversion. The (n + 1) th frame image is taken with the tube current of the photographing condition changed, and the histogram related to the pixel value of the entire image is shifted to the right in the example shown in FIG. 10, but the shape is the same. Therefore, a feature point exists at the same place in the shifted histogram. In the method of FIG. 9, using this, as in the nth frame image, gradation conversion is performed by setting the gradation curve of the (n + 1) th frame image so that the pixel value of this feature point becomes the same designated pixel value. To obtain an optimal image of the (n + 1) th frame image.

そして、図９の方法では、結果として第ｎフレーム画像と第ｎ＋１フレーム画像とで同じ形状のヒストグラムが右側にシフトした分、階調曲線も同じように右側にシフトして設定されるので、同じ階調の画像になっている。したがって、第ｎフレーム画像から第ｎ＋１フレーム画像の間で管電流が変わっても、表示画像がちらつくことなく、安定してスムーズな動画像を生成することができる。   In the method of FIG. 9, as a result, the gradation curve is set to be shifted to the right in the same way as the histogram having the same shape is shifted to the right in the nth frame image and the (n + 1) th frame image. It is a gradation image. Therefore, even if the tube current changes between the nth frame image and the (n + 1) th frame image, the display image does not flicker, and a stable and smooth moving image can be generated.

また、図１０の方法では、ヒストグラムより画素値の存在範囲を決定して、この画素値の存在範囲内に階調曲線が収まるように階調曲線を設定し、この階調曲線に従って階調変換を行うようにしている。図１０に示す画素値の存在範囲は、第ｎフレーム画像と第ｎ＋１フレーム画像との間でヒストグラムのシフトに従って同じようにシフトしている。よって、第ｎフレーム画像と第ｎ＋１フレーム画像とで同じ形のヒストグラムに同じように階調曲線が設定されるので、同じ階調の画像となっている。したがって、図９に示す方法と同様に、第ｎフレーム画像から第ｎ＋１フレーム画像の間で管電流が変わって撮影されても、表示画像がちらつくことなく、安定してスムーズな動画像を生成することができる。このような方法は、例えば下記の特許文献１においても開示されている。   Further, in the method of FIG. 10, a range of pixel values is determined from the histogram, a tone curve is set so that the tone curve is within the pixel value existing range, and tone conversion is performed according to the tone curve. Like to do. The existence range of the pixel values shown in FIG. 10 is similarly shifted between the nth frame image and the (n + 1) th frame image according to the shift of the histogram. Therefore, since the gradation curve is set in the same manner in the same shape histogram in the n-th frame image and the n + 1-th frame image, the images have the same gradation. Therefore, similarly to the method shown in FIG. 9, even if the tube current is changed between the nth frame image and the (n + 1) th frame image, the display image does not flicker and a stable and smooth moving image is generated. be able to. Such a method is also disclosed in Patent Document 1 below, for example.

特開平８−１２９６３７号公報JP-A-8-129637

上述した例は、動画撮影時の撮影条件としてＸ線発生装置の管電流が変わった場合についての階調変換処理に関するものであった。この場合、上述したように、Ｘ線量が増減して画像全体の画素値に係るヒストグラムが形状はそのままで横にシフトするため、当該ヒストグラムのシフトに合わせて階調曲線をシフトさせて階調変換処理を行えば画像の見え方を同じにすることが可能である。   The above-described example relates to the gradation conversion process when the tube current of the X-ray generator changes as an imaging condition during moving image imaging. In this case, as described above, the X-ray dose increases and decreases, and the histogram related to the pixel values of the entire image shifts horizontally without changing the shape. Therefore, the tone conversion is performed by shifting the tone curve according to the shift of the histogram. If the processing is performed, it is possible to make the image look the same.

しなしながら、例えば、撮影条件としてＸ線発生装置の管電圧が変わった場合には、撮影に用いるＸ線のエネルギーが変わってしまう。そして、Ｘ線のエネルギーが変わると、被写体内の構成物質ごとにＸ線の吸収係数が異なるために構成物質ごとに画素値が変わってしまい、画像全体の画素値に係るヒストグラムの形状が変わってしまうという現象が起こる。そして、この場合、画像全体の画素値に係るヒストグラムの形状が変わっているのにもかかわらず同じ階調曲線を用いて階調変換処理を行うと画像の見え方が変わってしまい、ちらついた不安定な動画像になってしまうという問題があった。   However, for example, when the tube voltage of the X-ray generator changes as an imaging condition, the energy of X-rays used for imaging changes. When the X-ray energy changes, the X-ray absorption coefficient differs for each constituent material in the subject, so that the pixel value changes for each constituent material, and the shape of the histogram related to the pixel value of the entire image changes. The phenomenon that happens. In this case, when the tone conversion process is performed using the same tone curve even though the shape of the histogram relating to the pixel values of the entire image has changed, the appearance of the image changes, and flickering There was a problem that it became a stable moving image.

本発明は、このような問題点に鑑みてなされたものであり、動画撮影中に撮影条件が変化した場合であっても、ちらつきのない安定した動画像を生成できるようにすることを目的とする。   The present invention has been made in view of such problems, and an object thereof is to generate a stable moving image without flicker even when shooting conditions change during moving image shooting. To do.

本発明の画像処理装置は、画像を処理する画像処理装置であって、撮影条件が変更される前の画像および撮影条件が変更された後の画像を取得する画像取得手段と、前記画像取得手段で取得した２つの画像間について対応点もしくは対応領域の対応部を複数組決定する対応部決定手段と、前記対応部決定手段で決定した各対応部における画素値の変位を算出する変位算出手段と、前記変位算出手段で算出した画素値の変位と、前記前の画像の処理に用いた階調曲線に基づいて、前記後の画像の処理に用いる階調曲線に係る制御点を決定する制御点決定手段と、前記制御点決定手段で決定した制御点を用いて階調曲線を作成する階調曲線作成手段と、前記作成手段で作成した階調曲線を用いて前記後の画像に対して階調変換処理を行う階調変換処理手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法を含む。 An image processing apparatus according to the present invention is an image processing apparatus for processing an image, and acquires an image before a shooting condition is changed and an image after the shooting condition is changed, and the image acquisition means. A corresponding unit determining unit that determines a plurality of corresponding units of corresponding points or corresponding regions between the two images acquired in step S, and a displacement calculating unit that calculates a displacement of a pixel value in each corresponding unit determined by the corresponding unit determining unit; And a control point for determining a control point related to the gradation curve used for the subsequent image processing based on the displacement of the pixel value calculated by the displacement calculating means and the gradation curve used for the processing of the previous image. A gradation curve creating means for creating a gradation curve using the control points determined by the control point determining means, and a gradation curve for the subsequent image using the gradation curve created by the creating means. Tone conversion that performs key conversion processing And a physical means.
The present invention also includes an image processing method by the above-described image processing apparatus.

本発明によれば、動画撮影中に撮影条件が変化した場合であっても、ちらつきのない安定した動画像を生成することができる。   According to the present invention, it is possible to generate a stable moving image without flicker even when shooting conditions change during moving image shooting.

本発明の実施形態に係るＸ線画像撮影システム（画像処理システム）の概略構成の一例を示す模式図である。1 is a schematic diagram illustrating an example of a schematic configuration of an X-ray imaging system (image processing system) according to an embodiment of the present invention. 本発明の実施形態に係るＸ線画像撮影装置（画像処理装置）による画像処理方法の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the image processing method by the X-ray imaging device (image processing apparatus) which concerns on embodiment of this invention. 本発明の実施形態に係るＸ線画像撮影装置（画像処理装置）による画像処理方法の処理を説明するための模式図である。It is a schematic diagram for demonstrating the process of the image processing method by the X-ray imaging device (image processing apparatus) which concerns on embodiment of this invention. 図２のステップＳ２０２で行われる対応部の決定方法の一例を説明するための模式図である。It is a schematic diagram for demonstrating an example of the determination method of the corresponding | compatible part performed by step S202 of FIG. 図２のステップＳ２０２で行われる小領域の設定方法における第１の例を説明するための模式図である。It is a schematic diagram for demonstrating the 1st example in the setting method of the small area | region performed by step S202 of FIG. 図２のステップＳ２０２で行われる小領域の設定方法における第２の例を説明するための模式図である。It is a schematic diagram for demonstrating the 2nd example in the setting method of the small area | region performed by step S202 of FIG. 図２のステップＳ２０２で行われるテンプレートマッチング処理の際の対応部（対応点）の位置予測を説明するための模式図である。It is a schematic diagram for demonstrating the position prediction of the corresponding | compatible part (corresponding point) in the case of the template matching process performed by FIG.2 S202. 図７に示した対応部（対応点）の予測位置におけるサーチ領域を説明するための模式図である。It is a schematic diagram for demonstrating the search area | region in the predicted position of the corresponding | compatible part (corresponding point) shown in FIG. Ｘ線発生装置の管電流が変わったときの階調曲線のシフトの一例を示す概念図である。It is a conceptual diagram which shows an example of the shift of a gradation curve when the tube current of an X-ray generator changes. Ｘ線発生装置の管電流が変わったときの階調曲線のシフトの一例を示す概念図である。It is a conceptual diagram which shows an example of the shift of a gradation curve when the tube current of an X-ray generator changes.

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。なお、以下に説明する本発明の実施形態においては、本発明に係る画像処理装置としてＸ線画像撮影装置を適用した例について説明を行う。また、本発明に係る画像処理装置としては、Ｘ線画像撮影装置に限らず、例えば他の放射線（α線やβ線、γ線など）を用いた放射線画像を撮影する放射線画像撮影装置や、或いは、撮影機能を有さずに単にＸ線画像等の画像処理を行う装置を適用することもできる。   Hereinafter, embodiments (embodiments) for carrying out the present invention will be described with reference to the drawings. In the embodiment of the present invention described below, an example in which an X-ray imaging apparatus is applied as an image processing apparatus according to the present invention will be described. Further, the image processing apparatus according to the present invention is not limited to the X-ray imaging apparatus, for example, a radiographic imaging apparatus that captures a radiation image using other radiation (such as α rays, β rays, and γ rays), Alternatively, an apparatus that simply performs image processing such as an X-ray image without having an imaging function can be applied.

図１は、本発明の実施形態に係るＸ線画像撮影システム（画像処理システム）１００の概略構成の一例を示す模式図である。
Ｘ線画像撮影システム１００は、図１に示すように、Ｘ線画像撮影装置（画像処理装置）１１０、ネットワーク１２０、プリンター１３０、診断ワークステーション１４０、及び、画像データベース１５０を有して構成されている。 FIG. 1 is a schematic diagram illustrating an example of a schematic configuration of an X-ray imaging system (image processing system) 100 according to an embodiment of the present invention.
As shown in FIG. 1, the X-ray imaging system 100 includes an X-ray imaging apparatus (image processing apparatus) 110, a network 120, a printer 130, a diagnostic workstation 140, and an image database 150. Yes.

Ｘ線画像撮影装置１１０は、Ｘ線源１１１、Ｘ線検出器１１２、画像入力部１１３、Ｘ線撮影システム制御部１１４、Ｘ線発生制御部１１５、画像処理部１１６、画像保存部１１７、操作部１１８ａ、診断モニタ１１８ｂ及び機構制御部１１９を有して構成される。   The X-ray imaging apparatus 110 includes an X-ray source 111, an X-ray detector 112, an image input unit 113, an X-ray imaging system control unit 114, an X-ray generation control unit 115, an image processing unit 116, an image storage unit 117, and an operation. 118a, a diagnostic monitor 118b, and a mechanism control unit 119.

Ｘ線源（放射線源）１１１は、Ｘ線発生制御部１１５の制御に基づいて、例えばコーンビーム状のＸ線（放射線）を、テーブル上に載置された患者等の被写体２００に対して照射するＸ線発生装置である。   The X-ray source (radiation source) 111 irradiates a subject 200 such as a patient placed on a table with, for example, cone-beam X-ray (radiation) based on the control of the X-ray generation control unit 115. X-ray generator.

Ｘ線検出器（放射線検出器）１１２は、Ｘ線源１１１から照射され、被写体２００を透過したＸ線を検出し、検出したＸ線に基づくＸ線画像（放射線画像）の撮像を行うものである。   The X-ray detector (radiation detector) 112 detects X-rays irradiated from the X-ray source 111 and transmitted through the subject 200, and takes an X-ray image (radiation image) based on the detected X-rays. is there.

ここで、図１に示すＸ線画像撮影システム１００では、テーブル上に載置された被写体２００を挟んでＸ線源１１１とＸ線検出器１１２とが対向して配置されている。また、本実施形態では、Ｘ線源１１１及びＸ線検出器１１２と被写体２００との相対的な位置関係については、機構制御部１１９において制御される。   Here, in the X-ray imaging system 100 shown in FIG. 1, an X-ray source 111 and an X-ray detector 112 are arranged to face each other with a subject 200 placed on a table. In the present embodiment, the relative positional relationship between the X-ray source 111 and the X-ray detector 112 and the subject 200 is controlled by the mechanism control unit 119.

画像入力部１１３は、Ｘ線検出器１１２で撮影されたＸ線画像（Ｘ線画像データ）をＸ線撮影システム制御部１１４に入力する処理を行う。   The image input unit 113 performs processing for inputting an X-ray image (X-ray image data) imaged by the X-ray detector 112 to the X-ray imaging system control unit 114.

Ｘ線撮影システム制御部（放射線撮影システム制御部）１１４は、Ｘ線画像撮影システム１００における動作を統括的に制御するものである。   The X-ray imaging system control unit (radiation imaging system control unit) 114 controls the overall operation of the X-ray imaging system 100.

Ｘ線発生制御部（放射線発生制御部）１１５は、Ｘ線撮影システム制御部１１４の制御に基づいて、Ｘ線源１１１を制御し、Ｘ線源１１１から発生させるＸ線の制御を行う。   The X-ray generation control unit (radiation generation control unit) 115 controls the X-ray source 111 based on the control of the X-ray imaging system control unit 114 and controls X-rays generated from the X-ray source 111.

画像処理部１１６は、Ｘ線撮影システム制御部１１４の制御に基づいて、画像入力部１１３等から入力されたＸ線画像に対して、各種の画像処理を行う。具体的に、例えば、画像処理部１１６では、Ｘ線検出器１１２の補正処理、ログ変換を含めた前処理や階調変換処理、更には、ノイズ除去や鮮鋭化、ダイナミックレンジ圧縮といった高画質化処理や画像解析処理等の画像処理が行われる。画像保存部１１７は、Ｘ線画像を記憶して保存する。   The image processing unit 116 performs various types of image processing on the X-ray image input from the image input unit 113 or the like based on the control of the X-ray imaging system control unit 114. Specifically, for example, in the image processing unit 116, correction processing of the X-ray detector 112, preprocessing including log conversion and gradation conversion processing, and further high image quality such as noise removal, sharpening, and dynamic range compression. Image processing such as processing and image analysis processing is performed. The image storage unit 117 stores and stores the X-ray image.

操作部１１８ａは、例えばユーザがＸ線画像撮影装置１１０に対して入力指示を行う際に操作されるものである。診断モニタ１１８ｂは、Ｘ線撮影システム制御部１１４の制御に基づいて、必要に応じて、各種の画像や各種の情報を表示するものである。   The operation unit 118a is operated, for example, when the user gives an input instruction to the X-ray imaging apparatus 110. The diagnostic monitor 118b displays various images and various information as necessary based on the control of the X-ray imaging system control unit 114.

ネットワーク１２０は、Ｘ線画像撮影装置１１０と、プリンター１３０、診断ワークステーション１４０及び画像データベース１５０とを通信可能に接続するためのものである。   The network 120 is used to connect the X-ray imaging apparatus 110 to the printer 130, the diagnostic workstation 140, and the image database 150 so that they can communicate with each other.

本例では、Ｘ線画像撮影装置１１０は、被写体２００の動画撮影を行って、時系列に被写体２００の動画像（複数のフレーム画像からなる動画像）を撮影するものである。
具体的に、画像処理部１１６による画像解析処理の結果の１つである、撮影条件に係るＸ線曝射制御パラメータは、Ｘ線撮影システム制御部１１４を介してＸ線発生制御部１１５に送られる。そして、Ｘ線発生制御部１１５は、このＸ線曝射制御パラメータに基づいてＸ線曝射条件を決定してＸ線源１１１から曝射するＸ線を制御する。そして、このような処理を連続的に繰り返すことによって、動画撮影が行われて時系列画像である動画像が診断モニタ１１８ｂに連続表示されることになる。 In this example, the X-ray image capturing apparatus 110 captures a moving image of the subject 200 and captures a moving image (moving image composed of a plurality of frame images) of the subject 200 in time series.
Specifically, an X-ray exposure control parameter related to imaging conditions, which is one of the results of image analysis processing by the image processing unit 116, is sent to the X-ray generation control unit 115 via the X-ray imaging system control unit 114. It is done. Then, the X-ray generation control unit 115 determines X-ray exposure conditions based on the X-ray exposure control parameters and controls the X-rays emitted from the X-ray source 111. Then, by continuously repeating such processing, moving image shooting is performed and a moving image that is a time-series image is continuously displayed on the diagnostic monitor 118b.

この動画撮影において被写体が動いたり或いは撮影範囲が移動したりした場合、撮影範囲内の被写体の状況が変わってしまうため、Ｘ線画像撮影装置１１０では、その状況に応じて最適な撮影になるように撮影条件（Ｘ線源１１１の管電圧や管電流等）を制御する。そして、本実施形態では、Ｘ線源１１１の管電圧が変化した場合のように画像全体の画素値に係るヒストグラムの形状が変わってしまった際にも、撮影条件の変更前のＸ線画像と変更後のＸ線画像とを同じ階調の画像とすべく以下の階調変換処理を行う。   If the subject moves or the shooting range moves in this moving image shooting, the situation of the subject in the shooting range changes, so that the X-ray image shooting apparatus 110 performs optimum shooting according to the situation. The imaging conditions (tube voltage, tube current, etc. of the X-ray source 111) are controlled. In this embodiment, even when the shape of the histogram related to the pixel value of the entire image changes as in the case where the tube voltage of the X-ray source 111 changes, the X-ray image before the change of the imaging condition is changed. The following gradation conversion processing is performed so that the changed X-ray image is the same gradation image.

図２は、本発明の実施形態に係るＸ線画像撮影装置（画像処理装置）１１０による画像処理方法の処理手順の一例を示すフローチャートである。また、図３は、本発明の実施形態に係るＸ線画像撮影装置（画像処理装置）１１０による画像処理方法の処理を説明するための模式図である。以下、図２のフローチャートを説明しながら、必要に応じて図３を参照して、本実施形態のＸ線画像撮影装置１１０で行われる画像処理、具体的には階調変換処理について説明を行う。   FIG. 2 is a flowchart showing an example of the processing procedure of the image processing method by the X-ray imaging apparatus (image processing apparatus) 110 according to the embodiment of the present invention. FIG. 3 is a schematic diagram for explaining processing of the image processing method by the X-ray imaging apparatus (image processing apparatus) 110 according to the embodiment of the present invention. Hereinafter, the image processing performed by the X-ray imaging apparatus 110 according to the present embodiment, specifically the gradation conversion processing, will be described with reference to FIG. 3 as necessary while explaining the flowchart of FIG. .

まず、図２のステップＳ２０１において、画像処理部１１６は、Ｘ線撮影システム制御部１１４を介して、上述した撮影条件が変更される前および後の２フレーム画像（２つのＸ線画像）を取得する処理を行う。より好適には、撮影条件が変更される直前のＸ線画像および撮影条件が変更された直後のＸ線画像の２つのフレーム画像を取得する。ここで、本例では、図３（ａ）に示す撮影条件変更前のＸ線画像３１０及び撮影条件変更後のＸ線画像３２０を取得したものとする。このステップＳ２０１の処理を行う画像処理部１１６は、画像取得手段を構成する。   First, in step S201 of FIG. 2, the image processing unit 116 acquires two frame images (two X-ray images) before and after the above-described imaging conditions are changed via the X-ray imaging system control unit 114. Perform the process. More preferably, two frame images are acquired: an X-ray image immediately before the imaging condition is changed and an X-ray image immediately after the imaging condition is changed. Here, in this example, it is assumed that the X-ray image 310 before changing the imaging condition and the X-ray image 320 after changing the imaging condition shown in FIG. The image processing unit 116 that performs the process of step S201 constitutes an image acquisition unit.

続いて、ステップＳ２０２において、画像処理部１１６は、Ｘ線撮影システム制御部１１４の制御に基づいて、ステップＳ２０１で取得した撮影条件変更前後の２つのＸ線画像間について対応点もしくは対応領域（対応部）を複数組決定する処理を行う。このステップＳ２０２では、図３（ａ）に示すように複数組の対応部を決定する。このステップＳ２０２の処理を行う画像処理部１１６は、対応部決定手段を構成する。このステップＳ２０２の具体的な処理について図４を用いて以下に説明する。   Subsequently, in step S202, the image processing unit 116, based on the control of the X-ray imaging system control unit 114, corresponds points or corresponding regions (corresponding between two X-ray images before and after the imaging condition change acquired in step S201. Part) is determined. In step S202, a plurality of sets of corresponding parts are determined as shown in FIG. The image processing unit 116 that performs the process of step S202 constitutes a corresponding unit determination unit. The specific processing in step S202 will be described below with reference to FIG.

図４は、図２のステップＳ２０２で行われる対応部の決定方法の一例を説明するための模式図である。２枚のＸ線画像間の対応点もしくは対応領域（対応部）を決定するための代表的な方法としてテンプレートマッチングがある。   FIG. 4 is a schematic diagram for explaining an example of the determination method of the corresponding unit performed in step S202 of FIG. Template matching is a typical method for determining corresponding points or corresponding regions (corresponding portions) between two X-ray images.

まず、図４（ａ）において、例えば、撮影条件変更前のＸ線画像４１０上に小領域４１１を設定する。さらに、図４（ｂ）において、この小領域４１１と撮影条件変更後のＸ線画像４２０上で同じ座標位置にある小領域４２１を中心に当該小領域を囲む領域（これを「サーチ領域」と呼ぶ）４２２を撮影条件変更後のＸ線画像４２０上に設定する。そして、このサーチ領域４２２内で小領域を動かしながら、撮影条件変更前のＸ線画像４１０の小領域４１１との類似度（例えば相関係数）を順次計算していく。そして、類似度が最も大きかった撮影条件変更後のＸ線画像４２０上の小領域を、撮影条件変更前のＸ線画像４１０の小領域４１１に対応する小領域として、上記対応領域を決定する。   First, in FIG. 4A, for example, a small region 411 is set on the X-ray image 410 before the imaging condition is changed. Further, in FIG. 4B, the small region 411 and a region surrounding the small region around the small region 421 at the same coordinate position on the X-ray image 420 after the imaging condition change (this is referred to as a “search region”). 422) is set on the X-ray image 420 after changing the imaging conditions. Then, while moving the small area in the search area 422, the similarity (for example, correlation coefficient) with the small area 411 of the X-ray image 410 before the imaging condition change is sequentially calculated. Then, the corresponding region is determined as a small region corresponding to the small region 411 of the X-ray image 410 before changing the imaging condition, with the small region on the X-ray image 420 after changing the imaging condition having the highest similarity.

なお、上述した例では、対応部として対応領域を適用した例について説明を行ったが、対応部として対応点を適用する場合には、小領域を代表する１点、例えば中心点や左上点などを対応点として適用する形態となる。   In the above-described example, the example in which the corresponding region is applied as the corresponding portion has been described. However, when the corresponding point is applied as the corresponding portion, one point representing the small region, for example, the center point or the upper left point Is applied as a corresponding point.

本例では、上述した対応部を１つだけではなく数多く選んでおく必要がある。そのために、撮影条件変更前のＸ線画像上で必要な数だけの小領域を設定する。この小領域の設定方法について図５及び図６を用いて説明を行う。   In this example, it is necessary to select a large number of the corresponding portions described above instead of only one. For this purpose, as many small regions as necessary are set on the X-ray image before the imaging condition is changed. This small region setting method will be described with reference to FIGS.

図５は、図２のステップＳ２０２で行われる小領域の設定方法における第１の例を説明するための模式図である。
図５に示す撮影条件変更前のＸ線画像５００において、予め抽出しておいた被写体２００内を予め定められた大きさの矩形５０１に区切り、それぞれの矩形内の中央の小領域５０２を選んで、上記小領域を設定する方法がある。 FIG. 5 is a schematic diagram for explaining a first example in the small region setting method performed in step S202 of FIG.
In the X-ray image 500 before the imaging condition change shown in FIG. 5, the subject 200 extracted in advance is divided into rectangles 501 having a predetermined size, and a central small region 502 in each rectangle is selected. There is a method for setting the small area.

ここで、被写体２００内の解剖学的領域（肺野、骨、臓器など）が抽出されていれば、解剖学的領域ごとに矩形５０１を区切ってその中央の小領域５０２を選ぶようにしてもよい。また、このように選んだ小領域の中で小領域内の分散値の高い領域に限定して設定すれば、対応領域決定のためのテンプレートマッチングの精度を高めることができる。   Here, if an anatomical region (lung field, bone, organ, etc.) within the subject 200 has been extracted, the rectangle 501 may be divided for each anatomical region and the central small region 502 may be selected. Good. Further, if the setting is limited to a region having a high variance value in the small region among the small regions thus selected, the accuracy of template matching for determining the corresponding region can be improved.

図６は、図２のステップＳ２０２で行われる小領域の設定方法における第２の例を説明するための模式図である。
図６に示す例では、対応点もしくは対応領域の画素値がかたよらずに、被写体の画素値範囲に均等に存在するように対応点もしくは対応領域を選ぶ方法である。まず、図６（ａ）に示すように、被写体の画素値範囲に均等にちらばるように目標画素値６０２を所定の数だけ設定する。続いて、図（ｂ）に示すように、撮影条件変更前のＸ線画像６００の被写体内で小領域６０１を順次動かしていき、小領域６０１内の平均画素値が目標画素値６０２を中心とした所定の画素値範囲に入っていれば、これを上記小領域として設定する。即ち、本例では、撮影条件変更前のＸ線画像６００の被写体内全域をサーチして小領域を設定する。この方法によれば、目標画素値６０２を平均画素値とする小領域を設定することができる。ここで、それぞれの目標画素値６０２ごとに採用された小領域の数が多すぎる場合やばらつきがある場合には、予め定められた数の小領域に制限して採用するようにする。 FIG. 6 is a schematic diagram for explaining a second example in the small region setting method performed in step S202 of FIG.
The example shown in FIG. 6 is a method of selecting corresponding points or corresponding regions so that the corresponding points or corresponding regions have an equal pixel value range, regardless of the pixel values of the corresponding points or corresponding regions. First, as shown in FIG. 6A, a predetermined number of target pixel values 602 are set so as to be evenly distributed in the pixel value range of the subject. Subsequently, as shown in FIG. 5B, the small area 601 is sequentially moved within the subject of the X-ray image 600 before the imaging condition change, and the average pixel value in the small area 601 is centered on the target pixel value 602. If it is within the predetermined pixel value range, it is set as the small region. That is, in this example, the entire area within the subject of the X-ray image 600 before changing the imaging conditions is searched to set a small area. According to this method, a small region having the target pixel value 602 as an average pixel value can be set. Here, when the number of small regions adopted for each target pixel value 602 is too large or varies, the number of small regions is limited to a predetermined number and adopted.

ここで、再び、図２及び図３の説明に戻る。
図２のステップＳ２０２において撮影条件変更前後の２つのＸ線画像間における複数組の対応部が決定されると、ステップＳ２０３に進む。 Here, it returns to description of FIG.2 and FIG.3 again.
When a plurality of sets of corresponding portions between the two X-ray images before and after the change of the imaging condition are determined in step S202 of FIG. 2, the process proceeds to step S203.

ステップＳ２０３に進むと、画像処理部１１６は、ステップＳ２０２で決定した各対応点もしくは各対応領域（即ち各対応部）における画素値の変位を算出する処理を行う。このステップＳ２０３の処理を行う画像処理部１１６は、変位算出手段を構成する。本例では、図３（ｂ）に示すように、各対応点もしくは各対応領域（各対応部）の画素値の変位を算出する。この際、対応部が対応領域の場合には、当該対応領域の平均画素値の変位を算出する形態を適用することが可能である。図３（ｂ）では、実線が撮影条件変更前のＸ線画像の画素値、点線が撮影条件変更後のＸ線画像の画素値を表わしている。本例では、撮影条件変更後のＸ線画像の画素値（点線）から撮影条件変更前のＸ線画像の画素値（実線）を引いた差分が、算出された画素値の変位となる。   In step S203, the image processing unit 116 performs a process of calculating the displacement of the pixel value at each corresponding point or each corresponding region (that is, each corresponding unit) determined in step S202. The image processing unit 116 that performs the process of step S203 constitutes a displacement calculating unit. In this example, as shown in FIG. 3B, the displacement of the pixel value of each corresponding point or each corresponding region (each corresponding portion) is calculated. At this time, when the corresponding portion is a corresponding region, it is possible to apply a form for calculating the displacement of the average pixel value of the corresponding region. In FIG. 3B, the solid line represents the pixel value of the X-ray image before the imaging condition change, and the dotted line represents the pixel value of the X-ray image after the imaging condition change. In this example, the difference between the pixel value (dotted line) of the X-ray image after changing the imaging condition and the pixel value (solid line) of the X-ray image before changing the imaging condition is the displacement of the calculated pixel value.

続いて、ステップＳ２０４において、画像処理部１１６は、ステップＳ２０３で算出した画素値の変位と、撮影条件変更前のＸ線画像の処理に用いた階調曲線に基づいて、撮影条件変更後のＸ線画像の処理に用いる階調曲線に係る制御点を決定する処理を行う。このステップＳ２０４の処理を行う画像処理部１１６は、制御点決定手段を構成する。   Subsequently, in step S204, the image processing unit 116 determines the X after the imaging condition change based on the displacement of the pixel value calculated in step S203 and the gradation curve used for the processing of the X-ray image before the imaging condition change. A process for determining a control point related to the gradation curve used for processing the line image is performed. The image processing unit 116 that performs the process of step S204 constitutes a control point determination unit.

具体的に、図３（ｃ）に示す制御点を決定する際に、まず、撮影条件変更前のＸ線画像の各対応部の画素値と撮影条件変更前のＸ線画像に使用された階調曲線から各対応部の階調変換後の画素値を算出する。そして、この階調変換後の画素値をｙ座標として、撮影条件変更後のＸ線画像の各対応部の画素値をｘ座標とした点を上記制御点とする。   Specifically, when determining the control points shown in FIG. 3C, first, the pixel values of the corresponding portions of the X-ray image before changing the imaging condition and the floor used for the X-ray image before changing the imaging condition. The pixel value after gradation conversion of each corresponding portion is calculated from the tone curve. A point having the pixel value after the gradation conversion as the y coordinate and the pixel value of each corresponding part of the X-ray image after the change of the imaging condition as the x coordinate is defined as the control point.

続いて、ステップＳ２０５において、画像処理部１１６は、ステップＳ２０４で決定した制御点を用いて、撮影条件変更後のＸ線画像の処理に用いる階調曲線を作成する処理を行う。具体的には、ステップＳ２０４で決定した制御点にフィットするように階調曲線関数のフィッティングを行って、撮影条件変更後のＸ線画像の処理に用いる階調曲線を作成する。図３（ｃ）には、制御点を用いて作成された、撮影条件変更後のＸ線画像の処理に用いる階調曲線が示されている。このステップＳ２０５の処理を行う画像処理部１１６は、階調曲線作成手段を構成する。   Subsequently, in step S205, the image processing unit 116 performs processing for creating a gradation curve used for processing of the X-ray image after changing the imaging condition, using the control point determined in step S204. Specifically, the gradation curve function is fitted so as to fit the control point determined in step S204, and a gradation curve used for processing the X-ray image after changing the imaging condition is created. FIG. 3C shows a gradation curve used for processing the X-ray image after changing the imaging conditions, which is created using the control points. The image processing unit 116 that performs the process of step S205 constitutes a gradation curve creating unit.

続いて、ステップＳ２０６において、画像処理部１１６は、ステップＳ２０５で作成した階調曲線を用いて、撮影条件変更後のＸ線画像に対して階調変換処理を行う。このステップＳ２０６の処理を行う画像処理部１１６は、階調変換処理手段を構成する。   Subsequently, in step S206, the image processing unit 116 performs gradation conversion processing on the X-ray image after changing the imaging conditions, using the gradation curve created in step S205. The image processing unit 116 that performs the process of step S206 constitutes a gradation conversion processing unit.

ステップＳ２０６の処理が終了すると、図２のフローチャートの処理が終了する。その後、Ｘ線撮影システム制御部１１４は、画像処理部１１６で階調変換処理されたＸ線画像を診断モニタ１１８ｂに動画表示したり、更には、ネットワーク１２０を介して画像データベース１５０等に転送したりする処理を行う。なお、図２に示す処理は、撮影条件が変更された際に必要に応じて行われる。   When the process of step S206 ends, the process of the flowchart of FIG. 2 ends. Thereafter, the X-ray imaging system control unit 114 displays the moving image of the X-ray image subjected to gradation conversion processing by the image processing unit 116 on the diagnostic monitor 118b, and further transfers it to the image database 150 or the like via the network 120. Process. Note that the processing shown in FIG. 2 is performed as necessary when the shooting conditions are changed.

図２及び図３に示す階調変換処理を行うことで、動画撮影においてＸ線源１１１の管電圧などの撮影条件が変わって画像全体の画素に係るヒストグラムの形状が変わってしまう場合であっても、撮影条件の変更前後で同じ階調のＸ線画像を生成することができる。これにより、ちらつきのない安定した動画像の表示が可能となり、Ｘ線動画撮影による診断やＸ線動画撮影しながらの治療においてその精度を向上させることができる。   By performing the gradation conversion processing shown in FIGS. 2 and 3, the imaging conditions such as the tube voltage of the X-ray source 111 change in moving image shooting, and the shape of the histogram relating to the pixels of the entire image changes. In addition, it is possible to generate X-ray images having the same gradation before and after the change of the imaging conditions. As a result, it is possible to display a stable moving image without flickering, and it is possible to improve the accuracy in the diagnosis by X-ray moving image shooting and the treatment while shooting the X-ray moving image.

次に、動画撮影であることを利用して対応点もしくは対応領域の決定のためのテンプレートマッチング処理（図２のステップＳ２０２）の高速化の方法について図７及び図８を用いて説明する。   Next, a method for speeding up the template matching process (step S202 in FIG. 2) for determining the corresponding points or the corresponding regions using the video shooting will be described with reference to FIGS.

図７は、図２のステップＳ２０２で行われるテンプレートマッチング処理の際の対応部（対応点）の位置予測を説明するための模式図である。また、図８は、図７に示した対応部（対応点）の予測位置におけるサーチ領域を説明するための模式図である。   FIG. 7 is a schematic diagram for explaining position prediction of the corresponding part (corresponding point) in the template matching process performed in step S202 of FIG. FIG. 8 is a schematic diagram for explaining the search region at the predicted position of the corresponding portion (corresponding point) shown in FIG.

図７では、第１フレーム画像から第ｎフレーム画像までの対応点の位置の変化を解析して、次に撮影される第ｎ＋１フレーム画像における対応点の位置を予測するものである。図７に示すように対応点の位置予測ができれば、図８に示すように、その対応点の予測位置を中心にサーチ領域を設定することができる。この際、第ｎフレーム画像の対応点と同じ座標を中心にサーチ領域を設定する場合に比べて、対応点の予測位置を中心にサーチ領域を設定する方がより近くに対応点がくる可能性が高いので、サーチ領域をより小さく設定することができる。これにより、類似度計算の計算量を減らすことができる。   In FIG. 7, the change in the position of the corresponding point from the first frame image to the nth frame image is analyzed, and the position of the corresponding point in the n + 1th frame image to be photographed next is predicted. If the position of the corresponding point can be predicted as shown in FIG. 7, the search area can be set around the predicted position of the corresponding point as shown in FIG. At this time, compared to the case where the search area is set around the same coordinates as the corresponding point of the nth frame image, the corresponding point may be closer when the search area is set around the predicted position of the corresponding point. Therefore, the search area can be set smaller. Thereby, the calculation amount of similarity calculation can be reduced.

なお、上述した図２のフローチャートの説明においては、その処理の全ての画像処理部１１６で行うようにしているが、例えば、処理の内容に応じて、Ｘ線撮影システム制御部１１４で処理を行う形態であってもよい。   In the description of the flowchart of FIG. 2 described above, the processing is performed by all the image processing units 116. For example, the processing is performed by the X-ray imaging system control unit 114 according to the content of the processing. Form may be sufficient.

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。 (Other embodiments of the present invention)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
This program and a computer-readable recording medium storing the program are included in the present invention.

１００：Ｘ線画像撮影システム（画像処理システム）、１１０：Ｘ線画像撮影装置（画像処理装置）、１１１：Ｘ線源、１１２：Ｘ線検出器、１１３：画像入力部、１１４：Ｘ線撮影システム制御部、１１５：Ｘ線発生制御部、１１６：画像処理部、１１７：画像保存部、１１８ａ：操作部、１１８ｂ：診断モニタ、１１９：機構制御部、１２０：ネットワーク１２０、１３０：プリンター、１４０：診断ワークステーション、１５０：画像データベース１５０ 100: X-ray imaging system (image processing system), 110: X-ray imaging system (image processing system), 111: X-ray source, 112: X-ray detector, 113: Image input unit, 114: X-ray imaging System control unit, 115: X-ray generation control unit, 116: Image processing unit, 117: Image storage unit, 118a: Operation unit, 118b: Diagnostic monitor, 119: Mechanism control unit, 120: Network 120, 130: Printer, 140 : Diagnostic workstation, 150: image database 150

Claims (7)

画像を処理する画像処理装置であって、
撮影条件が変更される前の画像および撮影条件が変更された後の画像を取得する画像取得手段と、
前記画像取得手段で取得した２つの画像間について対応点もしくは対応領域の対応部を複数組決定する対応部決定手段と、
前記対応部決定手段で決定した各対応部における画素値の変位を算出する変位算出手段と、
前記変位算出手段で算出した画素値の変位と、前記前の画像の処理に用いた階調曲線に基づいて、前記後の画像の処理に用いる階調曲線に係る制御点を決定する制御点決定手段と、
前記制御点決定手段で決定した制御点を用いて階調曲線を作成する階調曲線作成手段と、
前記作成手段で作成した階調曲線を用いて前記後の画像に対して階調変換処理を行う階調変換処理手段と
を有することを特徴とする画像処理装置。 An image processing apparatus for processing an image,
Image acquisition means for acquiring an image before the shooting conditions are changed and an image after the shooting conditions are changed;
Corresponding part determining means for determining a plurality of corresponding parts of corresponding points or corresponding areas between two images acquired by the image acquiring means;
Displacement calculating means for calculating the displacement of the pixel value in each corresponding part determined by the corresponding part determining means;
Control point determination for determining a control point related to the gradation curve used for the subsequent image processing based on the displacement of the pixel value calculated by the displacement calculation means and the gradation curve used for the processing of the previous image Means,
A gradation curve creating means for creating a gradation curve using the control points determined by the control point determining means;
An image processing apparatus comprising: gradation conversion processing means for performing gradation conversion processing on the subsequent image using the gradation curve created by the creation means. 前記画像取得手段で取得される２つの画像は、撮影条件が変更される直前の画像および撮影条件が変更された直後の画像の２つのフレーム画像であることを特徴とする請求項１に記載の画像処理装置。   The two images acquired by the image acquisition unit are two frame images of an image immediately before the shooting condition is changed and an image immediately after the shooting condition is changed. Image processing device. 前記変位算出手段は、前記各対応部における画素値の変位を算出する際に、当該対応部が前記対応領域の場合に当該対応領域の平均画素値の変位を算出することを特徴とする請求項１に記載の画像処理装置。   The displacement calculating means, when calculating the displacement of the pixel value in each corresponding part, calculates the displacement of the average pixel value of the corresponding area when the corresponding part is the corresponding area. The image processing apparatus according to 1. 前記対応部決定手段は、前記前の画像に映る被写体内の領域であって予め定められた大きさに区切られた矩形内の中央の小領域と、前記前の画像の小領域に対応する前記後の画像の小領域に基づいて、前記対応部を決定することを特徴とする請求項１に記載の画像処理装置。   The corresponding unit determining means is a region in the subject shown in the previous image, and a small region in the middle of a rectangle divided into a predetermined size, and the small region corresponding to the small region of the previous image. The image processing apparatus according to claim 1, wherein the corresponding unit is determined based on a small area of a subsequent image. 前記対応部決定手段は、前記後の画像に映る被写体内で前記後の画像の小領域を動かして、当該小領域の平均画素値が予め定められた目標画素値を中心とした所定の画素値範囲に入っている場合に、当該小領域を用いて前記対応部を決定することを特徴とする請求項４に記載の画像処理装置。   The corresponding unit determining means moves a small area of the subsequent image in a subject shown in the subsequent image, and an average pixel value of the small area is a predetermined pixel value centered on a predetermined target pixel value. The image processing apparatus according to claim 4, wherein the corresponding unit is determined using the small area when the area falls within the range. 前記画像取得手段は、前記前の画像よりも前に撮影された画像を更に取得するものであり、
前記対応部決定手段は、前記前の画像および当該前の画像よりも前に撮影された画像における対応部の位置の変化を解析し、前記後の画像における対応部の位置を予測して、前記対応部を決定することを特徴とする請求項１に記載の画像処理装置。 The image acquisition means further acquires an image photographed before the previous image,
The corresponding part determining means analyzes the change in the position of the corresponding part in the previous image and the image photographed before the previous image, predicts the position of the corresponding part in the subsequent image, and The image processing apparatus according to claim 1, wherein a corresponding unit is determined. 画像を処理する画像処理装置による画像処理方法であって、
撮影条件が変更される前の画像および撮影条件が変更された後の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した２つの画像間について対応点もしくは対応領域の対応部を複数組決定する対応部決定ステップと、
前記対応部決定ステップで決定した各対応部における画素値の変位を算出する変位算出ステップと、
前記変位算出ステップで算出した画素値の変位と、前記前の画像の処理に用いた階調曲線に基づいて、前記後の画像の処理に用いる階調曲線に係る制御点を決定する制御点決定ステップと、
前記制御点決定ステップで決定した制御点を用いて階調曲線を作成する階調曲線作成ステップと、
前記作成ステップで作成した階調曲線を用いて前記後の画像に対して階調変換処理を行う階調変換処理ステップと
を有することを特徴とする画像処理方法。 An image processing method by an image processing apparatus for processing an image,
An image acquisition step of acquiring an image before the shooting conditions are changed and an image after the shooting conditions are changed;
A corresponding part determining step for determining a plurality of corresponding parts of corresponding points or corresponding areas between the two images acquired in the image acquiring step;
A displacement calculating step for calculating a displacement of a pixel value in each corresponding part determined in the corresponding part determining step;
Control point determination for determining a control point related to the gradation curve used for the subsequent image processing based on the displacement of the pixel value calculated in the displacement calculation step and the gradation curve used for the processing of the previous image Steps,
A gradation curve creating step of creating a gradation curve using the control points determined in the control point determining step;
An image processing method comprising: a gradation conversion processing step for performing gradation conversion processing on the subsequent image using the gradation curve created in the creation step.

Images