JP2021037195A - Radiation image processing system and image processing method - Google Patents

Radiation image processing system and image processing method Download PDF

Info

Publication number
JP2021037195A
JP2021037195A JP2019161781A JP2019161781A JP2021037195A JP 2021037195 A JP2021037195 A JP 2021037195A JP 2019161781 A JP2019161781 A JP 2019161781A JP 2019161781 A JP2019161781 A JP 2019161781A JP 2021037195 A JP2021037195 A JP 2021037195A
Authority
JP
Japan
Prior art keywords
image
motion information
unit
information
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019161781A
Other languages
Japanese (ja)
Other versions
JP7317639B2 (en
Inventor
影山　昌広
Masahiro Kageyama
昌広 影山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019161781A priority Critical patent/JP7317639B2/en
Priority to CN202010424308.4A priority patent/CN112438743B/en
Publication of JP2021037195A publication Critical patent/JP2021037195A/en
Application granted granted Critical
Publication of JP7317639B2 publication Critical patent/JP7317639B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4411—Constructional features of apparatus for radiation diagnosis the apparatus being modular
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

To generate an interpolation image which has the less noise such as deformation of a subject even when the reflection of the subject over a diaphragm boundary changes.SOLUTION: A system for processing an image obtained by intermittently irradiating a subject with a radiation via a diaphragm comprises: a motion information estimation unit which calculates an estimation value for estimating the motion of the subject corresponding to each of a plurality of pixels included in the first image by using the first image and second image that are continuous on a time-series basis and generates motion information constituted from the estimation value of each pixel; a motion information correction unit which specifies a correction region constituted from the pixel requiring correction of the value of the motion information on the basis of a diaphragm boundary included in each of the first image and second image and corrects the estimation value of the correction region of the motion information; and a frame interpolation unit which generates an interpolation image to be inserted into a space between the first image and the second image on the basis of the corrected motion information.SELECTED DRAWING: Figure 3

Description

本発明は、被写体に放射線を透過して得られた画像を処理するシステムに関する。 The present invention relates to a system that processes an image obtained by transmitting radiation through a subject.

医療現場では、人体（患者、検査対象者等）、及び人体に挿入した手技用デバイス（内視鏡、ガイドワイヤ、カテーテル、及びステント等）等の被写体に対してＸ線等の放射線を照射し、被写体を透過した放射線の強度分布を検出器で検出して得た画像（以下、透過像と記載する）をリアルタイムで表示しながら、医師及び技師が治療及び検査等の医療行為を行っている。 In the medical field, radiation such as X-rays is applied to subjects such as the human body (patients, test subjects, etc.) and procedure devices (endoscopes, guide wires, catheters, stents, etc.) inserted into the human body. , Doctors and technicians perform medical treatment such as treatment and examination while displaying in real time an image obtained by detecting the intensity distribution of radiation transmitted through the subject with a detector (hereinafter referred to as a transmission image). ..

被ばくによる人体への影響を小さく抑えるために、放射線は間欠的に照射される。得られる透過像間の時間間隔が長くなる。したがって、透過像を動画として再生した場合、被写体の動きが不自然な動きの動画になってしまう。 Radiation is given intermittently to minimize the effects of exposure on the human body. The time interval between the obtained transmitted images becomes long. Therefore, when the transmitted image is reproduced as a moving image, the movement of the subject becomes an unnatural moving image.

そこで、透過像に対して画像処理を実行することによって補間画像を生成し、透過像間に挿入することによって自然な動きの画像を再生するフレームレート変換技術の実現が望まれている。 Therefore, it is desired to realize a frame rate conversion technique that generates an interpolated image by executing image processing on a transmitted image and reproduces an image of natural movement by inserting the interpolated image between the transmitted images.

フレームレート変換技術は、テレビ受像機への応用等に向けて古くから検討されており、例えば非特許文献１に記載の技術等が知られている。 The frame rate conversion technique has been studied for a long time for application to a television receiver and the like, and for example, the technique described in Non-Patent Document 1 is known.

フレームレート変換技術には、時間的に連続する２枚の画像（フレーム）間で、画像上に映ったすべての被写体がそれぞれどのように動いたかを示す動き情報（各画素の動きベクトル）を推定する技術（密オプティカルフロー推定技術）が不可欠である。 The frame rate conversion technology estimates motion information (motion vector of each pixel) that indicates how all the subjects shown on the image have moved between two images (frames) that are continuous in time. Technology (dense optical flow estimation technology) is indispensable.

密オプティカルフロー推定技術では、２枚の画像間の対応点（輝度値又はテクスチャが画像間で互いに対応する点）を推定する。密オプティカルフロー推定技術として、例えば、非特許文献２及び非特許文献３に記載の技術等が知られている。 In the dense optical flow estimation technique, the corresponding point between two images (the point where the brightness value or the texture corresponds to each other between the images) is estimated. As the dense optical flow estimation technique, for example, the techniques described in Non-Patent Document 2 and Non-Patent Document 3 are known.

M Armstrong, D Flynn, M Hammond, S Jolly, R Salmon；「High Frame-Rate Television」，BBC Research White Paper WHP 169，September 2008M Armstrong, D Flynn, M Hammond, S Jolly, R Salmon; "High Frame-Rate Television", BBC Research White Paper WHP 169, September 2008 G Farneback；「Two-Frame Motion Estimation Based on Polynomial Expansion」，SCIA 2003: Image Analysis pp 363-370，Scandinavian Conference on Image Analysis 2003G Farneback; "Two-Frame Motion Optimization Based on Polynomial Expansion", SCIA 2003: Image Analysis pp 363-370, Scandinavian Conference on Image Analysis 2003 Xiang Li, Jianle Chen, and Marta Karczewicz；「Frame Rate Up-Conversion based Motion Vector Derivation for Hybrid Video Coding」，2017 Data Compression Conference (DCC)Xiang Li, Jianle Chen, and Marta Karczewicz; "Frame Rate Up-Conversion based Motion Vector Derivation for Hybrid Video Coding", 2017 Data Compression Conference (DCC)

非特許文献２及び非特許文献３には、連続する２枚の画像間の対応点を推定する技術が開示されている。また、非特許文献３には、推定された対応点同士を結んだ線分上で、２枚の画像上の画素の各輝度値を内分して、補間画像を生成する技術が開示されている。これらの技術を用いることによって、単位時間あたりの画像数（フレーム数）を増やすことができる。 Non-Patent Document 2 and Non-Patent Document 3 disclose a technique for estimating a correspondence point between two consecutive images. Further, Non-Patent Document 3 discloses a technique for generating an interpolated image by internally dividing each luminance value of pixels on two images on a line segment connecting the estimated corresponding points. There is. By using these techniques, the number of images (number of frames) per unit time can be increased.

人体を被写体とする放射線画像処理システムは、被ばくを最小限に抑えるために、放射線の照射範囲を限定する「絞り」を備える。 Radiation image processing systems that target the human body are equipped with an "aperture" that limits the irradiation range of radiation in order to minimize exposure.

絞りの内側（絞りにより放射線が遮蔽されない領域）では、被写体に直接放射線が照射されるため、被写体を透過する放射線量が多くなり、透過像の輝度値は高く、また、コントラストも強い。一方、絞りの外側（絞りにより放射線が遮蔽される領域）では、絞りを透過した放射線が被写体に照射されるため、被写体を透過する放射線量が少なくなり、透過像の輝度値は低く、また、コントラストも弱い。以下の説明では、絞りにより画像上に形成される陰影の領域を絞り陰影領域と記載する。 Inside the diaphragm (the region where the radiation is not blocked by the diaphragm), the subject is directly irradiated with radiation, so that the amount of radiation transmitted through the subject is large, the brightness value of the transmitted image is high, and the contrast is also strong. On the other hand, outside the diaphragm (the area where the radiation is shielded by the diaphragm), the radiation transmitted through the diaphragm is applied to the subject, so that the amount of radiation transmitted through the subject is reduced, the brightness value of the transmitted image is low, and the brightness value of the transmitted image is low. The contrast is also weak. In the following description, the area of the shadow formed on the image by the aperture is referred to as the aperture shadow area.

ここで、図１８Ａ及び図１８Ｂを用いて、絞りを介して照射された放射線から生成される画像から補間画像を生成する場合の問題について説明する。 Here, a problem in the case of generating an interpolated image from an image generated from the radiation emitted through the diaphragm will be described with reference to FIGS. 18A and 18B.

図１８Ａ及び図１８Ｂは、従来技術の課題を説明する図である。ここでは、透過像が生成される時間間隔はＴとする。また、フレーム数を２倍にするための補間画像が生成されるものとする。 18A and 18B are diagrams illustrating problems of the prior art. Here, the time interval at which the transmission image is generated is T. Further, it is assumed that an interpolated image for doubling the number of frames is generated.

図１８Ａは、被写体が静止し、絞り陰影領域の大きさが時々刻々と変化する状況下で撮像された透過像を示す。図１８Ｂは、絞り陰影領域の大きさは変化せず、被写体が移動している状況下で撮像された透過像を示す。 FIG. 18A shows a transmission image captured in a situation where the subject is stationary and the size of the aperture shadow region changes from moment to moment. FIG. 18B shows a transmission image captured in a situation where the size of the aperture shadow region does not change and the subject is moving.

第１の画像１８０１は、基準となる透過像であり、第２の画像１８０３は第１の画像１８０１の後に撮像された透過像である。第１の画像１８０１には絞り陰影領域１８０４が含まれ、また、第２の画像１８０３には被写体像１８０６が含まれる。枠１８０５は、絞り陰影領域１８０４の内側及び外側を分ける境界を示す。以下の説明では、絞り陰影領域の境界を絞り境界と記載する。 The first image 1801 is a reference transmission image, and the second image 1803 is a transmission image captured after the first image 1801. The first image 1801 includes an aperture shadow region 1804, and the second image 1803 includes a subject image 1806. The frame 1805 indicates a boundary that separates the inside and the outside of the aperture shadow region 1804. In the following description, the boundary of the aperture shadow area will be referred to as the aperture boundary.

図１８Ａに示すように、絞り陰影領域１８０４の大きさの変化によって、絞り境界をまたぐ被写体の映り込みが変化する。また、図１８Ｂに示すように、被写体の移動によって、絞り境界をまたぐ被写体の映り込みが変化する。この場合、第１の画像１８０１及び第２の画像１８０３間における被写体の対応点を正しく推定することは困難となる。したがって、第１の画像１８０１及び第２の画像１８０３から生成される補間画像１８０２では、絞り境界又は手技用デバイス等の被写体がゆがんで映る。領域１８０９は、絞り境界のゆがみが生じている領域である。 As shown in FIG. 18A, the reflection of the subject straddling the aperture boundary changes due to the change in the size of the aperture shadow region 1804. Further, as shown in FIG. 18B, the reflection of the subject across the aperture boundary changes depending on the movement of the subject. In this case, it is difficult to correctly estimate the corresponding points of the subject between the first image 1801 and the second image 1803. Therefore, in the interpolated image 1802 generated from the first image 1801 and the second image 1803, the subject such as the aperture boundary or the procedure device is distorted. Region 1809 is a region where the aperture boundary is distorted.

前述のようなゆがみが生じた補間画像を含む画像を再生した場合、診断及び手術等の医療行為に支障をきたす可能性がある。 When an image including the distorted interpolated image as described above is reproduced, it may interfere with medical practice such as diagnosis and surgery.

本発明は、このような状況に鑑みてなされたものである。絞り境界をまたぐ被写体の映り込みが変化する場合でもゆがみ等のノイズが少ない補間画像を生成し、高画質かつ滑らかな画像の再生を実現できる放射線画像処理システムを提供するものである。 The present invention has been made in view of such a situation. It provides a radiation image processing system that can generate an interpolated image with less noise such as distortion even when the reflection of a subject straddling the aperture boundary changes, and can realize high-quality and smooth image reproduction.

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、絞りを介して放射線を間欠的に被写体に照射することによって得られる画像を処理する放射線画像処理システムであって、時系列的に連続する第１の画像及び第２の画像を用いて、前記第１の画像に含まれる複数の画素の各々に対応する被写体の動きを推定するための推定値を算出し、前記複数の画素の各々の前記推定値から構成される動き情報を生成する動き情報推定部と、前記第１の画像及び前記第２の画像の各々に含まれる、前記絞りにより形成される絞り境界に基づいて、前記動き情報の値の補正が必要な画素から構成される補正領域を特定し、前記動き情報の前記補正領域の前記推定値を補正する動き情報補正部と、前記補正された動き情報に基づいて、前記第１の画像及び前記第２の画像の間に挿入する補間画像を生成するフレーム補間部と、を備える。 A typical example of the invention disclosed in the present application is as follows. That is, it is a radiation image processing system that processes an image obtained by intermittently irradiating a subject with radiation through an aperture, and uses a first image and a second image that are continuous in chronological order. A movement that calculates an estimated value for estimating the movement of a subject corresponding to each of the plurality of pixels included in the first image, and generates motion information composed of the estimated values of each of the plurality of pixels. A correction composed of an information estimation unit and pixels that need to correct the value of the motion information based on the aperture boundary formed by the aperture included in each of the first image and the second image. Inserted between the first image and the second image based on the corrected motion information and the motion information correction unit that specifies a region and corrects the estimated value of the correction region of the motion information. A frame interpolation unit for generating an interpolated image is provided.

本発明によれば、放射線画像処理システムは、絞り境界をまたぐ被写体の映り込みが変化する場合でもノイズが少ない補間画像を生成し、高画質かつ滑らかな画像の再生できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。 According to the present invention, the radiation image processing system can generate an interpolated image with less noise even when the reflection of a subject straddling the aperture boundary changes, and can reproduce a high-quality and smooth image. Issues, configurations and effects other than those mentioned above will be clarified by the description of the following examples.

実施例１の放射線画像処理システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the radiation image processing system of Example 1. 実施例１の画像処理部のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of the image processing part of Example 1. FIG. 実施例１の画像処理部の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the image processing part of Example 1. FIG. 実施例１の画像処理部が実行する処理の概要を説明するフローチャートである。It is a flowchart explaining the outline of the processing executed by the image processing unit of Example 1. 実施例１の第１の絞り境界推定部の構成の一例を示す図である。It is a figure which shows an example of the structure of the 1st diaphragm boundary estimation part of Example 1. FIG. 実施例１の第１の絞り境界推定部が実行する第１の絞り境界推定処理を説明する図である。It is a figure explaining the 1st diaphragm boundary estimation process executed by the 1st diaphragm boundary estimation part of Example 1. FIG. 実施例１の絞り境界検出部の構成の一例を示す図である。It is a figure which shows an example of the structure of the diaphragm boundary detection part of Example 1. FIG. 実施例１の絞り境界検出部の構成の一例を示す図である。It is a figure which shows an example of the structure of the diaphragm boundary detection part of Example 1. FIG. 実施例１の動き情報推定部の動き情報の生成方法を説明する図である。It is a figure explaining the method of generating the motion information of the motion information estimation part of Example 1. FIG. 実施例１の動き情報推定部の動きベクトルの算出方法を説明する図である。It is a figure explaining the calculation method of the motion vector of the motion information estimation part of Example 1. FIG. 実施例１の第２の絞り境界推定部が実行する第２の絞り境界推定処理を説明する図である。It is a figure explaining the 2nd diaphragm boundary estimation process executed by the 2nd diaphragm boundary estimation part of Example 1. FIG. 実施例１の第２の絞り境界推定部が実行する第２の絞り境界推定処理を説明する図である。It is a figure explaining the 2nd diaphragm boundary estimation process executed by the 2nd diaphragm boundary estimation part of Example 1. FIG. 実施例１の動き情報補正部の構成の一例を示す図である。It is a figure which shows an example of the structure of the motion information correction part of Example 1. FIG. 実施例１の動き情報補正部が生成する差分画像の一例を示す図である。It is a figure which shows an example of the difference image generated by the motion information correction part of Example 1. FIG. 実施例１の動き情報補正部に設定される補正ポリシの一例を示す図である。It is a figure which shows an example of the correction policy set in the motion information correction part of Example 1. FIG. 実施例１の第２の動き情報補正部の構成の一例を示す図である。It is a figure which shows an example of the structure of the 2nd motion information correction part of Example 1. FIG. 実施例１の第２の動き情報補正部が実行する処理を説明するフローチャートである。It is a flowchart explaining the process executed by the 2nd motion information correction part of Example 1. FIG. 実施例１の内挿部が実行する処理を説明するフローチャートである。It is a flowchart explaining the process executed by the interpolation part of Example 1. FIG. 実施例１のフレーム補間部の構成の一例を示す図である。It is a figure which shows an example of the structure of the frame interpolation part of Example 1. FIG. 実施例１のフレーム補間部の構成の一例を示す図である。It is a figure which shows an example of the structure of the frame interpolation part of Example 1. FIG. 実施例１のフレーム補間部の構成の一例を示す図である。It is a figure which shows an example of the structure of the frame interpolation part of Example 1. FIG. 従来技術の課題を説明する図である。It is a figure explaining the problem of the prior art. 従来技術の課題を説明する図である。It is a figure explaining the problem of the prior art.

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。 Hereinafter, examples of the present invention will be described with reference to the drawings. However, the present invention is not construed as being limited to the contents of the examples shown below. It is easily understood by those skilled in the art that a specific configuration thereof can be changed without departing from the idea or gist of the present invention.

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。 In the configurations of the invention described below, the same or similar configurations or functions are designated by the same reference numerals, and duplicate description will be omitted.

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。 The notations such as "first", "second", and "third" in the present specification and the like are attached to identify the constituent elements, and do not necessarily limit the number or order.

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。 The position, size, shape, range, etc. of each configuration shown in the drawings and the like may not represent the actual position, size, shape, range, etc., in order to facilitate understanding of the invention. Therefore, the present invention is not limited to the position, size, shape, range, etc. disclosed in the drawings and the like.

図１は、実施例１の放射線画像処理システムの構成の一例を示すブロック図である。 FIG. 1 is a block diagram showing an example of the configuration of the radiation image processing system of the first embodiment.

図１に示すように、放射線画像処理システム１０１は、Ｘ線管１０２、高電圧発生部１０３、Ｘ線制御部１０４、絞り１０５、Ｘ線補償フィルタ１０６、絞り／フィルタ制御部１０７、テーブル１０９、機構制御部１１０、Ｘ線検出器１１１、検出器制御部１１２、記憶部１１３、中央処理部１１４、画像処理部１１５、入力部１１６、表示部１１７を有する。 As shown in FIG. 1, the radiographic image processing system 101 includes an X-ray tube 102, a high voltage generating unit 103, an X-ray control unit 104, an aperture 105, an X-ray compensation filter 106, an aperture / filter control unit 107, and a table 109. It has a mechanism control unit 110, an X-ray detector 111, a detector control unit 112, a storage unit 113, a central processing unit 114, an image processing unit 115, an input unit 116, and a display unit 117.

テーブル１０９は、人等の被写体１０８を載せる寝台である。機構制御部１１０は、テーブル１０９と電気的に接続され、被写体１０８が撮影に適した位置となるように、テーブル１０９の動きを制御する。このとき、Ｘ線検出器１１１についても、テーブル１０９と一体的に移動する構造としてもよい。 The table 109 is a sleeper on which a subject 108 such as a person is placed. The mechanism control unit 110 is electrically connected to the table 109 and controls the movement of the table 109 so that the subject 108 is in a position suitable for shooting. At this time, the X-ray detector 111 may also have a structure that moves integrally with the table 109.

Ｘ線管１０２は、Ｘ線を発生させ、テーブル１０９の上に配置された被写体１０８に向けて当該Ｘ線を照射する。高電圧発生部１０３は、Ｘ線管１０２と電気的に接続され、Ｘ線管１０２に与える高電圧を発生する。Ｘ線制御部１０４は、高電圧発生部１０３と電気的に接続され、高電圧発生部１０３を制御し、Ｘ線管１０２から照射されるＸ線の線量及び線質を制御する。 The X-ray tube 102 generates X-rays and irradiates the subject 108 arranged on the table 109 with the X-rays. The high voltage generation unit 103 is electrically connected to the X-ray tube 102 to generate a high voltage applied to the X-ray tube 102. The X-ray control unit 104 is electrically connected to the high voltage generation unit 103, controls the high voltage generation unit 103, and controls the dose and quality of the X-rays emitted from the X-ray tube 102.

絞り１０５は、Ｘ線管１０２のＸ線照射方向に配置され、Ｘ線管１０２で発生したＸ線が照射される領域を、Ｘ線吸収率の高い金属の開閉によって制御する。Ｘ線補償フィルタ１０６は、波長依存性を持ったＸ線吸収率の高い物質で構成され、被写体１０８のＸ線吸収率の低い部位に到達するＸ線を減衰させることによってハレーションを軽減するとともに、不要な波長成分を減衰させて人体の被爆量を軽減する。 The aperture 105 is arranged in the X-ray irradiation direction of the X-ray tube 102, and the region irradiated with the X-rays generated by the X-ray tube 102 is controlled by opening and closing a metal having a high X-ray absorption rate. The X-ray compensation filter 106 is composed of a wavelength-dependent substance having a high X-ray absorption rate, reduces halation by attenuating X-rays reaching a portion of the subject 108 having a low X-ray absorption rate, and at the same time, reduces halation. Attenuates unnecessary wavelength components to reduce the amount of exposure to the human body.

絞り／フィルタ制御部１０７は、絞り１０５及びＸ線補償フィルタ１０６と電気的に接続され、絞り１０５の位置（Ｘ線の照射範囲）及びＸ線補償フィルタ１０６を制御する。 The aperture / filter control unit 107 is electrically connected to the aperture 105 and the X-ray compensation filter 106, and controls the position of the aperture 105 (X-ray irradiation range) and the X-ray compensation filter 106.

Ｘ線検出器１１１は、絞り１０５、Ｘ線補償フィルタ１０６及びテーブル１０９を介在してＸ線管１０２と対向するように配置され、画像生成部として機能する。具体的には、Ｘ線検出器１１１は、Ｘ線管１０２から照射され被写体１０８を透過したＸ線の強度分布を特徴量に変換し、画素毎の特徴量から構成される透過像のデータを出力する。特徴量は、例えば、輝度値及び分散値等である。本明細書では、輝度値を特徴量として有する画像を用いて説明する。 The X-ray detector 111 is arranged so as to face the X-ray tube 102 via the diaphragm 105, the X-ray compensation filter 106, and the table 109, and functions as an image generation unit. Specifically, the X-ray detector 111 converts the intensity distribution of X-rays emitted from the X-ray tube 102 and transmitted through the subject 108 into feature quantities, and converts transmitted image data composed of feature quantities for each pixel. Output. The feature amount is, for example, a luminance value, a dispersion value, or the like. In the present specification, an image having a luminance value as a feature amount will be described.

検出器制御部１１２は、Ｘ線検出器１１１と電気的に接続され、Ｘ線検出器１１１を制御することによって透過像のデータを取得し、画像処理部１１５に透過像のデータを入力する。検出器制御部１１２は、Ｘ線検出器１１１を制御することによって、透過像を静止画として生成してもよいし、時間的に異なるタイミングで撮影した複数の透過像を動画像として生成してもよい。動画像を生成するための撮影タイミングは、例えば、毎秒３０フレーム及び毎秒１５フレーム等の一定の時間間隔が考えられる。後述する補間画像が挿入される想定して、時間間隔は長くてもよい。なお、本発明は、時間間隔に限定されない。 The detector control unit 112 is electrically connected to the X-ray detector 111, acquires transmission image data by controlling the X-ray detector 111, and inputs the transmission image data to the image processing unit 115. The detector control unit 112 may generate a transmission image as a still image by controlling the X-ray detector 111, or generate a plurality of transmission images taken at different timings in time as a moving image. May be good. As the shooting timing for generating the moving image, for example, a fixed time interval such as 30 frames per second and 15 frames per second can be considered. The time interval may be long, assuming that the interpolated image described later is inserted. The present invention is not limited to the time interval.

画像処理部１１５は、検出器制御部１１２と電気的に接続され、Ｘ線検出器１１１で撮影され、検出器制御部１１２を介して入力された透過像の補正処理を実行する。 The image processing unit 115 is electrically connected to the detector control unit 112, and executes correction processing for a transmitted image taken by the X-ray detector 111 and input via the detector control unit 112.

中央処理部１１４は、Ｘ線制御部１０４、絞り／フィルタ制御部１０７、機構制御部１１０、検出器制御部１１２、記憶部１１３、画像処理部１１５、入力部１１６、表示部１１７と電気的に接続され、電気的に接続される各機能部を制御する。中央処理部１１４は、例えば、汎用計算機が有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。 The central processing unit 114 is electrically connected to the X-ray control unit 104, the aperture / filter control unit 107, the mechanism control unit 110, the detector control unit 112, the storage unit 113, the image processing unit 115, the input unit 116, and the display unit 117. Controls each functional unit that is connected and electrically connected. The central processing unit 114 is, for example, a CPU (Central Processing Unit) of a general-purpose computer.

記憶部１１３は、半導体メモリ及び磁気ディスク等の記録媒体を備え、画像取得条件及び画像等をデータとして記憶する。なお、記録媒体の種類は、これに限定されるものではない。 The storage unit 113 includes a recording medium such as a semiconductor memory and a magnetic disk, and stores image acquisition conditions and images as data. The type of recording medium is not limited to this.

入力部１１６は、使用者が画像取得条件等を設定するためのユーザインターフェースである。入力部１１６として、キーボード、マウス、及び制御用ボタン等を有してもよいし、音声入力及びジェスチャー入力など行うためのセンサ等を有してもよい。 The input unit 116 is a user interface for the user to set image acquisition conditions and the like. The input unit 116 may include a keyboard, a mouse, control buttons, and the like, or may have a sensor and the like for performing voice input, gesture input, and the like.

表示部１１７は、補正後の画像を表示する。表示部１１７として、ディスプレイ及びプリンタ等を有してもよい。 The display unit 117 displays the corrected image. The display unit 117 may include a display, a printer, and the like.

Ｘ線制御部１０４、絞り／フィルタ制御部１０７、機構制御部１１０、検出器制御部１１２、及び画像処理部１１５は専用のハードウェアを用いて実現しているがこれに限定されない。例えば、各ハードウェアをソフトウェアとして実現してもよい。この場合、各ハードウェアの機能を実現するプログラムを記憶部１１３に格納し、中央処理部１１４が当該プログラムにしたがって処理を実行することによって、各ハードウェアの機能を実現する。 The X-ray control unit 104, the aperture / filter control unit 107, the mechanism control unit 110, the detector control unit 112, and the image processing unit 115 are realized by using dedicated hardware, but the present invention is not limited thereto. For example, each hardware may be realized as software. In this case, a program that realizes the function of each hardware is stored in the storage unit 113, and the central processing unit 114 executes the process according to the program to realize the function of each hardware.

画像処理部１１５の詳細については、以下に詳しく説明する。 The details of the image processing unit 115 will be described in detail below.

図２は、実施例１の画像処理部１１５のハードウェア構成の一例を示すブロック図である。図３は、実施例１の画像処理部１１５の機能構成の一例を示すブロック図である。図４は、実施例１の画像処理部１１５が実行する処理の概要を説明するフローチャートである。 FIG. 2 is a block diagram showing an example of the hardware configuration of the image processing unit 115 of the first embodiment. FIG. 3 is a block diagram showing an example of the functional configuration of the image processing unit 115 of the first embodiment. FIG. 4 is a flowchart illustrating an outline of the processing executed by the image processing unit 115 of the first embodiment.

計算機２００は、画像処理部１１５を実現する計算機であり、プロセッサ２０１、メモリ２０２、記憶装置２０３、ネットワークインタフェース２０４、ＩＯインタフェース２０５を備える。前述の各ハードウェアはバス２０６を介して互いに接続される。 The computer 200 is a computer that realizes the image processing unit 115, and includes a processor 201, a memory 202, a storage device 203, a network interface 204, and an IO interface 205. The hardware described above are connected to each other via bus 206.

プロセッサ２０１は、計算機２００全体を制御する装置であって、プロセッサ２０１は、メモリ２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。 The processor 201 is a device that controls the entire computer 200, and the processor 201 executes a program stored in the memory 202. When the processor 201 executes processing according to a program, it operates as a functional unit that realizes a specific function. In the following description, when the process is described with the functional unit as the subject, it is shown that the processor 201 is executing the program that realizes the functional unit.

メモリ２０２は、プロセッサ２０１が実行するプログラム及びプログラムが使用する情報を格納する。また、メモリ２０２はプログラムが一時的に使用するワークエリアを含む。メモリ２０２は、図３に示す第１の絞り境界推定部３０１、第２の絞り境界推定部３０２、動き情報推定部３０３、動き情報補正部３０４、及びフレーム補間部３０５を実現するプログラムを格納する。機能部の説明は後述する。 The memory 202 stores a program executed by the processor 201 and information used by the program. The memory 202 also includes a work area that the program temporarily uses. The memory 202 stores a program that realizes the first aperture boundary estimation unit 301, the second aperture boundary estimation unit 302, the motion information estimation unit 303, the motion information correction unit 304, and the frame interpolation unit 305 shown in FIG. .. The functional part will be described later.

記憶装置２０３は、データを永続的に格納する記憶装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。 The storage device 203 is a storage device that permanently stores data, and is, for example, an HDD (Hard Disk Drive) and an SSD (Solid State Drive).

なお、メモリ２０２に格納されるプログラム及び情報は、記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１が記憶装置２０３からプログラム及び情報を読み出し、メモリ２０２にロードし、さらに、メモリ２０２にロードされたプログラムを実行する。 The programs and information stored in the memory 202 may be stored in the storage device 203. In this case, the processor 201 reads the program and information from the storage device 203, loads the program and information into the memory 202, and further executes the program loaded in the memory 202.

ネットワークインタフェース２０４は、ネットワーク２１５を介して、画像取得装置等の外部装置と通信するためのインタフェースである。ネットワーク２１５は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、イントラネットワーク、インターネット、携帯電話網、固定電話網等である。接続方式は有線及び無線のいずれでもよい。 The network interface 204 is an interface for communicating with an external device such as an image acquisition device via the network 215. The network 215 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), an intra network, the Internet, a mobile phone network, a fixed telephone network, or the like. The connection method may be either wired or wireless.

ＩＯインタフェース２０５は、入力装置及び出力装置と接続するためのインタフェースである。ＩＯインタフェース２０５は、入力装置としてキーボード２１１及びマウス２１２と接続し、出力装置としてディスプレイ２１３と接続する。 The IO interface 205 is an interface for connecting to an input device and an output device. The IO interface 205 is connected to the keyboard 211 and the mouse 212 as an input device, and is connected to the display 213 as an output device.

画像処理部１１５は、Ｘ線検出器１１１から入力画像を取得し、後述する処理を実行することによって生成された補間画像を入力画像間に挿入し、画像群を出力する。ここで、画像処理部１１５が有する機能部について説明する。 The image processing unit 115 acquires an input image from the X-ray detector 111, inserts an interpolated image generated by executing a process described later between the input images, and outputs an image group. Here, the functional unit included in the image processing unit 115 will be described.

第１の絞り境界推定部３０１は、２つの透過像を用いて、絞り陰影領域の境界、すなわち、絞り境界の位置を推定する。以下の説明では、第１の絞り境界推定部３０１によって推定される絞り境界を第１の推定絞り境界と記載する。 The first aperture boundary estimation unit 301 estimates the position of the boundary of the aperture shadow region, that is, the aperture boundary, using the two transmission images. In the following description, the aperture boundary estimated by the first aperture boundary estimation unit 301 will be referred to as the first estimated aperture boundary.

動き情報推定部３０３は、２つの透過像から、基準となる透過像における被写体の動きを推定し、推定結果を含む動き情報を生成する。動き情報は、基準となる透過像の各画素に対応する被写体の動きの推定結果である動きベクトルから構成される。なお、動き情報は、非特許文献２及び非特許文献３等の公知の技術を用いて生成される。 The motion information estimation unit 303 estimates the motion of the subject in the reference transmission image from the two transmission images, and generates motion information including the estimation result. The motion information is composed of a motion vector which is an estimation result of the motion of the subject corresponding to each pixel of the reference transmission image. The motion information is generated by using known techniques such as Non-Patent Document 2 and Non-Patent Document 3.

第２の絞り境界推定部３０２は、動き情報を用いて絞り境界を推定する。以下の説明では、第２の絞り境界推定部３０２によって推定される絞り境界を第２の推定絞り境界と記載する。 The second aperture boundary estimation unit 302 estimates the aperture boundary using motion information. In the following description, the aperture boundary estimated by the second aperture boundary estimation unit 302 will be referred to as the second estimated aperture boundary.

動き情報補正部３０４は、第１の推定絞り境界及び第２の推定絞り境界に基づいて、動き情報を補正する。 The motion information correction unit 304 corrects motion information based on the first estimated aperture boundary and the second estimated aperture boundary.

フレーム補間部３０５は、透過像及び補正された動き情報に基づいて、透過像間に挿入する補間画像を生成し、生成された補間画像を透過像間に挿入する。フレームレートの増加幅は、整数倍、小数倍、及び分数倍等、任意に設定できる。実施例１では、フレームレートを２倍化する場合を例に処理を説明する。 The frame interpolation unit 305 generates an interpolated image to be inserted between the transmitted images based on the transmitted image and the corrected motion information, and inserts the generated interpolated image between the transmitted images. The amount of increase in the frame rate can be arbitrarily set such as an integer multiple, a fractional multiple, and a fractional multiple. In the first embodiment, the process will be described by taking the case of doubling the frame rate as an example.

動き情報補正部３０４は、第１の絞り境界推定部３０１及び第２の絞り境界推定部３０２を含むようにしてもよい。 The motion information correction unit 304 may include a first aperture boundary estimation unit 301 and a second aperture boundary estimation unit 302.

画像処理部１１５は、検出器制御部１１２を介して、Ｘ線検出器１１１から入力画像（透過像）を取得する（ステップＳ４０１）。 The image processing unit 115 acquires an input image (transmission image) from the X-ray detector 111 via the detector control unit 112 (step S401).

画像処理部１１５の動き情報推定部３０３は、動き情報推定処理を実行する（ステップＳ４０２）。 The motion information estimation unit 303 of the image processing unit 115 executes the motion information estimation process (step S402).

画像処理部１１５の第１の絞り境界推定部３０１は、第１の絞り境界推定処理を実行する（ステップＳ４０３）。また、画像処理部１１５の第２の絞り境界推定部３０２は、第２の絞り境界推定処理を実行する（ステップＳ４０４）。 The first aperture boundary estimation unit 301 of the image processing unit 115 executes the first aperture boundary estimation process (step S403). Further, the second aperture boundary estimation unit 302 of the image processing unit 115 executes the second aperture boundary estimation process (step S404).

画像処理部１１５の動き情報補正部３０４は、動き情報補正処理を実行する（ステップＳ４０５）。 The motion information correction unit 304 of the image processing unit 115 executes the motion information correction process (step S405).

画像処理部１１５のフレーム補間部３０５は、フレーム補間処理を実行する（ステップＳ４０６）。 The frame interpolation unit 305 of the image processing unit 115 executes the frame interpolation processing (step S406).

画像処理部１１５のフレーム補間部３０５は、透過像間に補間画像を挿入した画像群を表示部１１７に出力し（ステップＳ４０７）、処理を終了する。 The frame interpolation unit 305 of the image processing unit 115 outputs an image group in which the interpolated image is inserted between the transmitted images to the display unit 117 (step S407), and ends the processing.

以下、第１の絞り境界推定部３０１、第２の絞り境界推定部３０２、動き情報推定部３０３、動き情報補正部３０４、及びフレーム補間部３０５の具体的な処理について説明する。 Hereinafter, specific processing of the first aperture boundary estimation unit 301, the second aperture boundary estimation unit 302, the motion information estimation unit 303, the motion information correction unit 304, and the frame interpolation unit 305 will be described.

（第１の絞り境界推定部３０１の説明）
まず、第１の絞り境界推定部３０１について説明する。図５は、実施例１の第１の絞り境界推定部３０１の構成の一例を示す図である。図６は、実施例１の第１の絞り境界推定部３０１が実行する第１の絞り境界推定処理を説明する図である。図７Ａ及び図７Ｂは、実施例１の絞り境界検出部５０２の構成の一例を示す図である。 (Explanation of First Aperture Boundary Estimating Unit 301)
First, the first aperture boundary estimation unit 301 will be described. FIG. 5 is a diagram showing an example of the configuration of the first aperture boundary estimation unit 301 of the first embodiment. FIG. 6 is a diagram illustrating a first diaphragm boundary estimation process executed by the first diaphragm boundary estimation unit 301 of the first embodiment. 7A and 7B are diagrams showing an example of the configuration of the aperture boundary detection unit 502 of the first embodiment.

第１の絞り境界推定部３０１は、フレーム遅延部５０１、絞り境界検出部５０２−１、５０２−２、及び直線補間部５０３を含む。 The first aperture boundary estimation unit 301 includes a frame delay unit 501, aperture boundary detection units 502-1 and 502-2, and a linear interpolation unit 503.

フレーム遅延部５０１は透過像の入力を遅延させる。これによって、第１の絞り境界推定部３０１は、時系列的に連続する２つの透過像を用いた処理を実現できる。すなわち、絞り境界検出部５０２−１には入力画像がそのまま入力され、絞り境界検出部５０２−２には時系列が１つ前の入力画像が入力される。以下の説明では、絞り境界検出部５０２−１に入力される入力画像を第２の画像と記載し、絞り境界検出部５０２−２に入力される入力画像を第１の画像と記載する。 The frame delay section 501 delays the input of the transmission image. As a result, the first aperture boundary estimation unit 301 can realize processing using two transmission images that are continuous in time series. That is, the input image is input to the aperture boundary detection unit 502-1 as it is, and the input image one time series before is input to the aperture boundary detection unit 502-2. In the following description, the input image input to the aperture boundary detection unit 502-1 will be referred to as a second image, and the input image input to the aperture boundary detection unit 502-2 will be referred to as a first image.

絞り境界検出部５０２−１、５０２−２は、透過像の絞り境界を検出する。図６に示すように、絞り境界検出部５０２−１は第２の画像の絞り陰影領域により特定される絞り境界の位置情報として、左上の座標（Ｌ２，Ｔ２）及び右下の座標（Ｒ２，Ｂ２）を出力する。絞り境界検出部５０２−２は第１の画像の絞り陰影領域により特定される絞り境界の位置情報として、左上の座標（Ｌ１，Ｔ１）及び右下の座標（Ｒ１，Ｂ１）を出力する。 The aperture boundary detection units 502-1 and 502-2 detect the aperture boundary of the transmitted image. As shown in FIG. 6, the aperture boundary detection unit 502-1 uses the upper left coordinates (L2, T2) and the lower right coordinates (R2,) as the position information of the aperture boundary specified by the aperture shadow region of the second image. B2) is output. The aperture boundary detection unit 502-2 outputs the upper left coordinates (L1, T1) and the lower right coordinates (R1, B1) as the position information of the aperture boundary specified by the aperture shadow region of the first image.

直線補間部５０３は、図６に示すように、第１の画像及び第２の画像の絞り境界間を直線で結ぶことによって、補間画像の絞り境界を推定する。直線補間部５０３は、補間画像の絞り境界（第１の推定絞り境界）の位置情報として、左上の座標（ＩＬ，ＩＴ）及び右下の座標（ＩＲ，ＩＢ）を出力する。 As shown in FIG. 6, the linear interpolation unit 503 estimates the aperture boundary of the interpolated image by connecting the aperture boundaries of the first image and the second image with a straight line. The linear interpolation unit 503 outputs the upper left coordinates (IL, IT) and the lower right coordinates (IR, IB) as the position information of the aperture boundary (first estimated aperture boundary) of the interpolated image.

ここで、図７Ａ及び図７Ｂを用いて絞り境界検出部５０２の構成について説明する。 Here, the configuration of the aperture boundary detection unit 502 will be described with reference to FIGS. 7A and 7B.

図７Ａに示す絞り境界検出部５０２は、水平方向情報配列７０１、水平ハイパスフィルタ７０２、位置検出部７０３、垂直方向情報配列７０４、垂直ハイパスフィルタ７０５、及び位置検出部７０６を含む。 The aperture boundary detection unit 502 shown in FIG. 7A includes a horizontal information array 701, a horizontal high-pass filter 702, a position detection unit 703, a vertical information array 704, a vertical high-pass filter 705, and a position detection unit 706.

絞り境界検出部５０２は、画像７５０が入力された場合、水平方向の輝度値の平均値を算出し、水平方向情報配列７０１に算出値を蓄積し、蓄積された算出値に対応する信号を水平ハイパスフィルタ７０２に入力する。位置検出部７０３は、水平ハイパスフィルタ７０２を通過した信号に含まれる高周波成分の最大値位置を、画像７５０の絞り陰影領域の水平方向の境界を表す位置として検出する。右側が絞り境界の右端の座標（Ｒ）となり、左側が絞り境界の左端の座標（Ｌ）となる。 When the image 750 is input, the aperture boundary detection unit 502 calculates the average value of the brightness values in the horizontal direction, accumulates the calculated values in the horizontal information array 701, and horizontally displays the signal corresponding to the accumulated calculated values. Input to the high-pass filter 702. The position detection unit 703 detects the maximum value position of the high frequency component included in the signal passing through the horizontal high-pass filter 702 as a position representing the horizontal boundary of the aperture shadow region of the image 750. The right side is the coordinates (R) at the right end of the aperture boundary, and the left side is the coordinates (L) at the left end of the aperture boundary.

また、絞り境界検出部５０２は、垂直方向の輝度値の平均値を算出し、垂直方向情報配列７０４に算出値を蓄積し、蓄積された算出値に対応する信号を垂直ハイパスフィルタ７０５に入力する。位置検出部７０６は、垂直ハイパスフィルタ７０５を通過した信号に含まれる高周波成分の最大値位置を、画像７５０の絞り陰影領域の垂直方向の境界を表す位置として検出する。上側が絞り境界の上の座標（Ｔ）となり、下側が絞り境界の下の座標（Ｂ）となる。 Further, the aperture boundary detection unit 502 calculates the average value of the luminance values in the vertical direction, accumulates the calculated values in the vertical information array 704, and inputs the signal corresponding to the accumulated calculated values to the vertical high-pass filter 705. .. The position detection unit 706 detects the maximum value position of the high frequency component included in the signal passing through the vertical high-pass filter 705 as a position representing the vertical boundary of the aperture shadow region of the image 750. The upper side is the coordinates (T) above the aperture boundary, and the lower side is the coordinates (B) below the aperture boundary.

図７Ｂに示す絞り境界検出部５０２は、水平方向情報配列７０１、水平ハイパスフィルタ７０２、位置検出部７０３、垂直方向情報配列７０４、垂直ハイパスフィルタ７０５、及び位置検出部７０６、水平ゲート信号生成部７１１、乗算器７１２、垂直ゲート信号生成部７１３、及び乗算器７１４を含む。 The aperture boundary detection unit 502 shown in FIG. 7B includes a horizontal information array 701, a horizontal high-pass filter 702, a position detection unit 703, a vertical information array 704, a vertical high-pass filter 705, a position detection unit 706, and a horizontal gate signal generation unit 711. , A multiplier 712, a vertical gate signal generator 713, and a multiplier 714.

水平ゲート信号生成部７１１は、絞り１０５を制御する絞り／フィルタ制御部１０７からの信号に基づいて水平ゲート信号を生成する。垂直ゲート信号生成部７１３は、絞り１０５を制御する絞り／フィルタ制御部１０７からの信号に基づいて垂直ゲート信号を生成する。 The horizontal gate signal generation unit 711 generates a horizontal gate signal based on the signal from the aperture / filter control unit 107 that controls the aperture 105. The vertical gate signal generation unit 713 generates a vertical gate signal based on the signal from the aperture / filter control unit 107 that controls the aperture 105.

乗算器７１２は、水平ハイパスフィルタ７０２を通過した信号に水平ゲート信号を乗算する。乗算器７１４は、垂直ハイパスフィルタ７０５を通過した信号に垂直ゲート信号を乗算する。 The multiplier 712 multiplies the signal that has passed the horizontal high-pass filter 702 by the horizontal gate signal. The multiplier 714 multiplies the signal that has passed through the vertical highpass filter 705 by the vertical gate signal.

位置検出部７０３は、水平ゲート信号の値が１となる範囲から、水平高周波成分が最大となる位置を検出し、位置検出部７０６は、垂直ゲート信号の値が１となる範囲から、垂直高周波成分が最大となる位置を検出する。 The position detection unit 703 detects the position where the horizontal high frequency component is maximum from the range where the horizontal gate signal value is 1, and the position detection unit 706 detects the vertical high frequency from the range where the vertical gate signal value is 1. Detect the position where the component is maximum.

このように、ゲート信号を作用させることによって、画像７５０の絞り境界以外のテクスチャを絞り境界として誤検知することを防止することができる。 By applying the gate signal in this way, it is possible to prevent false detection of a texture other than the aperture boundary of the image 750 as the aperture boundary.

（動き情報推定部３０３の説明）
次に、動き情報推定部３０３について説明する。図８は、実施例１の動き情報推定部３０３の動き情報の生成方法を説明する図である。図９は、実施例１の動き情報推定部３０３の動きベクトルの算出方法を説明する図である。 (Explanation of motion information estimation unit 303)
Next, the motion information estimation unit 303 will be described. FIG. 8 is a diagram illustrating a method of generating motion information of the motion information estimation unit 303 of the first embodiment. FIG. 9 is a diagram illustrating a method of calculating a motion vector of the motion information estimation unit 303 of the first embodiment.

動き情報推定部３０３は、基準画像の対応点（画素）に対応する参照画像の対応点を探索し、２つの画像の対応点を結ぶ線分の２次元座標（画像平面）の差（ｄｘ，ｄｙ）を２次元の動きベクトルとして算出する。例えば、第１の画像を基準画像とし、第２の画像を参照画像として場合、被写体８０１及び被写体８０２の各対応点を結ぶ線分の２次元座標の差が、第１の画像の対応点の動きベクトルとして算出される。動き情報には、基準画像の各画素の動きベクトルが含まれる。なお、対応点が見つからない画素（すなわち、基準画像と参照画像との間で、対応点とみなした位置の画素どうしの輝度値が、互いに大きく異なる画素）には、動きベクトルは存在しないか、誤った動きベクトル（すなわち、精度の低い動きベクトル）が算出されるか、対応点が見つからなかったことを示すフラグを伴った動きベクトル（すなわち、無効な動きベクトル）が算出される。 The motion information estimation unit 303 searches for the corresponding point of the reference image corresponding to the corresponding point (pixel) of the reference image, and the difference (dx,) of the two-dimensional coordinates (image plane) of the line segment connecting the corresponding points of the two images. dy) is calculated as a two-dimensional motion vector. For example, when the first image is used as a reference image and the second image is used as a reference image, the difference in the two-dimensional coordinates of the line segment connecting the corresponding points of the subject 801 and the subject 802 is the difference between the corresponding points of the first image. Calculated as a motion vector. The motion information includes a motion vector of each pixel of the reference image. It should be noted that there is no motion vector in the pixels for which the corresponding points cannot be found (that is, the pixels in which the brightness values of the pixels at the positions regarded as the corresponding points differ greatly between the reference image and the reference image). An erroneous motion vector (ie, a less accurate motion vector) is calculated, or a motion vector with a flag indicating that no corresponding point was found (ie, an invalid motion vector) is calculated.

画像を構成する全ての画素について対応点を探索する処理は、密オプティカルフロー推定技術と呼ばれる。 The process of searching for corresponding points for all the pixels constituting the image is called a dense optical flow estimation technique.

図９の各画像の丸は画像の一方向（水平方向又は垂直方向）の画素を示す。黒丸は被写体Ａの対応点に対応する画素であり、白丸は被写体Ｂの対応点に対応する画素である。 The circles in each image in FIG. 9 indicate pixels in one direction (horizontal or vertical) of the image. Black circles are pixels corresponding to the corresponding points of the subject A, and white circles are pixels corresponding to the corresponding points of the subject B.

（方式Ａ）は、順方向の動き情報推定方式を示す。本方式では、第２の画像を基準に第１の画像の対応点が推定される。すなわち、第２の画像の各画素に対応する第１の画像の対応点が推定される。第１の画像の対応点の座標は小数画素単位となる場合がある。 (Method A) indicates a forward motion information estimation method. In this method, the corresponding points of the first image are estimated with reference to the second image. That is, the corresponding points of the first image corresponding to each pixel of the second image are estimated. The coordinates of the corresponding points of the first image may be in units of decimal pixels.

（方式Ｂ）は、逆方向の動き情報推定方式を示す。本方式では、第１の画像を基準に第２の画像の対応点が推定される。すなわち、第１の画像の各画素に対応する第２の画像の対応点が推定される。第２の画像の対応点の座標は小数画素単位となる場合がある。 (Method B) shows a motion information estimation method in the reverse direction. In this method, the corresponding points of the second image are estimated with reference to the first image. That is, the corresponding points of the second image corresponding to each pixel of the first image are estimated. The coordinates of the corresponding points in the second image may be in units of decimal pixels.

補間画像の対応点の位置が画素に一致するようにするためには、補間画像を基準とすればよい。そこで、動き情報推定部３０３は、（方式Ａ）及び（方式Ｂ）のそれぞれから生成された動き情報の平均から、使用する動き情報を近似的に生成する。なお、（方式Ａ）及び（方式Ｂ）のいずれか一方を用いて動き情報が生成されてもよい。 In order to make the positions of the corresponding points of the interpolated image match the pixels, the interpolated image may be used as a reference. Therefore, the motion information estimation unit 303 approximately generates the motion information to be used from the average of the motion information generated from each of (method A) and (method B). The motion information may be generated by using either (method A) or (method B).

（第２の絞り境界推定部３０２の説明）
図１０Ａ及び図１０Ｂは、実施例１の第２の絞り境界推定部３０２が実行する第２の絞り境界推定処理を説明する図である。 (Explanation of Second Aperture Boundary Estimating Unit 302)
10A and 10B are diagrams for explaining the second diaphragm boundary estimation process executed by the second diaphragm boundary estimation unit 302 of the first embodiment.

第２の絞り境界推定部３０２は、動き情報推定部３０３によって生成された動き情報から、基準画像の絞り境界の各対応点の動きベクトルを取得する。図１０Ａは、第１の画像を基準に生成された絞り境界に対応する画素の動きベクトルの一例を示す。図１０Ａに示すように、動きベクトルにより推定される第２の画像の絞り境界はゆがむ場合がある。 The second aperture boundary estimation unit 302 acquires the motion vector of each corresponding point of the aperture boundary of the reference image from the motion information generated by the motion information estimation unit 303. FIG. 10A shows an example of the motion vector of the pixel corresponding to the aperture boundary generated with reference to the first image. As shown in FIG. 10A, the aperture boundary of the second image estimated by the motion vector may be distorted.

図１０Ｂに示すように、第２の絞り境界推定部３０２は、絞り境界に対応する画素の動きベクトルを用いて、補間画像における絞り境界（対応点の集合）を特定する。これによって、絞り境界の位置が推定される。 As shown in FIG. 10B, the second aperture boundary estimation unit 302 identifies the aperture boundary (set of corresponding points) in the interpolated image by using the motion vector of the pixel corresponding to the aperture boundary. This estimates the position of the aperture boundary.

例えば、フレーム数を２倍化する場合、第２の絞り境界推定部３０２は、絞り境界の動き情報に含まれる動きベクトルを１／２に縮小した動き情報を生成し、当該動き情報を用いて補間画像における絞り境界の対応点を特定する。フレーム数を３倍化する場合、第２の絞り境界推定部３０２は、絞り境界の動き情報に含まれる動きベクトルを１／３に縮小した動き情報と、動きベクトルを２／３に縮小した動き情報とを生成し、各動き情報を用いて２つの補間画像における絞り境界の対応点を特定する。 For example, when doubling the number of frames, the second aperture boundary estimation unit 302 generates motion information obtained by reducing the motion vector included in the aperture boundary motion information by 1/2, and uses the motion information. Identify the corresponding points of the aperture boundaries in the interpolated image. When the number of frames is tripled, the second aperture boundary estimation unit 302 uses the motion information in which the motion vector included in the aperture boundary motion information is reduced to 1/3 and the motion vector in which the motion vector is reduced to 2/3. Information is generated, and each motion information is used to identify the corresponding points of the aperture boundaries in the two interpolated images.

（動き情報補正部３０４の説明）
次に、動き情報補正部３０４について説明する。図１１は、実施例１の動き情報補正部３０４の構成の一例を示す図である。図１２は、実施例１の動き情報補正部３０４が生成する差分画像の一例を示す図である。図１３は、実施例１の動き情報補正部３０４に設定される補正ポリシの一例を示す図である。 (Explanation of motion information correction unit 304)
Next, the motion information correction unit 304 will be described. FIG. 11 is a diagram showing an example of the configuration of the motion information correction unit 304 of the first embodiment. FIG. 12 is a diagram showing an example of a difference image generated by the motion information correction unit 304 of the first embodiment. FIG. 13 is a diagram showing an example of a correction policy set in the motion information correction unit 304 of the first embodiment.

動き情報補正部３０４は、第１の二値情報生成部１１０１、第２の二値情報生成部１１０２、減算器１１０３、正値領域抽出部１１０４、ゼロ領域抽出部１１０５、負値領域抽出部１１０６、反転部１１０７、乗算器１１０８、１１０９、第１の動き情報補正部１１１０、第２の動き情報補正部１１１１、第３の動き情報補正部１１１２、第４の動き情報補正部１１１３、及び混合部１１１４を含む。 The motion information correction unit 304 includes a first binary information generation unit 1101, a second binary information generation unit 1102, a subtractor 1103, a positive value region extraction unit 1104, a zero region extraction unit 1105, and a negative value region extraction unit 1106. , Inversion unit 1107, multiplier 1108, 1109, first motion information correction unit 1110, second motion information correction unit 1111, third motion information correction unit 1112, fourth motion information correction unit 1113, and mixing unit. Includes 1114.

第１の二値情報生成部１１０１及び第２の二値情報生成部１１０２は、入力された画像から二値画像を生成する。具体的には、第１の二値情報生成部１１０１は、第１の推定絞り境界を含む画像の二値画像１１５１を生成し、減算器１１０３、反転部１１０７、及び乗算器１１０８に二値画像１１５１を出力する。第２の二値情報生成部１１０２は、第２の推定絞り境界を含む画像の二値画像１１５２を生成し、減算器１１０３に二値画像１１５２を出力する。二値画像１１５１、１１５２では、絞り境界の内側は輝度値が１となり、絞り境界の外側が０となるように二値化されている。 The first binary information generation unit 1101 and the second binary information generation unit 1102 generate a binary image from the input image. Specifically, the first binary information generation unit 1101 generates a binary image 1151 of an image including the first estimated aperture boundary, and the binary image is generated in the subtractor 1103, the inversion unit 1107, and the multiplier 1108. Output 1151. The second binary information generation unit 1102 generates a binary image 1152 of the image including the second estimated aperture boundary, and outputs the binary image 1152 to the subtractor 1103. In the binary images 1151 and 1152, the luminance value is 1 inside the aperture boundary and 0 is outside the aperture boundary.

減算器１１０３は、２つの画像から差分画像を生成し、正値領域抽出部１１０４、ゼロ領域抽出部１１０５、及び負値領域抽出部１１０６に差分画像を出力する。図１２に示すように、減算器１１０３は、二値画像１１５１、１１５２から差分画像１２００を生成する。 The subtractor 1103 generates a difference image from the two images, and outputs the difference image to the positive value region extraction unit 1104, the zero region extraction unit 1105, and the negative value region extraction unit 1106. As shown in FIG. 12, the subtractor 1103 generates a difference image 1200 from the binary images 1151 and 1152.

差分画像１２００には、二値画像１１５１、１１５２の輝度値が異なる領域１２０１、１２０２が含まれる。領域１２０１、１２０２以外の領域は、二値画像１１５１、１１５２に違いがない領域である。 The difference image 1200 includes regions 1201 and 1202 in which the brightness values of the binary images 1151 and 1152 are different. The regions other than the regions 1201 and 1202 are regions where there is no difference between the binary images 1151 and 1152.

領域１２０１は、絞り境界の外側から内側の方向に被写体が移動したことに起因する領域である。領域１２０２は、絞り境界の内側から外側の方向に被写体が移動したことに起因する領域である。 The area 1201 is an area caused by the movement of the subject from the outside to the inside of the aperture boundary. The area 1202 is an area caused by the movement of the subject from the inside to the outside of the aperture boundary.

動き情報補正部３０４は、図１３に示すような補正ポリシにしたがって動き情報を補正する。 The motion information correction unit 304 corrects the motion information according to the correction policy as shown in FIG.

第１の領域は、二値画像１１５１、１１５２のいずれの輝度値が１である領域である。第１の領域は、絞り境界の内側の領域に対応する。第１の領域では、被写体が絞り境界の内側で動いているものと推定される。第１の領域では、動きベクトルの補正は行われない。 The first region is a region in which any of the luminance values of the binary images 1151 and 1152 is 1. The first region corresponds to the region inside the aperture boundary. In the first region, it is presumed that the subject is moving inside the aperture boundary. In the first region, the motion vector is not corrected.

第２の領域は、二値画像１１５１の輝度値が１であり、二値画像１１５２の輝度値が０である領域、すなわち、領域１２０１である。第２の領域では、被写体が外側から内側の方向に絞り境界をまたいで移動したものと推定される。第２の領域では、絞り境界の動きベクトルを固定し、第２の領域に含まれる各画素の動きベクトルを推定する内挿が行われる。第２の領域の補正の詳細は後述する。 The second region is a region where the luminance value of the binary image 1151 is 1 and the luminance value of the binary image 1152 is 0, that is, the region 1201. In the second region, it is presumed that the subject moves from the outside to the inside across the aperture boundary. In the second region, the motion vector of the aperture boundary is fixed, and interpolation is performed to estimate the motion vector of each pixel included in the second region. Details of the correction in the second region will be described later.

第３の領域は、二値画像１１５１、１１５２のいずれの輝度値が０である領域である。第３の領域は、絞り境界の外側の領域に対応する。第３の領域では、被写体が絞り境界の外側で動いているものと推定される。第３の領域では、動きベクトルが０（すなわち、静止）となるように補正される。 The third region is a region in which the luminance values of the binary images 1151 and 1152 are 0. The third region corresponds to the region outside the aperture boundary. In the third region, it is presumed that the subject is moving outside the aperture boundary. In the third region, the motion vector is corrected to be 0 (ie, rest).

第４の領域は、二値画像１１５１の輝度値が０であり、二値画像１１５２の輝度値が１である領域、すなわち、領域１２０２である。第４の領域では、被写体が外側から内側の方向に絞り境界をまたいで移動したものと推定される。第４の領域では、動きベクトルが０となるように補正される。 The fourth region is a region where the luminance value of the binary image 1151 is 0 and the luminance value of the binary image 1152 is 1, that is, the region 1202. In the fourth region, it is presumed that the subject moves from the outside to the inside across the aperture boundary. In the fourth region, the motion vector is corrected to be zero.

図１１の説明に戻る。 Returning to the description of FIG.

正値領域抽出部１１０４は、二値画像１１５１の輝度値から二値画像１１５２の輝度値を減算した値が正となる正値領域、すなわち、第２の領域（領域１２０１）を抽出する。抽出された領域の位置を示す位置情報は、第２の動き情報補正部１１１１に出力される。 The positive value region extraction unit 1104 extracts a positive value region in which the value obtained by subtracting the luminance value of the binary image 1152 from the luminance value of the binary image 1151 is positive, that is, the second region (region 1201). The position information indicating the position of the extracted region is output to the second motion information correction unit 1111.

ゼロ領域抽出部１１０５は、二値画像１１５１の輝度値から二値画像１１５２の輝度値を減算した値が０となるゼロ領域（第１の領域又は第３の領域）が抽出される。抽出された領域の位置を示す位置情報は、乗算器１１０８、１１０９に出力される。 The zero region extraction unit 1105 extracts a zero region (first region or third region) in which the value obtained by subtracting the brightness value of the binary image 1152 from the brightness value of the binary image 1151 becomes 0. The position information indicating the position of the extracted area is output to the multipliers 1108 and 1109.

負値領域抽出部１１０６は、二値画像１１５１の輝度値から二値画像１１５２の輝度値を減算した値が負となる負値領域、すなわち、第４の領域（領域１２０２）を抽出する。抽出された領域の位置を示す位置情報は、第４の動き情報補正部１１１３に出力される。 The negative value region extraction unit 1106 extracts a negative value region in which the value obtained by subtracting the luminance value of the binary image 1152 from the luminance value of the binary image 1151 is negative, that is, a fourth region (region 1202). The position information indicating the position of the extracted region is output to the fourth motion information correction unit 1113.

反転部１１０７は、二値画像１１５１の輝度値を反転させ、輝度値が反転した二値画像１１５１を乗算器１１０９に出力する。 The inversion unit 1107 inverts the brightness value of the binary image 1151 and outputs the binary image 1151 with the inverted brightness value to the multiplier 1109.

乗算器１１０８は、二値画像１１５１及びゼロ領域の位置を示す位置情報を乗算することによって、第１の領域を抽出し、第１の領域の位置情報を第１の動き情報補正部１１１０に出力する。 The multiplier 1108 extracts the first region by multiplying the binary image 1151 and the position information indicating the position of the zero region, and outputs the position information of the first region to the first motion information correction unit 1110. To do.

乗算器１１０９は、輝度値を反転させた二値画像１１５１及びゼロ領域の位置を示す位置情報を乗算することによって、第３の領域を抽出し、第３の領域の位置情報を第３の動き情報補正部１１１２に出力する。 The multiplier 1109 extracts a third region by multiplying the binary image 1151 in which the brightness value is inverted and the position information indicating the position of the zero region, and the position information of the third region is used as the third movement. Output to the information correction unit 1112.

なお、各領域の位置情報は、例えば、二値画像１１５１と同サイズであり、かつ、抽出された領域を含む画像である。抽出された領域の輝度値は１であり、その他の領域の輝度値は０であるものとする。 The position information of each region is, for example, an image having the same size as the binary image 1151 and including the extracted region. It is assumed that the brightness value of the extracted region is 1, and the brightness value of the other regions is 0.

第１の動き情報補正部１１１０は、第１の領域の位置情報及び動き情報が入力された場合、動き情報の第１の領域に対応する画素の動きベクトルをそのまま、混合部１１１４に出力する。 When the position information and the motion information of the first region are input, the first motion information correction unit 1110 outputs the motion vector of the pixel corresponding to the first region of the motion information to the mixing unit 1114 as it is.

第２の動き情報補正部１１１１は、第２の領域の位置情報及び動き情報が入力された場合、動き情報の第２の領域に対応する画素の動きベクトルを内挿により補正し、補正された動きベクトルを混合部１１１４に出力する。 When the position information and the motion information of the second region are input, the second motion information correction unit 1111 corrects and corrects the motion vector of the pixel corresponding to the second region of the motion information by interpolation. The motion vector is output to the mixing unit 1114.

第３の動き情報補正部１１１２は、第３の領域の位置情報及び動き情報が入力された場合、動き情報の第３の領域に対応する画素の動きベクトルを０に補正し、補正された動きベクトルを混合部１１１４に出力する。 When the position information and the motion information of the third region are input, the third motion information correction unit 1112 corrects the motion vector of the pixel corresponding to the third region of the motion information to 0, and the corrected motion. The vector is output to the mixing unit 1114.

第４の動き情報補正部１１１３は、第４の領域の位置情報及び動き情報が入力された場合、動き情報の第４の領域に対応する画素の動きベクトルを０に補正し、補正された動きベクトルを混合部１１１４に出力する。 When the position information and the motion information of the fourth region are input, the fourth motion information correction unit 1113 corrects the motion vector of the pixel corresponding to the fourth region of the motion information to 0, and the corrected motion. The vector is output to the mixing unit 1114.

混合部１１１４は、各領域の動きベクトルを混合することによって、全領域の動きベクトルから構成される動き情報（補正動き情報）を生成する。混合部１１１４は、補正動き情報をフレーム補間部３０５に出力する。 The mixing unit 1114 generates motion information (corrected motion information) composed of motion vectors in all regions by mixing motion vectors in each region. The mixing unit 1114 outputs the corrected motion information to the frame interpolation unit 305.

図１４は、実施例１の第２の動き情報補正部１１１１の構成の一例を示す図である。図１５は、実施例１の第２の動き情報補正部１１１１が実行する処理を説明するフローチャートである。図１６は、実施例１の内挿部１４０４が実行する処理を説明するフローチャートである。 FIG. 14 is a diagram showing an example of the configuration of the second motion information correction unit 1111 of the first embodiment. FIG. 15 is a flowchart illustrating a process executed by the second motion information correction unit 1111 of the first embodiment. FIG. 16 is a flowchart illustrating a process executed by the interpolation unit 1404 of the first embodiment.

まず、第２の動き情報補正部１１１１の構成及び処理の流れについて説明する。 First, the configuration and processing flow of the second motion information correction unit 1111 will be described.

第２の動き情報補正部１１１１は、反転部１４０１、分離部１４０２、１４０３、内挿部１４０４、及び合成部１４０５を含む。 The second motion information correction unit 1111 includes an inversion unit 1401, a separation unit 1402, 1403, an interpolation unit 1404, and a synthesis unit 1405.

反転部１４０１は、画像として入力された第２の領域の位置情報１４５０の輝度値を反転させてマスク情報１４５１を生成する（ステップＳ１５０１）。反転部１４０１は、内挿部１４０４にマスク情報１４５１を出力する。 The inversion unit 1401 inverts the brightness value of the position information 1450 of the second region input as an image to generate the mask information 1451 (step S1501). The inversion unit 1401 outputs mask information 1451 to the interpolation unit 1404.

分離部１４０２及び分離部１４０３は、動き情報に含まれるベクトルを水平方向及び垂直方向に分離する（ステップＳ１５０２）。 The separation unit 1402 and the separation unit 1403 separate the vector included in the motion information in the horizontal direction and the vertical direction (step S1502).

具体的には、分離部１４０２は、動き情報に含まれる動きベクトルの水平方向（ｘ軸方向）の成分を抽出し、動きベクトルの水平方向の成分を含む対象情報１４５３を内挿部１４０４に出力する。分離部１４０３は、動き情報に含まれる動きベクトルの垂直方向（ｙ軸方向）の成分を抽出し、動きベクトルの垂直方向の成分を含む対象情報を内挿部１４０４に出力する。対象情報は、各画素の動きの大きさを表すスカラー値から構成される情報である。 Specifically, the separation unit 1402 extracts the horizontal (x-axis) component of the motion vector included in the motion information, and outputs the target information 1453 including the horizontal component of the motion vector to the insertion unit 1404. To do. The separation unit 1403 extracts the vertical component (y-axis direction) of the motion vector included in the motion information, and outputs the target information including the vertical component of the motion vector to the interpolation unit 1404. The target information is information composed of scalar values representing the magnitude of movement of each pixel.

ここでは、理解の簡単のために、動きベクトルの水平方向の大きさを輝度値として表した仮想的な画像として、分離部１４０２が出力する対象情報１４５３を表す。 Here, for the sake of simplicity, the target information 1453 output by the separation unit 1402 is represented as a virtual image in which the horizontal magnitude of the motion vector is represented as a luminance value.

内挿部１４０４は、対象情報及びマスク情報１４５１を用いて、第２の領域の動きベクトルを補正する内挿処理を実行する（ステップＳ１５０３）。内挿部１４０４は、動きベクトルの水平成分及び垂直成分のそれぞれについて補正を行う。 The interpolation unit 1404 executes the interpolation process for correcting the motion vector in the second region by using the target information and the mask information 1451 (step S1503). The interpolation unit 1404 corrects each of the horizontal component and the vertical component of the motion vector.

合成部１４０５は、動きベクトルの水平成分及び垂直成分を合成し、第２の領域の補正された動きベクトルを含む補正動き情報を生成する合成処理を実行する（ステップＳ１５０４）。 The synthesizing unit 1405 synthesizes the horizontal component and the vertical component of the motion vector, and executes a synthesizing process for generating corrected motion information including the corrected motion vector in the second region (step S1504).

次に、内挿部１４０４の構成及び処理の流れについて説明する。 Next, the configuration of the interpolation unit 1404 and the flow of processing will be described.

内挿部１４０４は、乗算器１４１１、１４１２、ローパスフィルタ１４１３、１４１４、１４１５、及び除算器１４１６、１４１７を含む。 Interpolator 1404 includes multipliers 1411, 1412, lowpass filters 1413, 1414, 1415, and dividers 1416, 1417.

乗算器１４１１は、対象情報１４５３及びマスク情報１４５１を乗算して、積情報１４５４を生成し、積情報１４５４をローパスフィルタ１４１３に出力する。乗算器１４１２も同様の処理を実行する。 The multiplier 1411 multiplies the target information 1453 and the mask information 1451 to generate the product information 1454, and outputs the product information 1454 to the low-pass filter 1413. The multiplier 1412 also performs the same process.

ローパスフィルタ１４１３は、積情報１４５４から第１のＬＰＦ情報１４５５を生成し、除算器１４１６に出力する。ローパスフィルタ１４１４も同様の処理を実行する。ローパスフィルタ１４１５は、マスク情報１４５１から第２のＬＰＦ情報１４５６を生成し、除算器１４１６に出力する。 The low-pass filter 1413 generates the first LPF information 1455 from the product information 1454 and outputs it to the divider 1416. The low-pass filter 1414 also performs the same processing. The low-pass filter 1415 generates the second LPF information 1456 from the mask information 1451 and outputs it to the divider 1416.

なお、ローパスフィルタ１４１３、ローパスフィルタ１４１４、及びローパスフィルタ１４１５は、作用させる情報が異なるが同一のフィルタである。 The low-pass filter 1413, the low-pass filter 1414, and the low-pass filter 1415 are the same filters although the information to be acted on is different.

除算器１４１６は、第１のＬＰＦ情報１４５５を第２のＬＰＦ情報１４５６で除算することによって合成情報１４５７を生成する。除算器１４１７も同様の処理を実行する。 The divider 1416 generates synthetic information 1457 by dividing the first LPF information 1455 by the second LPF information 1456. The divider 1417 also performs the same process.

前述のような演算によって、動き情報における第２の領域の動きベクトルが、第２の領域の周辺の動きベクトルからの変化が滑らかとなるように補正される。これによって第２の領域がなくなる。 By the calculation as described above, the motion vector in the second region in the motion information is corrected so that the change from the motion vector around the second region becomes smooth. This eliminates the second area.

ここで、図１６を用いて内挿部１４０４の詳細な処理について説明する。ここでは、水平方向を例に説明する。 Here, the detailed processing of the interpolation portion 1404 will be described with reference to FIG. Here, the horizontal direction will be described as an example.

内挿部１４０４は、対象情報の補正が必要か否かを判定する（ステップＳ１６０１）。 The interpolation unit 1404 determines whether or not the correction of the target information is necessary (step S1601).

例えば、内挿部１４０４は、マスク情報１４５１に輝度値が０である領域（第２の領域）が存在するか否かを判定する。マスク情報１４５１に輝度値が０である領域が存在する場合、内挿部１４０４は対象情報の補正が必要であると判定する。 For example, the interpolation unit 1404 determines whether or not the mask information 1451 has a region (second region) having a luminance value of 0. When the mask information 1451 has a region where the luminance value is 0, the interpolation unit 1404 determines that the target information needs to be corrected.

対象情報の補正が必要であると判定された場合、内挿部１４０４の乗算器１４１１は、対象情報及びマスク情報１４５１から積情報１４５４を生成する（ステップＳ１６０２）。 When it is determined that the target information needs to be corrected, the multiplier 1411 of the interpolation unit 1404 generates the product information 1454 from the target information and the mask information 1451 (step S1602).

内挿部１４０４は、積情報１４５４にローパスフィルタ１４１３を作用させることによって、第１のＬＰＦ情報１４５５を生成する（ステップＳ１６０３）。 The interpolation unit 1404 generates the first LPF information 1455 by acting the low-pass filter 1413 on the product information 1454 (step S1603).

内挿部１４０４は、マスク情報１４５１にローパスフィルタ１４１５を作用させることによって、第２のＬＰＦ情報１４５６を生成する（ステップＳ１６０４）。 The interpolation unit 1404 generates the second LPF information 1456 by causing the low-pass filter 1415 to act on the mask information 1451 (step S1604).

内挿部１４０４は、第２のＬＰＦ情報１４５６を参照し、値が０である領域の輝度値を０、値が非ゼロである領域の輝度値を１とする二値情報を生成する（ステップＳ１６０５）。 The interpolation unit 1404 refers to the second LPF information 1456 and generates binary information in which the luminance value in the region where the value is 0 is 0 and the luminance value in the region where the value is non-zero is 1. S1605).

内挿部１４０４の除算器１４１６は、第１のＬＰＦ情報１４５５及び第２のＬＰＦ情報１４５６を用いて、第１の合成情報を生成する（ステップＳ１６０６）。 The divider 1416 of the interpolation unit 1404 uses the first LPF information 1455 and the second LPF information 1456 to generate the first composite information (step S1606).

具体的には、除算器１４１６は、式（１）に基づいて第１の合成情報を生成する。 Specifically, the divider 1416 generates the first synthetic information based on the equation (1).

ここで、ＯＩは対象情報を表し、ＭＩはマスク情報１４５１を表し、ＬＰＦ１は第１のＬＰＦ情報１４５５を表し、ＬＰＦ２は第２のＬＰＦ情報１４５６を表し、ＢＩは二値情報を表す。εは分母が０になるのを防止するための値であり、１より十分小さい。 Here, OI represents target information, MI represents mask information 1451, LPF1 represents first LPF information 1455, LPF2 represents second LPF information 1456, and BI represents binary information. ε is a value for preventing the denominator from becoming 0, and is sufficiently smaller than 1.

式（１）の第１項は対象情報の補正を行わない領域、すなわち、マスク情報１４５１の輝度値が１である領域については、対象情報の値を選択する演算である。式（１）の第２項は、対象情報から補正を行う領域を選択し、第２のＬＰＦ情報１４５６の値が非ゼロである領域に対しては内挿を行い、第２のＬＰＦ情報１４５６の値が０の領域に対しては０を出力する演算である。 The first term of the equation (1) is an operation of selecting the value of the target information in the region where the target information is not corrected, that is, in the region where the brightness value of the mask information 1451 is 1. The second term of the equation (1) selects a region to be corrected from the target information, interpolates the region where the value of the second LPF information 1456 is non-zero, and performs the second LPF information 1456. This is an operation that outputs 0 for a region where the value of is 0.

次に、内挿部１４０４は、第１の合成情報及びマスク情報１４５１を画像と見なして、第１の合成情報及びマスク情報１４５１を所定のサイズに縮小し、縮小した第１の合成情報を対象情報に設定し、縮小した二値情報をマスク情報１４５１に設定する（ステップＳ１６０６）。 Next, the interpolation unit 1404 regards the first composite information and the mask information 1451 as an image, reduces the first composite information and the mask information 1451 to a predetermined size, and targets the reduced first composite information. It is set in the information, and the reduced binary information is set in the mask information 1451 (step S1606).

次に、内挿部１４０４は、ステップＳ１６０２からステップＳ１６０５の処理を実行して、生成された合成情報を元のサイズに拡大し、第２の合成情報として出力する（ステップＳ１６０７）。 Next, the interpolation unit 1404 executes the processes of steps S1602 to S1605, expands the generated composite information to the original size, and outputs it as the second composite information (step S1607).

次に、内挿部１４０４は、第１の合成情報及び第２の合成情報を用いて第３の合成情報を生成する（ステップＳ１６０８）。その後、内挿部１４０４は、第３の合成情報を対象情報として設定し、ステップＳ１６０１に戻る。 Next, the interpolation unit 1404 generates a third synthetic information using the first synthetic information and the second synthetic information (step S1608). After that, the interpolation unit 1404 sets the third composite information as the target information, and returns to step S1601.

具体的には、内挿部１４０４は、式（２）に基づいて第３の合成情報を生成する。 Specifically, the interpolation unit 1404 generates a third composite information based on the equation (2).

式（２）の第１項は、第１の合成情報のうち、二値情報の輝度値が１の領域を選択する演算である。式（２）の第２項は、第２の合成情報のうち、二値情報の輝度値が０である領域を選択する演算である。 The first term of the equation (2) is an operation of selecting a region in which the brightness value of the binary information is 1 among the first composite information. The second term of the equation (2) is an operation of selecting a region in which the brightness value of the binary information is 0 in the second composite information.

ステップＳ１６０１において、対象情報の補正が必要ではないと判定された場合、内挿部１４０４は、第３の合成情報を出力し（ステップＳ１６１０）、処理を終了する。 If it is determined in step S1601 that the correction of the target information is not necessary, the interpolation unit 1404 outputs the third composite information (step S1610), and ends the process.

（フレーム補間部３０５の説明）
次に、フレーム補間部３０５について説明する。図１７Ａ、図１７Ｂ、図１７Ｃは、実施例１のフレーム補間部３０５の構成の一例を示す図である。 (Explanation of frame interpolation unit 305)
Next, the frame interpolation unit 305 will be described. 17A, 17B, and 17C are diagrams showing an example of the configuration of the frame interpolation unit 305 of the first embodiment.

図１７Ａに示すフレーム補間部３０５は、フレーム遅延部１７０１、逆方向動き補償部１７０２、順方向動き補償部１７０３、乗算器１７０４、１７０５、１７０６、１７０７、及び加算器１７０８を含む。 The frame interpolation unit 305 shown in FIG. 17A includes a frame delay unit 1701, a reverse motion compensation unit 1702, a forward motion compensation unit 1703, multipliers 1704, 1705, 1706, 1707, and an adder 1708.

乗算器１７０４は、補正動き情報に係数−（１−ｋ）を乗算することによって、時間の進行方向とは逆向きの動き情報を抽出し、逆方向動き補償部１７０２に出力する。乗算器１７０４は、補正動き情報に係数ｋを乗算することによって、時間の進行方向と同じ向きの動き情報を抽出し、順方向動き補償部１７０３に出力する。 The multiplier 1704 extracts motion information in the direction opposite to the traveling direction of time by multiplying the corrected motion information by a coefficient − (1-k), and outputs the motion information to the reverse motion compensation unit 1702. The multiplier 1704 extracts motion information in the same direction as the traveling direction of time by multiplying the corrected motion information by a coefficient k, and outputs the motion information to the forward motion compensation unit 1703.

ここで、「ｋ」、「１−ｋ」は、画像の取得時間間隔の内分比を表す。例えば、フレームレートを２倍化する場合、ｋは１／２となる。乗算器１７０４に負値が入力される理由は、動き情報を時間の進行方向とは逆向きに変換するためである。 Here, "k" and "1-k" represent the internal division ratio of the image acquisition time interval. For example, when doubling the frame rate, k becomes 1/2. The reason why a negative value is input to the multiplier 1704 is that the motion information is converted in the direction opposite to the traveling direction of time.

逆方向動き補償部１７０２は、補正動き情報及び第２の画像を用いて、時間の進行方向とは逆向きの動き補償を行うことによって画像を生成する。順方向動き補償部１７０３は、補正動き情報及び第１の画像を用いて、時間の進行方向と同じ向きの動き補償を行うことによって画像を生成する。 The reverse motion compensation unit 1702 generates an image by performing motion compensation in the direction opposite to the traveling direction of time by using the corrected motion information and the second image. The forward motion compensation unit 1703 uses the corrected motion information and the first image to generate an image by performing motion compensation in the same direction as the traveling direction of time.

ここで、動き補償は、動き情報に基づいて、画像の画素を対応点の位置に移動させて、画像全体を変形する処理を表す。 Here, the motion compensation represents a process of moving the pixels of the image to the positions of the corresponding points based on the motion information and deforming the entire image.

乗算器１７０６は、逆方向動き補償部１７０２から出力された画像に係数ｋを乗算し、加算器１７０８に出力する。乗算器１７０７は、順方向動き補償部１７０３から出力された画像に係数（１−ｋ）を乗算し、加算器１７０８に出力する。加算器１７０８は、２つの画像を重ね合わせることによって補間画像を生成する。 The multiplier 1706 multiplies the image output from the reverse motion compensation unit 1702 by the coefficient k and outputs the image to the adder 1708. The multiplier 1707 multiplies the image output from the forward motion compensation unit 1703 by a coefficient (1-k) and outputs the image to the adder 1708. The adder 1708 produces an interpolated image by superimposing the two images.

フレーム補間部３０５は、図１７Ｂに示すように、フレーム遅延部１７０１、順方向動き補償部１７０３、及び乗算器１７０６のみを含む構成でもよいし、図１７Ｃに示すように、逆方向動き補償部１７０２及び乗算器１７０４のみを含む構成でもよい。 As shown in FIG. 17B, the frame interpolation unit 305 may include only the frame delay unit 1701, the forward movement compensation unit 1703, and the multiplier 1706, or the frame interpolation unit 305 may include the reverse movement compensation unit 1702 as shown in FIG. 17C. And the configuration may include only the multiplier 1704.

（まとめ）
実施例１の放射線画像処理システム１０１は、絞り境界をまたぐ被写体の映り込みの変化に起因する動き情報の補正領域（第２の領域）を特定し、特定された補正領域の動きベクトルを補正する。放射線画像処理システム１０１は、補正された動き情報に基づいてノイズが少ない補間画像を生成できる。これによって、高画質かつ滑らかな画像の再生を実現できる。 (Summary)
The radiation image processing system 101 of the first embodiment identifies a correction region (second region) of motion information caused by a change in the reflection of a subject across an aperture boundary, and corrects a motion vector in the specified correction region. .. The radiation image processing system 101 can generate an interpolated image with less noise based on the corrected motion information. As a result, high-quality and smooth image reproduction can be realized.

また、放射線画像処理システム１０１は、動き情報及び画像中の補正領域を示すマスク情報の各々にローパスフィルタを作用させ、これらの除算演算を行うことによって、効率的かつ高速に補正領域の動きベクトルを補正できる。 Further, the radiation image processing system 101 applies a low-pass filter to each of the motion information and the mask information indicating the correction region in the image, and performs the division calculation of these to efficiently and quickly obtain the motion vector of the correction region. Can be corrected.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。 The present invention is not limited to the above-described examples, and includes various modifications. Further, for example, the above-described embodiment describes the configuration in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. In addition, a part of the configuration of each embodiment can be added, deleted, or replaced with another configuration.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。 Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. The present invention can also be realized by a program code of software that realizes the functions of the examples. In this case, a storage medium in which the program code is recorded is provided to the computer, and the processor included in the computer reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the program code itself and the storage medium storing the program code itself constitute the present invention. Examples of the storage medium for supplying such a program code include a flexible disk, a CD-ROM, a DVD-ROM, a hard disk, an SSD (Solid State Drive), an optical disk, a magneto-optical disk, a CD-R, and a magnetic tape. Non-volatile memory cards, ROMs, etc. are used.

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。 Further, the program code that realizes the functions described in the present embodiment can be implemented in a wide range of programs or script languages such as assembler, C / C ++, perl, Shell, PHP, Python, and Java (registered trademark).

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。 Further, by distributing the program code of the software that realizes the functions of the examples via the network, it is stored in a storage means such as a hard disk or memory of a computer or a storage medium such as a CD-RW or a CD-R. , The processor provided in the computer may read and execute the program code stored in the storage means or the storage medium.

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。 In the above-described embodiment, the control lines and information lines show what is considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. All configurations may be interconnected.

１０１ 放射線画像処理システム
１０２ Ｘ線管
１０３ 高電圧発生部
１０４ Ｘ線制御部
１０５ 絞り
１０６ Ｘ線補償フィルタ
１０７ 絞り／フィルタ制御部
１０８ 被写体
１０９ テーブル
１１０ 機構制御部
１１１ Ｘ線検出器
１１２ 検出器制御部
１１３ 記憶部
１１４ 中央処理部
１１５ 画像処理部
１１６ 入力部
１１７ 表示部
２００ 計算機
２０１ プロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ ネットワークインタフェース
２０５ ＩＯインタフェース
２０６ バス
２１１ キーボード
２１２ マウス
２１３ ディスプレイ
２１５ ネットワーク
３０１ 第１の絞り境界推定部
３０２ 第２の絞り境界推定部
３０３ 動き情報推定部
３０４ 動き情報補正部
３０５ フレーム補間部
５０１、１７０１ フレーム遅延部
５０２ 絞り境界検出部
５０３ 直線補間部
７０１ 水平方向情報配列
７０２ 水平ハイパスフィルタ
７０３、７０６ 位置検出部
７０４ 垂直方向情報配列
７０５ 垂直ハイパスフィルタ
７１１ 水平ゲート信号生成部
７１２、７１４、１１０８、１１０９、１４１１、１４１２、１７０４、１７０６ 乗算器
７１３ 垂直ゲート信号生成部
１１０１ 第１の二値情報生成部
１１０２ 第２の二値情報生成部
１１０３ 減算器
１１０４ 正値領域抽出部
１１０５ ゼロ領域抽出部
１１０６ 負値領域抽出部
１１０７、１４０１ 反転部
１１１０ 第１の動き情報補正部
１１１１ 第２の動き情報補正部
１１１２ 第３の動き情報補正部
１１１３ 第４の動き情報補正部
１１１４ 混合部
１４０２、１４０３ 分離部
１４０４ 内挿部
１４０５ 合成部
１４１３、１４１４、１４１５ ローパスフィルタ
１４１６、１４１７ 除算器
１７０２ 逆方向動き補償部
１７０３ 順方向動き補償部
１７０８ 加算器 101 Radiation image processing system 102 X-ray tube 103 High voltage generator 104 X-ray control unit 105 Aperture 106 X-ray compensation filter 107 Aperture / filter control unit 108 Subject 109 Table 110 Mechanism control unit 111 X-ray detector 112 Detector control unit 113 Storage unit 114 Central processing unit 115 Image processing unit 116 Input unit 117 Display unit 200 Computer 201 Processor 202 Memory 203 Storage device 204 Network interface 205 IO interface 206 Bus 211 Keyboard 212 Mouse 213 Display 215 Network 301 First aperture boundary estimation unit 302 Second aperture boundary estimation unit 303 Motion information estimation unit 304 Motion information correction unit 305 Frame interpolation unit 501, 1701 Frame delay unit 502 Filter boundary detection unit 503 Linear interpolation unit 701 Horizontal information array 702 Horizontal high pass filter 703, 706 Position Detection unit 704 Vertical information array 705 Vertical high-pass filter 711 Horizontal gate signal generation unit 712, 714, 1108, 1109, 1411, 1412, 1704, 1706 Adder 713 Vertical gate signal generation unit 1101 First binary information generation unit 1102 Second binary information generation unit 1103 Subtractor 1104 Positive value area extraction unit 1105 Zero area extraction unit 1106 Negative value area extraction unit 1107, 1401 Inversion unit 1110 First motion information correction unit 1111 Second motion information correction unit 1112 3rd motion information correction unit 1113 4th motion information correction unit 1114 Mixing unit 1402, 1403 Separation unit 1404 Insertion unit 1405 Synthesis unit 1413, 1414, 1415 Low pass filter 1416, 1417 Divider 1702 Reverse motion compensation unit 1703 Order Directional movement compensation unit 1708 adder

Claims (6)

絞りを介して放射線を間欠的に被写体に照射することによって得られる画像を処理する放射線画像処理システムであって、
時系列的に連続する第１の画像及び第２の画像を用いて、前記第１の画像に含まれる複数の画素の各々に対応する被写体の動きを推定するための推定値を算出し、前記複数の画素の各々の前記推定値から構成される動き情報を生成する動き情報推定部と、
前記第１の画像及び前記第２の画像の各々に含まれる、前記絞りにより形成される絞り境界に基づいて、前記動き情報の値の補正が必要な画素から構成される補正領域を特定し、前記動き情報の前記補正領域の前記推定値を補正する動き情報補正部と、
前記補正された動き情報に基づいて、前記第１の画像及び前記第２の画像の間に挿入する補間画像を生成するフレーム補間部と、
を備えることを特徴する放射線画像処理システム。 A radiation image processing system that processes an image obtained by intermittently irradiating a subject with radiation through an aperture.
Using the first image and the second image that are continuous in time series, an estimated value for estimating the movement of the subject corresponding to each of the plurality of pixels included in the first image is calculated, and the above-mentioned A motion information estimation unit that generates motion information composed of the estimated values of each of a plurality of pixels, and a motion information estimation unit.
Based on the diaphragm boundary formed by the diaphragm, which is included in each of the first image and the second image, a correction region composed of pixels for which the value of the motion information needs to be corrected is specified. A motion information correction unit that corrects the estimated value in the correction region of the motion information, and a motion information correction unit.
A frame interpolation unit that generates an interpolated image to be inserted between the first image and the second image based on the corrected motion information.
A radiographic image processing system characterized by comprising. 請求項１に記載の放射線画像処理システムであって、
前記動き情報補正部は、
前記第１の画像及び前記第２の画像の各々の前記絞り境界を特定し、前記第１の画像の前記絞り境界及び前記第２の画像の前記絞り境界に基づいて、前記補間画像の第１の推定絞り境界を推定し、
前記動き情報に含まれる前記絞り境界に対応する前記画素の前記推定値に基づいて、前記補間画像の第２の推定絞り境界を推定し、
前記第１の推定絞り境界及び前記第２の推定絞り境界の差分に基づいて、前記補正領域を特定することを特徴とする放射線画像処理システム。 The radiographic image processing system according to claim 1.
The motion information correction unit
The aperture boundary of each of the first image and the second image is specified, and the first of the interpolated images is based on the aperture boundary of the first image and the aperture boundary of the second image. Estimate the aperture boundary of
A second estimated aperture boundary of the interpolated image is estimated based on the estimated value of the pixel corresponding to the aperture boundary included in the motion information.
A radiographic image processing system characterized in that the correction region is specified based on the difference between the first estimated aperture boundary and the second estimated aperture boundary. 請求項２に記載の放射線画像処理システムであって、
前記動き情報補正部は、
前記補正領域を示す情報からマスク情報を生成し、
前記動き情報にローパスフィルタを作用させることによって第１のローパスフィルタ情報を生成し、
前記マスク情報にローパスフィルタを作用させることによって第２のローパスフィルタ情報を生成し、
前記第１のローパスフィルタ情報及び前記第２のローパスフィルタ情報を用いた除算演算を実行することによって、前記補正領域の前記推定値を補正することを特徴とする放射線画像処理システム。 The radiographic image processing system according to claim 2.
The motion information correction unit
Mask information is generated from the information indicating the correction area, and
The first low-pass filter information is generated by applying a low-pass filter to the motion information.
A second low-pass filter information is generated by applying a low-pass filter to the mask information.
A radiographic image processing system characterized in that the estimated value of the correction region is corrected by executing a division operation using the first low-pass filter information and the second low-pass filter information. 絞りを介して放射線を間欠的に被写体に照射することによって得られる画像を処理する放射線画像処理システムが実行する画像処理方法であって、
前記放射線画像処理システムは、演算装置及び前記演算装置に接続される記憶装置を有する少なくとも一つの計算機を有し、
前記画像処理方法は、
前記演算装置が、時系列的に連続する第１の画像及び第２の画像を用いて、前記第１の画像に含まれる複数の画素の各々に対応する被写体の動きを推定するための推定値を算出し、前記複数の画素の各々の前記推定値から構成される動き情報を生成する第１のステップと、
前記演算装置が、前記第１の画像及び前記第２の画像の各々に含まれる、前記絞りにより形成される絞り境界に基づいて、前記動き情報の値の補正が必要な画素から構成される補正領域を特定し、前記動き情報の前記補正領域の前記推定値を補正する第２のステップと、
前記演算装置が、前記補正された動き情報に基づいて、前記第１の画像及び前記第２の画像の間に挿入する補間画像を生成する第３のステップと、
を含むことを特徴する画像処理方法。 An image processing method performed by a radiation image processing system that processes an image obtained by intermittently irradiating a subject with radiation through an aperture.
The radiographic image processing system has at least one computer having an arithmetic unit and a storage device connected to the arithmetic unit.
The image processing method is
An estimated value for the arithmetic unit to estimate the movement of the subject corresponding to each of the plurality of pixels included in the first image by using the first image and the second image which are continuous in time series. And the first step of generating motion information composed of the estimated values of each of the plurality of pixels.
A correction composed of pixels in which the arithmetic unit needs to correct the value of the motion information based on the diaphragm boundary formed by the diaphragm included in each of the first image and the second image. A second step of identifying a region and correcting the estimated value of the correction region of the motion information,
A third step in which the arithmetic unit generates an interpolated image to be inserted between the first image and the second image based on the corrected motion information.
An image processing method comprising. 請求項４に記載の画像処理方法であって、
前記第２のステップは、
前記演算装置が、前記第１の画像及び前記第２の画像の各々の前記絞り境界を特定するステップと、
前記演算装置が、前記第１の画像の前記絞り境界及び前記第２の画像の前記絞り境界に基づいて、前記補間画像の第１の推定絞り境界を推定するステップと、
前記演算装置が、前記動き情報に含まれる前記絞り境界に対応する前記画素の前記推定値に基づいて、前記補間画像の第２の推定絞り境界を推定するステップと、
前記演算装置が、前記第１の推定絞り境界及び前記第２の推定絞り境界の差分に基づいて、前記補正領域を特定するステップと、を含むことを特徴とする画像処理方法。 The image processing method according to claim 4.
The second step is
A step in which the arithmetic unit identifies the aperture boundary of each of the first image and the second image.
A step in which the arithmetic unit estimates a first estimated aperture boundary of the interpolated image based on the aperture boundary of the first image and the aperture boundary of the second image.
A step in which the arithmetic unit estimates a second estimated aperture boundary of the interpolated image based on the estimated value of the pixel corresponding to the aperture boundary included in the motion information.
An image processing method comprising the step of specifying the correction region based on the difference between the first estimated aperture boundary and the second estimated aperture boundary. 請求項５に記載の画像処理方法であって、
前記第３のステップは、
前記演算装置が、前記補正領域を示す情報からマスク情報を生成するステップと、
前記演算装置が、前記動き情報にローパスフィルタを作用させることによって第１のローパスフィルタ情報を生成するステップと、
前記演算装置が、前記マスク情報にローパスフィルタを作用させることによって第２のローパスフィルタ情報を生成するステップと、
前記演算装置が、前記第１のローパスフィルタ情報及び前記第２のローパスフィルタ情報を用いた除算演算を実行することによって、前記補正領域の前記推定値を補正するステップと、を含むことを特徴とする画像処理方法。 The image processing method according to claim 5.
The third step is
A step in which the arithmetic unit generates mask information from information indicating the correction area,
A step in which the arithmetic unit generates the first low-pass filter information by applying a low-pass filter to the motion information, and
A step in which the arithmetic unit generates a second low-pass filter information by applying a low-pass filter to the mask information.
The arithmetic unit is characterized by including a step of correcting the estimated value in the correction region by executing a division calculation using the first low-pass filter information and the second low-pass filter information. Image processing method to be performed.
JP2019161781A 2019-09-05 2019-09-05 Radiation image processing system and image processing method Active JP7317639B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019161781A JP7317639B2 (en) 2019-09-05 2019-09-05 Radiation image processing system and image processing method
CN202010424308.4A CN112438743B (en) 2019-09-05 2020-05-19 Radiation image processing system and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019161781A JP7317639B2 (en) 2019-09-05 2019-09-05 Radiation image processing system and image processing method

Publications (2)

Publication Number Publication Date
JP2021037195A true JP2021037195A (en) 2021-03-11
JP7317639B2 JP7317639B2 (en) 2023-07-31

Family

ID=74733490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019161781A Active JP7317639B2 (en) 2019-09-05 2019-09-05 Radiation image processing system and image processing method

Country Status (2)

Country Link
JP (1) JP7317639B2 (en)
CN (1) CN112438743B (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04241844A (en) * 1991-01-09 1992-08-28 Mitsubishi Electric Corp Image interpolating method
JPH04336047A (en) * 1991-02-06 1992-11-24 General Electric Co <Ge> Fluoroscope observation method
JP2007000205A (en) * 2005-06-21 2007-01-11 Sanyo Electric Co Ltd Image processing apparatus, image processing method, and image processing program
JP2007500032A (en) * 2003-07-30 2007-01-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ X-ray apparatus with self-adjusting collimator
US20120033868A1 (en) * 2010-08-05 2012-02-09 Baorui Ren Detecting and quantifying patient motion during tomosynthesis scans
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
US20190159749A1 (en) * 2017-11-27 2019-05-30 Varex Imaging Corporation Misalignment compensation in dual x-ray imager

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484940A (en) * 1990-07-27 1992-03-18 Toshiba Corp X-ray ct device
JP3623307B2 (en) * 1996-03-29 2005-02-23 株式会社日立メディコ X-ray diagnostic imaging equipment
KR100909032B1 (en) * 2007-08-22 2009-07-23 주식회사 윈포넷 Motion adaptive deinterlacing method and apparatus
JP5278544B2 (en) * 2009-05-22 2013-09-04 株式会社島津製作所 Synchronous grid foil shadow removal method and radiation imaging apparatus using the same
US20120059239A1 (en) * 2010-09-08 2012-03-08 Fujifilm Corporation Body motion detection device and method, as well as radiographic imaging apparatus and method
WO2012063957A1 (en) * 2010-11-12 2012-05-18 株式会社東芝 Diagnostic imaging device and method
WO2013061239A2 (en) * 2011-10-24 2013-05-02 Koninklijke Philips Electronics N.V. Motion compensated second pass metal artifact correction for ct slice images
US9665935B2 (en) * 2013-05-16 2017-05-30 Konica Minolta, Inc. Image processing device and program
JP5722984B2 (en) * 2013-12-06 2015-05-27 ザイオソフト株式会社 Medical image processing apparatus and medical image processing program
JP6509025B2 (en) * 2015-05-11 2019-05-08 株式会社日立製作所 Image processing apparatus and method thereof
JP6815818B2 (en) * 2016-10-17 2021-01-20 キヤノン株式会社 Radiation imaging system and radiography imaging method
JP6414236B2 (en) * 2017-01-12 2018-10-31 オムロン株式会社 Image processing apparatus and image processing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04241844A (en) * 1991-01-09 1992-08-28 Mitsubishi Electric Corp Image interpolating method
JPH04336047A (en) * 1991-02-06 1992-11-24 General Electric Co <Ge> Fluoroscope observation method
JP2007500032A (en) * 2003-07-30 2007-01-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ X-ray apparatus with self-adjusting collimator
JP2007000205A (en) * 2005-06-21 2007-01-11 Sanyo Electric Co Ltd Image processing apparatus, image processing method, and image processing program
US8433159B1 (en) * 2007-05-16 2013-04-30 Varian Medical Systems International Ag Compressed target movement model using interpolation
US20120033868A1 (en) * 2010-08-05 2012-02-09 Baorui Ren Detecting and quantifying patient motion during tomosynthesis scans
US20190159749A1 (en) * 2017-11-27 2019-05-30 Varex Imaging Corporation Misalignment compensation in dual x-ray imager

Also Published As

Publication number Publication date
CN112438743A (en) 2021-03-05
CN112438743B (en) 2023-08-29
JP7317639B2 (en) 2023-07-31

Similar Documents

Publication Publication Date Title
JP4598507B2 (en) System and method for image noise reduction using minimum error space-time recursive filter
JP7080613B2 (en) Image processing equipment, image processing methods and programs
US10672108B2 (en) Image processing apparatus, image processing method, and image processing program
JP4056154B2 (en) 2D continuous video 3D video conversion apparatus and method, and 3D video post-processing method
US7710498B2 (en) Image processing apparatus, image processing method and program
JP4103073B2 (en) Method and apparatus for converting video signals
US20100172474A1 (en) Method for pixel shift calculation in digital subtraction angiography and x-ray diagnostic imaging system for generating images in digital subtraction angiography
JP6362914B2 (en) X-ray diagnostic apparatus and image processing apparatus
US10026155B1 (en) Image-processing apparatus
JP2005012798A (en) Motion vector generation apparatus and method
JP2011228846A (en) Image processing device and method
WO2014185421A1 (en) Medical imaging analysis device, and medical image processing method
WO2014142171A1 (en) Image processing device, image processing method, and program
JP2018061130A (en) Image processing device, image processing method, and program
JPH0956707A (en) Method for image processing, processor x-ray fluoroscopic equipment and radiographic equipment
CN112438743B (en) Radiation image processing system and image processing method
US20130261443A1 (en) Image processing apparatus and image processing method
JPS5940836A (en) Method and apparatus for generating treated image signal of x-rays
CN111050648B (en) Radiographic apparatus
KR101050135B1 (en) Intermediate image generation method using optical information
US10887492B2 (en) Temporal alignment of and signal-to-noise-ratio enhancment in image streams for multi-channel x-ray imaging
JP2018175457A (en) Radiation imaging apparatus, image processing apparatus, and program for image processing
US20180263588A1 (en) Dynamic radiographic image processing apparatus
JPH10229519A (en) X-ray image digital processor
JPS6390988A (en) Moving signal generating circuit

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210311

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230719

R150 Certificate of patent or registration of utility model

Ref document number: 7317639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150