JP2023176348A - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP2023176348A
JP2023176348A JP2022088585A JP2022088585A JP2023176348A JP 2023176348 A JP2023176348 A JP 2023176348A JP 2022088585 A JP2022088585 A JP 2022088585A JP 2022088585 A JP2022088585 A JP 2022088585A JP 2023176348 A JP2023176348 A JP 2023176348A
Authority
JP
Japan
Prior art keywords
image
cnn
neural network
convolutional neural
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022088585A
Other languages
Japanese (ja)
Inventor
佑弥 大西
Yuya Onishi
二三生 橋本
Fumio Hashimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2022088585A priority Critical patent/JP2023176348A/en
Priority to PCT/JP2023/019509 priority patent/WO2023234171A1/en
Publication of JP2023176348A publication Critical patent/JP2023176348A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/29—Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
    • G01T1/2914—Measurement of spatial distribution of radiation
    • G01T1/2985—In depth localisation, e.g. using positron emitters; Tomographic imaging (longitudinal and transverse section imaging; apparatus for radiation diagnosis sequentially in different planes, steroscopic radiation diagnosis)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/29—Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
    • G01T1/2914—Measurement of spatial distribution of radiation
    • G01T1/2992—Radioisotope data or image processing not related to a particular imaging system; Off-line processing of pictures, e.g. rescanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Abstract

To provide an image processing device which can easily reduce noise in an object image by performing teacherless learning after pre-learning with teacher to a CNN.SOLUTION: An image processing device 1 comprises an input image creation unit 10, a first calculation unit 20 and a second calculation unit 30, and creates a noise reduction image by reducing noise in an object image 52. The first calculation unit 20 includes a first CNN processing part 21 and a first CNN learning part 22 and performs processing of pre-learning with teacher. A first input image 40 is obtained by changing a pixel value of a partial region on the basis of a teacher image 42. The second calculation unit 30 includes a second CNN processing part 31 and a second CNN learning part 32 and performs processing of teacherless learning.SELECTED DRAWING: Figure 1

Description

本発明は、対象画像のノイズを低減してノイズ低減画像を作成する画像処理装置および画像処理方法に関するものである。 The present invention relates to an image processing device and an image processing method that reduce noise in a target image to create a noise-reduced image.

画像はノイズを含む場合がある。ノイズを含む画像の例として、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像が挙げられる。放射線断層撮影装置はＰＥＴ（Positron Emission Tomography）装置およびＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置などである。 Images may contain noise. An example of an image containing noise is a tomographic image of a subject reconstructed based on information acquired by a radiation tomography apparatus. Radiation tomography devices include PET (Positron Emission Tomography) devices and SPECT (Single Photon Emission Computed Tomography) devices.

ＰＥＴ装置は、被検体が置かれる測定空間の周囲に配列された多数の小型の放射線検出器を有する検出部を備えている。ＰＥＴ装置は、陽電子放出アイソトープ（ＲＩ線源）が投与された被検体内における電子・陽電子の対消滅に伴って発生するエネルギ５１１ｋｅＶの光子対を検出部により同時計数法で検出し、この同時計数情報を収集する。そして、この収集した多数の同時計数情報に基づいて、測定空間における光子対の発生頻度の空間分布（すなわち、ＲＩ線源の空間分布）を表す断層画像を再構成することができる。このＰＥＴ装置は核医学分野等で重要な役割を果たしており、これを用いて例えば生体機能や脳の高次機能の研究を行うことができる。 A PET apparatus includes a detection unit having a large number of small radiation detectors arranged around a measurement space in which a subject is placed. The PET apparatus uses a coincidence method to detect photon pairs with an energy of 511 keV generated by the annihilation of electrons and positrons in a subject to whom a positron-emitting isotope (RI source) has been administered, and uses this coincidence method to detect photon pairs with an energy of 511 keV. Collect information. Based on this collected large number of coincidence information, it is possible to reconstruct a tomographic image representing the spatial distribution of the frequency of occurrence of photon pairs in the measurement space (that is, the spatial distribution of the RI radiation source). This PET apparatus plays an important role in the field of nuclear medicine and the like, and can be used to conduct research on, for example, biological functions and higher-order functions of the brain.

再構成された被検体の断層画像は多くの統計ノイズを含むことから、この断層画像のノイズを低減することが要求されている。また、このようなＰＥＴ画像（断層画像）に限らず、ノイズを含む対象画像からノイズを低減してノイズ低減画像を作成することが要求される場合がある。ノイズ低減技術として様々な手法が知られている。そのなかでも、深層ニューラルネットワークの一種である畳み込みニューラルネットワークを用いたDeep Image Prior技術によりノイズを低減する技術が注目されている。以下では、畳み込みニューラルネットワーク（Convolutional Neural Network）を「ＣＮＮ」といい、Deep Image Prior技術を「ＤＩＰ技術」という。ＤＩＰ技術は、画像中の意味のある構造の方がランダムなノイズより早く学習される（すなわち、ランダムなノイズは学習されにくい）というＣＮＮの性質を利用して、教師なし学習により、ノイズが低減された画像を作成することができる。 Since a reconstructed tomographic image of a subject includes a lot of statistical noise, it is required to reduce the noise in this tomographic image. Furthermore, there are cases where it is required to create a noise-reduced image by reducing noise not only from such a PET image (tomographic image) but also from a target image containing noise. Various methods are known as noise reduction techniques. Among these, a technology that reduces noise using Deep Image Prior technology, which uses a convolutional neural network, which is a type of deep neural network, is attracting attention. Hereinafter, the convolutional neural network (Convolutional Neural Network) will be referred to as "CNN", and the Deep Image Prior technology will be referred to as "DIP technology". DIP technology uses the property of CNNs that meaningful structures in an image are learned faster than random noise (i.e., random noise is less likely to be learned) to reduce noise through unsupervised learning. You can create images with

非特許文献１に、ＤＩＰ技術により対象画像（ＰＥＴ画像）のノイズを低減する技術が記載されている。この文献に記載された技術は、ノイズ低減処理を２つのステップに分けて行う。第１ステップでは、第１入力画像（ＭＲＩ画像）および教師画像（ＰＥＴ画像）の複数の組それぞれについて、第１入力画像をＣＮＮに入力させてＣＮＮにより第１出力画像を作成し、この第１出力画像と教師画像との間の誤差の評価結果に基づいてＣＮＮを学習（教師あり事前学習）させる。続く第２ステップでは、第１ステップで事前学習済みのＣＮＮに第２入力画像（ＭＲＩ画像）を入力させてＣＮＮにより第２出力画像を作成し、この第２出力画像と対象画像（ＰＥＴ画像）との間の誤差の評価結果に基づいてＣＮＮを更に学習（教師なし学習）させる。そして、第２出力画像を、対象画像（ＰＥＴ画像）のノイズを低減したノイズ低減画像とする。 Non-Patent Document 1 describes a technique for reducing noise in a target image (PET image) using the DIP technique. The technique described in this document performs noise reduction processing in two steps. In the first step, for each of a plurality of sets of a first input image (MRI image) and a teacher image (PET image), the first input image is input to the CNN to create a first output image by the CNN. The CNN is trained (supervised pre-learning) based on the evaluation result of the error between the output image and the teacher image. In the subsequent second step, the second input image (MRI image) is input to the CNN that has been pre-trained in the first step, a second output image is created by the CNN, and this second output image and the target image (PET image) are The CNN is further trained (unsupervised learning) based on the evaluation result of the error between. Then, the second output image is a noise-reduced image in which the noise of the target image (PET image) is reduced.

要するに、非特許文献１に記載されたノイズ低減技術は、第１ステップではＣＮＮが第１入力画像を教師画像へ変換するようにＣＮＮを学習（教師あり事前学習）させ、第２ステップではＣＮＮを更に学習（教師なし学習）させることで、対象画像のノイズを低減したノイズ低減画像を作成する。このようにすることにより、非特許文献１に記載されたノイズ低減技術は、ＤＩＰ技術のみの場合（教師なし学習のみの場合）と比べて、ノイズ低減性能の向上が可能であるとされている。 In short, the noise reduction technology described in Non-Patent Document 1 is such that in the first step, the CNN is trained (supervised pre-learning) to convert the first input image to the teacher image, and in the second step, the CNN is trained to convert the first input image into the teacher image. Further learning (unsupervised learning) is performed to create a noise-reduced image in which the noise of the target image is reduced. By doing so, the noise reduction technology described in Non-Patent Document 1 is said to be able to improve noise reduction performance compared to the case of only DIP technology (the case of only unsupervised learning). .

J. Cui et al. Populational andindividual information based PET image denoising using conditional unsupervisedlearning. Phys. Med. Biol. 66:155001, 2021.J. Cui et al. Populational and individual information based PET image denoising using conditional unsupervised learning. Phys. Med. Biol. 66:155001, 2021.

非特許文献１に記載されたノイズ低減技術は、第１ステップの教師あり事前学習を行う為に、多数の教師画像だけでなく多数の第１入力画像を用意する必要がある。しかし、多数の教師画像の用意とは別個に多数の第１入力画像を用意することは容易ではない。 The noise reduction technique described in Non-Patent Document 1 requires preparing not only a large number of teacher images but also a large number of first input images in order to perform the first step of supervised pre-learning. However, it is not easy to prepare a large number of first input images separately from preparing a large number of teacher images.

本発明は、上記問題点を解消する為になされたものであり、ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる画像処理装置および画像処理方法を提供することを目的とする。 The present invention has been made to solve the above problems, and provides an image processing device and an image processing device that can easily reduce noise in a target image by performing unsupervised learning after supervised pre-learning on a CNN. The purpose is to provide an image processing method.

本発明の画像処理装置は、対象画像のノイズを低減してノイズ低減画像を作成する画像処理装置である。
本発明の画像処理装置の第１態様は、(1) 教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理部と、(2) 第１出力画像と教師画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習部と、(3) 第２入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理部と、(4) 第２出力画像と対象画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習部と、を備える。そして、教師画像および第１入力画像の複数の組それぞれについて第１ＣＮＮ処理部および第１ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後、第２ＣＮＮ処理部および第２ＣＮＮ学習部それぞれの処理を複数回繰り返し行って、第２出力画像をノイズ低減画像とする。 The image processing device of the present invention is an image processing device that reduces noise in a target image to create a noise-reduced image.
A first aspect of the image processing device of the present invention includes (1) inputting a first input image in which pixel values of some regions have been changed based on a teacher image to a convolutional neural network, and generating a first output image by the convolutional neural network; (2) a first CNN learning unit that evaluates the error between the first output image and the teacher image and trains the convolutional neural network based on the error evaluation result; (4) a second CNN processing unit that inputs two input images to a convolutional neural network and creates a second output image by the convolutional neural network; and (4) evaluates an error between the second output image and the target image to evaluate the error. and a second CNN learning unit that causes the convolutional neural network to learn based on the results. Then, after repeating the processing of the first CNN processing unit and the first CNN learning unit multiple times for each of the plurality of sets of the teacher image and the first input image, the processing of the second CNN processing unit and the second CNN learning unit is performed multiple times. This is repeated to make the second output image a noise-reduced image.

本発明の画像処理装置は、次のような態様としてもよい。
第２態様では、第１態様に加えて、画像処理装置は、教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成部を更に備えるのが好適である。
第３態様では、第１態様または第２態様に加えて、畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、第１ＣＮＮ学習部は、畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、第２ＣＮＮ学習部は、畳み込みニューラルネットワークのデコーダを選択的に学習させるのが好適である。
第４態様では、第１態様～第３態様の何れかに加えて、第１ＣＮＮ処理部は、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれをニューラルネットワークに入力させて、各第１入力画像に対して畳み込みニューラルネットワークにより第１出力画像を作成するのが好適である。
第５態様では、第１態様～第４態様の何れかに加えて、第１ＣＮＮ処理部は、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させるのが好適である。
第６態様では、第１態様～第５態様の何れかに加えて、対象画像および教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像であるのが好適である。 The image processing device of the present invention may have the following embodiments.
In the second aspect, in addition to the first aspect, it is preferable that the image processing device further includes an input image creation unit that creates a first input image in which pixel values of a partial region are changed based on the teacher image. .
In a third aspect, in addition to the first aspect or the second aspect, the convolutional neural network has a U-net structure including an encoder and a decoder, and the first CNN learning unit is configured to control the encoder and decoder of the convolutional neural network. Preferably, the second CNN learning section selectively trains the decoder of the convolutional neural network.
In the fourth aspect, in addition to any one of the first to third aspects, the first CNN processing unit inputs each of the plurality of first input images in which the pixel value change mode is different from each other for each teacher image to the neural network. Preferably, the first output image is created using a convolutional neural network for each first input image.
In the fifth aspect, in addition to any one of the first to fourth aspects, the first CNN processing unit provides a first input image in which pixel values of a partial area of the noise reduction target area are changed based on the teacher image. is preferably input into a convolutional neural network.
In a sixth aspect, in addition to any one of the first to fifth aspects, the target image and the teacher image are tomographic images of the subject reconstructed based on information acquired by a radiation tomography apparatus. is suitable.

本発明の画像処理方法は、対象画像のノイズを低減してノイズ低減画像を作成する画像処理方法である。
本発明の画像処理方法の第１態様は、(1) 教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理ステップと、(2) 第１出力画像と教師画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習ステップと、(3) 第２入力画像を畳み込みニューラルネットワークに入力させて畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理ステップと、(4) 第２出力画像と対象画像との間の誤差を評価して当該誤差評価結果に基づいて畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習ステップと、を備える。そして、教師画像および第１入力画像の複数の組それぞれについて第１ＣＮＮ処理ステップおよび第１ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後、第２ＣＮＮ処理ステップおよび第２ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、第２出力画像をノイズ低減画像とする。 The image processing method of the present invention is an image processing method that reduces noise in a target image to create a noise-reduced image.
A first aspect of the image processing method of the present invention includes (1) inputting a first input image in which pixel values of some regions have been changed based on a teacher image to a convolutional neural network, and generating a first output image by the convolutional neural network; (2) a first CNN learning step in which the error between the first output image and the teacher image is evaluated and the convolutional neural network is trained based on the error evaluation result; (3) the first CNN processing step to create a first CNN; a second CNN processing step of inputting two input images to a convolutional neural network and creating a second output image by the convolutional neural network; and (4) evaluating an error between the second output image and the target image to evaluate the error. and a second CNN learning step of training the convolutional neural network based on the results. After repeating the first CNN processing step and the first CNN learning step multiple times for each of the plurality of pairs of teacher images and first input images, the second CNN processing step and the second CNN learning step are performed multiple times. This is repeated to make the second output image a noise-reduced image.

本発明の画像処理方法は、次のような態様としてもよい。
第２態様では、第１態様に加えて、画像処理方法は、教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成ステップを更に備えるのが好適である。
第３態様では、第１態様または第２態様に加えて、畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、第１ＣＮＮ学習ステップでは、畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、第２ＣＮＮ学習ステップでは、畳み込みニューラルネットワークのデコーダを選択的に学習させるのが好適である。
第４態様では、第１態様～第３態様の何れかに加えて、第１ＣＮＮ処理ステップでは、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれをニューラルネットワークに入力させて、各第１入力画像に対して畳み込みニューラルネットワークにより第１出力画像を作成するのが好適である。
第５態様では、第１態様～第４態様の何れかに加えて、第１ＣＮＮ処理ステップでは、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させるのが好適である。
第６態様では、第１態様～第５態様の何れかに加えて、対象画像および教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像であるのが好適である。 The image processing method of the present invention may have the following embodiments.
In the second aspect, in addition to the first aspect, it is preferable that the image processing method further includes an input image creation step of creating a first input image in which pixel values of a partial region are changed based on the teacher image. .
In a third aspect, in addition to the first aspect or the second aspect, the convolutional neural network is of a U-net structure including an encoder and a decoder, and in the first CNN learning step, the convolutional neural network has a U-net structure including an encoder and a decoder. Preferably, both are trained, and in the second CNN learning step, the decoder of the convolutional neural network is selectively trained.
In the fourth aspect, in addition to any one of the first to third aspects, in the first CNN processing step, for each teacher image, each of the plurality of first input images in which the pixel value change mode is different from each other is input to the neural network. Preferably, the first output image is created using a convolutional neural network for each first input image.
In the fifth aspect, in addition to any one of the first to fourth aspects, the first CNN processing step includes a first input image in which pixel values of a partial area of the noise reduction target area are changed based on the teacher image. is preferably input into a convolutional neural network.
In a sixth aspect, in addition to any one of the first to fifth aspects, the target image and the teacher image are tomographic images of the subject reconstructed based on information acquired by a radiation tomography apparatus. is suitable.

本発明によれば、畳み込みニューラルネットワーク（ＣＮＮ）に対する教師あり事前学習の際に用いるＣＮＮへの入力画像を教師画像に基づいて容易に作成することができ、ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる。 According to the present invention, an input image to a convolutional neural network (CNN) used during supervised pre-learning can be easily created based on a teacher image, and a Noise in the target image can be easily reduced by performing zero learning.

図１は、画像処理装置１の構成を示す図である。FIG. 1 is a diagram showing the configuration of an image processing device 1. As shown in FIG. 図２は、画像処理方法のフローチャートである。FIG. 2 is a flowchart of the image processing method. 図３は、ＣＮＮの構成例を示す図である。FIG. 3 is a diagram showing an example of the configuration of CNN. 図４は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。FIG. 4 is a diagram showing an input image (MRI image) to CNN. 図５は、ファントム画像（正解画像）を示す図である。FIG. 5 is a diagram showing a phantom image (correct image). 図６は、腫瘍を有し薬剤として１８Ｆ-ＦＤＧを投与した頭部を模擬した断層画像（対象画像）を示す図である。FIG. 6 is a diagram showing a tomographic image (target image) simulating a head having a tumor and to which 18 F-FDG was administered as a drug. 図７は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 7 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. 図８は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 8 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. 図９は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 9 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. 図１０は、実施例および比較例１，２それぞれの画像処理方法によるノイズ低減処理後の断層画像のＰＳＮＲ、ＳＳＩＭおよびＣＮＲの各値を纏めた表である。FIG. 10 is a table summarizing the values of PSNR, SSIM, and CNR of tomographic images after noise reduction processing by the image processing methods of Example and Comparative Examples 1 and 2. 図１１は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。FIG. 11 is a diagram showing an input image (MRI image) to CNN. 図１２は、薬剤として１８Ｆ-ＡＶ４５を投与した頭部の断層画像（対象画像）を示す図である。FIG. 12 is a diagram showing a tomographic image (target image) of the head to which 18 F-AV45 was administered as a drug. 図１３は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 13 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. 図１４は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 14 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. 図１５は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 15 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. 図１６は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。FIG. 16 is a diagram showing an input image (MRI image) to CNN. 図１７は、薬剤として１１Ｃ-ＰＩＢを投与した頭部の断層画像（対象画像）を示す図である。FIG. 17 is a diagram showing a tomographic image (target image) of a head to which 11 C-PIB was administered as a drug. 図１８は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 18 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. 図１９は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 19 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. 図２０は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 20 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. 図２１は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。FIG. 21 is a diagram showing an input image (MRI image) to CNN. 図２２は、薬剤として１８Ｆ-ＦＤＧを投与した頭部の断層画像（対象画像）を示す図である。FIG. 22 is a diagram showing a tomographic image (target image) of the head to which 18 F-FDG was administered as a drug. 図２３は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 23 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. 図２４は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 24 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. 図２５は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。FIG. 25 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. 図２６は、実施例および比較例１，２それぞれの画像処理方法によるノイズ低減処理後の断層画像のＣＮＲの値を纏めた表である。FIG. 26 is a table summarizing the CNR values of tomographic images after noise reduction processing by the image processing methods of Example and Comparative Examples 1 and 2.

以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. In addition, in the description of the drawings, the same elements are given the same reference numerals, and redundant description will be omitted. The present invention is not limited to these examples, but is indicated by the claims, and is intended to include all changes within the meaning and scope equivalent to the claims.

図１は、画像処理装置１の構成を示す図である。画像処理装置１は、入力画像作成部１０、第１演算部２０および第２演算部３０を備え、対象画像５２のノイズを低減してノイズ低減画像を作成する。 FIG. 1 is a diagram showing the configuration of an image processing device 1. As shown in FIG. The image processing device 1 includes an input image creation section 10, a first calculation section 20, and a second calculation section 30, and reduces noise in a target image 52 to create a noise-reduced image.

この図では、第１入力画像４０、第１出力画像４１、教師画像４２、第２出力画像５１および対象画像５２それぞれの例として頭部のＰＥＴ画像を示し、第２入力画像５０の例として頭部のＭＲＩ画像を示している。以降では、これを前提として説明をする。ただし、本実施形態は、これに限られない。本実施形態は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像（例えばＰＥＴ画像）を対象画像として、この対象画像のノイズを低減するのに好適なものである。これらの画像は、２次元画像であってもよいし、３次元画像であってもよい。 In this figure, a PET image of the head is shown as an example of each of the first input image 40, first output image 41, teacher image 42, second output image 51, and target image 52, and a head PET image is shown as an example of the second input image 50. An MRI image of the area is shown. The following explanation will be based on this premise. However, this embodiment is not limited to this. The present embodiment is suitable for reducing noise in a target image that is a tomographic image (for example, a PET image) of a subject reconstructed based on information acquired by a radiation tomography apparatus. be. These images may be two-dimensional images or three-dimensional images.

画像処理装置１は、ＣＮＮを用いた処理を行うＧＰＵ（Graphics Processing Unit）、操作者の入力を受け付ける入力部（例えばキーボードやマウス）、画像等を表示する表示部（例えば液晶ディスプレイ）、および、様々な処理を実行する為のプログラムやデータを記憶する記憶部を備える。画像処理装置１として、ＣＰＵ、ＲＡＭ、ＲＯＭおよびハードディスクドライブ等を有するコンピュータが用いられる。 The image processing device 1 includes a GPU (Graphics Processing Unit) that performs processing using CNN, an input unit (for example, a keyboard or mouse) that receives input from an operator, a display unit (for example, a liquid crystal display) that displays images, etc. It is equipped with a storage unit that stores programs and data for executing various processes. As the image processing device 1, a computer having a CPU, RAM, ROM, hard disk drive, etc. is used.

入力画像作成部１０は、教師画像４２に基づいて一部領域の画素値を変更した第１入力画像４０を作成する。 The input image creation unit 10 creates a first input image 40 in which pixel values in some areas are changed based on the teacher image 42 .

第１演算部２０は、第１ＣＮＮ処理部２１および第１ＣＮＮ学習部２２を含み、教師あり事前学習の処理を行う。第１ＣＮＮ処理部２１は、第１入力画像４０をＣＮＮに入力させて、ＣＮＮにより第１出力画像４１を作成する。第１ＣＮＮ学習部２２は、第１出力画像４１と教師画像４２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第１演算部２０は、教師画像４２および第１入力画像４０の複数の組それぞれについて、第１ＣＮＮ処理部２１および第１ＣＮＮ学習部２２それぞれの処理を複数回繰り返し行う。 The first calculation unit 20 includes a first CNN processing unit 21 and a first CNN learning unit 22, and performs supervised pre-learning processing. The first CNN processing unit 21 inputs the first input image 40 to the CNN and creates a first output image 41 using the CNN. The first CNN learning unit 22 evaluates the error between the first output image 41 and the teacher image 42 and trains the CNN based on the error evaluation result. The first calculation unit 20 repeatedly performs the processing of the first CNN processing unit 21 and the first CNN learning unit 22 multiple times for each of the plurality of sets of the teacher image 42 and the first input image 40.

第２演算部３０は、第２ＣＮＮ処理部３１および第２ＣＮＮ学習部３２を含み、教師なし学習の処理を行う。第２ＣＮＮ処理部３１は、第２入力画像５０をＣＮＮに入力させて、ＣＮＮにより第２出力画像５１を作成する。第２ＣＮＮ学習部３２は、第２出力画像５１と対象画像５２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第２演算部３０は、第１演算部２０の繰り返し処理の終了の後、その終了時点でのＣＮＮの学習状態を初期値として、第２ＣＮＮ処理部３１および第２ＣＮＮ学習部３２それぞれの処理を複数回繰り返し行う。そして、第２演算部３０の繰り返し処理の終了時点での第２出力画像５１をノイズ低減画像とする。 The second calculation unit 30 includes a second CNN processing unit 31 and a second CNN learning unit 32, and performs unsupervised learning processing. The second CNN processing unit 31 inputs the second input image 50 to the CNN and creates a second output image 51 using the CNN. The second CNN learning unit 32 evaluates the error between the second output image 51 and the target image 52 and trains the CNN based on the error evaluation result. After the repetitive processing of the first calculating section 20 ends, the second calculating section 30 performs multiple processings of each of the second CNN processing section 31 and the second CNN learning section 32, using the learning state of the CNN at the time of the end as an initial value. Do this repeatedly. Then, the second output image 51 at the end of the repetitive processing of the second calculation unit 30 is set as the noise-reduced image.

図２は、画像処理方法のフローチャートである。画像処理方法は、入力画像作成ステップＳ１０、第１演算ステップＳ２０および第２演算ステップＳ３０を順に行うことで、対象画像５２のノイズを低減してノイズ低減画像を作成する。 FIG. 2 is a flowchart of the image processing method. The image processing method reduces noise in the target image 52 and creates a noise-reduced image by sequentially performing input image creation step S10, first calculation step S20, and second calculation step S30.

入力画像作成ステップＳ１０は、入力画像作成部１０により行われる処理である。入力画像作成ステップＳ１０では、教師画像４２に基づいて一部領域の画素値を変更した第１入力画像４０を作成する。 The input image creation step S10 is a process performed by the input image creation section 10. In the input image creation step S10, a first input image 40 is created with the pixel values of some regions changed based on the teacher image 42.

第１演算ステップＳ２０は、第１演算部２０により行われる教師あり事前学習の処理であり、第１ＣＮＮ処理ステップＳ２１および第１ＣＮＮ学習ステップＳ２２を含む。第１ＣＮＮ処理ステップＳ２１は、第１ＣＮＮ処理部２１により行われる処理である。第１ＣＮＮ学習ステップＳ２２は、第１ＣＮＮ学習部２２により行われる処理である。第１ＣＮＮ処理ステップＳ２１では、第１入力画像４０をＣＮＮに入力させて、ＣＮＮにより第１出力画像４１を作成する。第１ＣＮＮ学習ステップＳ２２では、第１出力画像４１と教師画像４２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第１演算ステップＳ２０では、教師画像４２および第１入力画像４０の複数の組それぞれについて、第１ＣＮＮ処理ステップＳ２１および第１ＣＮＮ学習ステップＳ２２それぞれの処理を複数回繰り返し行う。 The first calculation step S20 is a supervised pre-learning process performed by the first calculation unit 20, and includes a first CNN processing step S21 and a first CNN learning step S22. The first CNN processing step S21 is a process performed by the first CNN processing unit 21. The first CNN learning step S22 is a process performed by the first CNN learning section 22. In the first CNN processing step S21, the first input image 40 is input to the CNN, and the first output image 41 is created by the CNN. In the first CNN learning step S22, the error between the first output image 41 and the teacher image 42 is evaluated, and the CNN is trained based on the error evaluation result. In the first calculation step S20, the processes of the first CNN processing step S21 and the first CNN learning step S22 are repeated multiple times for each of the plurality of sets of the teacher image 42 and the first input image 40.

第２演算ステップＳ３０は、第２演算部３０により行われる教師なし学習の処理であり、第２ＣＮＮ処理ステップＳ３１および第２ＣＮＮ学習ステップＳ３２を含む。第２ＣＮＮ処理ステップＳ３１は、第２ＣＮＮ処理部３１により行われる処理である。第２ＣＮＮ学習ステップＳ３２は、第２ＣＮＮ学習部３２により行われる処理である。第２ＣＮＮ処理ステップＳ３１では、第２入力画像５０をＣＮＮに入力させて、ＣＮＮにより第２出力画像５１を作成する。第２ＣＮＮ学習ステップＳ３２では、第２出力画像５１と対象画像５２との間の誤差を評価して当該誤差評価結果に基づいてＣＮＮを学習させる。第２演算ステップＳ３０では、第１演算ステップＳ２０における繰り返し処理の終了の後、その終了時点でのＣＮＮの学習状態を初期値として、第２ＣＮＮ処理ステップＳ３１および第２ＣＮＮ学習ステップＳ３２それぞれの処理を複数回繰り返し行う。そして、第２演算ステップＳ３０における繰り返し処理の終了時点での第２出力画像５１をノイズ低減画像とする。 The second calculation step S30 is an unsupervised learning process performed by the second calculation unit 30, and includes a second CNN processing step S31 and a second CNN learning step S32. The second CNN processing step S31 is a process performed by the second CNN processing unit 31. The second CNN learning step S32 is a process performed by the second CNN learning section 32. In the second CNN processing step S31, the second input image 50 is input to the CNN, and the second output image 51 is created by the CNN. In the second CNN learning step S32, the error between the second output image 51 and the target image 52 is evaluated, and the CNN is trained based on the error evaluation result. In the second calculation step S30, after the repeated processing in the first calculation step S20 is completed, each process of the second CNN processing step S31 and the second CNN learning step S32 is performed multiple times using the learning state of the CNN at the time of the completion as an initial value. Do this repeatedly. Then, the second output image 51 at the end of the repetitive processing in the second calculation step S30 is set as the noise-reduced image.

図３は、ＣＮＮの構成例を示す図である。この図に示されるように、ＣＮＮは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであるのが好適である。この図には、ＣＮＮに入力される入力画像の画素数をＮ×Ｎ×６４として、ＣＮＮの各層のサイズが示されている。第１ＣＮＮ学習ステップＳ２２において、第１ＣＮＮ学習部２２は、ＣＮＮのエンコーダおよびデコーダの双方を学習させる。第２ＣＮＮ学習ステップＳ３２において、第２ＣＮＮ学習部３２は、ＣＮＮのエンコーダおよびデコーダの双方を学習させてもよいが、学習に要する時間を短縮する為にＣＮＮのエンコーダおよびデコーダのうちのデコーダを選択的に学習させるのが好適である。 FIG. 3 is a diagram showing an example of the configuration of CNN. As shown in this figure, the CNN is preferably of a U-net structure including an encoder and a decoder. This figure shows the size of each layer of the CNN, assuming that the number of pixels of the input image input to the CNN is N×N×64. In the first CNN learning step S22, the first CNN learning unit 22 trains both the CNN encoder and decoder. In the second CNN learning step S32, the second CNN learning unit 32 may learn both the CNN encoder and decoder, but in order to shorten the time required for learning, the second CNN learning unit 32 may selectively train the decoder of the CNN encoder and decoder. It is preferable to have them learn.

第１ＣＮＮ学習ステップＳ２２における第１ＣＮＮ学習部２２および第２ＣＮＮ学習ステップＳ３２における第２ＣＮＮ学習部３２それぞれにおいて、二つの画像の間の誤差を評価する関数は任意でよい。誤差評価関数は、例えば、Ｌ１ノルム、Ｌ２ノルム、ポアソン分布における負の対数尤度などを用いることができる。 In each of the first CNN learning unit 22 in the first CNN learning step S22 and the second CNN learning unit 32 in the second CNN learning step S32, any function may be used to evaluate the error between two images. As the error evaluation function, for example, L1 norm, L2 norm, negative log likelihood in Poisson distribution, etc. can be used.

画像処理装置１または画像処理方法において、各画像は次のようなものである。
対象画像５２は、ノイズを低減する対象となる画像であり、ここでは頭部のＰＥＴ画像である。このようなＰＥＴ画像は、一般に、ノイズを低減する対象とすべき領域（ノイズ低減対象領域）である頭部の画像領域と、頭部領域の周囲にある背景領域とからなる。 In the image processing device 1 or the image processing method, each image is as follows.
The target image 52 is an image whose noise is to be reduced, and here is a PET image of the head. Such a PET image generally includes an image region of the head, which is a region to be subjected to noise reduction (noise reduction target region), and a background region around the head region.

教師画像４２は、対象画像５２と同様の頭部のＰＥＴ画像である。複数の教師画像４２が用意されてもよいし、一つの教師画像４２が用意されてもよい。対象画像５２そのものを教師画像４２としてもよい。 The teacher image 42 is a PET image of the head similar to the target image 52. A plurality of teacher images 42 may be prepared, or one teacher image 42 may be prepared. The target image 52 itself may be used as the teacher image 42.

第１入力画像４０は、教師画像４２に基づいて一部領域の画素値を変更したものであり、好ましくは、教師画像４２に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更したものである。各教師画像４２に対して複数の第１入力画像４０が用意されてもよい。教師画像４２に対する第１入力画像４０の画素値変更は、任意の態様が可能である。画素値を変更する一部領域は、任意の形状、任意の大きさ、任意の個数であってよい。一部領域における画素値の変更は、例えば、画素値の非線形変換、複数の画素の間での画素値の交換、一定の画素値への置換、ランダムな画素値への置換、等であってよい。画素値変更の態様（例えば、画素値を変更する一部領域の形状、大きさ及び個数や、画素値変更の方法）は、複数の第１入力画像４０の間で互いに異なっているのが好ましい。入力画像作成ステップＳ１０において、入力画像作成部１０は、このような第１入力画像４０を教師画像４２に基づいて作成する。 The first input image 40 is an image in which pixel values of a partial area are changed based on the teacher image 42, and preferably, pixel values of a partial area of the noise reduction target area are changed based on the teacher image 42. This is what I did. A plurality of first input images 40 may be prepared for each teacher image 42. The pixel values of the first input image 40 with respect to the teacher image 42 can be changed in any manner. The partial area whose pixel value is to be changed may have any shape, size, or number. Changes in pixel values in some areas include, for example, nonlinear conversion of pixel values, exchange of pixel values between multiple pixels, replacement with fixed pixel values, replacement with random pixel values, etc. good. It is preferable that the manner of changing pixel values (for example, the shape, size, and number of partial regions whose pixel values are changed, and the method of changing pixel values) is different among the plurality of first input images 40. . In the input image creation step S10, the input image creation unit 10 creates such a first input image 40 based on the teacher image 42.

第２入力画像５０は、被検体の形態情報を表す画像であってよく、図１中に示されているようなＭＲＩ画像であってもよいし、ＣＴ画像や静的ＰＥＴ画像であってもよい。第２入力画像５０は、ランダムノイズ画像であってもよい。 The second input image 50 may be an image representing morphological information of the subject, and may be an MRI image as shown in FIG. 1, a CT image, or a static PET image. good. The second input image 50 may be a random noise image.

次に、デジタル脳ファントム画像を用いて頭部用ＰＥＴ装置のモンテカルロ・シミュレーションにより対象画像を作成し、これを用いて実施例および比較例１，２それぞれの画像処理方法によりノイズ低減処理を行った結果について、図４～図１０を用いて説明する。ファントム画像は、BrainWeb（https://brainweb.bic.mni.mcgill.ca/brainweb/）から入手したものである。 Next, a target image was created by Monte Carlo simulation of a head PET device using a digital brain phantom image, and noise reduction processing was performed using the image processing method of Example and Comparative Examples 1 and 2. The results will be explained using FIGS. 4 to 10. Phantom images were obtained from BrainWeb (https://brainweb.bic.mni.mcgill.ca/brainweb/).

実施例の画像処理方法は、上記実施形態によるものである。比較例１の画像処理方法は、従来のＤＩＰ技術によるものである。比較例２の画像処理方法は、非特許文献１に記載された技術によるものである。 The image processing method of the example is based on the above embodiment. The image processing method of Comparative Example 1 is based on conventional DIP technology. The image processing method of Comparative Example 2 is based on the technique described in Non-Patent Document 1.

実施例および比較例２それぞれの画像処理方法における教師あり事前学習では、ファントム画像に基づいて作成した２０個の教師画像を用いた。実施例の画像処理方法では、各教師画像に対し画素値変更態様を様々に異ならせて作成した３２個の第１入力画像を用いた。比較例２の画像処理方法では、ＣＮＮへの入力画像としてＭＲＩ画像を用いた。 In the supervised preliminary learning in each of the image processing methods of Example and Comparative Example 2, 20 teacher images created based on phantom images were used. In the image processing method of the example, 32 first input images were used, which were created with various pixel value change modes for each teacher image. In the image processing method of Comparative Example 2, an MRI image was used as an input image to the CNN.

実施例および比較例１，２それぞれの画像処理方法における教師なし学習では、対象画像として、腫瘍を有し薬剤として１８Ｆ-ＦＤＧを投与した頭部を模擬した断層画像を用いた。ＣＮＮへの入力画像としてＭＲＩ画像を用いた。 In the unsupervised learning in the image processing methods of Examples and Comparative Examples 1 and 2, a tomographic image simulating a head with a tumor and to which 18 F-FDG was administered as a drug was used as a target image. MRI images were used as input images to CNN.

図４～図９それぞれは、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図４は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図５は、ファントム画像（正解画像）を示す図である。図６は、腫瘍を有し薬剤として１８Ｆ-ＦＤＧを投与した頭部を模擬した断層画像（対象画像）を示す図である。図７は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図８は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図９は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図４～図９それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は冠状断面の画像であり、（ｃ）は矢状断面の画像である。 4 to 9 are diagrams showing tomographic images used or created in unsupervised learning in the image processing methods of the example and comparative examples 1 and 2, respectively. FIG. 4 is a diagram showing an input image (MRI image) to CNN. FIG. 5 is a diagram showing a phantom image (correct image). FIG. 6 is a diagram showing a tomographic image (target image) simulating a head having a tumor and to which 18 F-FDG was administered as a drug. FIG. 7 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. FIG. 8 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. FIG. 9 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. In each of FIGS. 4 to 9, (a) is an image of a transverse section, (b) is an image of a coronal section, and (c) is an image of a sagittal section.

図１０は、実施例および比較例１，２それぞれの画像処理方法によるノイズ低減処理後の断層画像のＰＳＮＲ、ＳＳＩＭおよびＣＮＲの各値を纏めた表である。ＰＳＮＲ（Peak Signal to Noise Ratio）は、画像の品質をデシベル（ｄＢ）で表したものである。ＳＳＩＭ（structural similarity index）は、画像の輝度およびコントラストならびに構造の変化を定量化する指標である。ＣＮＲ（Contrast to Noise Ratio）は、画像のコントラストとノイズとの比である。ＰＳＮＲ、ＳＳＩＭおよびＣＮＲの何れも、値が大きいほど良好な画質であることを意味する。図４～図１０に示されるとおり、比較例１，２と比べて実施例では、ＰＳＮＲ、ＳＳＩＭおよびＣＮＲの何れも値が大きく、より効果的に対象画像のノイズを低減することができることが確認できた。 FIG. 10 is a table summarizing the values of PSNR, SSIM, and CNR of tomographic images after noise reduction processing by the image processing methods of Example and Comparative Examples 1 and 2. PSNR (Peak Signal to Noise Ratio) represents the quality of an image in decibels (dB). SSIM (structural similarity index) is an index that quantifies image brightness and contrast as well as structural changes. CNR (Contrast to Noise Ratio) is the ratio of image contrast to noise. For all of PSNR, SSIM, and CNR, the larger the value, the better the image quality. As shown in FIGS. 4 to 10, compared to Comparative Examples 1 and 2, the values of PSNR, SSIM, and CNR are all larger in the example, confirming that it is possible to more effectively reduce noise in the target image. did it.

次に、臨床データを用いて実施例および比較例１，２それぞれの画像処理方法によりノイズ低減処理を行った結果について、図１１～図２６を用いて説明する。 Next, the results of noise reduction processing performed using the image processing methods of Examples and Comparative Examples 1 and 2 using clinical data will be described using FIGS. 11 to 26.

実施例および比較例２それぞれの画像処理方法における教師あり事前学習では、臨床データの２４個の断層画像を教師画像として用いた。これらの断層画像は、薬剤として１８Ｆ-ＡＶ４５を投与した頭部のＰＥＴ画像である。実施例の画像処理方法では、各教師画像に対し画素値変更態様を様々に異ならせて作成した３２個の第１入力画像を用いた。比較例２の画像処理方法では、ＣＮＮへの入力画像としてＭＲＩ画像を用いた。 In the supervised pre-learning in the image processing methods of Example and Comparative Example 2, 24 tomographic images of clinical data were used as teacher images. These tomographic images are PET images of the head to which 18 F-AV45 was administered as a drug. In the image processing method of the example, 32 first input images were used, which were created with various pixel value change modes for each teacher image. In the image processing method of Comparative Example 2, an MRI image was used as an input image to the CNN.

実施例および比較例１，２それぞれの画像処理方法における教師なし学習では、対象画像として、薬剤として１８Ｆ-ＡＶ４５，１１Ｃ-ＰＩＢおよび１８Ｆ-ＦＤＧの何れかを投与した頭部の断層画像を用いた。ＣＮＮへの入力画像としてＭＲＩ画像を用いた。 In the unsupervised learning in the image processing methods of Examples and Comparative Examples 1 and 2, the target image was a tomographic image of a head to which any of 18 F-AV45, 11 C-PIB, and 18 F-FDG had been administered as a drug. was used. MRI images were used as input images to CNN.

図１１～図１５それぞれは、薬剤として１８Ｆ-ＡＶ４５を投与した頭部の断層画像を対象画像として用いた場合に、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図１１は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図１２は、薬剤として１８Ｆ-ＡＶ４５を投与した頭部の断層画像（対象画像）を示す図である。図１３は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１４は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１５は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１１～図１５それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は冠状断面の画像であり、（ｃ）は矢状断面の画像である。 Figures 11 to 15 are images used in unsupervised learning in the image processing methods of Example and Comparative Examples 1 and 2, respectively, when a tomographic image of a head to which 18F -AV45 was administered as a drug was used as a target image. FIG. 2 is a diagram showing a tomographic image that has been created or created. FIG. 11 is a diagram showing an input image (MRI image) to CNN. FIG. 12 is a diagram showing a tomographic image (target image) of the head to which 18 F-AV45 was administered as a drug. FIG. 13 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. FIG. 14 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. FIG. 15 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. In each of FIGS. 11 to 15, (a) is an image of a cross section, (b) is an image of a coronal section, and (c) is an image of a sagittal section.

図１６～図２０それぞれは、薬剤として１１Ｃ-ＰＩＢを投与した頭部の断層画像を対象画像として用いた場合に、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図１６は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図１７は、薬剤として１１Ｃ-ＰＩＢを投与した頭部の断層画像（対象画像）を示す図である。図１８は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１９は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２０は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図１６～図２０それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は矢状断面の画像である。 Figures 16 to 20 are images used in unsupervised learning in the image processing methods of Example and Comparative Examples 1 and 2, respectively, when a tomographic image of a head to which 11C -PIB was administered as a drug was used as a target image. FIG. 2 is a diagram showing a tomographic image that has been created or created. FIG. 16 is a diagram showing an input image (MRI image) to CNN. FIG. 17 is a diagram showing a tomographic image (target image) of a head to which 11 C-PIB was administered as a drug. FIG. 18 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. FIG. 19 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. FIG. 20 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. In each of FIGS. 16 to 20, (a) is an image of a cross section, and (b) is an image of a sagittal section.

図２１～図２５それぞれは、薬剤として１８Ｆ-ＦＤＧを投与した頭部の断層画像を対象画像として用いた場合に、実施例および比較例１，２それぞれの画像処理方法における教師なし学習で使用された又は作成された断層画像を示す図である。図２１は、ＣＮＮへの入力画像（ＭＲＩ画像）を示す図である。図２２は、薬剤として１８Ｆ-ＦＤＧを投与した頭部の断層画像（対象画像）を示す図である。図２３は、比較例１の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２４は、比較例２の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２５は、実施例の画像処理方法によるノイズ低減処理後の断層画像を示す図である。図２１～図２５それぞれにおいて、（ａ）は横断面の画像であり、（ｂ）は矢状断面の画像である。 Figures 21 to 25 show the results of unsupervised learning in the image processing methods of Example and Comparative Examples 1 and 2, respectively, when a tomographic image of a head to which 18F -FDG was administered as a drug was used as a target image. FIG. 2 is a diagram showing a tomographic image that has been created or created. FIG. 21 is a diagram showing an input image (MRI image) to CNN. FIG. 22 is a diagram showing a tomographic image (target image) of the head to which 18 F-FDG was administered as a drug. FIG. 23 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 1. FIG. 24 is a diagram showing a tomographic image after noise reduction processing by the image processing method of Comparative Example 2. FIG. 25 is a diagram showing a tomographic image after noise reduction processing by the image processing method of the example. In each of FIGS. 21 to 25, (a) is an image of a cross section, and (b) is an image of a sagittal section.

図２６は、実施例および比較例１，２それぞれの画像処理方法によるノイズ低減処理後の断層画像のＣＮＲの値を纏めた表である。この表には、薬剤として１８Ｆ-ＡＶ４５，１１Ｃ-ＰＩＢおよび１８Ｆ-ＦＤＧそれぞれを頭部に投与した場合について、ＣＮＲの値が示されている。 FIG. 26 is a table summarizing the CNR values of tomographic images after noise reduction processing by the image processing methods of Example and Comparative Examples 1 and 2. This table shows the CNR values when 18 F-AV45, 11 C-PIB, and 18 F-FDG were each administered to the head as drugs.

図１１～図２６から次のようなことが分かる。比較例１，２と比べて実施例では、ＣＮＲの値が大きく、より効果的に対象画像のノイズを低減することができることが確認できた。薬剤として１８Ｆ-ＦＤＧを頭部に投与したときの断層画像を対象画像とした場合には、比較例１と比べて比較例２ではＣＮＲの改善の程度が僅かであるのに対して、比較例１，２と比べて実施例ではＣＮＲの改善の程度が大きかった。このように、教師画像と対象画像との間で頭部に投与された薬剤の種類が互いに異なる場合、比較例２ではノイズ除去の程度が比較例１と同程度であるのに対して、実施例ではノイズ除去の程度が比較例１，２より向上することが確認できた。 The following can be seen from FIGS. 11 to 26. In comparison with Comparative Examples 1 and 2, it was confirmed that the CNR value was larger in the example, and noise in the target image could be reduced more effectively. When the target image was a tomographic image obtained when 18F -FDG was administered to the head as a drug, the degree of improvement in CNR was slight in Comparative Example 2 compared to Comparative Example 1; Compared to Examples 1 and 2, the degree of improvement in CNR was greater in Example. In this way, when the types of drugs administered to the head are different between the teacher image and the target image, the degree of noise removal in Comparative Example 2 is the same as in Comparative Example 1, while the In this example, it was confirmed that the degree of noise removal was improved compared to Comparative Examples 1 and 2.

以上のとおり、本実施形態によれば、ＣＮＮに対する教師あり事前学習の際に用いるＣＮＮへの入力画像を教師画像に基づいて容易に作成することができるので、ＣＮＮに対し教師あり事前学習の後に教師なし学習を行うことで対象画像のノイズを低減することが容易にできる。また、教師画像と対象画像との間で被検体に投与された薬剤の種類が互いに異なる場合であっても、効果的に対象画像のノイズを低減することができる。 As described above, according to this embodiment, it is possible to easily create an input image to the CNN, which is used during supervised pre-learning for the CNN, based on the teacher image. Noise in the target image can be easily reduced by performing unsupervised learning. Moreover, even if the types of drugs administered to the subject are different between the teacher image and the target image, noise in the target image can be effectively reduced.

１…画像処理装置、１０…入力画像作成部、２０…第１演算部、２１…第１ＣＮＮ処理部、２２…第１ＣＮＮ学習部、３０…第２演算部、３１…第２ＣＮＮ処理部、３２…第２ＣＮＮ学習部。 DESCRIPTION OF SYMBOLS 1... Image processing device, 10... Input image creation part, 20... First calculating part, 21... First CNN processing part, 22... First CNN learning part, 30... Second calculating part, 31... Second CNN processing part, 32... 2nd CNN Learning Department.

Claims (12)

対象画像のノイズを低減してノイズ低減画像を作成する画像処理装置であって、
教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理部と、
前記第１出力画像と前記教師画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習部と、
第２入力画像を前記畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理部と、
前記第２出力画像と前記対象画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習部と、
を備え、
前記教師画像および前記第１入力画像の複数の組それぞれについて前記第１ＣＮＮ処理部および前記第１ＣＮＮ学習部それぞれの処理を複数回繰り返し行った後、前記第２ＣＮＮ処理部および前記第２ＣＮＮ学習部それぞれの処理を複数回繰り返し行って、前記第２出力画像を前記ノイズ低減画像とする、
画像処理装置。 An image processing device that reduces noise in a target image to create a noise-reduced image,
a first CNN processing unit that inputs a first input image in which pixel values of some regions are changed based on a teacher image to a convolutional neural network and creates a first output image by the convolutional neural network;
a first CNN learning unit that evaluates an error between the first output image and the teacher image and trains the convolutional neural network based on the error evaluation result;
a second CNN processing unit that inputs a second input image to the convolutional neural network and creates a second output image by the convolutional neural network;
a second CNN learning unit that evaluates an error between the second output image and the target image and trains the convolutional neural network based on the error evaluation result;
Equipped with
After repeating the processing of the first CNN processing unit and the first CNN learning unit multiple times for each of the plurality of sets of the teacher image and the first input image, the processing of the second CNN processing unit and the second CNN learning unit respectively repeating the process multiple times to make the second output image the noise-reduced image;
Image processing device. 教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成部を更に備える、
請求項１に記載の画像処理装置。 further comprising an input image creation unit that creates a first input image in which pixel values of some regions are changed based on the teacher image;
The image processing device according to claim 1. 前記畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、
前記第１ＣＮＮ学習部は、前記畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、
前記第２ＣＮＮ学習部は、前記畳み込みニューラルネットワークのデコーダを選択的に学習させる、
請求項１に記載の画像処理装置。 The convolutional neural network has a U-net structure including an encoder and a decoder,
The first CNN learning unit trains both an encoder and a decoder of the convolutional neural network,
The second CNN learning unit selectively trains a decoder of the convolutional neural network.
The image processing device according to claim 1. 前記第１ＣＮＮ処理部は、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれを前記ニューラルネットワークに入力させて、各第１入力画像に対して前記畳み込みニューラルネットワークにより第１出力画像を作成する、
請求項１に記載の画像処理装置。 The first CNN processing unit causes the neural network to input each of a plurality of first input images in which pixel value changes are different from each other for each teacher image, and causes the convolutional neural network to perform a first input image on each first input image. 1 Create an output image,
The image processing device according to claim 1. 前記第１ＣＮＮ処理部は、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を前記畳み込みニューラルネットワークに入力させる、
請求項１に記載の画像処理装置。 The first CNN processing unit causes the convolutional neural network to input a first input image in which pixel values of a partial region of the noise reduction target region are changed based on the teacher image.
The image processing device according to claim 1. 前記対象画像および前記教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像である、
請求項１に記載の画像処理装置。 The target image and the teacher image are tomographic images of the subject reconstructed based on information acquired by a radiation tomography apparatus.
The image processing device according to claim 1. 対象画像のノイズを低減してノイズ低減画像を作成する画像処理方法であって、
教師画像に基づいて一部領域の画素値を変更した第１入力画像を畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第１出力画像を作成する第１ＣＮＮ処理ステップと、
前記第１出力画像と前記教師画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第１ＣＮＮ学習ステップと、
第２入力画像を前記畳み込みニューラルネットワークに入力させて前記畳み込みニューラルネットワークにより第２出力画像を作成する第２ＣＮＮ処理ステップと、
前記第２出力画像と前記対象画像との間の誤差を評価して当該誤差評価結果に基づいて前記畳み込みニューラルネットワークを学習させる第２ＣＮＮ学習ステップと、
を備え、
前記教師画像および前記第１入力画像の複数の組それぞれについて前記第１ＣＮＮ処理ステップおよび前記第１ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行った後、前記第２ＣＮＮ処理ステップおよび前記第２ＣＮＮ学習ステップそれぞれの処理を複数回繰り返し行って、前記第２出力画像を前記ノイズ低減画像とする、
画像処理方法。 An image processing method for reducing noise in a target image to create a noise-reduced image, the method comprising:
a first CNN processing step of inputting a first input image with pixel values of some regions changed based on the teacher image to a convolutional neural network to create a first output image by the convolutional neural network;
a first CNN learning step of evaluating an error between the first output image and the teacher image and learning the convolutional neural network based on the error evaluation result;
a second CNN processing step of inputting a second input image to the convolutional neural network and creating a second output image by the convolutional neural network;
a second CNN learning step of evaluating an error between the second output image and the target image and learning the convolutional neural network based on the error evaluation result;
Equipped with
After repeating the first CNN processing step and the first CNN learning step for each of the plurality of sets of the teacher image and the first input image, the second CNN processing step and the second CNN learning step are performed. repeating the process multiple times to make the second output image the noise-reduced image;
Image processing method. 教師画像に基づいて一部領域の画素値を変更した第１入力画像を作成する入力画像作成ステップを更に備える、
請求項７に記載の画像処理方法。 further comprising an input image creation step of creating a first input image in which pixel values of some regions are changed based on the teacher image;
The image processing method according to claim 7. 前記畳み込みニューラルネットワークは、エンコーダとデコーダとを含むＵ-ｎｅｔ構造のものであり、
前記第１ＣＮＮ学習ステップでは、前記畳み込みニューラルネットワークのエンコーダおよびデコーダの双方を学習させ、
前記第２ＣＮＮ学習ステップでは、前記畳み込みニューラルネットワークのデコーダを選択的に学習させる、
請求項７に記載の画像処理方法。 The convolutional neural network has a U-net structure including an encoder and a decoder,
In the first CNN learning step, both an encoder and a decoder of the convolutional neural network are trained,
In the second CNN learning step, a decoder of the convolutional neural network is selectively trained.
The image processing method according to claim 7. 前記第１ＣＮＮ処理ステップでは、各教師画像について、画素値変更の態様が互いに異なる複数の第１入力画像それぞれを前記ニューラルネットワークに入力させて、各第１入力画像に対して前記畳み込みニューラルネットワークにより第１出力画像を作成する、
請求項７に記載の画像処理方法。 In the first CNN processing step, for each teacher image, each of a plurality of first input images in which pixel value changes are different from each other is input to the neural network, and the convolutional neural network processes the first input image for each first input image. 1 Create an output image,
The image processing method according to claim 7. 前記第１ＣＮＮ処理ステップでは、教師画像に基づいてノイズ低減対象領域のうちの一部領域の画素値を変更した第１入力画像を前記畳み込みニューラルネットワークに入力させる、
請求項７に記載の画像処理方法。 In the first CNN processing step, a first input image in which pixel values of a partial area of the noise reduction target area are changed based on the teacher image is input to the convolutional neural network.
The image processing method according to claim 7. 前記対象画像および前記教師画像は、放射線断層撮影装置により取得された情報に基づいて再構成された被検体の断層画像である、
請求項７に記載の画像処理方法。 The target image and the teacher image are tomographic images of the subject reconstructed based on information acquired by a radiation tomography apparatus.
The image processing method according to claim 7.
JP2022088585A 2022-05-31 2022-05-31 Image processing device and image processing method Pending JP2023176348A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022088585A JP2023176348A (en) 2022-05-31 2022-05-31 Image processing device and image processing method
PCT/JP2023/019509 WO2023234171A1 (en) 2022-05-31 2023-05-25 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022088585A JP2023176348A (en) 2022-05-31 2022-05-31 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
JP2023176348A true JP2023176348A (en) 2023-12-13

Family

ID=89024913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022088585A Pending JP2023176348A (en) 2022-05-31 2022-05-31 Image processing device and image processing method

Country Status (2)

Country Link
JP (1) JP2023176348A (en)
WO (1) WO2023234171A1 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112368715A (en) * 2018-05-15 2021-02-12 蒙纳士大学 Method and system for motion correction for magnetic resonance imaging
JP6766844B2 (en) * 2018-06-01 2020-10-14 株式会社デンソー Object identification device, mobile system, object identification method, object identification model learning method and object identification model learning device
US11195310B2 (en) * 2018-08-06 2021-12-07 General Electric Company Iterative image reconstruction framework
JP7237624B2 (en) * 2019-02-07 2023-03-13 浜松ホトニクス株式会社 Image processing device and image processing method
JP7075674B2 (en) * 2019-06-17 2022-05-26 株式会社アクセル Learning methods, computer programs, classifiers, generators, and processing systems
JP7284688B2 (en) * 2019-10-31 2023-05-31 浜松ホトニクス株式会社 Image processing device, image processing method, image processing program and recording medium
JP2021117866A (en) * 2020-01-29 2021-08-10 浜松ホトニクス株式会社 Image processing device and image processing method
JP2023059177A (en) * 2021-10-14 2023-04-26 株式会社島津製作所 X-ray imaging method and x-ray imaging device

Also Published As

Publication number Publication date
WO2023234171A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
Whiteley et al. DirectPET: full-size neural network PET reconstruction from sinogram data
CN111325686A (en) Low-dose PET three-dimensional reconstruction method based on deep learning
Cui et al. Deep reconstruction model for dynamic PET images
Cheng et al. Applications of artificial intelligence in nuclear medicine image generation
US11893660B2 (en) Image processing device and image processing method
Chen et al. Generating anthropomorphic phantoms using fully unsupervised deformable image registration with convolutional neural networks
CN109741254B (en) Dictionary training and image super-resolution reconstruction method, system, equipment and storage medium
Ruan et al. Separation of a mixture of simultaneous dual-tracer PET signals: a data-driven approach
Sarrut et al. Modeling complex particles phase space with GAN for Monte Carlo SPECT simulations: a proof of concept
Liu et al. Deep-learning-based framework for PET image reconstruction from sinogram domain
Unal et al. An unsupervised reconstruction method for low-dose CT using deep generative regularization prior
WO2021153604A1 (en) Image processing device and image processing method
Peng et al. Feasibility evaluation of PET scan-time reduction for diagnosing amyloid-β levels in Alzheimer's disease patients using a deep-learning-based denoising algorithm
Qing et al. Separation of dual-tracer PET signals using a deep stacking network
Chen et al. DAEGAN: Generative adversarial network based on dual-domain attention-enhanced encoder-decoder for low-dose PET imaging
Khaleghi et al. Metal artifact reduction in computed tomography images based on developed generative adversarial neural network
Chrysostomou et al. SPECT angle interpolation based on deep learning methodologies
CN116245969A (en) Low-dose PET image reconstruction method based on deep neural network
WO2023234171A1 (en) Image processing device and image processing method
CN116912344A (en) List mode TOF-PET reconstruction method based on original-dual network
Li et al. MARGANVAC: metal artifact reduction method based on generative adversarial network with variable constraints
Chuang et al. A maximum likelihood expectation maximization algorithm with thresholding
Cheng et al. Super-resolution reconstruction for parallel-beam SPECT based on deep learning and transfer learning: a preliminary simulation study
CN111402357A (en) PET reconstruction method based on anatomical prior information
WO2023228910A1 (en) Image processing device and image processing method