JP7242436B2 - 読影支援装置、読影支援方法、及び読影支援プログラム - Google Patents

読影支援装置、読影支援方法、及び読影支援プログラム Download PDF

Info

Publication number
JP7242436B2
JP7242436B2 JP2019110465A JP2019110465A JP7242436B2 JP 7242436 B2 JP7242436 B2 JP 7242436B2 JP 2019110465 A JP2019110465 A JP 2019110465A JP 2019110465 A JP2019110465 A JP 2019110465A JP 7242436 B2 JP7242436 B2 JP 7242436B2
Authority
JP
Japan
Prior art keywords
interest
image
region
images
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019110465A
Other languages
English (en)
Other versions
JP2020199214A (ja
Inventor
順也 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019110465A priority Critical patent/JP7242436B2/ja
Priority to EP20179572.1A priority patent/EP3750482B1/en
Priority to US16/899,427 priority patent/US11610344B2/en
Publication of JP2020199214A publication Critical patent/JP2020199214A/ja
Application granted granted Critical
Publication of JP7242436B2 publication Critical patent/JP7242436B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10112—Digital tomosynthesis [DTS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、読影支援装置、読影支援方法、及び読影支援プログラムに関する。
一般に、マンモグラフィ装置により撮影された放射線画像を医師等が読影することにより、***の病変等の診断を行う技術が知られている。この種の放射線画像として、いわゆるトモシンセシス撮影により得られた複数の投影画像や、複数の投影画像を再構成処理することにより生成される断層画像が知られている。また、この主の放射線画像として、複数の投影画像及び複数の断層画像のうちから選択された複数の画像から生成される合成２次元画像が知られている。
例えば、特許文献１には、複数の断層画像、または断層画像及び投影画像のいずれかを少なくとも含む複数の画像を、フィルタ補正逆投影法、最尤再構成法、反復再構成法、代数的方法を使用する再構成法、及び三次元再構成法等のいずれかの方法により再構成することにより合成２次元画像を生成する手法が記載されている。
また例えば、特許文献２には、断層画像から検出されたＲＯＩ（Region Of Interest）を２次元画像にブレンド（合成）して合成２次元画像を生成する方法が記載されている。
特許第６２０８７３１号公報 米国特許第８９８３１５６号明細書
特許文献１及び２の技術では、合成２次元画像のみでは診断等が行い難く、断層画像等の他の放射線画像についても読影を行わなければならない場合があり、読影する画像の数が増加する。読影する画像の数が多くなるほど、読影時間が長くなる。
本開示は、上記事情を考慮して成されたものであり、放射線画像の読影を効率化することができる、読影支援装置、読影支援方法、及び読影支援プログラムを提供することを目的とする。
上記目的を達成するために本開示の第１の態様の読影支援装置は、放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得する取得部と、複数の投影画像から、***の複数の断層面の各々における複数の断層画像を生成する第１生成部と、複数の投影画像及び複数の断層画像のうちの複数の画像から合成２次元画像を生成する第２生成部と、合成２次元画像から関心物が含まれると推定される関心物候補領域を検出する検出部と、関心物候補領域に関心物が含まれているか否かを、複数の断層画像に基づいて判断する判断部と、を備え、第２生成部は、関心物が関心物候補領域に含まれないと判定された場合、合成２次元画像から関心物候補領域の画像のコントラストを関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する。
本開示の第２の態様の読影支援装置は、第１の態様の読影支援装置において、判断部は、合成２次元画像における関心物候補領域の画像と、断層画像における関心物候補領域に対応する対応領域の画像とを比較した比較結果に基づいて、関心物候補領域に関心物が含まれているか否かを判断する。
本開示の第３の態様の読影支援装置は、第２の態様の読影支援装置において、判断部は、複数の断層画像の各々における対応領域の画像と関心物候補領域の画像との類似度が類似度閾値未満である場合、関心物候補領域に関心物が含まれていないと判断する。
本開示の第４の態様の読影支援装置は、第２の態様または第３の態様の読影支援装置において、判断部は、複数の断層画像が、対応領域の画像と関心物候補領域の画像との類似度が類似度閾値以上となる断層画像を含む場合、関心物候補領域に関心物が含まれていると判断する。
本開示の第５の態様の読影支援装置は、第３の態様または第４の態様の読影支援装置において、判断部は、複数の断層画像が類似度が類似度閾値以上となる断層画像を含む場合、類似度が類似度閾値以上の断層画像を少なくとも含み、かつ類似度が類似度閾値以上の断層画像の重み付けを他の画像よりも大きくした複数の画像から再合成された再生成合成２次元画像を、第２生成部に生成させる制御を行う。
本開示の第６の態様の読影支援装置は、第１の態様の読影支援装置において、検出部は、複数の断層画像の各々から関心物が含まれると推定される関心物推定領域をさらに検出し、判断部は、合成２次元画像における***の画像に対する関心物候補領域の位置と、断層画像における***の画像に対する関心物推定領域の位置とに基づいて、関心物候補領域に関心物が含まれているか否かを判断する。
本開示の第７の態様の読影支援装置は、第６の態様の読影支援装置において、判断部は、複数の断層画像の各々から関心物推定領域が検出されなかった場合、または関心物候補領域と関心物推定領域とが重畳しない場合、関心物候補領域に関心物が含まれていないと判断する。
本開示の第８の態様の読影支援装置は、第６の態様または第７の態様の読影支援装置において、判断部は、関心物候補領域と関心物推定領域との少なくとも一部が重畳する場合、関心物候補領域に関心物が含まれていると判断する。
本開示の第９の態様の読影支援装置は、第６の態様から第８の態様のいずれか１態様の読影支援装置において、判断部は、関心物推定領域の少なくとも一部が関心物候補領域に重畳する断層画像を含む場合、少なくとも一部が関心物候補領域に重畳する断層画像を少なくとも含み、少なくとも一部が関心物候補領域に重畳する断層画像の重み付けを他の画像よりも大きくした複数の画像から再合成された再生成合成２次元画像を、第２生成部に生成させる制御を行う。
本開示の第１０の態様の読影支援装置は、第５の態様または第９の態様の読影支援装置において、判断部は、再合成された再生成合成２次元画像を表示部に表示させる制御を行う。
本開示の第１１の態様の読影支援装置は、第１の態様から第４の態様、及び第６の態様から第８の態様のいずれか１態様の読影支援装置において、判断部は、関心物候補領域に関心物が含まれていると判断した場合、合成２次元画像における関心物候補領域のコントラストを、他の領域のコントラストよりも強くする。
また、上記目的を達成するために本開示の第１２の態様の読影支援方法は、放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得し、複数の投影画像から、***の複数の断層面の各々における複数の断層画像を生成し、複数の投影画像及び複数の断層画像のうちの複数の画像から合成２次元画像を生成し、合成２次元画像から関心物が含まれると推定される関心物候補領域を検出し、関心物候補領域に関心物が含まれているか否かを、複数の断層画像に基づいて判断する、処理を含み、関心物が関心物候補領域に含まれないと判定された場合、合成２次元画像から関心物候補領域の画像のコントラストを関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する処理をコンピュータが実行する方法である。
また、上記目的を達成するために本開示の第１３の態様の読影支援プログラムは、放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得し、複数の投影画像から、***の複数の断層面の各々における複数の断層画像を生成し、複数の投影画像及び複数の断層画像のうちの複数の画像から合成２次元画像を生成し、合成２次元画像から関心物が含まれると推定される関心物候補領域を検出し、関心物候補領域に関心物が含まれているか否かを、複数の断層画像に基づいて判断する、処理を含み、関心物が関心物候補領域に含まれないと判定された場合、合成２次元画像から前記関心物候補領域の画像のコントラストを関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する処理をコンピュータに実行させるためのものである。
また、本開示の読影支援装置は、プロセッサを有する読影支援装置であって、プロセッサが、放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得し、複数の投影画像から、***の複数の断層面の各々における複数の断層画像を生成し、複数の投影画像及び複数の断層画像のうちの複数の画像から合成２次元画像を生成し、合成２次元画像から関心物が含まれると推定される関心物候補領域を検出し、関心物候補領域に関心物が含まれているか否かを、複数の断層画像に基づいて判断する、処理を含み、関心物が関心物候補領域に含まれないと判定された場合、合成２次元画像から関心物候補領域の画像のコントラストを関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する。
本開示によれば、放射線画像の読影を効率化することができる。
実施形態の医療システムにおける全体の構成の一例を概略的に表した構成図である。 実施形態の読影支援装置の構成の一例を表したブロック図である。 実施形態の読影支援装置の機能の一例を表す機能ブロック図である。 実施形態の読影支援装置における読影支援処理の流れの一例を表したフローチャートである。 スピキュラである場合の異常陰影の一例を示す図である。 重なり会った乳腺である場合の正常構造物の一例を示す図である。 読影支援処理で実行される合成２次元画像生成処理の流れの一例を表したフローチャートである。 実施形態の第２生成部におけるコントラストの調整を説明するための図である。 実施形態の表示部に表示された、異常陰影を含む再生成合成２次元画像の一例を示す図である。 実施形態の表示部に表示された、正常構造物を含む再生成合成２次元画像の一例を示す図である。 変形例１における読影支援処理の流れの一例を表したフローチャートである。 変形例２における読影支援処理の流れの一例を表したフローチャートである。 変形例３における合成２次元画像生成処理の流れの一例を表したフローチャートである。 変形例４における合成２次元画像生成処理の流れの一例を表したフローチャートである。 変形例５における合成２次元画像生成処理の流れの一例を表したフローチャートである。 実施形態の表示部に表示された、異常陰影を含む再生成合成２次元画像の他の例を示す図である。 実施形態の表示部に表示された、正常構造物を含む再生成合成２次元画像の他の例を示す図である。
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、各実施形態は本発明を限定するものではない。
まず、本実施形態の読影支援装置を備えた医療システムにおける、全体の構成の一例について説明する。図１には、本実施形態の医療システム１における、全体の構成の一例を表す構成図が示されている。
図１に示すように、本実施形態の医療システム１は、放射線画像撮影システム２、画像保存システム８、及び読影支援装置１０を備える。
放射線画像撮影システム２は、マンモグラフィ装置４と、コンソール６とを含む。
本実施形態のコンソール６は、無線通信ＬＡＮ（Local Area Network）等を介して、図示を省略したＲＩＳ（Radiology Information System）等から取得した撮影オーダ及び各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ装置４の制御を行う機能を有している。一例として、本実施形態では、サーバーコンピュータをコンソール６として用いている。
一方、本実施形態のマンモグラフィ装置４は、図示を省略した放射線源、及び放射線検出器等を備える。マンモグラフィ装置４は、コンソール６の制御に応じて、被検者の***を被写体として、***に放射線源から放射線（例えば、Ｘ線）を照射し、放射線検出器により***の放射線画像を撮影する。なお、マンモグラフィ装置４は、被検者が起立している状態（立位状態）のみならず、被検者が椅子（車椅子を含む）等に座った状態（座位状態）において、被検者の***を撮影する装置であってもよい。なお、本実施形態では、詳細を後述する、投影画像、断層画像、合成２次元画像等、複数種類の放射線画像について言及するが、種類を区別せずに総称する場合等では、単に「放射線画像」という場合がある。
本実施形態のマンモグラフィ装置４では、放射線画像の撮影について、複数種類の撮影を行うことができる。具体的には、マンモグラフィ装置４は、***に対して、撮影方向が頭尾方向である、ＣＣ（Cranio-Caudal）撮影、及び撮影方向が内外斜位方向であるＭＬＯ（Medio-Lateral Oblique）撮影の２種類のいわゆる、単純撮影を行うことができる。
また、本実施形態のマンモグラフィ装置４は、放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影を行うことができる。
本実施形態の画像保存システム８は、放射線画像撮影システム２により撮影された放射線画像の画像データを保存するシステムである。画像保存システム８は、保存している放射線画像から、コンソール６及び読影支援装置１０等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム８の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。
本実施形態の読影支援装置１０は、医師等のユーザが、放射線画像撮影システム２により撮影された放射線画像の読影を行うための装置である、
図２には、本実施形態の読影支援装置１０の一例のブロック図が示されている。図２に示すように、本実施形態の読影支援装置１０は、制御部２０、記憶部２２、表示部２４、操作部２６、及びＩ／Ｆ（Interface)部２８を備える。制御部２０、記憶部２２、表示部２４、操作部２６、及びＩ／Ｆ部２８は、システムバスやコントロールバス等のバス２９を介して相互に各種情報の授受が可能に接続されている。
本実施形態の制御部２０は、読影支援装置１０の全体の動作を制御する。制御部２０は、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、及びＲＡＭ（Random Access Memory）２０Ｃを備える。ＲＯＭ２０Ｂには、ＣＰＵ２０Ａで実行される、放射線画像の読影に関する制御を行うための読影支援プログラム２１を含む各種のプログラム等が予め記憶されている。ＲＡＭ２０Ｃは、各種データを一時的に記憶する。
記憶部２２には、放射線画像の画像データや、その他の各種情報等が記憶される。記憶部２２の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。操作部２６は、放射線画像の読影に関する指示等をユーザが入力するために用いられる。操作部２６は特に限定されるものではなく、例えば、各種スイッチ、タッチパネル、タッチペン、及びマウス等が挙げられる。表示部２４は、放射線画像を含む各種情報を表示する。なお、表示部２４と操作部２６とを一体化してタッチパネルディスプレイとしてもよい。Ｉ／Ｆ部２８は、無線通信または有線通信により、コンソール６及び画像保存システム８との間で放射線画像の画像データを含む、各種情報の通信を行う。
さらに、図３には、本実施形態の読影支援装置１０の構成の一例の機能ブロック図を示す。図３に示すように本実施形態の読影支援装置１０は、取得部３０、第１生成部３２、第２生成部３４、検出部３６、及び判断部３８を備える。一例として本実施形態の読影支援装置１０は、制御部２０のＣＰＵ２０ＡがＲＯＭ２０Ｂに記憶されている読影支援プログラム２１を実行することにより、制御部２０が、取得部３０、第１生成部３２、第２生成部３４、検出部３６、及び判断部３８の各々として機能する。
取得部３０は、マンモグラフィ装置４によって撮影された複数の投影画像を取得し、取得した複数の投影画像を第１生成部３２及び第２生成部３４に出力する。なお、取得部３０が、複数の投影画像を取得する取得元は限定されず、例えば、画像保存システム８またはコンソール６が取得元であってもよいし、記憶部２２に予め記憶されている場合は、記憶部２２が取得元であってもよい。
第１生成部３２は、取得部３０から入力された複数の投影画像の全部または一部を再構成することにより、***の複数の断層面の各々における複数の断層画像を生成し、生成した複数の断層画像を、第２生成部３４及び判断部３８に出力する。
なお、第１生成部３２が複数の投影画像から断層画像を生成する方法は特に限定されず、例えば、フィルタ補正逆投影法（ＦＢＰ（Filtered Back Projection）法）や単純逆投影法等の逆投影法、若しくはシフト加算法等の公知の手法を用いることができる。
第２生成部３４は、複数の投影画像及び複数の断層画像のうちの複数の放射線画像から合成２次元画像を生成する。第２生成部３４により生成された合成２次元画像は、検出部３６に出力される。第２生成部３４が合成２次元画像を生成するのに用いる複数の放射線画像は、特に限定されず、例えば、複数の断層画像の全てを用いる等と予め定められていてもよいし、ユーザにより選択が可能であってもよい。また例えば、２次元画像を生成する方法に応じて予め定められていてもよい。
なお、第２生成部３４が、合成２次元画像の生成に用いる断層画像は、第１生成部３２によって生成される。
第２生成部３４が、合成２次元画像を生成する方法は特に限定されず、公知の手法を用いることができる。例えば、特開２０１４－１２８７１６号公報には、複数の断層画像、または複数の断層画像の少なくとも１つ及び複数の投影画像の少なくとも１つを***における断層面が並ぶ深さ方向に投影する、または最小値投影方を用いることにより、合成２次元画像を生成する手法が記載されている。また例えば、特許第６２０８７３１号公報には、複数の投影画像、複数の断層画像、または複数の断層画像の少なくとも１つ及び複数の投影画像の少なくとも１つを、フィルタ補正逆投影法、最尤再構成法、反復再構成法、代数的方法を使用する再構成法、及び三次元再構成法等のいずれかの方法により再構成することにより合成２次元画像を生成する手法が記載されている。また例えば、米国特許第８９８３１５６号明細書には、断層画像から検出されたＲＯＩ（Region Of Interest）を２次元画像にブレンド（合成）して合成２次元画像を生成する方法が記載されている。
検出部３６は、第２生成部３４が生成した合成２次元画像から関心物が含まれると推定される関心物候補領域を検出し、検出結果を判断部３８に出力する。本実施形態において、「関心物」とは、放射線画像の読影を行うユーザが関心を有する物であり、例えば、腫瘤等の病変や、石灰化等のいわゆる異常陰影等が挙げられるが、正常な構造物であってもよい。また「関心物候補領域」とは、関心物そのものの領域、具体的には、関心物の画像に対応する画像の領域そのものに限定されない。「関心物候補領域」は、関心物そのものよりも、ある程度大きな領域であってもよく、例えば、関心物が円形状を有する場合、円形である関心物が内接する矩形状の領域であってもよい。
なお、検出部３６が合成２次元画像から関心物候補領域を検出する方法は特に限定されない。例えば、公知のコンピュータ支援画像診断（ＣＡＤ: Computer Aided Diagnosis、以下ＣＡＤと称する）のアルゴリズムを用いて、合成２次元画像から関心物を表す特定構造を抽出する方法が挙げられる。ＣＡＤによるアルゴリズムにおいては、合成２次元画像における画素が関心物であることを表す確率（例えば、尤度）を導出し、その確率が予め定められた閾値以上の場合に、その画素を関心物の画像を構成する画素として検出することが好ましい。また例えば、関心物を抽出するためのフィルタによるフィルタリング処理等によって、合成２次元画像から関心物を抽出する手法を用いてもよい。
判断部３８は、検出部３６の検出結果として得られた、関心物候補領域に関心物が含まれているか否かを、第１生成部３２が生成した複数の断層画像に基づいて判断し、判断結果を第２生成部３４に出力する。判断部３８にが、関心物候補領域に関心物が含まれているか否かを判断する方法の詳細は後述する。
次に、本実施形態の読影支援装置１０の作用について図面を参照して説明する。
本実施形態の読影支援装置１０は、一例として、ユーザが操作部２６により行った読影を行う旨の指示を受け付けた場合、制御部２０のＣＰＵ２０Ａが、ＲＯＭ２０Ｂに記憶されている読影支援プログラム２１を実行することにより、図４に一例を示した読影支援処理を実行する。図４には、本実施形態の読影支援装置１０における読影支援処理の流れの一例を表したフローチャートが示されている。
図４に示した読影支援処理では、まず、ステップＳ１００で取得部３０は、ユーザの指示に応じて、上述したように、例えば、被検者の右の***等といった、読影の対象となる被写体を撮影して得られた複数の投影画像を取得する。
次のステップＳ１０２で第１生成部３２は、上述したように、複数の投影画像の全部または一部を再構成して複数の断層画像を生成する。次のステップＳ１０４で第２生成部３４は、上述したように、複数の投影画像及び複数の断層画像のうちの複数の放射線画像から合成２次元画像を生成する。次のステップＳ１０６で検出部３６は、上記ステップＳ１０４で生成された合成２次元画像から関心物候補領域を検出する。
次のステップＳ１０８で判断部３８は、合成２次元画像における関心物候補領域の画像と、上記ステップＳ１０２で生成された複数の断層画像の各々との類似度を導出する。なお、判断部３８が類似度を導出する方法は特に限定されず、公知の方法を用いることができる。例えば、合成２次元画像における関心物候補領域の画像の画素値について正規化相互相関を導出することにより、類似度を導出する方法が挙げられる。
次のステップＳ１１０で判断部３８は、複数の断層画像の各々についての上記ステップＳ１０８で導出した類似度が、予め定められた類似度閾値以上（類似度≧類似度閾値）であるか否か判定する。すなわち、判断部３８は、類似度に基づいて、合成２次元画像における関心物候補領域の画像と同様の（類似する）画像を含む断層画像が、複数の断層画像に含まれているか否かを判定する。具体的には、判断部３８は、合成２次元画像における関心物候補領域の画像と、断層画像における関心物候補領域に対応する位置の領域である対応領域の画像とを比較して類似しているほど、値が高くなる類似度を導出する。類似度閾値は、所望の精度等に応じて予め定めておいてもよいし、ユーザ等による設定及び変更が可能であってもよい。
類似度が類似度閾値以上の断層画像が１つでもある場合、ステップＳ１１０の判定が肯定判定となり、ステップＳ１１２へ移行する。この場合、合成２次元画像から検出された関心物候補領域の画像と同様の（類似する）断層画像が存在する場合であり、断層画像から検出可能な関心物の画像が、合成２次元画像に反映されていることを表している。そこで、ステップＳ１１２で判断部３８は、合成２次元画像から検出した関心物候補領域には、異常陰影に相当する関心物が含まれていると判断した後、ステップＳ１１６へ移行する。
一方、類似度が類似度閾値以上の断層画像が１つもない場合、換言すると、全ての断層画像の類似度が類似度閾値未満（類似度＜類似度閾値）の場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１１４へ移行する。この場合、合成２次元画像から検出された関心物候補領域の画像と同様の（類似する）画像を含む断層画像が存在しない場合である。
腫瘤等において、スピキュラと呼ばれる異常陰影が知られている。スピキュラ４１は、図５Ａに示すように、***の周囲組織を巻き込みながら発育し、線状構造物の異常陰影４０として放射線画像に写る。スピキュラ４１は、合成２次元画像及び断層画像のいずれからも検出可能である。そのため、検出部３６は、合成２次元画像の関心物候補領域として、スピキュラ４１を含む領域を検出し、判断部３８は、スピキュラ４１を含む断層画像が存在すると判断する。
一方、正常構造物である乳腺等のエッジが重なってスピキュラのように見える構造が合成２次元画像に現れてしまう場合がある。例えば、図５Ｂに示すように、複数の乳腺４５１～４５５が重なり会った状態の正常構造物４４の場合、複数の乳腺４５１～４５５が重なった状態で合成２次元画像に写っているため、スピキュラ４１と類似した形態となる。すなわち、正常構造物４４を含む合成２次元画像を読影する場合、正常構造物４４が異常陰影４０のように見えてしまう場合がある。また、検出部３６は、合成２次元画像の関心物候補領域として乳腺４５１～４５５である正常構造物４４を含む領域を検出する。
一方、重なり会う複数の乳腺４５１～４５５は、***内の異なる高さに位置しているため、複数の乳腺４５１～４５５の各々が、互いに異なる断層画像に写り、合成２次元画像に現れる正常構造物４４のように見えない場合がある。例えば、１つの断層画像に乳腺４５１～４５５のいずれか１つが写る場合、合成２次元画像に現れる正常構造物４４のような形態とならない。そのため、断層画像からは、正常構造物４４が異常陰影として検出されることがなくなり、判断部３８は、正常構造物４４を含む断層画像が存在しないため、関心物候補領域の画像と同様の（類似する）画像を含む断層画像が存在しないと判断する。
このように、本実施形態では、関心物候補領域について、合成２次元画像からは異常陰影として検出されるが、断層画像からは正常構造物であると検出される場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１１４へ移行する。
ステップＳ１１４で判断部３８は、合成２次元画像から検出した関心物候補領域には、正常構造物が含まれており、異常陰影に相当する関心物が含まれていないと判断した後、ステップＳ１１６へ移行する。
次のステップＳ１１６で判断部３８は、第２生成部３４に、合成２次元画像再生成処理（図６参照、詳細後述）を行わせる。第２生成部３４は、合成２次元画像再生成処理により、複数の投影画像及び複数の断層画像のうちの複数の放射線画像を再構成して、合成２次元画像を再生成する。以下では、本合成２次元画像再生成処理により生成された合成２次元画像を「再生成合成２次元画像」という。
次のステップＳ１１８で第２生成部３４は、再生成合成２次元画像を表示部２４に表示させた後、本読影支援処理を終了する。
図６を参照し、上記読影支援処理のステップＳ１１６で実行される、合成２次元画像再生成処理について説明する。図６には、合成２次元画像再生成処理の流れの一例を表したフローチャートが示されている。
ステップＳ１５０で第２生成部３４は、判断部３８により、関心物候補領域に含まれている関心物が異常陰影であるか否か判定する。関心物候補領域に含まれる関心物が異常陰影である場合、ステップＳ１５０の判定が肯定判定となり、ステップＳ１５２へ移行する。
ステップＳ１５２で第２生成部３４は、合成２次元画像における関心物候補領域の画像のコントラストを、他の領域の画像のコントラストより予め定められた程度、強めることで関心物候補領域のコントラストを調整する。
例えば、再生成する前の合成２次元画像（上記ステップＳ１０４で生成した合成２次元画像）における関心物候補領域の画像の画素値と、再生成合成２次元画像における関心物候補領域の画像の画素値との対応関係について、図７の線４６で表される対応関係から、線４６よりも傾きが大きな線４７で表される対応関係とすることで、関心物候補領域の信号が強められ、コントラストが強くなる。再生成合成２次元画像は、関心物候補領域のコントラストが強くなることにより、関心物候補領域が強調された画像となる。
一方、関心物候補領域に含まれている関心物が異常陰影ではない場合、すなわち、関心物候補領域に正常構造物が含まれている場合、ステップＳ１５０の判定が否定判定となり、ステップＳ１５４へ移行する。
ステップＳ１５４で第２生成部３４は、合成２次元画像における関心物候補領域の画像のコントラストを、他の領域の画像のコントラストより予め定められた程度、弱めることで関心物候補領域のコントラストを調整する。本実施形態の第２生成部３４は、上記ステップＳ１５２でコントラストを強めたのとは反対に、再生成する前の合成２次元画像における関心物候補領域の画像の画素値と、再生成合成２次元画像における関心物候補領域の画像の画素値との対応関係について、図７の線４６で表される対応関係から、線４６よりも傾きが小さな線４９で表される対応関係とすることで、関心物候補領域の信号が弱められ、コントラストが弱くなる。再生成合成２次元画像は、関心物候補領域のコントラストが弱くなることにより、関心物候補領域が抑制された画像となる。そのため、再生成合成２次元画像では、正常構造物が異常陰影のように見えてしまうことが抑制される。
なお、第２生成部３４が関心物候補領域の画像のコントラストを調整する方法は限定されず、例えば、階調処理や周波数処理等、公知の方法を用いればよい。また、第２生成部３４が、どの程度コントラストを強めるか、及び弱めるかについては、実験結果等から予め定められていてもよいし、ユーザにより指定が可能であってもよい。
上記ステップＳ１５２の処理またはステップＳ１５４の処理によりコントラストが調整された再生成合成２次元画像が生成されると、合成２次元画像再生成処理が終了し、読影支援処理のステップＳ１１６（図４参照）が終了する。
図８Ａ及び図８Ｂには、表示部２４に表示された再生成合成２次元画像５０の一例を示す。図８Ａに示した再生成合成２次元画像５０には、異常陰影４０と判定された関心物候補領域を含む***画像５０Ｗが含まれている。また図８Ｂに示した再生成合成２次元画像５０には、正常構造物４４と判定された関心物候補領域を含む***画像５０Ｗが含まれている。図８Ａに示した再生成合成２次元画像５０は、異常陰影４０と判断された関心物候補領域が強調された画像であるため、読影を行うユーザが、異常陰影４０を認識しやすくなる。一方、図８Ｂに示した再生成合成２次元画像５０は、正常構造物４４と判断された関心物候補領域が抑制された画像であるため、読影を行うユーザが、正常構造物４４を病変として認識し難くなる。
なお、読影支援処理において、判断部３８が、合成２次元画像の関心物候補領域に含まれる関心物が、異常陰影であるか正常構造物であるか否かを判断する方法は、上述した方法に限定されず、例えば、下記変形例１及び変形例２の方法を適用してもよい。
（変形例１）
図９には、本変形例の読影支援装置１０における読影支援処理の流れの一例を表したフローチャートが示されている。図９に示すように、本変形例の読影支援処理は、本実施形態の読影支援処理（図４参照）のステップＳ１１０とステップＳ１１２との間に、ステップＳ１１０Ａの処理を有する点が異なっている。
図９に示すように、本変形例の読影支援処理では、ステップＳ１１０で肯定判定となった場合、ステップＳ１１０Ａへ移行する。ステップＳ１１０Ａで判断部３８は、合成２次元画像との類似度が類似度閾値以上である断層画像同士の間隔が所定間隔未満であるか否か判定する。なお、断層画像同士の間隔とは、当該断層画像が示す断層の深さ方向の距離を意味する。
関心物候補領域に含まれる関心物が例えば、スピキュラ４１等の異常陰影として判断されるものである場合、関心物の厚みは比較的厚いため、断層の深さ方向に類似した画像が連続する傾向がある。すなわち、関心物候補領域に含まれる関心物が異常陰影として判断されるものである場合、合成２次元画像との類似度が類似度閾値以上である断層画像が、複数隣接する傾向がある。そこで、本変形例の判断部３８は、合成２次元画像との類似度が類似度閾値以上である断層画像について、本傾向を有しているか否かにより合成２次元画像の関心物候補領域に含まれる関心物が、異常陰影であるか否かを判断する。
合成２次元画像との類似度が類似度閾値以上である断層画像同士の間隔が所定間隔未満である場合、上記傾向を有しているため、ステップＳ１１０Ａの判定が肯定判定となり、ステップＳ１１２へ移行する。一方、類似度が類似度閾値以上である断層画像同士の間隔が所定間隔未満ではない場合、換言すると類似度が類似度閾値以上である断層画像同士の間隔が所定間隔以上である場合、上記傾向を有しておらず、ステップＳ１１０Ａの判定が否定判定となり、ステップＳ１１４へ移行する。なお、類似度が類似度閾値以上である断層画像が１つしかない場合も、ステップＳ１１０Ａの判定が否定判定となり、ステップＳ１１４へ移行する。
なお、ステップＳ１１０Ａの判定において用いられる所定間隔は、実験結果等から予め定められていてもよいし、断層画像の厚みに応じて可変であってもよいし、また、ユーザにより指定が可能であってもよい。
（変形例２）
図１０には、本変形例の読影支援装置１０における読影支援処理の流れの一例を表したフローチャートが示されている。図１０に示すように、本変形例の読影支援処理は、本実施形態の読影支援処理（図４参照）のステップＳ１０６～Ｓ１１０に代わり、ステップＳ１０７～Ｓ１１１の処理を有する点が異なっている。
本変形例の読影支援処理では図１０に示すように、ステップＳ１０７で判断部３８は、上記ステップＳ１０２で生成された複数の断層画像の各々から、関心物が含まれていると推定される関心物推定領域を検出する。なお、判断部３８が断層画像から関心物推定領域検出する方法は限定されず、例えば、検出部３６が合成２次元画像から関心物候補領域を検出する方法と同様の方法を用いることができる。
次のステップＳ１０９で判断部３８は、関心物推定領域を含む断層画像が有るか否かを判定する。関心物を含む断層画像が存在しない場合、上記ステップＳ１０７において、関心物推定領域を含む断層画像が検出されない。この場合、ステップＳ１０９の判定が否定判定となり、ステップＳ１１４へ移行する。一方、関心物推定領域を含む断層画像が有る場合、ステップＳ１０９の判定が肯定判定となり、ステップＳ１１１へ移行する。
ステップＳ１１１で判断部３８は、合成２次元画像の関心物候補領域と、断層画像の関心物推定領域とが重畳するか否かを判定する。換言すれば、合成２次元画像における関心物候補領域の座標位置と、断層画像における関心物推定領域の座標位置の少なくとも一部が整合するか否かを判定する。具体的には、判断部３８は、合成２次元画像から、***に対する関心物候補領域の位置を導出し、また、断層画像から、***に対する関心物推定領域の位置を導出する。さらに判断部３８は、関心物候補領域の位置と、関心物推定領域の位置とに基づいて、関心物候補領域と関心物推定領域との少なくとも一部が重畳するか否かを判定する。
上述したように、合成２次元画像の関心物候補領域に含まれる関心物が異常陰影として判断されるものである場合、本関心物が断層画像からも検出される。合成２次元画像の関心物候補領域と、断層画像の関心物推定領域との少なくとも一部が重畳する場合、合成２次元画像及び断層画像の両画像から同一の関心物が検出されたこととなるため、関心物候補領域に含まれる関心物は、異常陰影に相当する。そこで、合成２次元画像の関心物候補領域と、断層画像の関心物推定領域との少なくとも一部が重畳する場合、ステップＳ１１１の判定が否定判定となり、ステップＳ１１２へ移行する。一方、合成２次元画像の関心物候補領域と、断層画像の関心物推定領域とが重畳しない場合、ステップＳ１１の判定が否定判定となり、ステップＳ１１４へ移行する。
このように本変形例の判断部３８は、合成２次元画像及び断層画像の両画像から同一の関心物が検出された場合に関心物候補領域に含まれる関心物が異常陰影で有ると判断する。
また、読影支援処理のステップＳ１１６において行われる合成２次元画像生成処理（図６参照）も上述した処理に限定されず、例えば、下記変形例３～変形例５の方法を適用してもよい。
（変形例３）
図１１には、本変形例の読影支援装置１０における合成２次元画像生成処理の流れの一例を表したフローチャートが示されている。図１１に示すように、本変形例の合成２次元画像生成処理は、本実施形態の合成２次元画像生成処理（図６参照）のステップＳ１５２及びＳ１５４に代わり、ステップＳ１５６及びＳ１５８の処理を有する点が異なっている。
図１１に示すように、本変形例の合成２次元画像生成処理では、ステップＳ１５０で肯定判定となった場合、すなわち、関心物候補領域に含まれる関心物が異常陰影であった場合、ステップＳ１５６へ移行する。ステップＳ１５６で第２生成部３４は、関心物候補領域に含まれる複数の画素のうち、関心物らしさを表す関心物度合が度合閾値以上である画素の画素値を他の画素の画素値よりも大きくした後、本合成２次元画像生成処理を終了する。
一方、ステップＳ１５０で否定判定となった場合、すなわち、関心物候補領域に正常構造物が含まれる場合、ステップＳ１５８へ移行する。ステップＳ１５８で第２生成部３４は、関心物候補領域に含まれる複数の画素のうち、関心物らしさを表す関心物度合が度合閾値以上である画素の画素値を他の画素の画素値よりも小さくした後、本合成２次元画像生成処理を終了する。
このように本変形例の合成２次元画像生成処理では、第２生成部３４は、関心物が異常陰影である場合、関心物を表す画素の画素値を大きくすることで、関心物が強調された再生成合成２次元画像を生成する。また、第２生成部３４は、関心物候補領域に正常構造物が含まれる場合、関心物を表す画素の画素値を小さくすることで、関心物が抑制された再生成合成２次元画像を生成する。本変形例によれば、より自然な画像に見える再生合成２次元画像が生成できる。
なお、第２生成部３４が関心物度合を導出する方法は限定されない。例えば、上述したように、検出部３６が各画素について関心物を表す確率（尤度）を導出して、合成２次元画像から関心物候補領域を検出した場合、本確率を関心物度合として用いてもよい。
また、本変形例では、関心物度合が度合閾値以上である場合に、画素値を大きく、または小さくする形態について説明したが、本形態に限定されず、例えば、関心物度合が大きくなるほど画素値を大きく、または小さくする形態としてもよい。
（変形例４）
本変形例は、本実施形態及び変形例１のように、合成２次元画像における関心物候補領域の画像と、複数の断層画像の各々との類似度を導出した場合に適用することが好ましい。図１２には、本変形例の読影支援装置１０における合成２次元画像生成処理の流れの一例を表したフローチャートが示されている。図１２に示すように、本変形例の合成２次元画像生成処理は、本実施形態の合成２次元画像生成処理（図６参照）のステップＳ１５２に代わり、ステップＳ１６０の処理を有する点が異なっている。
図１２に示すように、本変形例の合成２次元画像生成処理では、ステップＳ１５０で肯定判定となった場合、すなわち、関心物候補領域に含まれる関心物が異常陰影であった場合、ステップＳ１６０へ移行する。ステップＳ１６０で第２生成部３４は、再生成合成２次元画像に用いる複数の画像のうち、類似度が類似度閾値以上の断層画像の重み付けを他の画像よりも大きくして、再生成合成２次元画像を生成した後、本合成２次元画像生成処理を終了する。
このように本変形例の合成２次元画像生成処理では、第２生成部３４は、関心物が異常陰影である場合、関心物を含む断層画像の重み付けを大きくして再生成合成２次元画像を生成することで、関心物が強調された再生成合成２次元画像を生成する。
なお、重み付けをどのようにするかは限定されず、例えば、類似度閾値以上の断層画像が複数ある場合、他の画像よりも大きな一律の値を用いて重み付けを行う形態としてもよいし、類似度閾値が大きくなるほど重み付けを大きくする形態としてもよい。
（変形例５）
本変形例は、変形例２のように、断層画像から関心物推定領域を検出した場合に適用される。図１３には、本変形例の読影支援装置１０における合成２次元画像生成処理の流れの一例を表したフローチャートが示されている。図１３に示すように、本変形例の合成２次元画像生成処理は、本実施形態の合成２次元画像生成処理（図６参照）のステップＳ１５２に代わり、ステップＳ１６２の処理を有する点が異なっている。
図１３に示すように、本変形例の合成２次元画像生成処理では、ステップＳ１５０で肯定判定となった場合、すなわち、関心物候補領域に含まれる関心物が異常陰影であった場合、ステップＳ１６２へ移行する。ステップＳ１６２で第２生成部３４は、再生成合成２次元画像に用いる複数の画像のうち、合成２次元画像の関心物候補領域と関心物推定領域が重畳する断層画像の重み付けを他の画像よりも大きくして、再生成合成２次元画像を生成した後、本合成２次元画像生成処理を終了する。
このように本変形例の合成２次元画像生成処理では、第２生成部３４は、関心物が異常陰影である場合、関心物を含む断層画像の重み付けを大きくして再生成合成２次元画像を生成することで、関心物が強調された再生成合成２次元画像を生成する。
なお、重み付けをどのようにするかは限定されず、例えば、関心物候補領域と関心物推定領域が重畳する割合が大きくなるほど、重み付けを大きくする形態としてもよい。
また、読影支援装置１０が表示部２４に表示させる放射線画像は、上述した再生成合成２次元画像（図８Ａ及び図８Ｂ参照）に限定されない。例えば、図１４Ａ及び図１４Ｂに示すように、第２生成部３４が、関心物候補領域を表すマーク６０及び６２を付した再生成合成２次元画像５０を表示部２４に表示させる形態としてもよい。図１４Ａには、異常陰影４０である関心物が含まれる関心物候補領域を表すマーク６０を、再生成合成２次元画像上に表示させた形態の一例を示している。また、図１４Ｂには、正常構造物４４が含まれる関心物候補領域を表すマーク６２を、再生成合成２次元画像上に表示させた形態の一例を示している。図１４Ａ及び図１４Ｂに示すように、異常陰影４０である関心物を含む関心物候補領域を表すマーク６０と、正常構造物４４を含む関心物候補領域を表すマーク６２とで、マークを表す線種を異ならせることで、異常陰影４０若しくは正常構造物４４のいずれであるかを読影者が認識し易くなる。なお、線種を異ならせる場合、図１４Ａ及び図１４Ｂに限定されず、例えば、線を表す色を異ならせる形態としてもよいし、線を点滅させるか否かにより異ならせる形態としてもよい。
また、図１４Ａ及び図１４Ｂに示した形態のように、異常陰影４０である関心物を含む関心物候補領域を表すマーク６０、及び正常構造物４４を含む関心物候補領域を表すマーク６２を表示させる場合、第２生成部３４が表示部２４に表示させる合成２次元画像は、再生成合成２次元画像５０に限定されない。例えば、上記読影支援処理（図４参照）のステップＳ１１８において、再生成合成２次元画像５０に代わり、上記ステップＳ１０４で生成された合成２次元画像５２を、表示部２４に表示させる形態であってもよい。
以上説明したように、上記各実施形態の読影支援装置１０は、取得部３０、第１生成部３２、第２生成部３４、検出部３６、及び判断部３８を備える。取得部３０は、放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得する。第１生成部３２は、複数の投影画像から、***の複数の断層面の各々における複数の断層画像を生成する。第２生成部３４は、複数の投影画像及び複数の断層画像のうちの複数の画像から合成２次元画像を生成する。検出部３６は、合成２次元画像から関心物が含まれると推定される関心物候補領域を検出する。判断部３８は、関心物候補領域に関心物が含まれているか否かを、複数の断層画像に基づいて判断する。
本実施形態の読影支援装置１０は、上記構成を有することにより、実際には、異常陰影等の関心物が含まれていないにもかかわらず、合成２次元画像から関心物候補領域が検出された場合に、関心物が含まれていないことを判断することができる。例えば、正常構造物である乳腺等のエッジが重なってスピキュラのように見える構造が現れた合成２次元画像から、スピキュラのように見える構造を含む関心物候補領域が検出されても、スピキュラが含まれていないことを判断することができる。そのため、合成２次元画像または、再生成合成２次元画像を読影する場合、関心物が実際に含まれているか否か、特に、異常陰影であるか正常構造物であるかを、断層画像を参照せずとも認識することができる。
従って、上記構成を有することにより上記実施形態の読影支援装置１０では、読影を行う放射線画像の数を削減することができるため、読影を効率化することができる。
なお、本実施形態では、合成２次元画像から１つの関心物候補領域が検出された場合の読影支援処理について説明したが、複数の関心物候補領域が検出された場合、複数の関心物候補領域の各々について、判断部３８が関心物（異常陰影）を含むか否かの判断を行う形態とすればよい。
また、本実施形態及の読影支援装置１０の表示部２４に再生成合成２次元画像を表示させる形態について説明したが、再生成合成２次元画像を表示させる表示装置は、表示部２４に限定されない。例えば、再生成合成２次元画像を、コンソール６が有する表示部に表示させる形態であってもよい。
また、本実施形態では、取得部３０、第１生成部３２、第２生成部３４、検出部３６、及び判断部３８を同一の装置（読影支援装置１０）が備える形態について説明したが、本形態に限定されず、例えば、これら各部を、異なる装置が備える形態であってもよい。
上記実施形態において、例えば取得部３０、第１生成部３２、第２生成部３４、検出部３６、及び判断部３８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device ：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
また、上記実施形態では、読影支援プログラム２１がＲＯＭ２０Ｂに予め記憶（インストール）されている態様を説明したが、これに限定されない。読影支援プログラム２１は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、読影支援プログラム２１は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
その他、上記各実施形態で説明した医療システム１、放射線画像撮影システム２、及び読影支援装置１０等の構成及び動作等は一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることはいうまでもない。また、上記各実施形態を適宜組み合わせてもよいこともいうまでもない。
１ 医療システム
２ 放射線画像撮影システム
４ マンモグラフィ装置
６ コンソール
８ 画像保存システム
１０ 読影支援装置
２０ 制御部
２０Ａ ＣＰＵ、２０Ｂ ＲＯＭ、２０Ｃ ＲＡＭ
２１ 読影支援プログラム
２２ 記憶部
２４ 表示部
２６ 操作部
２８ Ｉ／Ｆ部
２９ バス
３０ 取得部
３２ 第１生成部
３４ 第２生成部
３６ 検出部
３８ 判断部
４０ 異常陰影
４１ スピキュラ
４４ 正常構造物
４５、４５１～４５５ 乳腺
４６、４７、４９ 線
５０ 再生成合成２次元画像、５０Ｗ ***画像
５２ 合成２次元画像
６０、６２ マーク

Claims (13)

  1. 放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得する取得部と、
    前記複数の投影画像から、前記***の複数の断層面の各々における複数の断層画像を生成する第１生成部と、
    前記複数の投影画像及び前記複数の断層画像のうちの複数の画像から合成２次元画像を生成する第２生成部と、
    前記合成２次元画像から関心物が含まれると推定される関心物候補領域を検出する検出部と、
    前記関心物候補領域に前記関心物が含まれているか否かを、前記複数の断層画像に基づいて判断する判断部と、
    を備え、
    前記第２生成部は、前記関心物が前記関心物候補領域に含まれないと判定された場合、前記合成２次元画像から前記関心物候補領域の画像のコントラストを前記関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する
    読影支援装置。
  2. 前記判断部は、前記合成２次元画像における前記関心物候補領域の画像と、前記断層画像における前記関心物候補領域に対応する対応領域の画像とを比較した比較結果に基づいて、前記関心物候補領域に前記関心物が含まれているか否かを判断する、
    請求項１に記載の読影支援装置。
  3. 前記判断部は、前記複数の断層画像の各々における前記対応領域の画像と前記関心物候補領域の画像との類似度が類似度閾値未満である場合、前記関心物候補領域に前記関心物が含まれていないと判断する、
    請求項２に記載の読影支援装置。
  4. 前記判断部は、前記複数の断層画像が、前記対応領域の画像と前記関心物候補領域の画像との類似度が類似度閾値以上となる断層画像を含む場合、前記関心物候補領域に前記関心物が含まれていると判断する、
    請求項２または請求項３に記載の読影支援装置。
  5. 前記判断部は、前記複数の断層画像が前記類似度が前記類似度閾値以上となる断層画像を含む場合、前記類似度が前記類似度閾値以上の断層画像を少なくとも含み、かつ前記類似度が前記類似度閾値以上の断層画像の重み付けを他の画像よりも大きくした前記複数の画像から再合成された前記再生成合成２次元画像を、前記第２生成部に生成させる制御を行う、
    請求項３または請求項４に記載の読影支援装置。
  6. 前記検出部は、前記複数の断層画像の各々から前記関心物が含まれると推定される関心物推定領域をさらに検出し、
    前記判断部は、前記合成２次元画像における前記***の画像に対する前記関心物候補領域の位置と、前記断層画像における前記***の画像に対する前記関心物推定領域の位置とに基づいて、前記関心物候補領域に前記関心物が含まれているか否かを判断する、
    請求項１に記載の読影支援装置。
  7. 前記判断部は、前記複数の断層画像の各々から前記関心物推定領域が検出されなかった場合、または前記関心物候補領域と前記関心物推定領域とが重畳しない場合、前記関心物候補領域に前記関心物が含まれていないと判断する、
    請求項６に記載の読影支援装置。
  8. 前記判断部は、前記関心物候補領域と前記関心物推定領域との少なくとも一部が重畳する場合、前記関心物候補領域に前記関心物が含まれていると判断する、
    請求項６または請求項７に記載の読影支援装置。
  9. 前記判断部は、前記関心物推定領域の少なくとも一部が前記関心物候補領域に重畳する断層画像を含む場合、前記少なくとも一部が前記関心物候補領域に重畳する断層画像を少なくとも含み、前記少なくとも一部が前記関心物候補領域に重畳する断層画像の重み付けを他の画像よりも大きくした前記複数の画像から再合成された前記再生成合成２次元画像を、前記第２生成部に生成させる制御を行う、
    請求項６から請求項８のいずれか１項に記載の読影支援装置。
  10. 前記判断部は、再合成された前記再生成合成２次元画像を表示部に表示させる制御を行う、
    請求項５または請求項９に記載の読影支援装置。
  11. 前記判断部は、前記関心物候補領域に前記関心物が含まれていると判断した場合、前記合成２次元画像における前記関心物候補領域のコントラストを、他の領域のコントラストよりも強くする、
    請求項１から請求項４、及び請求項６から請求項８のいずれか１項に記載の読影支援装置。
  12. 放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得し、
    前記複数の投影画像から、前記***の複数の断層面の各々における複数の断層画像を生成し、
    前記複数の投影画像及び前記複数の断層画像のうちの複数の画像から合成２次元画像を生成し、
    前記合成２次元画像から関心物が含まれると推定される関心物候補領域を検出し、
    前記関心物候補領域に前記関心物が含まれているか否かを、前記複数の断層画像に基づいて判断する、
    処理を含み、
    前記関心物が前記関心物候補領域に含まれないと判定された場合、前記合成２次元画像から前記関心物候補領域の画像のコントラストを前記関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する
    処理をコンピュータが実行する読影支援方法。
  13. 放射線源により異なる照射角度から***に対して放射線を照射して放射線検出器により照射角度毎に投影画像を撮影するトモシンセシス撮影により得られた複数の投影画像を取得し、
    前記複数の投影画像から、前記***の複数の断層面の各々における複数の断層画像を生成し、
    前記複数の投影画像及び前記複数の断層画像のうちの複数の画像から合成２次元画像を生成し、
    前記合成２次元画像から関心物が含まれると推定される関心物候補領域を検出し、
    前記関心物候補領域に前記関心物が含まれているか否かを、前記複数の断層画像に基づいて判断する、
    処理を含み、
    前記関心物が前記関心物候補領域に含まれないと判定された場合、前記合成２次元画像から前記関心物候補領域の画像のコントラストを前記関心物候補領域以外の領域の画像のコントラストよりも下げた再生成合成２次元画像を生成する
    処理をコンピュータに実行させるための読影支援プログラム。
JP2019110465A 2019-06-13 2019-06-13 読影支援装置、読影支援方法、及び読影支援プログラム Active JP7242436B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019110465A JP7242436B2 (ja) 2019-06-13 2019-06-13 読影支援装置、読影支援方法、及び読影支援プログラム
EP20179572.1A EP3750482B1 (en) 2019-06-13 2020-06-11 Image interpretation support apparatus, image interpretation support method, and image interpretation support program
US16/899,427 US11610344B2 (en) 2019-06-13 2020-06-11 Image interpretation support apparatus, image interpretation support method, and image interpretation support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019110465A JP7242436B2 (ja) 2019-06-13 2019-06-13 読影支援装置、読影支援方法、及び読影支援プログラム

Publications (2)

Publication Number Publication Date
JP2020199214A JP2020199214A (ja) 2020-12-17
JP7242436B2 true JP7242436B2 (ja) 2023-03-20

Family

ID=71092459

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019110465A Active JP7242436B2 (ja) 2019-06-13 2019-06-13 読影支援装置、読影支援方法、及び読影支援プログラム

Country Status (3)

Country Link
US (1) US11610344B2 (ja)
EP (1) EP3750482B1 (ja)
JP (1) JP7242436B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220138950A1 (en) * 2020-11-02 2022-05-05 Adobe Inc. Generating change comparisons during editing of digital images

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006116313A (ja) 2004-10-21 2006-05-11 Siemens Ag ３次元画像化における診断方法
JP2011110430A (ja) 2009-11-25 2011-06-09 Agfa Healthcare Nv 画像中の空間的に局在する現象のコントラストを強調する方法
JP2012061196A (ja) 2010-09-17 2012-03-29 Fujifilm Corp 断層画像表示方法および装置
US20140198965A1 (en) 2008-10-16 2014-07-17 Icad, Inc. Computer-aided detection of regions of interest in tomographic breast imagery
JP2014534042A (ja) 2011-11-27 2014-12-18 ホロジック, インコーポレイテッドHologic, Inc. マンモグラフィーおよび／またはトモシンセシス画像データを使用して２ｄ画像を生成するためのシステムおよび方法
WO2014203531A1 (ja) 2013-06-21 2014-12-24 富士フイルム株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2015177928A (ja) 2014-03-19 2015-10-08 株式会社東芝 医用画像診断装置
US20180033143A1 (en) 2015-03-10 2018-02-01 Koninklijke Philips N.V. Retrieval of corresponding structures in pairs of medical images
JP2019063504A (ja) 2017-09-29 2019-04-25 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS559153A (en) 1978-07-05 1980-01-23 Nec Corp Multi-band photographic device
US7760924B2 (en) 2002-11-27 2010-07-20 Hologic, Inc. System and method for generating a 2D image from a tomosynthesis data set
US7840046B2 (en) * 2006-06-27 2010-11-23 Siemens Medical Solutions Usa, Inc. System and method for detection of breast masses and calcifications using the tomosynthesis projection and reconstructed images
US8983156B2 (en) 2012-11-23 2015-03-17 Icad, Inc. System and method for improving workflow efficiences in reading tomosynthesis medical image data
WO2019065466A1 (ja) 2017-09-29 2019-04-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006116313A (ja) 2004-10-21 2006-05-11 Siemens Ag ３次元画像化における診断方法
US20140198965A1 (en) 2008-10-16 2014-07-17 Icad, Inc. Computer-aided detection of regions of interest in tomographic breast imagery
JP2011110430A (ja) 2009-11-25 2011-06-09 Agfa Healthcare Nv 画像中の空間的に局在する現象のコントラストを強調する方法
JP2012061196A (ja) 2010-09-17 2012-03-29 Fujifilm Corp 断層画像表示方法および装置
JP2014534042A (ja) 2011-11-27 2014-12-18 ホロジック, インコーポレイテッドHologic, Inc. マンモグラフィーおよび／またはトモシンセシス画像データを使用して２ｄ画像を生成するためのシステムおよび方法
WO2014203531A1 (ja) 2013-06-21 2014-12-24 富士フイルム株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2015177928A (ja) 2014-03-19 2015-10-08 株式会社東芝 医用画像診断装置
US20180033143A1 (en) 2015-03-10 2018-02-01 Koninklijke Philips N.V. Retrieval of corresponding structures in pairs of medical images
JP2018512913A (ja) 2015-03-10 2018-05-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療画像の対における対応する構造の検索
JP2019063504A (ja) 2017-09-29 2019-04-25 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US20200394827A1 (en) 2020-12-17
EP3750482B1 (en) 2024-04-17
EP3750482A1 (en) 2020-12-16
US11610344B2 (en) 2023-03-21
JP2020199214A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
US9098935B2 (en) Image displaying apparatus, image displaying method, and computer readable medium for displaying an image of a mammary gland structure without overlaps thereof
JP6457946B2 (ja) トモシンセシス医療用画像データ読影におけるワークフロー効率を改善するためのシステム及び方法
US9123108B2 (en) Image processing device, radiographic image capture system, image processing method, and image processing storage medium
CN107194909B (zh) 医用图像处理装置及医用图像处理方法
US10631810B2 (en) Image processing device, radiation imaging system, image processing method, and image processing program
WO2006028965A9 (en) System and method for segmenting a structure of interest using an interpolation of a separating surface in an area of attachment to a structure having similar properties
JP6921779B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
EP2713339A1 (en) Image processing device, radiographic image capturing system, image processing program and image processing method
JP2019058607A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7242436B2 (ja) 読影支援装置、読影支援方法、及び読影支援プログラム
Kim et al. Generation of conspicuity-improved synthetic image from digital breast tomosynthesis
CN115410692A (zh) 确定组织边界的装置和方法
JP7236948B2 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
CN108135552B (zh) 投影x射线图像的改进的可视化
JPWO2020066199A1 (ja) 読影支援装置とその作動プログラムおよび作動方法
JP7479494B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7430814B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20230214977A1 (en) Image processing device, method for operating image processing device, and program for operating image processing device
JP7446454B2 (ja) 情報処理装置、情報処理装置の作動方法、及び情報処理プログラム
US20220309657A1 (en) Image processing device, image processing method, and image processing program
US20220309671A1 (en) Image processing device, image processing method, and image processing program
US20220398726A1 (en) Image processing device, image processing method, and image processing program
JP2022076341A (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
Singh et al. Effect of similarity metrics and ROI sizes in featureless computer aided detection of breast masses in tomosynthesis
JP2004298540A (ja) 画像再構成装置、およびｘ線断層画像撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230308

R150 Certificate of patent or registration of utility model

Ref document number: 7242436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150