JPWO2017013895A1 - コンソール及び動態画像撮影診断システム - Google Patents
コンソール及び動態画像撮影診断システム Download PDFInfo
- Publication number
- JPWO2017013895A1 JPWO2017013895A1 JP2017529468A JP2017529468A JPWO2017013895A1 JP WO2017013895 A1 JPWO2017013895 A1 JP WO2017013895A1 JP 2017529468 A JP2017529468 A JP 2017529468A JP 2017529468 A JP2017529468 A JP 2017529468A JP WO2017013895 A1 JPWO2017013895 A1 JP WO2017013895A1
- Authority
- JP
- Japan
- Prior art keywords
- index value
- console
- dynamic image
- operator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title description 73
- 230000008859 change Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000003745 diagnosis Methods 0.000 claims description 66
- 238000004458 analytical method Methods 0.000 claims description 42
- 230000002123 temporal effect Effects 0.000 claims description 16
- 210000004072 lung Anatomy 0.000 description 43
- 230000005855 radiation Effects 0.000 description 41
- 238000000034 method Methods 0.000 description 34
- 238000001514 detection method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 29
- 230000002685 pulmonary effect Effects 0.000 description 24
- 230000017531 blood circulation Effects 0.000 description 21
- 238000009423 ventilation Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 15
- 230000000241 respiratory effect Effects 0.000 description 15
- 230000005856 abnormality Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008602 contraction Effects 0.000 description 5
- 238000005206 flow analysis Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000011295 pitch Substances 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 208000029523 Interstitial Lung disease Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 208000010378 Pulmonary Embolism Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003434 inspiratory effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 230000004202 respiratory function Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- YDLQKLWVKKFPII-UHFFFAOYSA-N timiperone Chemical compound C1=CC(F)=CC=C1C(=O)CCCN1CCC(N2C(NC3=CC=CC=C32)=S)CC1 YDLQKLWVKKFPII-UHFFFAOYSA-N 0.000 description 1
- 229950000809 timiperone Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
動態画像中の重要度が高い箇所を自動的に割り出すことが可能なコンソールを提供する。コンソール2、3は、操作者の操作に従って複数のフレーム画像からなる動態画像を再生して表示する表示手段24、34と、動態画像の再生時に、操作者により関心を示す可能性がある操作が行われたことを検知すると、その時点で表示手段24、34に表示されているフレーム画像における、検査対象部位の動態に関する指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンに対して統計処理を行って、指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンの出現頻度を学習する学習手段21、31とを備える。
Description
本発明は、コンソール及び動態画像撮影診断システムに関する。
従来のフィルム/スクリーンや輝尽性蛍光体プレートを用いた放射線の静止画撮影及び診断に対し、FPD(flat panel detector)等の半導体イメージセンサーを利用して検査対象部位の動態画像を撮影し、診断に応用する試みがなされるようになってきている(例えば特許文献1等参照)。
具体的には、半導体イメージセンサーの画像データの読取・消去の応答性の早さを利用し、半導体イメージセンサーの読取・消去のタイミングと合わせて放射源からパルス状の放射線を連続照射し、1秒間に複数回の撮影を行って、検査対象部位の動態を撮影する。撮影により取得された一連の複数枚の画像を順次表示することにより、医師は検査対象部位の一連の動きを認識することが可能となる。
ところで、超音波診断装置や磁気共鳴映像装置等の例であるが、特許文献2には、被写体の動画を撮影する際に、撮影技師が、撮影と同時に表示された動画を見ながら重要度を判断し、動画の画像データに対して、例えば重要度が高いほど大きな数になるようにマーカー(栞)を関連付ける。そして、医師が動画を見て診断する際に、例えば大きな数を設定して重要度が高い部分を再生するように設定すると、重要度の低い部分(設定された数より小さい数のマーカーが関連付けられた部分)はとばして、設定された数以上のマーカーが関連付けられた動画の部分のみを再生するように構成された医用画像診断装置の発明が開示されている。
超音波診断装置やMRI(magnetic resonance imaging)等の磁気共鳴映像装置等の分野は、病院等の施設に導入され、それらの装置を用いた診断が行われるようになってからの歴史が長く、医師による診断のルーチンや撮影技師による撮影のルーチンが確立されている分野であるため、医師の診断にとって動画中のどのような部分が重要であるかを撮影技師が知っている。そのため、上記のように、撮影技師が、撮影の段階で、撮影中の動画を見てその部分の重要度を判断することができる。また、医師は、重要度が高い部分に大きな数のマーカーが的確に関連付けられるため、上記のようにマーカーに基づいて重要な部分のみ再生することが可能となる。
しかしながら、上記のような、FPD等の半導体イメージセンサーを利用して被写体の検査対象部位の動態画像を撮影し診断に応用する試み、すなわち動態解析の技術は、歴史が浅い新しい検査方法であるため、現状では、医師による診断のルーチンや撮影技師による撮影のルーチンが確立されているとは言えない状況にある。また、それ以前に、現状では、医師が、検査対象部位の動態画像のどのような箇所に着目して診断を行うかがそもそも分かっていない。
そのような状況において、上記の特許文献2のように、撮影技師が勝手に判断して重要度を決めるのは危険であると言わざるを得ず、撮影技師も動態画像のどのような箇所に着目すればよいかが分からないであろう。また、医師も、実際に動態画像を見て診断してみないと、動態画像のどのような箇所に着目すれば診断に利するのかが分からないものと考えられる。
本発明は、上記の点を鑑みてなされたものであり、動態画像中の重要度が高い箇所を自動的に割り出すことが可能なコンソール及び動態画像撮影診断システムを提供することを目的とする。
前記の問題を解決するために、本発明のコンソールや動態画像撮影診断システムは、
操作者の操作に従って複数のフレーム画像からなる動態画像を再生して表示する表示手段と、
前記動態画像の再生時に、操作者により関心を示す可能性がある操作が行われたことを検知すると、その時点で前記表示手段に表示されている前記フレーム画像における、検査対象部位の動態に関する指標の値及び/又は前記指標の値の時間変化のパターンに対して統計処理を行って、前記指標の値及び/又は前記指標の値の時間変化のパターンの出現頻度を学習する学習手段と、
を備えることを特徴とする。
操作者の操作に従って複数のフレーム画像からなる動態画像を再生して表示する表示手段と、
前記動態画像の再生時に、操作者により関心を示す可能性がある操作が行われたことを検知すると、その時点で前記表示手段に表示されている前記フレーム画像における、検査対象部位の動態に関する指標の値及び/又は前記指標の値の時間変化のパターンに対して統計処理を行って、前記指標の値及び/又は前記指標の値の時間変化のパターンの出現頻度を学習する学習手段と、
を備えることを特徴とする。
本発明のような方式のコンソールや動態画像撮影診断システムによれば、動態画像中の重要度が高い箇所を自動的に割り出すことが可能となる。
以下、本発明に係るコンソール及び動態画像撮影診断システムの実施の形態について、図面を参照して説明する。ただし、本発明は図示例のものに限定されるものではない。
なお、以下では、主に、動態画像撮影診断システムで、被写体の胸部を動態撮影し、肺の換気機能や肺血流を解析する場合について説明するが、これら以外にも、例えば被写体である人体の関節部分の伸縮の様子を動態撮影してその伸縮機能の解析等を行うように構成することも可能であり、本発明は、肺の換気機能や肺血流を解析する場合に限定されない。
[動態画像撮影診断システム100の構成]
本実施形態に係る動態画像撮影診断システムの構成について説明する。図1に、本実施の形態における動態画像撮影診断システム100の全体構成を示す。図1に示すように、動態画像撮影診断システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。動態画像撮影診断システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
本実施形態に係る動態画像撮影診断システムの構成について説明する。図1に、本実施の形態における動態画像撮影診断システム100の全体構成を示す。図1に示すように、動態画像撮影診断システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。動態画像撮影診断システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
[撮影装置1の構成]
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性(サイクル)を持つ胸部の動態を撮影する装置である。動態撮影は、人体の胸部に対し、X線等の放射線を連続照射して複数の画像を取得(即ち、連続撮影)することにより行う。この連続撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、周期性(サイクル)を持つ胸部の動態を撮影する装置である。動態撮影は、人体の胸部に対し、X線等の放射線を連続照射して複数の画像を取得(即ち、連続撮影)することにより行う。この連続撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。
撮影装置1は、図1に示すように、放射線源11、放射線照射制御装置12、放射線検出部13、読取制御装置14、サイクル検出センサー15、サイクル検出装置16等を備えて構成されている。
放射線源11は、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、連続照射時のパルスレート、パルス幅、パルス間隔、撮影開始/終了タイミング、X線管電流の値、X線管電圧の値、フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、連続撮影において、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、FPD等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の画素がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部により構成されている。
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。
画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、連続撮影において、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
ここで、放射線照射制御装置12と読取制御装置14は互いに接続されており、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
サイクル検出センサー15は、被写体Mの呼吸運動の状態を検出して検出情報をサイクル検出装置16に出力する。サイクル検出センサー15としては、例えば、呼吸モニターベルト、CCD(Charge Coupled Device)カメラ、光学カメラ、スパイロメーター等を適用することができる。
サイクル検出装置16は、サイクル検出センサー15により入力された検出情報に基づいて、呼吸サイクル数、及び現在呼吸運動の1サイクル中のどの状態であるか(例えば、吸気、吸気から呼気の変換点、呼気、呼気から吸気の変換点のどの状態か)を検出し、検出結果(サイクル情報)を撮影用コンソール2の制御部21に出力する。サイクル検出装置16は、例えば、サイクル検出センサー15(呼吸モニターベルト、CCDカメラ、光学カメラ、スパイロメーター等)により肺の状態が吸気から呼気への変換点であることを示す検出情報が入力されたタイミングを1サイクルの基点とし、次にこの状態が検出されるタイミングまでの間を1サイクルとして認識する。
[撮影用コンソール2の構成]
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、図2に示す撮影制御処理を実行するための撮影制御処理プログラムを記憶している。また、記憶部22は、検査対象部位に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、動態画像を再生して表示したり、各種のデータや、操作部23から入力された指示内容等を表示する。
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
[診断用コンソール3の構成]
診断用コンソール3は、撮影用コンソール2から動態画像を取得し、取得した動態画像を表示して医師が読影診断するための動画像処理装置である。なお、撮影用コンソール2から動態画像が一旦PACS(Picture Archiving and Communication System)等の外部システムに送られた後で診断用コンソール3が外部システムから動態画像を取得するような場合もある。また、撮影用コンソール2と診断用コンソール3が一体化されている、すなわち1台の装置が撮影用コンソール2も診断用コンソール3も兼ねるように構成される場合もある。
診断用コンソール3は、撮影用コンソール2から動態画像を取得し、取得した動態画像を表示して医師が読影診断するための動画像処理装置である。なお、撮影用コンソール2から動態画像が一旦PACS(Picture Archiving and Communication System)等の外部システムに送られた後で診断用コンソール3が外部システムから動態画像を取得するような場合もある。また、撮影用コンソール2と診断用コンソール3が一体化されている、すなわち1台の装置が撮影用コンソール2も診断用コンソール3も兼ねるように構成される場合もある。
診断用コンソール3は、図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する画像解析処理を始めとする各種処理を実行し、診断用コンソール3各部の動作を集中制御する。制御部31は、後述する画像解析処理を実行することにより画像解析手段を実現する。
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で画像解析処理を実行するための画像解析処理プログラムを始めとする各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、動態画像を再生して表示したり、各種のデータや、操作部33から入力された指示内容等を表示する。
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
[動態画像撮影診断システム100の動作]
次に、上記動態画像撮影診断システム100における動作について説明する。
次に、上記動態画像撮影診断システム100における動作について説明する。
[撮影装置1、撮影用コンソール2の動作]
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されている撮影制御処理プログラムとの協働により実行される。
まず、撮影装置1、撮影用コンソール2による撮影動作について説明する。図2に、撮影用コンソール2の制御部21において実行される撮影制御処理を示す。撮影制御処理は、制御部21と記憶部22に記憶されている撮影制御処理プログラムとの協働により実行される。
まず、撮影技師により撮影用コンソール2の操作部23が操作され、撮影対象(被写体M)の患者情報(患者の氏名、身長、体重、年齢、性別等)の入力が行われる(ステップS1)。
次いで、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定されるとともに、画像読取条件が記憶部22から読み出されて読取制御装置14に設定される(ステップS2)。フレームレート(パルスレート)としては、5フレーム/秒以上が好ましい。通常、肺野内の換気、肺血流の遅延時間差は1秒以下であるため、位相遅れ時間を精度良く複数の段階(少なくとも5段階以上)に分解して表現するには、5フレーム/秒以上を必要とするからである。なお、位相遅れ時間については後で説明するが、例えば前述した特許文献1等で詳しく説明されており、詳しくは同文献等を参照されたい。
次いで、操作部23の操作による放射線照射の指示が待機され、操作部23により放射線照射指示が入力されると(ステップS3;YES)、サイクル検出装置16にサイクル検出開始の指示が出力され、サイクル検出センサー15及びサイクル検出装置16による被写体Mの呼吸運動のサイクル検出が開始される(ステップS4)。
サイクル検出装置16により所定の状態(例えば、吸気から呼気への変換点)であることが検出されると、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される(ステップS5)。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像が取得される。サイクル検出装置16により予め定められた動態サイクル数が検出されると、制御部21により放射線照射制御装置12及び読取制御装置14に撮影終了の指示が出力され、撮影動作が停止される。
撮影により取得されたフレーム画像は順次撮影用コンソール2に入力され、撮影順を示す番号と対応付けて記憶部22に記憶されるとともに(ステップS6)、表示部24に表示される(ステップS7)。撮影技師は、表示された動態画像によりポジショニング等を確認し、撮影により診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)か、を判断する。そして、操作部23を操作して、判断結果を入力する。
操作部23の所定の操作により撮影OKを示す判断結果が入力されると(ステップS8;YES)、動態撮影で取得された一連のフレーム画像のそれぞれに、動態画像を識別するための識別IDや、患者情報、検査対象部位、放射線照射条件、画像読取条件、撮影順を示す番号、サイクル情報等の情報が付帯され(例えば、DICOM形式で画像データのヘッダー領域に書き込まれ)、通信部25を介して診断用コンソール3に送信される(ステップS9)。そして、本処理は終了する。一方、操作部23の所定の操作により撮影NGを示す判断結果が入力されると(ステップS8;NO)、記憶部22に記憶された一連のフレーム画像が削除され(ステップS10)、本処理は終了する。
[診断用コンソール3の動作]
次に、診断用コンソール3における動作について説明する。診断用コンソール3においては、通信部35を介して撮影用コンソール2から動態画像の一連のフレーム画像が受信されると、制御部31と記憶部32に記憶されている画像解析処理プログラムとの協働により図3に示す画像解析処理が実行される。
次に、診断用コンソール3における動作について説明する。診断用コンソール3においては、通信部35を介して撮影用コンソール2から動態画像の一連のフレーム画像が受信されると、制御部31と記憶部32に記憶されている画像解析処理プログラムとの協働により図3に示す画像解析処理が実行される。
なお、診断用コンソール3で、必ずしも換気解析処理と肺血流解析処理の両方を行うように構成する必要はなく、いずれか一方の処理、或いは、それら以外の、例えば前述した人体の関節部分の伸縮機能解析処理等を行うように構成することも可能である。また、画像解析処理における換気解析処理や肺血流解析処理については、前述した特許文献1に詳述されているため、詳しくは同文献を参照されたい。
以下、図3に示したように画像解析処理で換気解析処理(ステップS11)や肺血流解析処理(ステップS12)を行う場合について簡単に説明する。画像解析処理では、種々の指標の値等が算出される。
例えば、換気解析処理(ステップS11)では、肺野を撮影した胸部動態画像から、横隔膜の上下方向の高さが指標の値として算出される。横隔膜は、その上下運動によって肺の呼吸運動を促すものである。例えば図4に示す、1つの呼吸サイクルにおいて撮影された複数の時間位相T(T=t0〜t6)のフレーム画像に示されるように、呼吸サイクルは、横隔膜の位置が上がる呼気期(T=t0〜t3)と横隔膜の位置が下がる吸気期(T=t3〜t6)により構成される。このように、胸部動態画像において、横隔膜の上下方向の動きは肺の呼吸運動を示す指標となり、横隔膜の上下方向の高さは肺の呼吸運動を示す指標の値(以下、指標値という。)となる。
そして、図4からも分かるように、各フレーム画像で、肺尖の上下位置は呼気期でも吸気期でもほとんど変わらない。そのため、指標値としての横隔膜の上下方向の高さを、肺尖と横隔膜の垂直方向の距離Dとして表すことができる。そして、例えば図5に破線で示すように、この距離Dの時間的推移をプロットすることで、横隔膜の上下方向の高さD(肺尖−横隔膜距離D)の時間変化を取得することができる。なお、図5において、横軸は動態撮影開始からの経過時間tを、縦軸は距離Dを示している。また、以下では、距離Dを、横隔膜の上下方向の高さDという場合がある。
また、この呼吸運動を示す指標値としての横隔膜の上下方向の高さDに基づいて、種々の値を算出することができる。
例えば、呼吸により肺に空気が取り込まれると肺野の各画素の信号値が大きくなり、肺から空気が吐き出されると肺野の各画素の信号値が小さくなる。そして、この呼吸による信号値の増加や減少は、図5に実線で示すように、指標値としての横隔膜の上下方向の高さD(肺尖−横隔膜距離D)にやや遅れて生じる。この時間的な遅れを、例えばフーリエ級数展開による時間遅れ時間算出方法を用いて位相遅れ時間αTとして算出し、この位相遅れ時間αTに着目すると、肺野領域内で換気機能に異常があるか否か等が分かる。
すなわち、図4に示したように、各フレーム画像ごとに呼吸に伴って拡大したり縮小したりする肺野領域Rを、肺野領域Rの各位置が図6に示す基準画像(例えば1番目に撮影されたフレーム画像等に定められる。)の肺野領域Rの対応する各位置にくるようにシフトさせて、各フレーム画像で肺野領域Rの大きさや位置が変わらない状態にされたフレーム画像を形成する。
そして、各フレーム画像の肺野領域Rを複数の領域(小ブロックA1)に分割し、各小ブロックA1内の画素の平均信号値(濃度平均値)を算出し、この平均信号値の時間的推移をプロットすることで、図5に実線で示したように小ブロックA1ごとの平均信号値の時間変化が取得される。そして、この小ブロックA1ごとの平均信号値の時間変化のプロファイルの、図5に破線で示した横隔膜の上下方向の高さDの時間変化のプロファイルに対する時間的な遅れを解析することで、小ブロックA1ごとに位相遅れ時間αTを算出することができる。
そして、位相遅れ時間αTは、肺の換気機能が正常であれば、横隔膜からの距離に応じて略一定であるが、肺野領域内に換気機能が異常な箇所があると、その部分では位相遅れ時間αTが大きくなる。そこで、例えば図7に示すように、上記のようにして算出した各小ブロックA1の位相遅れ時間αT(なお図7では各小ブロックA1の位相遅れ時間αTが輝度値の大小で表されマップM1として表されている。)が、それぞれ横隔膜からの距離に応じた閾値を越えるか否かを判断する異常判定を行う。
そして、図7の異常判定結果を表すマップM2に濃く示されているように(実際には赤等で着色されて表示される。)、異常判定で閾値を越える小ブロックA1があれば、その部分が被写体Mの肺野において局所的に換気機能が低下している箇所であることが分かる。このように、これらのマップM2等は、呼吸器科での慢性閉塞性肺疾患(COPD)や間質性肺炎、気胸等の肺の換気障害の診断等に用いることができる。
なお、上記のマップM1、M2等を後述する診断画面の指標値表示部70(後述する図10B参照)に表示する際に、図7に示したように、マップM1、M2とともに、換気機能が低下していない正常な肺野における小ブロックA1ごとの標準的な位相遅れ時間αTを表した標準遅れ度合いマップM0を表示すれば、それらを見た医師等が、被写体Mの肺野において局所的に換気機能が低下している箇所を容易かつ的確に識別することが可能となる。
一方、肺血流解析処理(ステップS12)では、心臓壁の動きが心臓の拍動を示す指標とされ、上記のようにして肺野を撮影した胸部動態画像から、心臓壁位置が心臓の拍動を示す指標値として算出される。すなわち、図示を省略するが、各フレーム画像中から心臓領域を割り出して左心室の心臓壁の基準位置を特定し、例えばその水平方向(X座標。図6参照)の位置に基づいて心臓壁位置Xやその時間変化を例えば図8に破線で示すように算出することができる。
また、この心臓の拍動を示す指標値としての心臓壁位置Xに基づいて、種々の値を算出することができる。
例えば、各フレーム画像における肺野の信号値は、心臓の拍動によって生じる肺血流量によって変わり、肺血流量は、上記の心臓の拍動を示す指標値としての心臓壁位置Xにあわせて変わる。そして、この肺血流量による信号値の増加や減少は、図8に実線で示すように、指標値としての心臓壁位置Xにやや遅れて生じる。この時間的な遅れを、例えばフーリエ級数展開による時間遅れ時間算出方法を用いて位相遅れ時間αTとして算出し、この位相遅れ時間αTに着目すると、肺血流に異常があるか否か等が分かる。
そこで、上記と同様に、各フレーム画像の肺野領域Rを複数の小ブロックA1(図6参照)に分割し、各小ブロックA1内の画素の平均信号値(濃度平均値)を算出し、この平均信号値の時間的推移をプロットすることで、図8に実線で示したように小ブロックA1ごとの平均信号値の時間変化が取得される。そして、この小ブロックA1ごとの平均信号値の時間変化のプロファイルの、図8に破線で示した心臓壁位置Xの時間変化のプロファイルに対する時間的な遅れを解析することで、小ブロックA1ごとに位相遅れ時間αTを算出することができる。
そして、この場合、位相遅れ時間αTは、図9の標準遅れ度合いマップM10に示されるように、心臓の中心部からの距離に応じて略一定であるが、肺野領域内に肺血流機能が異常な箇所があると、その部分の位相遅れ時間αTは大きくなる。そこで、例えば図9に示すように、上記のようにして算出した各小ブロックA1の位相遅れ時間αT(なお図9では各小ブロックA1の位相遅れ時間αTが輝度値の大小で表されマップM11として表されている。)が、それぞれ心臓の中心部からの距離に応じた閾値を越えるか否かを判断する異常判定を行う。
そして、図9の異常判定結果を表すマップM12に濃く示されているように(実際には赤等で着色されて表示される。)、異常判定で閾値を越える小ブロックA1があれば、その部分が被写体Mの肺野において局所的に肺血流に異常がある箇所であることが分かる。このように、これらのマップM12等は、例えば循環器科での急性肺血栓塞栓症(エコノミークラス症候群)等における肺血流の診断等に用いることができる。
なお、この場合も、上記のマップM11、M12等を後述する診断画面の指標値表示部70(後述する図10B参照)に表示する際に、図9に示したように、マップM11、M12とともに標準遅れ度合いマップM10を表示すれば、それらを見た医師等が、被写体Mの肺野において局所的に肺血流に異常がある箇所を容易かつ的確に識別することが可能となる。
以上のように、診断用コンソール3における画像解析処理での換気解析処理(ステップS11)や肺血流解析処理(ステップS12)では、肺の呼吸運動を示す指標の値としての横隔膜の上下方向の高さD(及びその時間変化)や、心臓の拍動を示す指標の値としての心臓壁位置X(及びその時間変化)が算出される。そして、それらの指標の値に基づいてマップM1、M2やマップM11、M12等が生成される。
また、例えば、人体の関節部分の伸縮の様子を撮影した動態画像について画像解析処理を行う場合には、例えば関節部分の曲げ伸ばしの動きを指標とし、関節部分の角度を指標の値として画像解析を行うように構成することが可能である。そして、その画像解析の結果は、例えば外科や整形外科での関節部分の治療や診断等に用いることができる。
[学習について]
次に、本実施形態に係るコンソールの構成について説明する。また、本実施形態に係るコンソールの作用についてもあわせて説明する。なお、以下では、本実施形態に係るコンソールが上記の診断用コンソール3である場合について説明し、単にコンソール3と表すが、後述するように、本実施形態に係るコンソールには上記の撮影用コンソール2も含まれ得る。
次に、本実施形態に係るコンソールの構成について説明する。また、本実施形態に係るコンソールの作用についてもあわせて説明する。なお、以下では、本実施形態に係るコンソールが上記の診断用コンソール3である場合について説明し、単にコンソール3と表すが、後述するように、本実施形態に係るコンソールには上記の撮影用コンソール2も含まれ得る。
前述したように、特許文献2に示されている超音波診断装置や磁気共鳴映像装置等の分野とは異なり、上記のような動態解析の技術は、歴史が浅い新しい検査方法であるため、現状では、医師による診断のルーチンや撮影技師による撮影のルーチンが確立されているとは言えない状況にある。そして、現状では、そもそも医師が検査対象部位の動態画像のどのような箇所に着目して診断を行うかも分かっていない。
そこで、本実施形態では、動態画像のうち医師が関心を示すフレーム画像がどのような特徴を有するフレーム画像であるか、すなわちそのフレーム画像で表示されているどのような指標のどのような値等に医師が関心を持つのかを、コンソール3が学習するようになっている。
そして、医師が関心を示す指標の種類や値は、診断にとって重要な要素であると考えられる。そのため、コンソール3で上記のように学習することは、結局、コンソール3で動態画像中の重要度が高い箇所を割り出すための根拠となる指標やその値を得ることにつながると考えられる。
具体的には、本実施形態では、コンソール3は、表示手段と、学習手段とを有している。上記の例(図1参照)では、診断用コンソール3の表示部34が表示手段に相当し、制御部31(すなわちCPU)が学習手段に相当する。そのため、以下、表示手段34や学習手段31と表す。また、本実施形態では、コンソール3は、図10Aに示すように、キーボードやマウス等の選択手段を有している。上記の例では、キーボードやマウス等が操作部33とされていたことにあわせて、以下、選択手段33と表す。
そして、本実施形態では、コンソール3は、操作者(この場合は医師)の操作に従って動態画像を再生して表示手段34に表示する。そして、コンソール3の学習手段31は、動態画像の再生時に、操作者によって関心を示す可能性がある操作が行われたことを検知すると、その時点で表示手段34に表示されているフレーム画像における、の検査対象部位の動態に関する指標の値(以下、指標値という。)に対して統計処理を行って、指標値の出現頻度を学習するようになっている。
なお、関心を示す可能性がある操作とは、操作者が関心を示した場合に行う操作を表すが、実際には操作者がその操作を行ったのは必ずしも関心を示したからではない場合もあり得るため、「関心を示す可能性がある操作」と表されている。しかし。記載を簡単にするため、以下では、主に「関心を示す操作」と記載する。
また、上記の場合、検査対象部位は、肺だけでなく例えば人体の関節部分等でもよく、その動態に関する指標値は、検査対象部位が肺である場合の横隔膜の上下方向の高さDや心臓壁位置Xだけでなく、検査対象部位が人体の関節部分である場合の関節の角度等であってもよい。以下、具体例を挙げて説明する。
[診断画面の例]
コンソール3(この場合は診断用コンソール3)は、表示手段34上に、例えば図10Bに示すような診断画面を表示するようになっている。この例では、診断画面の左上の部分に、動態画像の各フレーム画像を表示する動態画像表示部40が設けられている。なお、図10Bでは、動態画像表示部40に図4や図6に示したように肺野領域Rが小ブロックA1に分割された状態の動態画像が表示されている場合がしめされているが、動態画像そのものを表示することも可能であり、動態画像表示部40には動態画像を種々の状態で表示することができる。
コンソール3(この場合は診断用コンソール3)は、表示手段34上に、例えば図10Bに示すような診断画面を表示するようになっている。この例では、診断画面の左上の部分に、動態画像の各フレーム画像を表示する動態画像表示部40が設けられている。なお、図10Bでは、動態画像表示部40に図4や図6に示したように肺野領域Rが小ブロックA1に分割された状態の動態画像が表示されている場合がしめされているが、動態画像そのものを表示することも可能であり、動態画像表示部40には動態画像を種々の状態で表示することができる。
診断画面の動態画像表示部40の下側には、動態画像再生操作部50が設けられており、そこに表示されているボタンアイコンをクリックすることで、動態画像表示部40に表示されている動態画像の巻き戻しや再生、一時停止、停止、早送り等を行うことができるようになっている。また、図10Bでは図示を省略したが、例えばフレーム画像の番号を入力できるように構成し、フレーム画像の番号が入力されると動態画像表示部40でその番号のフレーム画像から再生するように構成することも可能である。なお、診断画面の動態画像再生操作部50の下側に設けられている注目フレームスキップ操作部60については、後で説明する。
診断画面の右上の部分には、指標値表示部70が設けられている。指標値表示部70では、例えば、図5や図8に破線で示した指標値(すなわち図5の場合は肺尖と横隔膜の距離D(すなわち横隔膜の上下方向の高さD)、図8の場合は心臓壁位置X)を縦軸とし、時間tを横軸とするグラフ状の表示がなされる。
そして、指標値表示部70では、動態画像表示部40に表示されている動態画像のフレーム画像がどのフレームの画像であるかを、グラフ状の表示中に「表示フレーム」の文字や矢印、線等で示すようになっており、操作者(医師)が、現在、動態画像表示部40に表示されている動態画像のフレーム画像がどのあたりのフレームのフレーム画像であるかや、その際の指標値がどのような値かを一目で理解できるようになっている。
なお、動態画像表示部40に表示されている動態画像のフレーム画像がどのフレームの画像であるかを、指標値表示部70上に文字や矢印、線等で示す代わりに、例えばフレーム画像の番号を表示したり、プログレスバー等で示すように構成することも可能である。
診断画面の指標値表示部70の下側には、解析操作部80が設けられている。そして、図示を省略するが、例えば、解析操作部80の表示指標値選択ボタン81をクリックすると診断画面上にウインドウがポップアップ表示され、ウインドウ上で指標値表示部70上に表示させる指標値(例えば上記の横隔膜の上下方向の高さDや心臓壁位置X等)を選択できるようになっている。
また、解析操作部80の解析パラメーターボタン82をクリックすると同様に診断画面上にウインドウがポップアップ表示され、ウインドウ上で上記の動態解析に用いたパラメーターを変更して入力することができるようになっている。そして、解析パラメーターを入力後に解析再実行ボタン83をクリックすると、上記のようにして入力された解析パラメーターに基づいて動態解析が再度実行され、再度実行された結果の動態画像が動態画像表示部40に表示される。なお、解析パラメーターとしては、上記では説明を省略したが、例えば、各種演算に用いられるパラメーターやローパスフィルタやハイパスフィルターのカットオフ周波数、画素ピッチ、小ブロックA1の大きさ等を挙げることができ、また、動態解析を行う範囲等を変更することもできる。
また、解析パラメーター入力部82で、動態画像表示部40に動態画像を表示させる際の動態画像全体の明るさや拡大率等の動態画像の表示に関するパラメーターを変えることができるように構成することも可能であり、そのための別のボタンアイコンを設けるように構成することも可能である。
そして、本実施形態では、操作者(医師)により診断画面上で解析操作部80の学習ON/OFFボタン84がクリックされると、「学習ON」の状態になり、コンソール3の学習手段31が学習処理を開始するようになっている。なお、学習ON/OFFボタン84が再度クリックされると、「学習OFF」の状態になり、学習手段31は学習処理を停止する。
なお、例えば診断画面上での操作により、例えば動態画像表示部40に表示されているフレーム画像における肺野の縦横サイズや心胸郭比等の種々のデータを計測することができるように構成することも可能である。
[関心を示す操作の検知について]
前述したように、本実施形態では、コンソール3の学習手段31は、動態画像の再生時に、操作者(この場合は医師)により関心を示す操作(関心を示す可能性がある操作)が行われたことを検知すると、その時点で表示手段34(すなわち診断画面の動態画像表示部40)に表示されているフレーム画像における、検査対象部位の動態に関する指標値に対して統計処理を行って、指標値の出現頻度を学習するようになっている。
前述したように、本実施形態では、コンソール3の学習手段31は、動態画像の再生時に、操作者(この場合は医師)により関心を示す操作(関心を示す可能性がある操作)が行われたことを検知すると、その時点で表示手段34(すなわち診断画面の動態画像表示部40)に表示されているフレーム画像における、検査対象部位の動態に関する指標値に対して統計処理を行って、指標値の出現頻度を学習するようになっている。
その際、操作者である医師は、動態画像の中により詳しく見たいフレーム画像がある場合に、そのフレーム画像に対して、動態解析に用いたパラメーター、すなわち前述した各種演算に用いられるパラメーターやローパスフィルタやハイパスフィルターのカットオフ周波数、画素ピッチ、小ブロックA1の大きさ、動態解析を行う範囲等を変更して解析を再度実行する等して、当該フレーム画像に対する解析の仕方を種々に変えてみるという操作を行う場合がある。
そこで、学習手段31は、操作者(医師)によって関心を示す操作が行われたことを、例えば、操作者により動態解析に用いたパラメーターが変更されて入力されることにより検知するように構成することができる。
すなわち、上記の診断画面の例で言えば、操作者が動態画像表示部40に動態画像中のあるフレーム画像が表示された状態で、解析操作部80の解析パラメーター入力部82をクリックし、ウインドウをポップアップ表示させる等して、当該動態画像に対する動態解析に用いたパラメーターを変更して入力する操作を行ったことを学習手段31が検知することによって、操作者(医師)によって関心を示す操作が行われたことが検知される。
また、操作者が、動態画像の中に関心があるフレーム画像を見出した場合、そのフレーム画像を一時停止してよく見たり、或いは行き過ぎてしまった場合には巻き戻して当該フレーム画像を見たりすることはしばしば行われることである。また、上記の診断画面(図10B参照)の動態画像再生操作部50では図示されていないが、例えば動態画像をスロー再生することができるように構成されている場合には、操作者が動態画像の中の関心があるフレーム画像をスロー再生してよく見たりする場合もある。
そこで、学習手段31は、操作者によって関心を示す操作が行われたことを、例えば、動態画像の再生中に操作者により一時停止や巻き戻し、スロー再生の操作が行われたことにより検知するように構成することもできる。
すなわち、上記の診断画面の例で言えば、操作者が、動態画像の再生中に動態画像再生操作部50の一時停止や巻き戻し等のボタンアイコンをクリックして、動態画像を一時停止したり巻き戻す操作を行ったことを学習手段31が検知することによって、操作者によって関心を示す操作が行われたことが検知される。
さらに、フレーム画像をよく見たい場合に、操作者が、動態画像表示部40に動態画像を表示させる際の動態画像全体の明るさや拡大率等の動態画像の表示に関するパラメーターを変えることもしばしば行われる。そのため、学習手段31は、操作者によって関心を示す操作が行われたことを、例えば、操作者により動態画像の表示に関するパラメーターが変更されて入力されることにより検知するように構成することも可能である。
また、例えば、操作者が、診断画面の動態画像表示部40に表示されているフレーム画像の情報を、電子カルテや読影レポート、或いはPACS等の外部システムに出力した場合も、操作者がこのフレーム画像に関心を持っていることが分かる。そのため、操作者によりこのような処理が行われた場合も、操作者によって関心を示す操作が行われたとして検知するように構成することもできる。
或いは、診断画面の動態画像表示部40にフレーム画像が表示されている状態で、操作者がコンソール3上で電子カルテ等に情報を入力したり、その状態で操作者がコンソール3を介して再撮影を依頼する操作を行ったような場合にも、操作者がこのフレーム画像に関心を持っていることが分かる。そのため、操作者によりこのような処理や操作が行われた場合も、操作者によって関心を示す操作が行われたとして検知するように構成することもできる。
このように、本実施形態では、動態画像中の関心があるフレーム画像に関心を持っている場合に、操作者がコンソール3に対して行う可能性がある操作が行われた場合に、学習手段31は、操作者によって関心を示す操作が行われたことを検知するようになっている。そして、このように構成することで、操作者が関心を示す操作を行ったことを的確に検知することが可能となる。
なお、例えば、操作者がトイレ等に行くために一時停止をクリックしたり、或いは動態画像を巻き戻して最初から見直したりするような場合には、操作者が、一時停止したり巻き戻したりしたフレーム画像に関心があるわけではない。そのため、例えば、一時停止が1分以上等の長時間続いた場合や、巻き戻したフレーム数が所定数以上に大きい場合、或いはスロー再生が長い時間行われたような場合には、操作者によって関心を示す操作が行われたとは検知しないように構成することが可能である。
また、上記のように、動態解析に用いたパラメーターを変更する場合でも、例えば単にパラメーターをデフォルト設定(初期設定)に戻すだけの操作が行われた場合には、操作者がその時点で表示されているフレーム画像に関心を持っているとは考えづらい場合がある。そのため、パラメーターを単にデフォルト設定に戻しただけの場合には、操作者によって関心を示す操作が行われたとは検知しないように構成することも可能である。
さらに、一時停止や巻き戻し、スロー再生の操作があった場合に、それだけで操作者によって関心を示す操作が行われたことを検知するのではなく、さらにもう1つの操作があった場合に検知するように構成することも可能である。すなわち、巻き戻しの後に一時停止の操作が行われたことや、一時停止の後に動態解析に用いたパラメーターや動態画像の表示に関するパラメーターが変更されて入力された場合に検知するように構成することも可能である。このように、操作者によって関心を示す操作が行われたことをより確実に検知するための改良が適宜行われることは言うまでもない。
[指標値に対する統計処理について]
一方、本実施形態では、コンソール3の学習手段31は、上記のようにして、操作者によって関心を示す操作が行われたことを検知すると、その時点で表示手段34に表示されているフレーム画像における、検査対象部位の動態に関する指標値に対して統計処理を行って、前記指標の値及び/又は前記指標の値の時間変化のパターンの出現頻度を学習するようになっている。
一方、本実施形態では、コンソール3の学習手段31は、上記のようにして、操作者によって関心を示す操作が行われたことを検知すると、その時点で表示手段34に表示されているフレーム画像における、検査対象部位の動態に関する指標値に対して統計処理を行って、前記指標の値及び/又は前記指標の値の時間変化のパターンの出現頻度を学習するようになっている。
具体的には、本実施形態では、図10Bに示したように、診断画面上で動態画像を再生する際、診断画面の指標値表示部70には、操作者により表示指標値選択ボタン81がクリックされて選択された、肺尖と横隔膜の距離D(図5参照)や心臓壁位置X(図8参照)、或いは関節部分の角度等の指標値が表示されている。なお、操作者がマウスやキーボード等の選択手段33で指標値を選択することは、指標の種類を選択することと同じである。
そして、学習手段31は、表示手段34に表示されているフレーム画像を見た操作者によって関心を示す操作が行われたことを検知した時点で、選択手段33で選択された種類の検査対象部位の動態に関する指標の値、すなわち上記の診断画面の例では表示指標値選択ボタン81がクリックされて選択され、指標値表示部70に表示されている指標値を学習するように構成することが可能である。
そして、本実施形態では、統計処理は、以下のようにして行われるようになっている。なお、以下では、統計処理としてメモリー上に設けたヒストグラムや仮想的な投票用ボックスを用いる場合について説明するが、指標値の出現頻度を割り出すことができる処理の仕方であれば、どのような統計処理であってもよい。
仮に指標の種類をiで表し、指標値をv(i)と表す場合、例えば図11に示すように、予め、指標の種類iごとに、指標値v(i)が所定の階級幅で階級分けされたヒストグラムH(i)をコンソール3のRAM等のメモリー内に用意しておく。そして、本実施形態では、学習手段31は、動態画像の再生時に、上記のようにして操作者により関心を示す操作が行われたことを検知した時点で、選択された種類iの指標の指標値v(i)を、対応するヒストグラムH(i)の対応する階級に投票する。
本実施形態では、このようにして統計処理を行って、操作者が関心を示す操作を行った際に表示手段34に表示されているフレーム画像に現れている検査対象部位の動態に関する指標値v(i)をヒストグラムに投票していくことで、指標値v(i)の出現頻度を学習し、フレーム画像に現れているどのような指標(指標の種類i)のどのような値(指標値v(i))に医師が関心を持つのかを、コンソール3の学習手段31が学習するようになっている。
なお、ヒストグラムH(i)の階級幅をどの程度の階級幅にするか、すなわち大、中、小の3段階程度とするか、或いはより細かく階級分けするか等は、指標の種類i等に応じて適宜決められる。
また、前述したように、動態解析は歴史が浅い新しい検査方法であるため、医師も経験が浅いうちは試行錯誤的に種々の操作を行うことが想定され、そのような操作に基づく学習結果が残っていると、学習結果が利用価値の低いものになってしまう可能性がある。そのため、例えば、ヒストグラムH(i)に投票された指標値v(i)のうち、投票後、所定の時間が経過した指標値v(i)をヒストグラムH(i)中から削除するように構成することも可能である。
一方、上記の例では、操作者は、診断画面の表示指標値選択ボタン81をクリックして選択した指標値v(i)(すなわち指標値表示部70に表示されている指標値v(i))に関心を持ってフレーム画像を見ているケースが多いと想定されるため、上記のように、学習手段31が、操作者によって関心を示す操作が行われたことを検知した時点で、選択された種類iの指標の値(すなわち指標値v(i))を学習するように構成されている場合について説明した。
しかし、前述したように、操作者が動態画像のあるフレーム画像に注目しているとしても、そのフレーム画像において必ずしも診断画面の指標値表示部70に表示されている指標値v(i)に関心を示しているとは限らず、指標値表示部70の指標値v(i)の表示を他の指標値v(i)に切り替えずに(すなわち指標の種類iを他の種類iに切り替えずに)、他の指標値v(i)(具体的には当該他の指標値v(i)が関連する動態)に関心を持ってフレーム画像を見ている可能性もある。
そのため、学習を行う対象の指標値v(i)を、上記のように、操作者により選択された指標値v(i)(すなわち指標値表示部70に表示されている指標値v(i))に限定せずに、予め指定された全ての指標値v(i)(すなわち例えば表示指標値選択ボタン81がクリックされた場合に選択され得る全ての指標値v(i))について、学習手段31が上記のようにしてそれぞれ同時並行で学習を行うように構成することも可能である。
また、操作者(医師)が、動態画像のフレーム画像を見ながら、ある指標値v(i)そのものに関心を示しているのではなく、例えば図12Aに示すように、指標値v(i)の時間変化dv(i)/dtの特異的なパターン(例えば図12A中で「表示フレーム」として示されている部分参照)に関心を示している場合もあり得る。
そこで、この場合は、上記のように指標値v(i)をヒストグラムH(i)に投票するように構成する代わりに、或いはそれと並行して、例えば、コンソール3のRAM等のメモリー内に、予め、図12Bに示すような指標値v(i)の時間変化dv(i)/dtのパターンを投票するためのパターン分けされた仮想的な投票用ボックスB(i)を指標値v(i)ごとに用意しておく。
そして、学習手段31は、動態画像の再生時に、操作者により関心を示す操作が行われたことを検知した時点で、指標値v(i)の時間変化dv(i)/dtのパターンを解析して、対応する仮想的な投票用ボックスB(i)の対応するボックスに投票していくことで、指標値v(i)の時間変化dv(i)/dtのパターンの出現頻度を学習する。そして、このように構成することで、フレーム画像に現れているどのような指標値v(i)の時間変化dv(i)/dtのパターンに医師が関心を持つのかを、コンソール3の学習手段31が学習するようになっている。その際、仮想的な投票用ボックスB(i)の各ボックスをどのようにパターン分けするかは、指標の種類i等に応じて適宜決められる。
動態画像を見た操作者(この場合は医師)が関心を示すフレーム画像に現れている指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンには、診断に有益な情報が多く含まれていると解される。そのため、ヒストグラムH(i)や仮想的な投票用ボックスB(i)への投票数が多く出現頻度が高い指標値v(i)の範囲(階級)や指標値v(i)の時間変化dv(i)/dtのパターンが、診断に有益な情報につながるものと考えられる。
そのため、上記のように構成して、操作者が関心を示したフレーム画像における指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンに対して統計処理を行ってそれらの出現頻度を学習することで、ヒストグラムH(i)の各階級や仮想的な投票用ボックスB(i)の各ボックスへの投票結果(すなわち出現頻度)から、診断に有益な情報を多く含む重要度が高い動態画像中の箇所(すなわちフレーム画像)を、学習手段31が自動的にかつ的確に割り出すことが可能となる。
[効果]
以上のように、本実施形態に係るコンソール3によれば、学習手段31が、動態画像の再生時に、操作者により関心を示す操作(関心を示す可能性がある操作)が行われたことを検知すると、その時点で表示手段34に表示されているフレーム画像における、の検査対象部位の動態に関する指標の指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンに対して統計処理を行って、指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンの出現頻度を学習するように構成した。
以上のように、本実施形態に係るコンソール3によれば、学習手段31が、動態画像の再生時に、操作者により関心を示す操作(関心を示す可能性がある操作)が行われたことを検知すると、その時点で表示手段34に表示されているフレーム画像における、の検査対象部位の動態に関する指標の指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンに対して統計処理を行って、指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンの出現頻度を学習するように構成した。
そのため、学習手段31は、操作者が関心を示したフレーム画像における指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンに対して統計処理を行って出現頻度を学習することで、その学習結果(すなわち上記の例ではヒストグラムH(i)の各階級や仮想的なボックスB(i)の各ボックスにおける出現頻度)を用いて、診断に有益な情報を多く含む重要度が高い動態画像中の箇所(すなわちフレーム画像)を自動的にかつ的確に割り出すことが可能となる。
そのため、動態解析という歴史が浅い新しい検査方法を用いて診断を行う場合に、前述した特許文献2に示されているように撮影技師が重要度を判断して決めるのではなく、診断を行う医師が関心を持つ、診断に有益な情報を多く含む動態画像中の箇所(フレーム画像)を的確に重要度が高い動態画像中の箇所として割り出すことが可能となり、その学習結果は診断に役立つものとなる。
[指標の種類について]
なお、上記の実施形態では、指標の種類として、横隔膜の上下方向の高さDや心臓壁位置X、関節部分の角度等を挙げたが、これらに限定されるものではない。
なお、上記の実施形態では、指標の種類として、横隔膜の上下方向の高さDや心臓壁位置X、関節部分の角度等を挙げたが、これらに限定されるものではない。
例えば、胸部動態画像を動態解析すると、上記のように、肺野領域Rを分割した小ブロックA1ごとに、画素の平均信号値の時間変化(図5の実線参照)や肺血流量による信号値の時間変化(図8の実線参照)等が得られるが、これらの小ブロックA1ごとの画素の平均信号値や肺血流量による信号値を指標や指標値v(i)として学習したり、それらの指標値v(i)の時間変化dv(i)/dtのパターンを学習するように構成することも可能である。
また、上記のように、本実施形態に係る動態画像撮影診断システム100の診断用コンソール3では、各小ブロックA1の肺の換気機能に関する位相遅れ時間αTを表すマップM1や異常判定結果を表すマップM2(図7参照)や、また、各小ブロックA1の肺血流量に関する位相遅れ時間αTを表すマップM11や異常判定結果を表すマップM12が形成される(図9参照)。
そして、呼吸器科の医師が動態画像を見る際に、肺の換気機能が異常である部分における換気機能(すなわち異常である部分の小ブロックA1における画素の平均信号値の時間変化)を見たり、正常な部分での換気機能との差を見る可能性もある。また、循環器科の医師が動態画像を見る際に、肺血流量が異常である部分における小ブロックA1における画素の平均信号値の時間変化を見たり、正常な部分との肺血流量との差を見る可能性もある。
そのため、例えば、肺の換気機能や肺血流量に異常がある部分の小ブロックA1における画素の平均信号値をその部分に特有の指標や指標値v(i)等としたり、或いは、異常がある部分の小ブロックA1と正常な部分の小ブロックA1の画素の平均信号値の差を指標や指標値v(i)等とするなど、異常判定等の結果を利用した指標や指標値v(i)或いは指標値v(i)の時間変化dv(i)/dtのパターンを学習の対象とするように構成することも可能である。
さらに、図1に示した実施形態では、撮影時に、サイクル検出装置16が、サイクル検出センサー15により入力された検出情報に基づいて、呼吸サイクル数や現在呼吸運動の1サイクル中のどの状態であるか(例えば、吸気、吸気から呼気の変換点、呼気、呼気から吸気の変換点のどの状態か)等を検出する。そのため、これらの情報を指標や指標値v(i)として活用し、その指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンを学習の対象とするように構成することも可能である。
この場合、医師は、動態撮影を撮影している際にサイクル検出センサー15が検出した画像を撮影時に見るわけではなく、動態画像の撮影が終了した後、コンソール3の表示手段34上に再生させた動態画像を見て、関心があるフレーム画像があれば関心を示す操作(関心を示す可能性がある操作)を行う。
そのため、上記のように構成する場合には、例えば、撮影時にサイクル検出センサー15が検出した画像等を保存しておき、コンソール3が、動態画像の各フレーム画像と、それと同じ時刻(或いはほぼ同じ時刻)にサイクル検出センサー15で検出された各画像とをそれぞれ対応付けておく。
そして、コンソール3は、動態画像を見た医師が関心を示す操作を行うと、その時点で表示されているフレーム画像に対応する、サイクル検出センサー15で検出された画像を割り出し、その画像における指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンを学習するように構成することが可能である。
動態解析は歴史が浅い新しい検査方法であり、どのような疾病に対してどのような指標値v(i)が診断に適しているかは確定されていないため、少なくとも診断に向けて上記のように学習を行う際には、診断に寄与する可能性がある多くの指標について学習を行うことができるように構成されていることが望ましい。
[関心を示す操作の設定について]
一方、上記の実施形態では、操作者(医師等)が関心を示す操作(関心を示す可能性がある操作)として、例えば動態解析に用いたパラメーターを変更する操作や、一時停止や巻き戻し、スロー再生等の操作が予めコンソール3に設定されており、コンソール3は、設定された操作のいずれかが行われた場合に、操作者により関心を示す操作が行われたことを検知するように構成されていることを前提として説明した。
一方、上記の実施形態では、操作者(医師等)が関心を示す操作(関心を示す可能性がある操作)として、例えば動態解析に用いたパラメーターを変更する操作や、一時停止や巻き戻し、スロー再生等の操作が予めコンソール3に設定されており、コンソール3は、設定された操作のいずれかが行われた場合に、操作者により関心を示す操作が行われたことを検知するように構成されていることを前提として説明した。
しかし、これらの操作は、予め設定されている必要はなく、或いは予め設定された操作に加えて、学習の開始後に、新たな種類の操作を、上記の操作者による関心を示す操作としてコンソール3に入力して設定することができるように構成することも可能である。
このように構成すれば、学習の開始前には想定されていなかった操作が、操作者による関心を示す操作として行われるようになったような場合でも、そのような操作を、操作者による関心を示す操作として的確に加えて設定することが可能となり、操作者による関心を示す操作(関心を示す可能性がある操作)をより的確に検知して的確に学習を行うことが可能となる。
[学習結果の活用について]
一方、上記のようにしてコンソール3で学習された結果を、例えば、以下のように活用するように構成することが可能である。
一方、上記のようにしてコンソール3で学習された結果を、例えば、以下のように活用するように構成することが可能である。
[活用例1:注目度に応じた再生時の頭出し等について]
例えば、ヒストグラムH(i)(図11参照)や投票用ボックスB(i)(図12B参照)への投票結果、すなわちヒストグラムH(i)の各階級の度数Fや投票用ボックスB(i)の各ボックスへの投票数(すなわち出現頻度)を、特許文献2に示されているマーカー(栞)と同様に用いることが可能である。具体的には、例えば以下のように構成することが可能である。
例えば、ヒストグラムH(i)(図11参照)や投票用ボックスB(i)(図12B参照)への投票結果、すなわちヒストグラムH(i)の各階級の度数Fや投票用ボックスB(i)の各ボックスへの投票数(すなわち出現頻度)を、特許文献2に示されているマーカー(栞)と同様に用いることが可能である。具体的には、例えば以下のように構成することが可能である。
コンソール3は、図10Bに示すように、注目度を入力可能な入力手段として、診断画面の動態画像再生操作部50の下側に設けられた注目フレームスキップ操作部60に注目度選択ボタン61を表示する。そして、操作者が注目度選択ボタン61をクリックすると診断画面上にウインドウがポップアップ表示され、ウインドウ上で注目度Iを入力することができるようになっている。注目度Iは、例えば1〜10の範囲の数値として入力される。
この場合、数値が大きいほど注目度が高いことを表している。そして、コンソール3の学習手段31は、注目度Iが入力されると、下記(1)式に従って、上位からの割合γ[%]を算出する。
γ=100−(I−1)×10 …(1)
γ=100−(I−1)×10 …(1)
そして、学習手段31は、上記のように解析操作部80の表示指標値選択ボタン81をクリックする等して選択されている指標値v(i)(すなわち上記の場合は指標値表示部70にグラフ状の表示がなされる指標値v(i))の種類iに対応するヒストグラムH(i)(図11参照)や仮想的な投票用ボックスB(i)(図12B参照)のボックスに投票された指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンのうち、算出した上位からの割合γに含まれる指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンがどの階級やボックスに属するかを特定する。
そして、動態画像を再生する際、上記のようにして特定した注目度Iが高いヒストグラムH(i)の階級や仮想的な投票用ボックスB(i)のボックスに属する指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンが最初に現れるフレーム画像から、動態画像の再生を開始させる(すなわち頭出しする)ように構成することが可能である。
このように構成すれば、操作者の注目度に応じた指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンが現れるフレーム画像から頭出しして動態画像を再生することが可能となる。そのため、操作者が、動態画像を最初から再生して、注目度に応じた指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンが現れるフレーム画像を探す手間を省いて、動態画像を見たいフレーム画像から再生させて見ることが可能となる。
なお、本実施形態では、診断画面の注目フレームスキップ操作部60に表示された再生スキップ操作を表すボタン62、63をクリックすると、操作者が入力した指標値v(i)等や注目度Iに対応するフレーム画像のうち、次のフレーム画像にスキップして頭出しを行ったり、或いは前のフレーム画像にスキップして頭出しを行うこともできるようになっている。
[活用例2:診断用コンソールでの学習結果の撮影用コンソールでの応用について]
また、上記のようにして行われた診断用コンソール3の学習手段31による学習の結果(すなわちヒストグラムH(i)や仮想的な投票用ボックスB(i)及び各階級や各ボックスの出現頻度)を撮影用コンソール2(図1参照)に送信して、撮影用コンソール2で学習結果を応用するように構成することも可能である。
また、上記のようにして行われた診断用コンソール3の学習手段31による学習の結果(すなわちヒストグラムH(i)や仮想的な投票用ボックスB(i)及び各階級や各ボックスの出現頻度)を撮影用コンソール2(図1参照)に送信して、撮影用コンソール2で学習結果を応用するように構成することも可能である。
そして、前述したように、撮影用コンソール2では、動態画像の撮影時に、表示部24に表示された動態画像を撮影技師が確認して、診断に適した画像が取得された(撮影OK)か、再撮影が必要(撮影NG)かが判断される。
そこで、この撮影技師による動態画像の確認の際に、診断用コンソール3から送信されてきた学習の結果に基づいて、例えば、撮影用コンソール2の制御部21が、指標値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンの投票数が多い階級値やパターンが現れるフレーム画像の部分では動態画像をスロー再生して撮影技師が確認し易いようにし、また、それ以外のフレーム画像の部分では動態画像を早送り再生するように構成することが可能である。
このように構成すれば、動態画像のうち、診断に有益な情報が多く含まれているフレーム画像の部分ではスロー再生されるため、撮影技師がそのようなフレーム画像の部分を確実に見極めて、診断に適した画像が取得されているか否かを的確に判断することが可能となる。また、それ以外のフレーム画像の部分では動態画像が早送り再生されるため、フレーム画像中に撮影対象部位が確実に撮影されているか否かを的確に判断しつつ、この確認作業を速やかに行うことが可能となる。
このように、上記のようにして行われた診断用コンソール3の学習手段31による学習の結果を撮影用コンソール2(図1参照)に送信して、撮影用コンソール2で学習結果を応用するように構成することで、撮影技師による動態画像の撮影や確認作業を的確に行うことが可能となるとともに、診断に適した動態画像を的確に撮影することが可能となる。
[撮影用コンソール2自体で学習を行うことについて]
なお、上記の活用例2では、診断用コンソール3で得られた学習結果を撮影用コンソール2に送信して撮影用コンソール2で応用することについて説明したが、診断用コンソール3とは関係なく、撮影用コンソール2自体で学習を行うように構成することも可能である。
なお、上記の活用例2では、診断用コンソール3で得られた学習結果を撮影用コンソール2に送信して撮影用コンソール2で応用することについて説明したが、診断用コンソール3とは関係なく、撮影用コンソール2自体で学習を行うように構成することも可能である。
撮影用コンソール2で学習を行うように構成する際には、上記の診断用コンソール3で学習を行う場合と同様にして学習を行うように構成することが可能である。そして、この場合は、上記のコンソール3はコンソール2(撮影用コンソール2)と読み替えられ、撮影用コンソール2の制御部21が学習手段、表示部24が表示手段ということになる。
そして、操作者である撮影技師は、動態画像の確認作業において診断に適した画像が取得されたか否かを判断する際に、動態画像を一時停止させたり巻き戻したり、或いはスロー再生させたりする場合がある。そのため、操作者によってこのような操作が行われた場合に、操作者がこのフレーム画像に関心を持っていることが分かる。そのため、操作者によりこのような操作が行われた場合に、操作者によって関心を示す操作が行われたとして検知するように構成することができる。
また、操作者である撮影技師が、動態画像が診断に適したものでなく再撮影が必要であると判断した時に、コンソール2の表示手段24に表示されていたフレーム画像も、操作者が関心を持っているフレーム画像であることが分かる。そのため、操作者により再撮影を行う旨の指示の入力操作が行われた場合に、操作者によって関心を示す操作が行われたとして検知するように構成することもできる。
一方、この場合は、動態画像の撮影時に行われる処理であり、動態画像に対してはまだ診断用コンソール3による動態解析が行われていない。そこで、撮影用コンソール2の学習手段21(制御部21)は、統計処理を行う前に、指標値v(i)等の算出処理を行う。
すなわち、学習手段21は、撮影された動態画像に対して、上記の診断用コンソール3の場合と同様に画像処理を行い、或いはより簡易な画像処理を行い、例えば、フレーム画像内に肺野領域Rを特定し、横隔膜の上下方向の高さDや心臓壁位置Xのほか、肺野領域Rを仮に小ブロック(必ずしも上記の小ブロックA1と同じでなくてもよい。)に分割した場合の各小ブロック内、或いは肺野領域R内に設定した関心領域ROI内での画素の平均信号値やコントラストを算出する等して、指標値v(i)を自動的に(すなわち撮影技師の操作によらずに)算出する。
そして、それらの指標値v(i)の学習を同時並行で自動的に行い、それらに対して統計処理を行うように構成すれば、動態画像の中から、撮影技師が診断に適した画像が取得されたか否かを判断する上で関心を持つ指標の値v(i)や指標値v(i)の時間変化dv(i)/dtのパターンの出現頻度を自動的にかつ的確に学習することが可能となる。
そして、その学習結果に基づいて、例えば、撮影技師が動態画像を確認する際に、撮影技師が関心を持つフレーム画像の部分では動態画像をスロー再生させ、それ以外の部分では動態画像を早送り再生させる等することが可能となり、撮影技師が動態画像の確認作業を的確にかつ速やかに行うことが可能となる等の有益な効果を得ることが可能となる。
[その他の構成例]
なお、本実施形態に係るコンソール2、3で得られる学習結果は、将来的には医師による診断のルーチン(診断用コンソール3)や撮影技師による撮影のルーチン(撮影用コンソール2)の確立のために利用されることが考えられるため、病名ごと或いは診療科ごとにヒストグラムH(i)等を設けるように構成して病名や診療科ごとに学習を分けて行うように構成することが可能である。
なお、本実施形態に係るコンソール2、3で得られる学習結果は、将来的には医師による診断のルーチン(診断用コンソール3)や撮影技師による撮影のルーチン(撮影用コンソール2)の確立のために利用されることが考えられるため、病名ごと或いは診療科ごとにヒストグラムH(i)等を設けるように構成して病名や診療科ごとに学習を分けて行うように構成することが可能である。
しかし、この他にも、例えば、医師ごと、患者ごと、投薬データごと、症状ごと、或いは検査対象部位ごと等に学習を分けて行うように構成することも可能である。
また、図示を省略するが、前述した診断画面(図10B参照)の指標値表示部70等に、表示されている指標値v(i)におけるヒストグラムH(i)の各階級や投票用ボックスB(i)の各ボックスの出現頻度やランキング等を表示したり、各階級に対する部分を色分けして表示するように構成することも可能である。
さらに、前述したように、動態画像表示部40に表示されている動態画像のフレーム画像がどのフレームの画像であるかを、例えばプログレスバーで示すように構成することも可能であるが、その際、診断画面の指標値表示部70に表示されている指標値v(i)について、動態画像の各フレーム画像での指標値v(i)の出現頻度やランキング等にあわせて、プログレスバーの対応する部分を出現頻度やランキング等に対応する色に色分けして表示するように構成することも可能である。
また、上記のように、診断画面の指標値表示部70にある指標値v(i)が表示されている状態で、操作者が診断画面上で解析操作部80の解析パラメーターボタン82をクリックし、各種演算に用いられるパラメーターやローパスフィルタやハイパスフィルターのカットオフ周波数等の解析パラメーターを入力して動態解析を再度実行させた場合、指標値v(i)がヒストグラムH(i)の対応する階級に投票される。
そして、この状態で、コンソール3が引き続き動態画像を再生させる際に、例えば指標値v(i)が上記の階級に属する指標値になった場合には、コンソール3が、そのフレーム画像に対して上記の入力されたパラメーターを適用して表示させるように構成することも可能である。
なお、本発明が上記の実施形態等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
放射線画像撮影を行う分野(特に医療分野)において利用可能性がある。
2 撮影用コンソール(コンソール)
3 診断用コンソール(コンソール)
21、31 制御部(学習手段)
23、33 操作部(選択手段)
24、34 表示部(表示手段)
61 注目度選択ボタン(入力手段)
100 動態画像撮影診断システム
dv(i)/dt 指標の値の時間変化のパターン
H(i) ヒストグラム
I 注目度
i 指標の種類
B(i) 投票用ボックス
v(i) 指標値(指標の値)
γ 割合
3 診断用コンソール(コンソール)
21、31 制御部(学習手段)
23、33 操作部(選択手段)
24、34 表示部(表示手段)
61 注目度選択ボタン(入力手段)
100 動態画像撮影診断システム
dv(i)/dt 指標の値の時間変化のパターン
H(i) ヒストグラム
I 注目度
i 指標の種類
B(i) 投票用ボックス
v(i) 指標値(指標の値)
γ 割合
Claims (9)
- 操作者の操作に従って複数のフレーム画像からなる動態画像を再生して表示する表示手段と、
前記動態画像の再生時に、操作者により関心を示す可能性がある操作が行われたことを検知すると、その時点で前記表示手段に表示されている前記フレーム画像における、検査対象部位の動態に関する指標の値及び/又は前記指標の値の時間変化に対して統計処理を行って、前記指標の値及び/又は前記指標の値の時間変化のパターンの出現頻度を学習する学習手段と、
を備えることを特徴とするコンソール。 - 前記指標の種類を選択可能な選択手段を備え、
前記学習手段は、前記動態画像の再生時に、操作者により関心を示す可能性がある操作が行われたことを検知した時点で選択されている種類の前記指標の値及び/又は前記指標の値の時間変化のパターンに対して統計処理を行うことを特徴とする請求項1に記載のコンソール。 - 前記学習手段は、前記指標の種類ごとに、所定の階級幅で階級分けされたヒストグラム、及び/又は前記指標の値の時間変化のパターンを投票するためのパターン分けされた仮想的な投票用ボックスを有しており、前記動態画像の再生時に、操作者により関心を示す可能性がある操作が行われたことを検知した時点で、前記指標の値及び/又は前記指標の値の時間変化のパターンを前記ヒストグラムの対応する階級及び/又は前記仮想的な投票用ボックスの対応するボックスに投票して前記統計処理を行うことを特徴とする請求項1又は請求項2に記載のコンソール。
- 前記関心を示す可能性がある操作は、予め設定されており、及び/又は入力されて設定可能とされていることを特徴とする請求項1から請求項3のいずれか一項に記載のコンソール。
- 前記関心を示す可能性がある操作は、操作者により、動態画像の表示に関するパラメーターが変更されて入力されたこと、又は動態画像の再生中に一時停止、巻き戻し又はスロー再生の操作が行われたことであることを特徴とする請求項1から請求項4のいずれか一項に記載のコンソール。
- 前記関心を示す可能性がある操作は、操作者により動態解析に用いたパラメーターが変更されて入力されること、又は前記表示手段に表示されているフレーム画像の情報が出力されたことであることを特徴とする請求項1から請求項4のいずれか一項に記載のコンソール。
- 前記関心を示す可能性がある操作は、操作者により再撮影を行う旨の指示の入力があったことであることを特徴とする請求項1から請求項4のいずれか一項に記載のコンソール。
- 前記指標の種類を選択可能な選択手段と、
注目度を入力可能な入力手段と、
を備え、
前記学習手段は、選択された前記指標の種類に対応する前記ヒストグラム及び/又は前記仮想的な投票用ボックスのボックスに投票された前記指標の値及び/又は前記指標の値の時間変化のパターンのうち、入力された前記注目度に対応する上位からの割合に含まれる前記指標の値及び/又は前記指標の値の時間変化のパターンが属する前記ヒストグラムの階級及び/又は前記仮想的な投票用ボックスのボックスを特定し、特定した前記ヒストグラムの階級及び/又は前記仮想的な投票用ボックスのボックスに属する前記指標の値及び/又は前記指標の値の時間変化のパターンが最初に現れるフレーム画像から前記動態画像を再生させることを特徴とする請求項3に記載のコンソール。 - 医師が診断に用いる診断用コンソールとして請求項1から請求項7のいずれか一項に記載のコンソールを備え、
さらに、撮影者が動態画像の撮影の際に用いる撮影用コンソールを備え、
前記診断用コンソールとしての前記コンソールは、前記撮影用コンソールに、前記学習手段による学習の結果を送信することを特徴とする動態画像撮影診断システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233682A JP6922971B2 (ja) | 2015-07-22 | 2019-12-25 | コンソール及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015144688 | 2015-07-22 | ||
JP2015144688 | 2015-07-22 | ||
PCT/JP2016/057628 WO2017013895A1 (ja) | 2015-07-22 | 2016-03-10 | コンソール及び動態画像撮影診断システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019233682A Division JP6922971B2 (ja) | 2015-07-22 | 2019-12-25 | コンソール及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017013895A1 true JPWO2017013895A1 (ja) | 2018-04-26 |
JP6638729B2 JP6638729B2 (ja) | 2020-01-29 |
Family
ID=56787210
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017529468A Active JP6638729B2 (ja) | 2015-07-22 | 2016-03-10 | コンソール及び動態画像撮影診断システム |
JP2019233682A Active JP6922971B2 (ja) | 2015-07-22 | 2019-12-25 | コンソール及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019233682A Active JP6922971B2 (ja) | 2015-07-22 | 2019-12-25 | コンソール及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170025158A1 (ja) |
EP (1) | EP3121747A1 (ja) |
JP (2) | JP6638729B2 (ja) |
WO (1) | WO2017013895A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6638729B2 (ja) * | 2015-07-22 | 2020-01-29 | コニカミノルタ株式会社 | コンソール及び動態画像撮影診断システム |
CN106560827B (zh) * | 2015-09-30 | 2021-11-26 | 松下知识产权经营株式会社 | 控制方法 |
JP2018000281A (ja) * | 2016-06-28 | 2018-01-11 | コニカミノルタ株式会社 | 動態解析システム |
EP3936048A1 (en) * | 2016-07-19 | 2022-01-12 | Paramevia Pte. Ltd. | Diagnosis support program |
JP7462898B2 (ja) * | 2018-01-05 | 2024-04-08 | ラドウィスプ プライベート リミテッド | 診断支援プログラム |
JP7183563B2 (ja) * | 2018-04-11 | 2022-12-06 | コニカミノルタ株式会社 | 放射線画像表示装置及び放射線撮影システム |
JP7135775B2 (ja) * | 2018-11-22 | 2022-09-13 | コニカミノルタ株式会社 | 計測装置及びプログラム |
JP7345282B2 (ja) * | 2019-06-03 | 2023-09-15 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7405527B2 (ja) * | 2019-07-12 | 2023-12-26 | グローリー株式会社 | 変化タイミング検知装置、変化タイミング検知方法及び変化タイミング検知プログラム |
JP2021029979A (ja) * | 2019-08-29 | 2021-03-01 | 国立研究開発法人国立がん研究センター | 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法 |
JP7092218B1 (ja) | 2021-01-18 | 2022-06-28 | コニカミノルタ株式会社 | 医療情報管理装置及び医療情報管理プログラム |
CN112580613B (zh) * | 2021-02-24 | 2021-06-04 | 深圳华声医疗技术股份有限公司 | 超声视频图像处理方法、***、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012155455A (ja) * | 2011-01-25 | 2012-08-16 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2012190148A (ja) * | 2011-03-09 | 2012-10-04 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5044069B2 (ja) | 2000-09-26 | 2012-10-10 | 株式会社東芝 | 医用画像診断装置 |
JP4911557B2 (ja) * | 2004-09-16 | 2012-04-04 | 株式会社リコー | 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体 |
WO2009078297A1 (ja) * | 2007-12-19 | 2009-06-25 | Konica Minolta Medical & Graphic, Inc. | 動態画像処理システム |
JP5521392B2 (ja) | 2009-05-22 | 2014-06-11 | コニカミノルタ株式会社 | 動態画像診断支援システム及びプログラム |
JP5408399B1 (ja) * | 2012-03-23 | 2014-02-05 | コニカミノルタ株式会社 | 画像生成装置 |
US8843951B1 (en) * | 2012-08-27 | 2014-09-23 | Google Inc. | User behavior indicator |
JP6638729B2 (ja) * | 2015-07-22 | 2020-01-29 | コニカミノルタ株式会社 | コンソール及び動態画像撮影診断システム |
-
2016
- 2016-03-10 JP JP2017529468A patent/JP6638729B2/ja active Active
- 2016-03-10 WO PCT/JP2016/057628 patent/WO2017013895A1/ja active Application Filing
- 2016-06-22 EP EP16175643.2A patent/EP3121747A1/en not_active Withdrawn
- 2016-06-23 US US15/190,317 patent/US20170025158A1/en not_active Abandoned
-
2019
- 2019-12-25 JP JP2019233682A patent/JP6922971B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012155455A (ja) * | 2011-01-25 | 2012-08-16 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2012190148A (ja) * | 2011-03-09 | 2012-10-04 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020054848A (ja) | 2020-04-09 |
US20170025158A1 (en) | 2017-01-26 |
JP6922971B2 (ja) | 2021-08-18 |
WO2017013895A1 (ja) | 2017-01-26 |
JP6638729B2 (ja) | 2020-01-29 |
EP3121747A1 (en) | 2017-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6922971B2 (ja) | コンソール及びプログラム | |
JP5874636B2 (ja) | 診断支援システム及びプログラム | |
JP2012110400A (ja) | 動態診断支援情報生成システム | |
JP7073661B2 (ja) | 動態解析装置及び動態解析システム | |
JP2017200565A (ja) | 動態解析装置及び動態解析システム | |
JP2018078974A (ja) | 動態画像処理システム | |
JP2017176202A (ja) | 動態解析システム | |
EP3120772A1 (en) | Imaging console and radiation imaging system | |
CN116757991A (zh) | 图像处理装置、图像处理***、图像处理方法及记录介质 | |
JP2012110451A (ja) | 放射線画像撮影システム | |
JP6848261B2 (ja) | 放射線画像処理装置及びプログラム | |
US20190298290A1 (en) | Imaging support apparatus and radiographic imaging system | |
US20200379636A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP5625800B2 (ja) | 動態診断支援情報生成システム | |
US20190180440A1 (en) | Dynamic image processing device | |
JP5772653B2 (ja) | 動態診断支援情報生成システム、動態診断支援情報生成方法及び動態解析装置 | |
JP2020000475A (ja) | 動態画像処理装置及びプログラム | |
JP2014147844A (ja) | 動態診断支援情報生成システム | |
JP6930515B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
JP7143747B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
JP2012005729A (ja) | 胸部診断支援システム及びプログラム | |
JP2021178111A (ja) | 動態画像解析装置、動態画像解析方法及びプログラム | |
JP7424532B1 (ja) | 放射線画像解析装置及びプログラム | |
JP2019054991A (ja) | 解析装置及び解析システム | |
US20230263495A1 (en) | Pulmonary embolism diagnosis support apparatus, pulmonary embolism diagnosis support method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6638729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |