JP6385210B2 - 画像診断支援装置および制御方法、プログラム - Google Patents

画像診断支援装置および制御方法、プログラム Download PDF

Info

Publication number
JP6385210B2
JP6385210B2 JP2014181592A JP2014181592A JP6385210B2 JP 6385210 B2 JP6385210 B2 JP 6385210B2 JP 2014181592 A JP2014181592 A JP 2014181592A JP 2014181592 A JP2014181592 A JP 2014181592A JP 6385210 B2 JP6385210 B2 JP 6385210B2
Authority
JP
Japan
Prior art keywords
image
support apparatus
display
diagnosis support
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014181592A
Other languages
English (en)
Other versions
JP2016054801A (ja
Inventor
豊 江本
豊 江本
裕義 磯田
裕義 磯田
義夫 飯塚
義夫 飯塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014181592A priority Critical patent/JP6385210B2/ja
Priority to PCT/JP2015/004391 priority patent/WO2016035310A1/en
Priority to US15/506,860 priority patent/US10475252B2/en
Publication of JP2016054801A publication Critical patent/JP2016054801A/ja
Application granted granted Critical
Publication of JP6385210B2 publication Critical patent/JP6385210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Eye Examination Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、画像診断支援装置、その制御方法およびプログラムに関する。
医療現場では、X線CT装置、MRI装置、PET装置などの医用画像撮影装置により、複数の断層画像(またはスライス画像)から成る3次元医用画像データを撮像している。医師がこれらの医用画像データを読影して画像診断する際には、複数の断層画像を連続的に切り替えながら表示することが多い。断層画像を連続的に切替表示することで、医師は3次元医用画像データ全体を観察し、一部の断層画像に写った異常陰影を発見することができる。
ところで、近年、高齢化社会を背景とする患者数の増大と医用画像撮影装置の高性能化によって、読影が必要な検査数、1検査当たりの医用画像の種類、1医用画像に含まれる断層画像枚数、画像の解像度のいずれも増大している。このため、医師は、限られた時間内に大量の断層画像を見なければならなくなっており、読影業務における医師の負担が急速に増大している。その結果、読影対象画像の一部を見逃す(読影漏れが発生する)危険がこれまで以上に増している。読影漏れが生じれば、異常陰影を見逃すリスクが増すため、患者の不利益につながる。
特許文献1には、読影業務において、読影者の視線情報とGUIの操作記録を時系列に沿って記録する技術が記載されている。この技術によれば、システムによって読影対象画像に対する読影者の視線が計測及び記録されるので、読影者が観察済みの領域と未観察の領域を識別することができるようになり、未観察領域に対して読影漏れを指摘することが可能となる。
特開2007−319327号公報
しかしながら、上記従来の技術では、視線の中心座標を含む一定の範囲を注目視野とし、注目視野が画像中を走査した領域を観察済みの領域としており、読影者の観察方法に応じて注目視野が変化することを考慮していない。すなわち、医師が1枚の断層画像をじっくり観察している場合は比較的狭い領域を注視しているのに対し、複数の断層画像を連続的に切換表示しながら異常陰影の有無を見ている場合は動体視力が働くためより広い範囲を見ている。従って、従来の技術では読影者の観察済み領域を正しく識別できない場合があり、こうした場合に観察済みの領域であるにも関わらず読影漏れを指摘してしまうという問題が生じる。あるいは逆に、未観察の領域であるにも関わらず読影漏れを指摘できないという問題が生じる。こうした誤った指摘により、読影者は読影業務を妨害されるため、観察済み領域を常に適切に識別することは読影業務を支援する上で重要な課題である。
本発明は上記課題に鑑みてなされたものであり、読影者の画像観察方法によらず適切に観察済み領域を決定できる画像診断支援装置及び方法を提供することを目的とする。
上記の目的を達成するための本発明の一態様による画像診断支援装置は以下の構成を備える。すなわち、
医用画像を表示画面に表示する表示手段と、
ユーザの視線位置を取得する取得手段と、
前記表示画面に表示されている医用画像の観察状態を判定する判定手段と、
前記表示画面上における前記ユーザの観察範囲の大きさを、前記観察状態に基づいて変更する変更手段と、
前記視線位置と前記観察範囲に基づいて、前記医用画像における観察済みの領域を決定する決定手段と、を備える。
本発明によれば、読影者による医用画像の観察状態に応じて、より正確に観察済み領域を決定できる。
本発明の一実施形態に係る画像診断支援システムの全体構成例を示す図。 本発明の一実施形態の処理手順を示すフローチャート。 ユーザが視線を移動していない場合の視野の計測方法を説明する図。 ユーザが視線を移動している場合の視野の計測方法を説明する図。 ユーザが視線を移動している場合の視野角の変化を説明する図。 濃度値が経時変化している図形をユーザが観察している場合の視野角の変化を説明する図。 観察済み領域の計算方法を説明する図。 表示部の表示画面例と視線検出部の取り付け位置の例を示す図。
以下に、図面を参照しながら、本発明の一実施形態について説明する。ただし、本発明の範囲は図示例に限定されるものではない。たとえば、以下では医用画像として3次元画像データを構成する断層画像(CT画像)を表示して読影を行う例を説明するが、読影対象の医用画像はこれに限られるものではない。通常の2次元のX線画像、OCT画像、超音波診断装置による断層画像など、あらゆる医用画像の読影に適用できる。
実施形態に係る画像診断支援装置は、診断対象である症例に係る医用情報(医用画像や電子カルテの情報など)やユーザからの入力情報(ユーザの視線情報やGUIの操作情報など)を取得し、当該症例に係る診断支援を行う。以下では、複数の断層画像から構成される3次元医用画像データを扱う例を用いて説明するが、画像診断支援対象はこれに限定されるものではなく、複数の画像を観察する場合であれば任意の画像データに対して本発明を適用することができる。以下に示す実施形態は、何れも画像診断支援装置の処理方法を説明するための一例に過ぎない。
図1は、本実施形態に係る画像診断支援装置を含む画像診断支援システムの全体構成図である。画像診断支援システムは、画像診断支援装置10とデータベース22を含んでおり、これらの装置は、通信構成を介して互いに通信可能に接続されている。本実施形態においては、通信構成はLAN21(Local Area Network)で構成される。データベース22は、医用画像などのデータを管理する。画像診断支援装置10は、データベース22で管理されている医用画像を、LAN21を介して取得する。画像診断支援装置10は、その機能的な構成として、通信IF31、ROM32、RAM33、記憶部34、操作部35、表示部36、視線検出部37、制御部38を具備する。
画像診断支援装置10において、通信IF(Interface)31は、例えば、LANカード等で実現され、LAN21を介した外部装置(例えば、データベース22)と画像診断支援装置10との間の通信を司る。ROM(Read Only Memory)32は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM(Random Access Memory)33は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部34は、例えば、HDD(Hard Disk Drive)等で実現され、各種情報を記憶する。操作部35は、例えば、キーボードやマウス等で実現され、ユーザからの指示を装置に入力する。表示部36は、例えば、液晶ディスプレイ等を具備し、各種情報をユーザに表示する。
視線検出部37は、ユーザの視線を検出するもので、例えば、複数の視点から同期撮影可能なビデオカメラやアイトラッカー(視線追尾装置)等で実現される。より具体的には、ユーザの顔や目を複数の視点から撮影し、撮影により得られたステレオ画像に対して所定の画像認識処理を施すことにより、ユーザの視線情報を検出する。より具体的には、ユーザの顔の向きや両眼それぞれの虹彩の位置や移動方向等を3次元座標上で求めることにより、表示部36に対するユーザの視線情報を検出する。この視線情報には、表示部36の表示面上のどの位置を見ているかを示す位置情報と、ユーザと表示部36との間の距離情報を含む。そして、視線情報は所定の時間間隔(例えば数ミリ秒)ごとに継続して検出される。
制御部38は、例えば、CPU(Central Processing Unit)等で実現され、ROM32やRAM33に格納されたプログラムを実行することにより画像診断支援装置10における処理を統括制御する。制御部38には、その機能的な構成として、開始終了通知部41、医用画像取得部42、表示制御部43、表示処理部44、視線情報取得部45、観察済み領域記録部46、マーカ生成部47を具備する。制御部38内の各部の機能は、CPUが所定のプログラムを実行することにより実現され、その詳細について図2のフローチャートを参照して説明する。
図2は画像診断支援装置10の制御部38によって制御される本実施形態の処理手順を示すフローチャートである。
ステップS200において、開始終了通知部41は、操作部35から読影開始のユーザ指示が入力されるまで待機する。ユーザから読影開始の指示が入力された場合、開始終了通知部41は、少なくとも医用画像取得部42と観察済み領域記録部46に読影開始を通知し、処理はステップS201へ進む。なお、開始終了通知部41は、必要があれば制御部38内の他の部にも読影開始を通知する。
ステップS201において、医用画像取得部42は、操作部35から入力されたユーザの指示に基づき、通信IF31とLAN21を介してデータベース22から3次元画像データを読み出し、記憶部34へ記憶する。そして、ステップS202において、医用画像取得部42は、ステップS200で読み出した3次元画像データに含まれる複数の断層画像それぞれの属性情報を取得し、表示制御部43へ出力する。断層画像の属性情報には、ステップS201で記憶部34に記憶された3次元画像データに含まれる各断層画像の記憶場所の情報も含まれる。
ステップS203において、表示制御部43は、操作部35から入力されたユーザの指示に基づいて表示する断層画像を選択し、その表示条件を決定し、選択した断層画像の属性情報およびその表示条件を表示処理部44に出力する。ここで、画像の表示条件には、表示部36における画像の表示エリア情報、前記表示エリアに対する画像の表示位置情報、画像の拡大縮小率、画像の左右反転や上下反転の有無、画像の回転角、画像の濃度変換方法などが含まれる。
以下のステップS204〜S207では、表示部36の表示画面に表示されている医用画像の観察状態を判定する。本実施形態では、観察状態の例として、医用画像の切替速度と視線の移動速度を用いた場合を説明するが、これら以外の観察状態を用いてもよい。また、観察状態として切替速度と移動速度のいずれか一方のみを用いてもよい。まず、ステップS204において、表示制御部43は、断層画像の変更頻度(切替速度)を計算し、観察済み領域記録部46に出力する。なお、断層画像の切替速度の計算は、必ずしもステップS204において実行される必要はなく、制御部38が備えるタイマ割り込み機能を利用して、定期的(一定時間毎)に実行されてもよい。ステップS205において、表示処理部44は、表示制御部43から渡された断層画像の属性情報に基づいて記憶部34から断層画像を読み出し、指定された表示条件で断層画像を表示部36に表示する。
ステップS206において、視線情報取得部45は、視線検出部37で連続的に検出された視線情報を連続的に取得し、観察済み領域記録部46へ出力する。視線検出部37の説明で述べた通り、視線情報には、表示部36の表示面上のどの位置を見ているかを示す位置情報と、ユーザと表示部36との間の距離情報が含まれる。
ステップS207において、視線情報取得部45は、視線情報の経時変化に基づいて視線の移動速度を計算し、観察済み領域記録部46へ出力する。ここで、視線の移動速度は、表示部36の表示面上のどの位置をユーザが見ているかを示す位置情報の経時変化量として計算できる。なお、視線の移動速度の計算は、必ずしもステップS207において実行する必要はなく、制御部38が備えるタイマ割り込み機能を利用して、定期的(一定時間毎)に実行してもよい。
ステップS208において、観察済み領域記録部46は、ユーザが観察した断層画像の領域(観察済み領域)を計算する。この際、観察済み領域記録部46は、ステップS204で計算した断層画像の切替速度、ステップS206で取得した視線情報、ステップS207で計算した視線の移動速度を利用して観察済み領域を計算する。観察済み領域の計算方法については後述する。さらにステップS208において、観察済み領域記録部46は、計算した観察済み領域を時系列順に記憶部34に記録する。
ステップS209において、表示制御部43は、操作部35から表示に関するユーザ指示が入力されていないか確認する。もし、表示する断層画像の変更(切替)や、断層画像の表示条件の変更などのユーザ指示が入力されていた場合は、処理はステップS203に戻る。一方、表示に関するユーザ指示が入力されていなかった場合は、処理はステップS210へ進む。
ステップS210において、開始終了通知部41は、操作部35から読影済み領域または未読影領域を示すマーカを表示するためのユーザ指示が入力されていないか確認する。マーカ表示のユーザ指示が入力されていた場合は、開始終了通知部41は、観察済み領域記録部46とマーカ生成部47にマーカ表示実行を通知し、処理はステップS211へ進む。他方、マーカ表示のユーザ指示が入力されていなかった場合は、処理はステップS213へ進む。
ステップS211において、マーカ表示実行通知を受けた観察済み領域記録部46は、ステップS208で計算し時系列順に記録した観察済み領域をマーカ生成部47に出力する。さらにステップS211において、マーカ表示実行通知を受けたマーカ生成部47は、ステップS208で計算した観察済み領域に基づいて、3次元画像データ上に重畳表示するための3次元マーカを生成し、表示処理部44へ出力する。
ここで、3次元マーカとは、3次元画像データに含まれる各断層画像に対する2次元マーカの集合である。そして、2次元マーカとは、対応する断層画像における観察済み領域または未観察領域を識別するための図形または画像である。2次元マーカの例として、未観察領域を所定の色または模様で塗り潰す方法が挙げられる。所定の色または模様は、ユーザの指示により変更できるようにしてもよい。なお、3次元マーカを生成する場合、2次元マーカの厚み(断層画像の2次元面に直交する方向の長さ)は、たとえば断層画像のスライス厚と等しくする。或いは、隣接する所定枚数の断層画像にわたって観察済みとなる(たとえば、n番目の断層画像に生成された2次元マーカを、n+1番目とn−1番目の断層画像にも反映させる)ようにしてもよい。
ステップS212において、表示処理部44は、ステップS211で生成した3次元マーカを入力し、その3次元マーカから表示部36に表示中の断層画像に対応する2次元マーカを取り出し、表示中の断層画像に予め決めた方法で合成する。例えば、断層画像と2次元マーカをそれぞれ50%ずつの透過度で合成する。さらにステップS212において、表示処理部44は、ステップS212で得られた合成画像を表示部36に表示する。これにより、表示中の医用画像上(断層画像上)に、確認済みの領域を示す2次元マーカが重畳表示される。
ステップS213において、開始終了通知部41は、操作部35から読影終了のユーザ指示が入力されていないか確認する。読影終了のユーザ指示が入力されていた場合は、図2の処理を終了する。他方、読影終了のユーザ指示が入力されていなかった場合は、処理はステップS209へ戻り、上述の処理が繰り返される。
なお、ステップS213の実行後に処理がステップS209へ戻り、その後、前述したステップS203〜S208が再実行される場合は、ステップS205の処理をステップS212の処理に置き換えて実行できるようにする。ステップS205の処理をステップS212の処理に置き換えて実行するかどうかは、ユーザが切り換えられるようにする。これにより、ユーザは、観察済み領域にマーカが重畳表示された断層画像を観察することができるので、マーカが重畳表示されていない領域、すなわち未観察領域だけを効率よく読影しなおすことができる。つまり、効率的に読影漏れを防ぐことができる。
以上の処理に関し、制御部38が具備する各部の少なくとも一部を独立した装置として実現してもよい。また、各部の機能を実現するソフトウェアとして実現してもよい。またさらに、制御部38によって実現される機能の少なくとも一部をクラウドコンピューティングによって実現してもよい。すなわち、画像診断支援装置10とは異なる場所にある演算装置とLAN21を介して接続し、データの送受信を行うことで、前記演算装置に上述の処理を実行させてもよい。
次に、図3乃至図7を用いて、図2のステップS208における観察済み領域の計算方法について説明する。本実施形態では、ユーザによる断層画像の観察状態の変化に応じてユーザによる観察済み領域の計算方法を変更する。たとえば、ユーザの視線が静止している状態、視線が移動している状態、断層画像の切り替え表示が行われている状態などに応じて断層画像を観察するユーザの視野の大きさ、すなわち観察範囲を変更して確認済み領域を決定する。
図3は、ユーザが静止した画像を観察している場合、つまり視線を移動していない場合の視野の計測方法を説明する図である。図3において、ユーザ301は表示部36の表示画面302の正面に着座しており、かつ表示画面302の中心に表示された注視図形303を見ているものとする。つまり、ユーザ301の視線方向305は表示画面302の中心(注視図形303)の方向に向いている。この状態で、表示画面302上に、予め決めた形状、サイズ、濃度パターン及び濃度値を持つ図形304を提示した時に、ユーザ301がその図形の存在に気付いたときの視角αを計測する。視角αは、視線方向305と図形304が存在する方向306との内角である。
ユーザ301と表示画面302の中心(注視図形303の表示位置)との間の距離をL1、表示画面302の中心(注視図形303の表示位置)と図形304の提示位置との間の距離をL2とすると、三角関数を用いた式(1)から視角αを求めることができる。なお、tan−1は、三角関数のアークタンジェントである。
α=tan−1(L2/L1) ・・・(1)
視角αの最大値(視野角)αmaxを計測することで、視野(円形の範囲)を求めることができる。視野角αmaxはユーザごとに予め計測しておくことが望ましいが、ユーザごとの計測を省略して標準的な視野角を用いてもよい。さらに、視野角αmaxは水平方向と垂直方向で少し異なるため、それぞれ独立に計測しておくことにより、より正確な視野(楕円形の範囲)を求めることができる。
図2のステップS208では、上述の方法で予め定められた視野角αmaxと、図2のステップS206で取得された視線情報に含まれるユーザと表示部36との間の距離L1’を用いて、式(2)から距離L2’を計算する。なお、tanは、三角関数のタンジェントである。
L2’=tan(αmax)*L1’ ・・・(2)
表示部36の表示画面上でのユーザの視野を円形領域と見なした場合、観察済み領域は、ユーザの注視点を中心とした半径L2’の円形領域として取得できる。もし、視野角αmaxを水平方向と垂直方向でそれぞれ独立に計測していた場合は、式(2)を用いて水平方向の半径と垂直方向の半径をそれぞれ求めることで、観察済み領域は、注視点を中心とした楕円形領域として取得できる。上述の通り、予め定めておくのは静止画像観察時の視野角αmaxなので、ユーザが観察位置を移動することによりユーザと表示部36との間の距離L1’が変動しても、L1’に応じた適切な観察済み領域を取得できる。
図4は、ユーザが移動する図形を観察している場合、つまり視線を移動している場合の視野の計測方法を説明する図である。図4において、ユーザ301と表示部36の表示画面302は、図3と同じ意味で用いており、同じ記号で示している。また、表示画面302上に、予め決めた形状、サイズ、濃度パターン及び濃度値を持つ図形304を提示すること、ユーザに対して図形304が存在する方向を306で示したことも、図3と同様である。
図4において図3と大きく異なる点は、ユーザが確実に観察できる(背景画像とのコントラスト差が大きい)注視用図形403を一定速度で移動させながら表示することである。その際、図形304も一定速度で移動させることにより、注視用図形403に対する相対的な位置(距離と方向)を保つように表示する。また、ユーザが注視用図形403を注視したときの視線方向405と図形304が存在する方向306との内角(視角)をβとする。
また、ユーザと注視用図形403との間の距離をL3、注視用図形403と図形304との間の距離をL4とする。そして、注視用図形403と一緒に一定速度で移動する図形304を提示した時に、ユーザが図形304の存在に気付いた場合の視角βを計測する。この際、注視用図形403を表示画面302の中心付近で移動するように制御すると、視角βは、三角関数を用いた式(3)から近似的に求めることができる。
β=tan―1(L4/L3) ・・・(3)
視角βの最大値(視野角)βmaxを計測することで、視線を移動している時の視野(円形の範囲)を求めることができる。視野角βmaxはユーザごとに予め計測しておくことが望ましいが、予め複数名のユーザの視野角βmaxを計測しておき、その平均値を標準的な視野角と見なして用いてもよい。さらに、視野角βmaxは水平方向と垂直方向で少し異なるため、それぞれ独立に計測しておくことにより、より正確な視野(楕円形の範囲)を求めることができる。
また、注視用図形403の複数種類の移動速度について視野角βmaxを求めておく。図5は、ユーザが移動する図形を観察している場合、つまり視線を移動している場合の視線の移動速度に対する視野角の変化を説明する図である。図4を用いて説明した方法により、注視用図形403の移動速度を変更した時の視野角βmaxの変化を計測することで図5が得られる。
図5において、縦軸は視野角、横軸は視線の移動速度を表している。視野角の単位は度(°)であり、移動速度の単位は移動距離/単位時間(例えば、mm/秒)である。図5に示した通り、視線の移動速度が速くなると視野が狭くなり、移動速度が所定の閾値以上(V1以上)になると正常な観察ができなくなり、視野角0°(視野なし)となる。
次に、断層画像の切替表示を行った場合に、その切替速度による視野の大きさの判定について説明する。図6は、ユーザが、濃度値が経時変化している図形を観察している場合の視野角の変化を説明する図である。一般に、人間は静止物体を観察している時には、その視線位置はほぼ固定され、視野範囲は中心視野と呼ばれる比較的狭い範囲となる。一方、動体を観察している時には、視線位置がほぼ固定されている状態で、周辺視野と呼ばれるより広い視野範囲で観察対象の経時変化を捉えることができることが知られている。読影時に断層画像を切替表示している時の視野角の変化は、図6に示した例と原理的に同じである。
図6において、縦軸は視野角、横軸は時間周波数を表している。視野角の単位は度(°)であり、時間周波数の単位はヘルツ(Hz)である。図6の視覚特性の計測に当たっては、図3とほぼ同様の画像観察方法を用いる。ただし、図3の説明では図形304を静止画像として提示したのに対し、図6の視覚特性の計測に当たっては、図形304の表示/非表示を周期的に変化させる。この際、図形304を背景画像上に重畳表示する際の透過度を、一周期の間に100%(透明)→0%(不透明)→100%(透明)と変化させる。またこの際、図形304の透過度を、三角関数のサイン波と同じように変化させる。こうして周期的に濃度を経時変化させた図形304をユーザに提示した際に、ユーザがその図形の存在に気付いた場合の視角Θを計測し、視角Θの最大値Θmaxを視野角とする。
図6に示した様に、人間の視野角Θmaxは、ある時間周波数Txにおいて最大となる。一方、図6のT1及びT2で示した時間周波数は、動体視力の適用範囲の下限と上限を示している。T1以下の時間周波数では、ユーザは図3と同様に静止画像を見ているものと見なし、静止画像観察時の視野角を適用する。したがって、時間周波数がT1のときの視野角は、図3で説明した測定により求めた視野角αmaxとなる。また、T2以上の時間周波数では、ユーザは図形304の経時変化を正確に認識できない、つまり正しく観察できなくなるので、この場合の視野角は0°(視野なし)とする。なお、時間周波数は、表示部36の表示画面における断層画像の表示の切替速度に対応する(たとえば、2秒ごとに断層像を切り替えている場合、切替速度(時間周波数)は0.5Hzとなる)。
以上、図3乃至図6を用いて、図2のステップS208で説明した観察済み領域の計算方法を説明した。より詳細には、図3を用いて、視線が停止しており断層画像は切り替えていない場合の観察済み領域の計算方法を説明した。図4と図5を用いて、視線が移動しており断層画像は切り替えていない場合の観察済み領域の計算方法を説明した。図6を用いて、視線が停止しており断層画像を切り替えている場合の観察済み領域の計算方法を説明した。
こうして、図3〜図6により説明した手法により、さまざまな観察状態に応じた視野角が取得され、保持される。そして、表示中の断層画像における観察済み領域の決定(ステップS208)においては、まず、ステップS204で取得された断層画像の切替速度、ステップS206で取得された視線情報(視線の移動速度)に基づいてその時の観察状態が判定される。そして、判定された観察状態に対応する視野角が、保持されている各観察状態に応じた視野角の中から取得され、視線情報(ユーザと表示部36との間の距離)に基づいて視野の範囲が決定される。そして、表示中の断層画像において、視線情報(視線位置)と決定された視野の範囲に基づいて観察領域が決定される。たとえば、視線位置を中心として、上記決定された視野の範囲を確認済み領域とする。
なお、視線が移動しており断層画像も切り替えている場合の視野角の計測は、原理的には図4の方法と図6の方法を合わせることにより計測可能である。つまり、図4で説明した一定速度で移動する図形304の透過率を、図6で説明したように所定の時間周波数で変化させた時の視野角を計測し、観察済み領域を計算すればよい。ただし、この方法では変動するパラメータが2つ(図形の移動速度と、図形の透過率を変える周期(時間周波数))になるため、実際にこの方法での視野角の変化を計測するためには非常に時間がかかるので、本実施形態では、以下の簡易な方法を用いている。
断層画像の切替速度が図6のT1より大きくT2より小さい場合(T1〜T2の間の場合)に、視線の移動速度が予め決めた閾値V0以下であれば、図6で説明した方法で視野角及び観察済み領域を計算する。一方、切替速度がT1〜T2の間であり、視線の移動速度が予め決めた閾値V0を超えた場合は、視線の移動と断層画像の切り替えが同時に起こっているので正常な観察が困難になったと判断し、視野角を0°と見なし、観察済み領域はなしとする。
図7に、以上で説明した観察済み領域の計算方法を一覧表にまとめて示す。図7によれば、切替速度が所定の閾値以下(T1以下)の場合には視線の移動速度に基づいて視野が変更され、視線の移動速度が所定の閾値以下(V0以下)の場合には切替速度に基づいて視野が変更される。また、切替速度が所定の閾値以上(T2以上)の場合、視線の移動速度が所定の閾値以上(V1以上)の場合、切替速度>T1且つ移動速度>V0の場合には、視野が無い(観察範囲が存在しない)とする。
一般に読影者であるユーザが3次元医用画像データの広い範囲を効率よく観察する際は、読影者は視点をあまり移動せずに断層画像を連続的に切替表示しながら観察する。この時、周辺視野も含めた広い視野で観察が行われている。この状態は、図7における、断層像の切替速度がT1〜T2の間、視点の移動速度がV0以下、の状態に相当する。
次に、読影者が、異常陰影が写っている断層画像を見つけた場合は、断層画像の切り替えを一旦停止して、異常陰影が写っている領域(注目領域)を詳細に観察する。この場合、中心視野を用いた狭い視野で、より正確な読影が行われている。この状態は、図7における、断層像の切替速度がT1以下、視点の移動速度がV1以下、の状態に相当する。このようにして、図7に示した観察済み領域の計算方法により、こうした読影者の様々な画像観察方法に対応した適切な観察済み領域を計算することができる。
図8に、表示部36の表示画面と視線検出部の取り付け位置の例を示す。図8において、表示部36の表示画面800に隣接する位置に、視線検出部37を取り付ける。図8の例では、表示画面800の直下に視線検出部37を取り付けている。表示画面800には、読影開始ボタン802、マーカ表示ボタン803、読影終了ボタン804、画像表示エリア805などが表示されている。ユーザが各ボタンを押下することにより、上述した読影開始、マーカ表示、読影終了などのユーザ指示が発生する。画像表示エリア805には、ユーザ指示によって選択された断層画像が表示される。
また、画像表示エリア805には、観察済み領域を示すマーカが表示される。図8に示したマーカ806は、ユーザが断層画像を切替表示しながら観察している時の観察済み領域を例示している。マーカ807は、ユーザが断層画像の切り替えを一時停止して、特定の領域を注視している時の観察済み領域を例示している。したがって、マーカ807はマーカ806よりも小さくなっている。
また、図2のステップS212では、すべての観察済み領域に対してマーカが表示されるので、マーカ806とマーカ807は区別されずに表示される。なお、ユーザがマーカ表示ボタン803を押す度に、マーカの表示属性(色や網掛けパターンなど)を変更するようにすることもできる。こうした場合は、マーカ806とマーカ807は異なる表示属性を持つので、区別して表示される。
以上説明したように、本実施例に係る画像診断支援装置によれば、読影者の画像観察方法に対応した観察済み領域の計算方法が用いられるので、読影者の観察状態に応じて、より正確に観察済み領域を決定できる。また、そのようにして決定された観察済み領域に基づいた表示(たとえば、マーカ表示)を行うことにより、より適切に読影漏れを指摘することができる。
(変形例1)
上述の実施形態では、視線検出部37と視線情報取得部45を用いて表示部36に対するユーザの視線情報を取得していた。本変形例では、ユーザが表示部36の所定の位置(例えば中心)に視線を向けていると仮定することにより、視線検出部37と視線情報取得部45を用いずにユーザの観察済み領域を決定できることを示す。以下では、上述の実施形態と同じ部分の説明を省略し、異なる部分についてのみ説明する。
本変形例では、画像診断支援装置10は視線検出部37と視線情報取得部45を備えないか、または備えていても使用しない。視線情報取得部45が不在または使用できないため、図2のフローチャートのステップS206とS207は実行しない。従って、本変形例では、ステップS205の実行後は、ステップS208へ進む。ステップS208において、観察済み領域記録部46は、ユーザが表示部36の中心に視線を向けているという仮定に基づき、ユーザが観察した断層画像の領域(観察済み領域)を計算する。この際、観察済み領域記録部46は、ステップS204で計算した断層画像の切替速度と、前記仮定に基づくユーザの視線情報(表示部36の中心に視線が留まっているという情報)を利用して観察済み領域を計算する。
観察済み領域の計算方法は、上述の実施形態の図3(静止した画像を観察している場合の視野)と図6(断層画像を切替表示している場合の視野)を用いて説明した通りである。つまり、図7において、視線の移動速度がV0以下の場合の計算方法を適用する。これにより、断層画像を切替表示していない場合は表示部36の中心付近(中心視野の範囲)を観察済み領域とし、断層画像を所定の速度で切替表示している場合はより広い範囲(周辺視野の範囲)を観察済み領域とする。
以上説明したように、本変形例に係る画像診断支援装置によれば、ユーザが表示部36の所定の位置に視線を向けていると仮定することにより、視線検出部37と視線情報取得部45を用いなくとも、上述の実施形態と同様の効果を得ることができる。
なお、図3、図4を参照して説明した視角の計測を、読影開始(S200)に先立って、表示部36を用いて行うようにしてもよい。これにより、読影者の視角の個人差に応じた観察範囲を設定することが可能になる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:画像診断支援装置、21:LAN、22:データベース、31:通信IF、32:ROM、33:RAM、34:記憶部、35:操作部、36:表示部、37:視線検出部、41:開始終了通知部、42:医用画像取得部、43:表示制御部、44:表示処理部、45:視線情報取得部、46:観察済み領域記録部、47:マーカ生成部

Claims (13)

  1. 医用画像を表示画面に表示する表示手段と、
    ユーザの視線位置を取得する取得手段と、
    前記表示画面に表示されている医用画像の観察状態を判定する判定手段と、
    前記表示画面上における前記ユーザの観察範囲の大きさを、前記観察状態に基づいて変更する変更手段と、
    前記視線位置と前記観察範囲に基づいて、前記医用画像における観察済みの領域を決定する決定手段と、を備えることを特徴とする画像診断支援装置。
  2. 前記観察状態は、前記ユーザの視線の移動速度を含むことを特徴とする請求項1に記載の画像診断支援装置。
  3. 前記変更手段は、前記移動速度に基づいて前記観察範囲の大きさを変更することを特徴とする請求項2に記載の画像診断支援装置。
  4. 前記変更手段は、前記移動速度が大きくなるほど前記観察範囲の大きさを小さくすることを特徴とする請求項3に記載の画像診断支援装置。
  5. 前記変更手段は、
    前記移動速度が第1の閾値以下の場合には前記観察範囲の大きさを第1のサイズに固定し、
    前記移動速度が前記第1の閾値より大きい第2の閾値以上の場合には前記観察範囲がないとすることを特徴とする請求項2乃至4のいずれか1項に記載の画像診断支援装置。
  6. 前記観察状態は、前記表示画面における医用画像の表示の切替速度を含むことを特徴とする請求項1乃至4のいずれか1項に記載の画像診断支援装置。
  7. 前記観察状態は、前記表示画面における医用画像の表示の切替速度を含み、
    前記変更手段は、
    前記切替速度が第1の閾値以下の場合には前記移動速度に基づいて前記観察範囲を変更し、
    前記移動速度が第2の閾値以下の場合には前記切替速度に基づいて前記観察範囲を変更することを特徴とする請求項2または3に記載の画像診断支援装置。
  8. 前記観察状態は、前記表示画面における医用画像の表示の切替速度を含み、
    前記変更手段は、
    前記切替速度が第3の閾値以下の場合には前記観察範囲の大きさを前記移動速度に基づいて変更し、
    前記切替速度が前記第3の閾値より大きい第4の閾値以上の場合には前記観察範囲がないとし、
    前記移動速度が前記第1の閾値より大きい場合には前記観察範囲の大きさを前記切替速度に基づいて変更することを特徴とする請求項5に記載の画像診断支援装置。
  9. 前記決定手段は、前記医用画像上の前記視線位置を含む前記観察範囲を前記観察済みの領域に決定することを特徴とする請求項1乃至8のいずれか1項に記載の画像診断支援装置。
  10. 前記医用画像は、3次元画像データを構成する複数の断層画像から選択されることを特徴とする請求項1乃至9のいずれか1項に記載の画像診断支援装置。
  11. 前記決定手段は、前記断層画像において決定された観察済みの領域に基づいて、前記3次元画像データの観察済み領域を決定することを特徴とする請求項10に記載の画像診断支援装置。
  12. 医用画像を表示画面に表示する表示手段を有する画像診断支援装置の制御方法であって、
    ユーザの視線位置を取得する取得工程と、
    前記表示画面に表示されている医用画像の観察状態を判定する判定工程と、
    前記表示画面上における前記ユーザの観察範囲の大きさを、前記観察状態に基づいて変更する変更工程と、
    前記視線位置と前記観察範囲に基づいて、前記医用画像における観察済みの領域を決定する決定工程と、を有することを特徴とする画像診断支援装置の制御方法。
  13. 請求項12に記載された画像診断支援装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2014181592A 2014-09-05 2014-09-05 画像診断支援装置および制御方法、プログラム Active JP6385210B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014181592A JP6385210B2 (ja) 2014-09-05 2014-09-05 画像診断支援装置および制御方法、プログラム
PCT/JP2015/004391 WO2016035310A1 (en) 2014-09-05 2015-08-31 Image diagnosis assistance apparatus, control method, and program
US15/506,860 US10475252B2 (en) 2014-09-05 2015-08-31 Image diagnosis assistance apparatus, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014181592A JP6385210B2 (ja) 2014-09-05 2014-09-05 画像診断支援装置および制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2016054801A JP2016054801A (ja) 2016-04-21
JP6385210B2 true JP6385210B2 (ja) 2018-09-05

Family

ID=55439393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014181592A Active JP6385210B2 (ja) 2014-09-05 2014-09-05 画像診断支援装置および制御方法、プログラム

Country Status (3)

Country Link
US (1) US10475252B2 (ja)
JP (1) JP6385210B2 (ja)
WO (1) WO2016035310A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614108B2 (en) * 2015-11-10 2020-04-07 International Business Machines Corporation User interface for streaming spoken query

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03202961A (ja) * 1989-12-28 1991-09-04 Toshiba Corp 画像表示装置
JP2004188002A (ja) * 2002-12-12 2004-07-08 Fuji Photo Film Co Ltd 画像表示装置
JP4380176B2 (ja) * 2003-02-28 2009-12-09 コニカミノルタホールディングス株式会社 医用画像処理装置及び異常陰影候補の検出結果の表示方法
JP2004267273A (ja) * 2003-03-05 2004-09-30 Sangaku Renkei Kiko Kyushu:Kk 医用システム
JP4869978B2 (ja) * 2006-03-28 2012-02-08 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
JP2007319327A (ja) 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
US8059888B2 (en) * 2007-10-30 2011-11-15 Microsoft Corporation Semi-automatic plane extrusion for 3D modeling
JP4458173B2 (ja) * 2008-03-19 2010-04-28 カシオ計算機株式会社 画像記録方法、画像記録装置、およびプログラム
JP5517524B2 (ja) 2009-08-10 2014-06-11 キヤノン株式会社 医療診断支援装置、医療診断支援装置の制御方法およびプログラム
US9117008B2 (en) 2010-08-31 2015-08-25 Canon Kabushiki Kaisha Display apparatus and display method for displaying the radiographing range of a human body to be examined
JP5728212B2 (ja) 2010-11-30 2015-06-03 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびプログラム
US10049445B2 (en) 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
US9047784B2 (en) * 2012-08-02 2015-06-02 International Business Machines Corporation Automatic eBook reader augmentation
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
JP6199024B2 (ja) * 2012-11-26 2017-09-20 東芝メディカルシステムズ株式会社 医用画像表示装置
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10088992B2 (en) * 2013-04-11 2018-10-02 Koninklijke Philips N.V. Enabling a user to study image data
US9400601B2 (en) * 2013-06-21 2016-07-26 Nook Digital, Llc Techniques for paging through digital content on touch screen devices
KR102135367B1 (ko) * 2014-01-23 2020-07-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR20160001465A (ko) * 2014-06-27 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법

Also Published As

Publication number Publication date
US10475252B2 (en) 2019-11-12
US20170256101A1 (en) 2017-09-07
WO2016035310A1 (en) 2016-03-10
JP2016054801A (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
US20220192611A1 (en) Medical device approaches
KR101716421B1 (ko) 정보 제공 방법 및 정보 제공을 위한 의료 진단 장치
KR101539234B1 (ko) 의료 진단 장치의 오류 이벤트 처리 방법, 장치 및 의료 정보 제공 방법, 장치
US8687863B2 (en) Image processing apparatus, control method thereof and computer program
JP5733962B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2011206542A (ja) 自閉症診断支援用装置
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
US20180360304A1 (en) Ophthalmologic information processing device and non-transitory computer-readable storage medium storing computer-readable instructions
US20130257910A1 (en) Apparatus and method for lesion diagnosis
JP6230708B2 (ja) 撮像データセットの間の所見のマッチング
KR20130072810A (ko) 초음파 영상을 이용하여 정중 시상면을 자동으로 검출하는 방법 및 그 장치
Phillips et al. Method for tracking eye gaze during interpretation of endoluminal 3D CT colonography: technical description and proposed metrics for analysis
KR20140145091A (ko) 의료 정보 제공 방법 및 장치
JP2020062215A (ja) 医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置
JP6385210B2 (ja) 画像診断支援装置および制御方法、プログラム
JP6687393B2 (ja) 医用画像診断装置
JP6274479B2 (ja) 画像処理装置、医用画像診断装置及び画像処理プログラム
JP2011251113A (ja) 3次元超音波診断装置およびその操作方法
KR101683176B1 (ko) 정보 제공 방법 및 정보 제공을 위한 자기 공명 영상 장치
JP5533198B2 (ja) 医用画像表示装置及びプログラム
CN111904768B (zh) 医疗设备扫描孔径内图像显示方法和医疗设备
CN110546684A (zh) 时变数据的定量评估
US11461900B2 (en) Dynamic image analysis system and dynamic image processing apparatus
Gong et al. Implementation and initial experience with an interactive eye-tracking system for measuring radiologists' visual search in diagnostic tasks using volumetric CT images
US20120082298A1 (en) Radiological image displaying device and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180807

R151 Written notification of patent or utility model registration

Ref document number: 6385210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151