JP2015100479A

JP2015100479A - 超音波画像処理装置

Info

Publication number: JP2015100479A
Application number: JP2013242194A
Authority: JP
Inventors: 雅山本; Masa Yamamoto
Original assignee: Hitachi Aloka Medical Ltd
Current assignee: Hitachi Ltd
Priority date: 2013-11-22
Filing date: 2013-11-22
Publication date: 2015-06-04

Abstract

【課題】超音波画像の観察時において、検査者が注目している部分についての診断の支援を行い、また、使い勝手のよい視線入力を実現する超音波画像処理装置を提供する。
【解決手段】超音波画像５０上において、特定の組織５２に対して視線位置Ｍ３を合わせることにより、その組織５２が注目組織として特定される。所定の視線操作等を行うことにより計測の実行が認識されると、注目組織５２に対する計測が自動的に実行される。その場合、２つのキャリパ６２，６４等が表示され、更に計測結果を表す計測結果表示像６８がポップアップ表示される。注目組織に対する距離計測や面積計測の他、ドプラ波形に対する流速計測や時間長計測等が実行されてもよい。注目組織の名称をポップアップ表示させることも可能である。超音波画像の外側と内側とで視線位置を表すマーカーの表示形態が変更される。
【選択図】図３

Description

本発明は超音波画像処理装置に関し、特に、視線入力機能を備えた超音波画像処理装置に関する。

超音波画像処理装置として、超音波診断装置、超音波画像を処理する情報処理装置、等があげられる。超音波診断装置は、超音波の送受波により超音波画像を形成する装置である。超音波画像を処理する情報処理装置は例えばパーソナルコンピュータである。以下においては超音波診断装置について説明する。

超音波診断時において、検査者の両手がふさがっている場合、両手以外で超音波診断装置に対して入力を行う必要がある。一方、手による入力を行える場合であっても、検査者の負担をできるだけ軽減し得る入力方法の実現が望まれる。超音波画像を処理する情報処理装置を利用している場合でも、それに対する入力に際して使用者の負担を軽減する必要がある。

特許文献１には目の動きの検出により入力を行える携帯型の超音波診断装置が開示されている。同文献には、視線の動きによって、フリーズ、保存、フリーズ解除等を行えることが記載されている。特許文献２には、ヘッドマウンドディスプレイ（ＨＭＤ）を備えた超音波診断装置が開示されている。ＨＭＤは視線検出機能を備えており、視線によって超音波診断装置に対する入力を行える。この超音波診断装置においては、例えば、視線の移動によって関心領域のサイズや位置を変更することが可能である。特許文献３に開示された超音波診断装置においては、表示画面上の視線位置（つまり視線先の座標）を判定しており、視線位置が属するエリアが判定され、そのエリアに対応付けられた動作条件（例えば送信焦点深さ）が自動的に設定されている。

特開２０１０−２３３８９６号公報特開２０１１−２００５３３号公報特開２００７−１９５８９２号公報

しかしながら、特許文献１乃至３には、超音波画像上において検査者（ユーザー）が注目している対象（臓器、部位、波形等）との関係で、検査者による当該注目対象の診断を支援するための情報を提供することまでは開示されていない。なお、超音波画像上に視線位置を示すマークを無造作に表示すると、その表示態様如何によっては、超音波画像の観察の妨げとなる。そのような点も考慮して、超音波画像の診断を支援することが求められている。

本発明の目的は、超音波画像の観察時において検査者が注目している部分についての診断の支援を行うことにある。あるいは、使い勝手のよい視線入力を実現することにある。

本発明に係る超音波画像処理装置は、超音波画像が表示される表示画面を有する表示器と、前記表示画面上におけるユーザーの視線位置を検出する視線位置検出手段と、前記視線位置に基づいて前記超音波画像内における前記ユーザーの注目対象を判定する注目対象判定手段と、前記表示画面上に前記注目対象の診断において参照される参照情報を表示する表示処理手段と、を含むことを特徴とするものである。

上記構成によれば、表示画面上における、観察者や検査者（つまりユーザー）の視線位置が検出され、その視線位置に基づいて超音波画像内における注目対象が判定される。注目対象は、超音波画像を構成する要素又は部分であり、表示画面上に画一的、定形的に定められる単なるエリアとは異なる。例えば、特定の部位に視線位置が一定時間留まっていた場合にその特定の部位が注目対象として判定される。超音波画像が例えば断層画像であれば注目対象は臓器、組織部位等であり、超音波画像が例えばドプラ波形画像であれば注目対象は波形、波形部分等である。超音波画像内において注目対象が判定された場合、注目対象の診断を支援するための参照情報が表示画面上に表示される。参照情報は、数値情報、テキスト情報等である。それらの情報は広い意味において注目対象の診断に役立つ情報であり、つまり診断を支援する情報である。注目対象が判定された時点で又はその後の適時の段階で、参照情報が画面上に表示される。その場合、超音波画像の観察、特に注目部位の観察をあまり妨げないような態様で参照情報が表示されるのが望ましい。そのための手法として、近傍表示、透かし表示、超音波画像領域外の表示、一時的表示（時限的表示）等があげられる。参照情報の視認性を高めるためにあるいはそれと超音波画像とを区別するために、参照情報に対してカラー処理等の識別処理を施してもよい。

本発明によれば、視線位置から注目対象を自動的に判定して、注目対象の観察時にそれに関する参照情報を提供できる。よって、注目対象の観察や診断の便宜を図れる。超音波画像の観察と同時進行で計測を行うことも可能となる。

注目対象の判定を的確に行うために、それに先立って、超音波画像に対して領域抽出処理、エッジ検出処理、トレース処理等の前処理が施されるのが望ましい。超音波画像は、グラフィック画像のような画一的構成を有する画像ではないので、そのような前処理は注目対象を的確に識別する上で有効である。前処理が施されていない超音波画像を表示する一方、前処理が施された超音波画像を注目対象の判定やその計測で利用してもよい。

望ましくは、超音波画像に対して注目対象の輪郭を検出する輪郭検出手段が利用される。輪郭検出後の超音波画像に対して計測が実行されてもよいし、計測の実行中において輪郭検出手段が利用されてもよい。複数種類の計測が用意されている場合、それらに対応する複数の判定エリアを用意しておき、視線位置によって指定された判定エリアから計測種類を判定してもよい。

望ましくは、前記表示画面上に前記視線位置を示すマーカーを表示する手段であって、超音波画像領域内と超音波画像領域外とで前記マーカーの表示態様を切り換えるマーカー表示手段が設けられる。望ましくは、前記マーカー表示手段は、前記超音波画像領域内と前記超音波画像領域外とで前記マーカーの輝度を変更する。超音波画像流域内においては画像観察上の妨げとならないように、マーカーに対して、低輝度化、輝度反転、輝度重畳、等の手法を適用することが可能である。

本発明によれば、超音波画像の観察時において検査者が注目している部分についての診断の支援を行える。あるいは、使い勝手のよい視線入力を実現できる。

本発明に係る超音波画像処理装置としての超音波診断装置の第１実施形態を示す図である。視線による計測の実行を説明するための図である。計測結果表示像を示す図である。視線による計測を行う場合における動作例を示すフローチャートである。注目組織の指定による一括計測を説明するための図である。ドプラ波形に対する視線による計測の例を示す図である。ドプラ波形に対する計測結果を示す図である。ドプラ波形に対する計測を行う場合の動作例を示すフローチャートである。ドプラ波形に対する計測を行う場合の他の動作例を示すフローチャートである。時間計測の例を示す図である。時間計測の結果を示す図である。本発明に係る超音波画像処理装置としての超音波診断装置の第２実施形態を示す図である。データベースの構造を示す図である。注目組織への視線位置の移動を示す図である。名称表示像の例を示す図である。名称表示像の他の例を示す図である。注目組織エリアの例を示す図である。注目組織エリアの他の例を示す図である。視線位置の移動を示す図である。マーカーの表示形態の変更を説明するための図である。マーカーを含む輝度分布の第一例を示す図である。マーカーを含む輝度分布の第二例を示す図である。マーカーを含む輝度分布の第三例を示す図である。超音波画像領域外におけるマーカーを含む輝度分布と超音波画像領域内におけるマーカーを含む輝度分布とを示す図である。マーカーの更に他の例を示す図である。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１には、本発明に係る超音波画像処理装置の好適な実施形態が示されている。本実施形態に係る超音波画像処理装置は超音波診断装置である。超音波診断装置は、一般に、医療機関に設置され、被検者に対する超音波の送受波により得られた受信信号に基づいて超音波画像を形成する装置である。超音波画像としては、白黒Bモード断層画像、カラーフローマッピング画像、ドプラ波形画像、Mモード画像等が知られている。三次元画像が表示されてもよい。

図１において、プローブ１０は送受波器である。プローブ１０は複数の振動素子からなるアレイ振動子を有している。アレイ振動子によって超音波ビーム１４が形成され、その超音波ビームを電子走査することにより走査面１２が形成される。図１において、ｒは深さ方向を示しており、θは電子走査方向を示している。電子走査方式としては、電子リニア走査方式、電子セクタ走査方式等が知られており、後に示す例においては電子コンベックス走査方式が採用されている。

送信部１６は送信ビームフォーマーであり、送信時において、送信部１６はアレイ振動子に対して複数の受信信号を並列的に供給する。これによりアレイ振動子において送信ビームが形成される。受信時において、体内からの反射波がアレイ振動子で受波されると、アレイ振動子から複数の受信信号が受信部１８へ送られる。受信部１８は、受信ビームフォーマーであり、入力される複数の受信信号に対して整相加算処理を実行し、これにより整相加算後の受信信号としてビームデータを出力する。受信部１８はA／D変換器等を有している。

ビームデータ処理部２０は、入力されるビームデータに対して、検波、対数圧縮等の処理を適用するものである。処理後のビームデータが超音波画像形成部２２へ送られる。本実施形態において、超音波画像形成部２２は、デジタルスキャンコンバータ（ＤＳＣ）により構成されている。すなわち、入力される複数のビームデータに基づいてＢモード断層画像が形成されている。もちろん、他の超音波画像が形成されてもよい。後に示す例においては、超音波ドプラ法に従ったドプラ波形が生成されている。そのようなドプラ波形は連続波ドプラ法あるいはパルスドプラ法によって生成されるものである。Ｍモード画像が形成されてもよい。更に、三次元空間から得られたボリュームデータに基づいて三次元超音波画像が形成されてもよい。超音波画像形成部２２において形成された超音波画像のデータが表示処理部２４へ送られている。

本実施形態においては、視線によって入力あるいは操作を行う機能が搭載されている。具体的に説明すると、カメラ２６によって操作者すなわちユーザーの顔面、特に眼球が撮像される。視線検出にあたって必要に応じて赤外線ＬＥＤ２８による赤外線照射が実行される。採用する視線検出方式に応じた構成を設けるのが望ましい。視線位置検出部３０は、カメラ２６によって撮像された画像を解析することにより、ユーザーの視線を検出する。具体的には、表示画面上における視線位置（視線座標）を検出する。そのような計算にあたっては公知の各種の手法を利用することが可能である。ちなみに、視線位置の検出に先立って公知のキャリブレーションが実行される。視線位置検出部３０において検出された視線位置の情報は、本実施形態において、視線操作解析部３２、計測実行部３４及び表示処理部２４へ送られている。本実施形態においては、リアルタイムで視線位置が検出されている。

なお、視線位置の検出結果が不安定となるような場合には、視線位置の運動に対して平滑化処理等を適用することも可能である。

視線操作解析部３２は、視線位置あるいはその動きが所定の条件を満たす場合に、一定の入力操作が行われたものと判断するモジュールである。例えば、計測時において、水平スケールエリア内に視線位置が位置決められた場合、視線操作解析部３２が水平方向の距離計測の指示（視線による意思表示）を認識する。視線操作解析部３２の解析結果すなわち判断結果が計測実行部３４へ送られている。

計測実行部３４は、超音波画像上において視線位置によって特定される注目対象を判定する機能と、注目対象に対して視線操作解析部３２によって判定された計測を実行する機能と、を有する。計測種別が事前に設定されていればそれに従って計測が実行される。計測実行部３４による計測としては、距離計測（水平距離計測、垂直距離計測）、面積演算、時間計測、等があげられる。これらは一例である。超音波画像の種別や超音波画像の内容に応じて、実行する計測種別を自動的に切り換えるのが望ましい。計測の実行により、計測結果として数値等が得られる。

計測結果表示像生成部３６は、計測結果を含む表示像を生成するモジュールである。そのような計測結果表示像は、超音波画像上において注目対象の近傍にポップアップ表示される。そのような処理を行うのが以下に説明する表示処理部２４である。

表示処理部２４は、本実施形態において、画像合成機能、カラー演算機能等を有している。具体的には、表示処理部２４は、超音波画像上に計測結果表示像等を合成する処理を実行する。本実施形態において、表示処理部２４は消去部３８及びマーク生成部４０を有している。

消去部３８は、計測結果表示像が表示された以降、所定の条件が満たされた場合に計測結果表示像を自動的に消去するものである。例えば、計測結果表示像の表示開始から一定時間が経過した場合、あるいは、計測結果表示像から視線位置が外れた場合等において計測結果表示像を画面上から消去する。もちろん、所定の操作を行うことにより、計測結果表示像を再び画面上に表示させることが可能である。

マーク生成部４０は、視線位置を表すマークを表示画面上に表示するものである。マークとしては多様なものを利用できる。本実施形態において、マーク生成部４０は、超音波画像領域外と超音波画像領域内とでマークの表示形態を切り替える機能を有している。すなわち、超音波画像の観察においてマークができるだけ障害とならないように、超音波画像上ではマークの表示形態が変更されている。マークの表示に関しては後に図１９以降の各図を用いて詳述する。

表示部４２には、表示処理部２４において生成された表示画像が表示される。そのような表示画像には、超音波画像、計測結果表示像、マーク等が含まれる。更に、必要に応じて、後に説明するアイコン列等が含まれる。

制御部４４は本実施形態においてＣＰＵ及び動作プログラムにより構成されている。制御部４４によって図１に示された各構成の動作が制御されている。制御部４４には入力部４５が接続されている。入力部４５は本実施形態において操作パネルにより構成され、それはトラックボール、各種スイッチ等を含む。

本実施形態においては、超音波診断装置が視線入力機能を備えており、両手を使わないで、注目対象の指定、計測の指示、等の操作を行える。これにより、検査者の負担を軽減することが可能である。特に、本実施形態においては、注目組織に関する計測結果表示像として参照情報が適時のタイミングで表示されており、そのような参照情報を参照することにより、注目組織についての観察及び診断を適切に遂行することが可能である。本実施形態によれば、視線を動かすだけで、個々の組織（臓器、部位等）についての所定の計測を順次実行させることも可能である。その際に、個々の組織の観察時にそれに対する計測結果を参照することが可能である。よって、個々の組織の診断を的確に行える。また、検査レポートを作成する際においてもその負担が少ない。

図２には、表示器の表示画面４６が示されている。符号４８は超音波画像の表示エリアを示している。ただし、実際の超音波画像はおよそ扇形の形態を有しており、矩形の表示エリア４８の内で、符号５０で示す扇状のエリアが超音波画像領域である。そこには図示の例において白黒Ｂモード断層画像が表示されている。その画像内には組織５２の断面が表れており、この例では、組織５２は注目対象つまり注目組織である。組織５２に対しては、視線位置の属否を簡便に判定するために、組織エリア５２Ａが設定されている。具体的には、例えば、組織５２に対してあるいは超音波画像全体に対して輪郭抽出処理、エッジ検出処理等の前処理が適用され、これにより組織５２の輪郭すなわち境界が抽出される。その後にラベリング処理等が適用されてもよい。そのような処理を経た上で、組織５２の輪郭に基づいて、それと同じ形態をもって、あるいは、その内部あるいはその外部に、一定の広がりを有する領域として組織エリア５２Ａが設定されている。

画像表示エリア４８は、上辺に相当する位置に水平スケール５４を有しており、右側の垂直辺に相当する位置に垂直スケール５６を有している。水平スケール５４及び垂直スケール５６は目盛りとして機能するものである。

本実施形態において、水平スケール５４に対して、それを実質的に包含する二次元の広がりをもったエリアとして水平スケールエリア５４Aが設定されている。同様に、垂直スケール５６に対して、それを実質的に包含する二次元領域として垂直スケールエリア５６Ａが設定されている。それらのエリア５４Ａ，５６Ａは、視線位置との関係で機能する判定エリアを構成するものである。

図２においては、時間的に異なる３つの視線位置がＭ１，Ｍ２，Ｍ３で表されている。３つの視線位置の内で、Ｍ１が最も時間的に古い位置であり、Ｍ３が最も時間的に新しい位置である。

すなわち、最初に組織エリア５２Ａ内に視線位置Ｍ１が定められる。一定時間にわたってその状態が継続した時点で組織エリア５２Ａが設定されている組織が注目組織であると判定される。その後、水平スケールエリア５４Ａ内に視線位置Ｍ２が定められると、注目組織に対する計測として、水平距離の計測が認識される。その上で再び組織エリア５２Ａ内に視点位置Ｍ３が定められと、組織５２に対する水平幅の計測が実行される。以上の各工程は視線位置を動かすだけで自動的に順次実行されるものである。もちろん、一定の手入力が併用されてもよい。

上記の実行結果が図３に示されている。すなわち、事前に組織５２の境界すなわち輪郭が抽出されており、その輪郭上における水平方向の両端上にキャリパー６２，６４が自動的に表され、それらの間の距離６６として水平幅が計測される。この計測の結果が計測結果表示像６８として数値により表示される。その計測結果表示像６８は、注目組織５２の真上ではなく、そこから変位した近傍位置に表示されている。その場合において、例えば超音波画像上において輝度変化の少ないところを自動的に認識し、そこに計測結果表示像６８が表示されるようにしてもよい。あるいは、後に説明するように、表示画面４６内であって、超音波画像５０に重ならない位置に、計測結果表示像６８が表示されるようにしてもよい。組織とスケールとを所定回数交互に見た場合に計測が実行されるようにしてもよい。

図２に戻って、上述した例では水平方向の計測が行われていたが、視点位置を垂直スケールエリア５６Ａ内に移動させることにより、上記同様の手法によって組織５２の垂直幅を自動的に計測することも可能である。いずれの場合においても、基本的に、視線位置の位置決め及び変更によって、所望の組織に対して所望の計測を行わせ、その計測結果をリアルタイムで観察することが可能である。

図２に示す例において、表示画面４６に含まれるアイコン列５８は複数のアイコン６０により構成されている。個々のアイコン６０は、視線操作用アイコンであり、すなわちアイコン上に視点位置を定めることにより、そのアイコンに対応付けられた機能を実行させることが可能である。個々のエリアあるいは個々のアイコンへの視線による入力は、視線位置が一定時間留まった時点で認識するようにしてもよい。あるいは、瞬き等の他の情報を使って入力を判定するようにしてもよい。

本実施形態において、アイコン列を構成する各アイコンは、例えば、フリーズ、拡大、頁変更等の機能に対応している。その中に計測実行を指示するアイコンが含まれていてもよい。本実施形態においては、フリーズ状態で計測を実行させることもできるし、リアルタイムで動画像を表示しながら計測を実行させることも可能である。超音波画像の種別毎に視線による計測種別を事前に定義しておいてもよい。

図３において、計測結果表示像６８を表示する場合に、超音波画像との識別性を良好にするために、計測結果表示像６８に対してカラー処理、ハイライト処理等を適用するようにしてもよい。また、超音波画像の観察上支障が生じないように、計測結果表示像６８を、透明性を有する像として表示することも可能である。

図４には、以上説明した一連の過程がフローチャートとして示されている。Ｓ１００においては、視線位置に基づいて注目組織が自動的に判定される。例えば一定時間見つめている組織が注目組織であると認識される。なお、事前に超音波画像に前処理を適用し、個々の組織を個別的に識別できるようにしておくのが望ましい。但し、以下に示すように、計測を行う段階において、境界検出等を実行するようにしてもよい。

注目組織の判定後、Ｓ１０２又はＳ１０４が実行される。Ｓ１０２においては、視線位置が水平スケールエリア内に移動したことが判定される。Ｓ１０４においては、視線位置が垂直スケールエリア内に移動したことが判定される。両方の計測を同時に実行する操作エリアを別途用意しておいてもよい。

Ｓ１０６においては、図示の例において、視線位置が注目組織内に再び移動したことが判定される。Ｓ１０８においては、必要に応じて、注目組織に対する抽出処理が実行される。すなわち、注目組織における左右あるいは上下の両端を検出するために、それに先立って注目組織の境界が抽出される。もっとも、前処理として注目組織の抽出処理が完了している場合には、Ｓ１０８の工程をスキップさせることが可能である。

次にＳ１１０又はＳ１１２が実行される。Ｓ１１０においては、注目組織の水平幅が自動的に計測される。Ｓ１１２においては、注目組織の垂直幅が自動的に計測される。この段階において、後に説明するように面積等が演算されてもよい。Ｓ１１４においては、以上のような計測の実行結果がポップアップ表示される。すなわち、計測結果表示像が画面上に表示される。

上記の動作例においては、注目組織に対して再び視線位置が属したことが判定されていたが、それは例示に過ぎない。最初にスケールエリア内に視線位置が定められ、次に注目組織が特定された段階で自動的に計測を行うようにしてもよい。あるいは、組織とスケールとが交互に参照されているような場合に、その組織を注目組織であると判定し、同時に、それに対して計測を実行するようにしてもよい。

図５には、他の計測例が示されている。この例では、注目組織５２について、水平幅及び垂直幅が同時に又は順次に計測されている。図５においては、水平幅を特定する２つのキャリパ６２，６４が示されており、また垂直幅を特定する２つのキャリパ７０，７２が示されている。例えば、そのような２つの計測は注目組織エリア内に視線位置Ｍ４が一定時間属したことをもって自動的に開始されてもよい。エリア４８の外側には、計測結果を示す３つの計測結果表示像７４，７６，７８が表示されている。それらは数値を内容とするものである。計測結果表示像７４は水平幅の計測結果を示すものであり、計測結果表示像７６は垂直幅の計測結果を示すものである。計測結果表示像７８は注目組織の面積の計測結果を示すものである。視線位置がどのような状態になった場合にどのような計測を実行するのかをプリセットデータとして事前に登録しておくのが望ましい。そのようなプリセットデータは超音波画像の種別毎に用意しておくのが望ましい。

次に、図６乃至図１１を用いて、ドプラ波形に対する視線による計測について説明する。図６において、表示画面４６上には、第１画像８０及び第２画像８２が並列表示されている。第１画像８０はＢモード断層画像を含むものであり、それは例えばフリーズ状態にある画像である。Ｂモード断層画像には方位マーク８４及びサンプルゲートマーク８７が含まれている。サンプルゲートマーク８７は例えばＰＷドプラ法においてドプラ情報を抽出するサンプルゲートの位置及び大きさを示すものである。

第２画像８２は図示される例においてドプラ波形を含む画像である。ドプラ波形は２つの波形部分８６，８８を有している。それぞれ一心拍分の波形に相当する。第２画像８２における左側の垂直辺上及び右側の垂直辺上にはそれぞれ流速を表すスケール９０，９２が設けられている。それらは目盛りを構成するものである。各スケール９０，９２をそれぞれ包含するエリアとしてスケールエリア９０Ａ，９２Ａが設けられている。例えば、最初に視線位置Ｍ５を特定の波形部分に位置決めることにより、その特定の波形部分を注目対象として認識させることができる。その上で、例えば図６に示されるように、スケールエリア９２Ａ内に視線位置Ｍ６を設定することにより、自動的なピーク値検出を実行させることが可能である。

その実行結果が図７に示されている。注目対象となった波形部分８６は、図示の例において３つのピークを含み、それらがいずれも注目ピークであると自動的に認識されており、それらに対してマーカー９４，９８，１０２が表示されている。ここでは２つの山ピーク９４，９８と１つの谷ピーク１０２とが特定されている。それぞれのピークについてピーク値が自動的に計測されており、それらの計測結果が計測結果表示像９６，１００，１０４として示されている。それらは、それぞれのピークの近傍に表示されている。但し、ドプラ波形を隠さない位置に、すなわちドプラ波形から退避した位置に表示されている。表示位置についてはあらかじめプリセットしておくことも可能である。

ドプラ波形に対する視線による計測についての動作例が図８及び図９においてフローチャートして示されている。まず図８に示す第１の動作例について説明する。Ｓ２００においては、ドプラ波形に対する前処理として自動トレース処理が実行される。この場合においては公知の各種技術を用いることが可能である。Ｓ２０２においては、視線位置に基づいて注目波形部分が判定される。例えば一心拍を単位として複数の波形部分が画定され、その中から特定の波形部分が注目対象であるとして認識される。もちろん、特定のピークを注目ピークであるとして認識するようにしてもよい。

Ｓ２０４においては、視線位置が流速スケールエリア内に移動したことが判断される。そして、Ｓ２０６において、注目波形部分が有する個々のピークが特定された上で、個々のピークについてピーク値が計測される。それらの計測結果が画面上に表示される。

図９には第２の動作例が示されている。Ｓ３００においては、上記同様にドプラ波形の自動トレース処理が実行される。Ｓ３０２においては、視線位置を特定のピークに合わせることにより、そのピークが注目ピークであるとして認識される。Ｓ３０４においては、視線位置が流速スケールエリア内へ移動したことが判定され、それによってＳ３０６で計測が自動的に実行される。具体的には、Ｓ３０６において注目ピークについてのピーク値が計測され、その結果が画面上に表示される。

Ｓ３０８においては、以上の処理を次のピークについて実行するか否かが判断され、実行させる場合、Ｓ３０２以降の各工程が繰り返し実行される。この場合においては、新しいピークに対して視線位置を一定時間留めることにより、次の処理の開始を認識させるようにしてもよい。

図１０及び図１１には更に他の計測例が示されている。図１０において、表示画面４６は第１画像１０６及び第２画像１０８を含む。第１画像１０６はＢモード断層画像を有しており、そこには２つの方位マーカー１１０，１１２が示されており、また２つのサンプルゲートマーカー１１４，１１６が示されている。すなわち、２箇所からのドプラ情報がそれぞれ個別的に解析され、これによって２つのドプラ波形が生成されている。

それらを含む画像が第２画像１０８である。すなわち、第２画像１０８は上段画像としてのドプラ波形画像１１８と、下段画像としてのドプラ波形画像１２０と、を有している。ドプラ波形画像１１８の上辺には時間軸を表すスケール１２２が設けられ、ドプラ波形画像１２０における下辺にも同様のスケール１２４が設けられている。本実施形態においては、スケール１２２に対してそれを含むスケールエリア１２２Ａが設定され、スケール１２４に対してそれを含むスケールエリア１２４Ａが設定されている。例えば、最初にドプラ波形画像１１８内における特定の立ち下がり点が視線位置Ｍ７によって特定された上で、下段のドプラ波形画像１２０において特定の立ち下がり点が視点位置Ｍ８によって特定される。その後、スケールエリア１２２Ａ内に視点位置Ｍ９を位置させることにより、時間軸方向の自動計測が実行される。

その計測結果が図１１に示されている。すなわち、視線の位置によって特定された２つの期間がマーカー１２６，１２８によって表されており、それらの間の時間長が計測されている。その計測結果を表すものが計測結果表示像１３０である。そこには数値として時間長が表されている。

以上の例においてはドプラ波形についての計測が実行されていたが、例えばＭモード画像等に対しても同様の処理を適用することが可能である。

図１２には本発明に係る超音波診断装置の第２実施形態が示されている。なお、図１に示した構成と同様の構成には同一符号を付し、その説明を省略する。図１２に示す超音波診断装置においては、超音波画像上において視線位置によって注目組織が特定された場合、その注目組織の名称が画面上にポップアップ表示される。これについて以下に詳しく説明する。

視線位置検出部３０は、上述したように表示画面上における視線位置を座標として検出するものである。その検出結果が名称判定部１３４及び表示処理部１３８へ送られている。

名称判定部１３４は、データベース（ＤＢ）の１３２の参照により、現在観測を行っている断層画像上における特定の組織についての名称を自動的に判定するものである。その場合において、視線位置が属している組織が注目組織であると判定されており、それについての名称が特定されている。その場合にはデータベース１３２が参照される。その具体例については後に図１３を用いて説明する。名称判定部１３４は、データベース１３２内のサンプル画像群の中から、現在形成されている断層画像に適合するサンプル画像を特定する。個々のサンプル画像においては個々の臓器あるいは部位毎に名称が関連付けられており、視線位置に基づいて臓器名称あるいは部位名称を特定することが可能である。特定された名称は名称表示像生成部１３６に送られている。名称表示像生成部１３６は参照画像として名称表示像を生成するものである。その画像データが表示処理部１３８に送られている。

表示処理部１３８は、超音波画像と名称表示像とを含む表示画像を生成し、その画像データを表示部４２へ送っている。表示画像には上述したように視線位置を表すマークも含まれる。

図１３には、データベース１３２の構造が模式的に示されている。データベース１３２は、例えば診断科目毎に設けられた複数のテーブル１４０を有している。個々のテーブル１４０は、複数のサンプルイメージ１４２を有している。個々のサンプルイメージ１４２においては、名称を管理している臓器あるいは部位毎に、座標区分に相当する領域１４４が設定されている。そして、個々の領域１４４毎に名称データ１４６が関連付けられている。

したがって、診断科目が特定されると、いずれかのテーブル１４０が選択され、そのテーブル１４０に含まれる複数のサンプルイメージ１４２と、現在表示している超音波画像と、の間でマッチング処理が実行されている。図１３に示す例では、符号１４８によって、比較基準となる超音波画像が表されており、符号１４９によって、段階的なマッチング処理が表されている。サンプルイメージ毎にマッチング処理を行った結果として、もっとも整合度の高いイメージとして特定のサンプルイメージが判定される。次に、そのサンプルイメージが含む複数の領域の中から、符号１５０で示すように、現在の視線位置が属する領域あるいは注目組織に対応する領域が判定される。その判定された領域に対応する名称データが符号１５２で示すように外部へ出力されている。

図１２に示した超音波診断装置の動作を図１４乃至図１６を用いて説明する。

図１４において、表示画面１５４には表示エリア１５６が設定されておりその内部には超音波画像エリア１５８が設定されている。それは断層画像に相当する部分である。

視点位置Ｍ１０が移動して視点位置Ｍ１１が生じた後、そのような状態が一定時間継続したことをもって、組織１６０が注目組織として判定される。この場合において、組織ごとに事前に組織判定エリアを定めるようにしてもよい。次に、図１５に示されるように、データベースの参照によって、注目組織の名前が診断を支援する名称表示像１６２として画面上に表示される。この例においては断層画像エリア１５８内にそのような名称表示像１６２が表示されている。

以上のように、断層画像上において、注目する臓器あるいは部位に視点位置を合わせると、その組織あるいは部位についての名称が自動的に自然に画面上に表示されることになる。そのような参照情報の提供により、超音波画像を見慣れていない検査技師や医師に対して、同人の診断を支援することが可能である。また、超音波診断のトレーニングに上述した機能を役立てることが可能である。

名称表示像は、その表示開始から一定時間経過後に自動的に消去される。あるいは、視線位置が注目組織から外れた場合に自動的に消去される。消去条件をユーザーにおいて任意に設定できるようにしておくのが望ましい。

図１６には他の表示例が示されている。その例においては、名称表示像１６４が表示エリア１５６の外側に表示されている。名称表示像１６４と注目組織１６０とを関連付けるものとしてラインマーカー１６６が引出し線のように表示されている。このように、名称表示像の表示態様として多様なものを採用することが可能である。

図１７には組織１７０に対して自動的に設定される判定エリア１７２が示されている。例えば、輪郭抽出処理を超音波画像に適用することにより、個々の組織の輪郭を抽出でき、それに基づいて判定エリア１７２を自動的に設定することが可能である。例えば、判定エリア１７２は組織輪郭と同一の形状として構成することができ、あるいは、その相似形として組織１７０内部あるいは外部に判定エリア１７２を設定することが可能である。

図１８には、他の判定エリアの設定例が示されている。組織１７３に対してはそれとほぼ同一形態をもって判定エリア１７４が設定されている。但し、判定エリア１７４は３つのサブエリア１７４Ａ，１７４Ｂ，１７４Ｃにより構成されている。そのような構成によれば、個々のサブエリア毎に部位の名称等を表示することが可能である。すなわち、視線位置が属するサブエリアに対応する名称を画面上に表示することが可能である。

次に、視線位置を表すマークの表示について幾つかの具体例を説明する。図１及び図１２に示した超音波診断装置においては、超音波画像エリアの外側と内側とで視線位置を表すマークの表示形態が切り替えられている。すなわち、超音波画像の観察にあたって視線位置を表すマークができるだけ障害とならないように、マークの表示形態が変更されている。以下、これについて詳述する。

図１９において、表示画面１５４は、表示エリア１５６を有し、その内部には超音波画像１５８が表示されている。表示エリア１５６は超音波画像１５８以外の画像部分も有している。Ｍ１２〜Ｍ１９はそれぞれ順番に変化する視点位置を表している。視点位置Ｍ１２，Ｍ１３では、第１表示形態をもったマークが表示される。例えば、高輝度をもった非常に目立つ態様でマークが表示される。視点位置が超音波画像の外部から内部へ移行すると、それに伴いマークの表示形態も変更される。具体的には第１表示形態から第２表示形態へ切り替わる。第２表示形態は、マークを認識できるものの、超音波画像の観察においてあまり支障を与えないものである。Ｍ１４〜Ｍ１７は、それぞれ超音波画像上における視線位置を表すマークを示している。超音波画像エリアの外側においては、Ｍ１８，Ｍ１９で示すように、再び第１表示形態をもって視線位置を表すマークが表示される。

図２０には、表示形態の変更例が幾つか示されている。符号１７６は第１表示形態を示しており、すなわち、それは超音波画像外において表示されるマークの表示形態である。例えば、それは高輝度をもったマークである。それは内部がベタ塗りされたものである。図示された第１表示形態は例示に過ぎないものである。

一方、符号１７８〜１８６は第２表示形態の第１例乃至第５例を示している。第２表示形態の第１例１７８は、第１表示形態１７６と同じサイズを有している。しかし、その輝度は第１表示形態よりも低く抑えられている。第２表示形態の第２例１８０は、第１表示形態１７６よりも小さなサイズを有している。その輝度は第２表示形態１８０よりも低く抑えられている。第２表示形態の第３例１８２は、第１表示形態１７６と同じサイズを有するものの、その内部への塗り潰しは行われておらず、外形のみが破線等によって表現されている。第２表示形態の第４例１８４はリング状あるいはドーナツ型を有するマークである。その内部においては断層画像が表示される。第２表示形態の第５例は十字形態を有しており、十字の外形がラインで表示されている。このように多様な表示形態を採用することが可能である。いずれにおいてもＢモード画像の観察にあたってそれをあまり妨げず、しかもその位置を認識できるような形態を採用するのが望ましい。

マークの表示形態について更に説明すると、以下に示すように、超音波画像上において表示されるマークを超音波画像と融合させることも考えられる。

図２１において、横軸はＸ方向の位置を示している。縦軸は輝度を示している。符号１８８は、Ｘ軸方向の輝度部分を示しており、それはＢモード画像の一部を構成するものである。図２１に示す例において、符号１９０で示す部分がマークに相当しており、例えばそれは一定の輝度をもった円形のマークである。ΔＩ１は、マークにおける輝度の降下分ΔＩ１を示している。マーク１９０の内部においてはＢモード画像の波形部分がそのまま残留しており、その結果、マークの内外において画像の繋がりを維持することが可能である。同時に、マークの位置を視認することが可能である。マークが暗く表現されるために、Ｂモード画像の観察に大きな影響が及ぶことはない。

図２１に示す例はマークを暗く表示するものであったが、図２２に示す例ではマークが明るく表現されている。すなわち、輝度分布１９２において、円形のマーク１９４内においては一定のオフセット値が与えられている。その部分における輝度の上昇分がΔＩ２で示されている。マーク１９４内においてはＢモード波形部分１９４Ａがそのまま重畳されている。よって、マーク内外で平均輝度に一定の高低差が生じているものの、マーク内外において画像の繋がりを維持することができる。

図２３にはリング状のマークの例が示されている。輝度分布１９６において、符号１９８，２００で示す部分が帯部分に相当する。そこにおいても波形部分１９８Ａ，２００Ａが重畳されており、すなわちマイナスオフセット値が与えられている。輝度降下分がΔＩ３で示されている。マークの内部において微細構造を表す波形が維持されている。帯部分においても同様である。

以上のように、Ｂモード画像に対して輝度差を有しつつも、Ｂモード画像の構造表現を一定程度維持できる態様をもってマークを表現すれば、視線位置の表現とＢモード画像の観察とを両立させることが可能である。

図２４に示す例おいて、（Ａ）には超音波画像外におけるマークを含む輝度分布が示されており、（Ｂ）は超音波画像内におけるマークを含む輝度分布が示されている。（Ａ）に示すように、超音波画像外においては、背景輝度２０２Ａ上にマーク２０２が表されている。それは例えば円形のマークであり、それは輝度２０２Ｂを有している。一方、視線位置が超音波画像内に変化した場合、（Ｂ）に示すように、輝度分布２０４において、マーク２０６に相当する部分が一定のオフセット値をもって高輝度に表現されている。ただしマーク内においてはＢモード画像の波形情報２０４Ｂが重畳されており、すなわち、それの外側の波形部分２０４Ａとの間において波形上の繋がり関係が維持されている。

このように、超音波画像外においては、視線位置を明確に表示するために、明瞭な形態をもってマークを表示するのが望ましく、一方、超音波画像内においては、超音波画像の観察を妨げないように、しかもマークの位置を特定できるように、マークを表示するのが望ましい。

なお、図２５には他の表示例が示されている。その例において、表示画像１５４には水平ライン２０６及び垂直ライン２０８が表示されており、それらの交点２１０として視点位置が表現されている。ライン２０６は上下に運動するラインであり、ライン２０８は左右に運動するラインである。このような構成によれば、それぞれのラインそれ自体が非常に細くあるいは輝度差の少ないものとして表現されていても、線の連続性をもって交点の位置すなわち視点位置を直感的に容易に認識することが可能である。

以上説明した超音波診断装置によれば、視線を利用して計測や情報表示等を簡便に行える。特に、超音波画像における特定の部分を注目対象として指定した上で、それに関して関連情報を適時に画面上に表示させることが可能である。更に、視点位置を表すマークの表示にあたっては、画像観察をできるだけ妨げないような表示形態が採用されているので、視点位置の認識と画像観察とを両立させることができる。上記実施形態においては、超音波診断装置について説明したが、超音波画像処理装置としてのパーソナルコンピュータ等において上記の各機能が実現されてもよい。超音波診断時においては、プローブ操作等のために両手が塞がっている場合があり、そのような場合において、上記の視線入力機能を活用することが可能である。

３０視線位置検出部、３２視線操作解析部、３４計測実行部、３６計測結果表示像生成部、１３２データベース、１３４名称判定部、１３６名称表示像生成部。

Claims

超音波画像が表示される表示画面を有する表示器と、
前記表示画面上におけるユーザーの視線位置を検出する視線位置検出手段と、
前記視線位置に基づいて前記超音波画像内における前記ユーザーの注目対象を判定する注目対象判定手段と、
前記表示画面上に前記注目対象の診断において参照される参照情報を表示する表示処理手段と、
を含むことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記超音波画像に対して前記注目対象の輪郭を検出する輪郭検出手段と、
前記超音波画像上において前記注目対象の輪郭に基づいて計測を実行する計測手段と、
を含み、
前記参照情報は前記注目対象に対して実行された計測の結果である、
ことを特徴とする超音波画像処理装置。
請求項２記載の装置において、
前記表示画面内に設定された複数の判定エリアの中で前記視線位置が属した判定エリアに基づいて計測種類を判定する計測種類判定手段を含み、
前記計測手段は前記判定された計測種類に従って前記注目組織についての計測を実行する、
ことを特徴とする超音波画像処理装置。
請求項１記載の装置において、
前記視線位置に基づいて前記注目対象としての組織の名称を判定する名称判定手段を含み、
前記参照情報は前記組織の名称である、
ことを特徴とする超音波画像処理装置。
請求項１乃至４のいずれか１項に記載の装置において、
前記表示画面上に前記視線位置を示すマーカーを表示する手段であって、超音波画像領域内と超音波画像領域外とで前記マーカーの表示態様を切り換えるマーカー表示手段を含む、
ことを特徴とする超音波画像処理装置。
請求項５記載の装置において、
前記マーカー表示手段は、前記超音波画像領域内と前記超音波画像領域外とで前記マーカーの輝度を変更する、
ことを特徴とする超音波画像処理装置。