JP4825124B2 - 超音波画像通信システム - Google Patents

Description

本発明は、ネットワークを介して超音波画像データを送受信する超音波画像通信システムに関する。

超音波診断装置は、胎児や心臓などの診断に好適であり、また、手術などの支援装置としても利用されている。このように、医療現場などにおいて極めて利用価値の高い超音波診断装置を遠隔医療に利用する試みが成されている。

例えば、特許文献１には、超音波診断装置によって得られた超音波画像データをネットワーク等を介して送受信する技術が提案されている。特に特許文献１には、超音波動画像をＭＰＥＧ２などの画像圧縮処理を利用して符号化して伝送する技術が記載されている。

特開２００４−２６７３０１号公報

ネットワーク等を介して超音波画像データを送受信することにより、例えば、遠隔地から病院へ送信される超音波画像データに基づいて、病院に居る医師が遠隔地に居る患者を診断することなどが可能になる。

ネットワーク等を介して送受信される超音波画像データに基づいた診断の際には、送受信される超音波画像データの画質を考慮することが望ましい。例えば、送受信状態が悪化して超音波画像が不明瞭な状態での診断に比べて、送受信状態が良好で超音波画像が明瞭な状態での診断の方がより信頼度が高い。したがって、より信頼性の高い診断を行うためには、例えば、超音波画像を利用して診断する医師が、送受信状態などの影響を受けたその超音波画像の画像状態を把握できることが望ましい。

このような背景において、本願発明者らは、送受信状態などの影響を受けた超音波画像の画像状態を医師などが把握することができる技術について、研究開発を重ねてきた。

本発明は、その研究開発の過程において成されたものであり、その目的は、ネットワークを介して送受信される超音波画像データの画像状態を評価する技術を提供することにある。

上記目的を達成するために、本発明の好適な態様である超音波画像通信システムは、超音波を送受波することによりエコーデータを得る送受波部と、エコーデータに基づいて複数フレームの超音波画像データを形成する画像形成部と、複数フレームの超音波画像データを各フレームごとにエンコードすることにより通信データを形成するエンコード部と、ネットワークを介して得られた通信データを各フレームごとにデコードして複数フレームの超音波画像データを復元するデコード部と、復元された各フレームごとの超音波画像データ内におけるデータロス数に応じた指標値を算出する画像評価部と、を有することを特徴とする。

上記構成において、エンコード部は、超音波画像データをエンコードする際に、例えば、各フレーム内で画像データを圧縮処理してもよい。また、必要に応じて、例えば画質が劣化しないとみなせる範囲で、複数フレームの画像データを時間軸方向に圧縮処理してもよい。なお、ネットワーク状況などに応じて時間軸方向のデータの圧縮率を可変としないことが望ましい。例えば、エンコードの際に、時間軸方向へのデータの圧縮を行わないことが特に望ましい。さらに、エンコード処理とデコード処理は、互いに同一のフレームレートで行われることが望ましい。また、上記構成において、データロス数とは、例えば、ネットワーク環境などの影響により正常に復元することができなかった画像データのデータ数である。なお、超音波画像データを複数のパケットに分割して送受信する形態においては、データロス数として、正常に復元することができなかったパケットの数であるパケットロス数を利用してもよい。

上記構成により、超音波画像データの画像状態を評価する指標として、超音波画像データ内におけるデータロス数に応じた指標値が算出される。これにより、例えば、医師などがその指標値を参照して超音波画像の画像状態を把握することなどが可能になる。

また、上記目的を達成するために、本発明の好適な態様である超音波画像処理装置は、超音波を送受波することによって得られる超音波画像データを処理する超音波画像処理装置であって、複数フレームの超音波画像データを各フレームごとにエンコードして得られる通信データを受信する受信部と、受信された通信データを各フレームごとにデコードして複数フレームの超音波画像データを復元するデコード部と、復元された各フレームごとの超音波画像データ内におけるデータロス数に応じた指標値を算出する画像評価部と、を有することを特徴とする。

望ましい態様において、復元された各フレームごとの超音波画像データに対応した超音波画像の表示タイミングに応じて当該超音波画像データについての前記指標値を表示する表示部をさらに有することを特徴とする。

本発明により、ネットワークを介して送受信される超音波画像データの画像状態を評価する技術が提供される。例えば、本発明の好適な態様により、超音波画像データ内におけるデータロス数に応じた指標値が算出される。これにより、例えば、医師などがその指標値を参照して超音波画像の画像状態を把握することなどが可能になる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１には、本発明に係る超音波画像通信システムの好適な実施形態が示されており、図１はその全体構成を示す機能ブロック図である。

図１の超音波画像通信システムは、超音波診断装置１００と画像処理装置２００が互いにネットワーク３００を介して通信接続されたシステムである。なお、ネットワーク３００を介して他の医療機器やコンピュータなどが通信接続されてもよい。

超音波診断装置１００は、超音波を送受波して超音波画像を形成する装置であり、以下に説明する各機能を備えている。

プローブ１０２は、被検体に対して超音波を送受波する超音波探触子であり、図示しない複数の振動素子を備えている。複数の振動素子は、例えば、１列に配列されて電子的に制御されることにより２次元平面内で超音波を送受波する。また、複数の振動素子が格子状に２次元的に配列されて電子的に制御されることにより３次元的に超音波を送受波してもよい。

送受信部１０４は、プローブ１０２が備える複数の振動素子の各々に対応した送信信号を出力する。送受信部１０４は、各振動素子の送信信号に対してその振動素子に応じた遅延処理などを施す。そして、各振動素子が送受信部１０４で形成された送信信号に応じて駆動され、超音波の送信ビームが形成されてその送信ビームが走査制御される。つまり、送受信部１０４は送信ビームフォーマとして機能する。

また、送受信部１０４は、プローブ１０２が備える複数の振動素子の受信信号に基づいて超音波の受信ビームを形成する。送受信部１０４は、各振動素子の受信信号に対してその振動素子に応じた遅延処理などを施し、そして複数の振動素子から得られる複数の受信信号を加算処理して受信ビーム（受信ビームデータ）を形成する。つまり、送受信部１０４は、受信ビームフォーマとして機能する。

超音波画像形成部１０６は、送受信部１０４において形成された受信ビームデータに基づいて超音波画像の画像データを形成する。例えば、超音波の送信ビームが二次元的に走査されて得られる受信ビームデータに基づいて二次元Ｂモード画像の画像データを形成する。もちろん、超音波の送信ビームが三次元的に走査されて得られる受信ビームデータに基づいて三次元超音波画像の画像データを形成してもよい。また、画像データとしてドプラ画像などの画像データを形成してもよい。

そして、超音波画像形成部１０６において形成された画像データに対応した超音波画像がモニタ１０８に表示される。また、超音波画像形成部１０６において形成された画像データは、エンコード部１１０へ出力される。

エンコード部１１０は、画像データをエンコードすることにより、ネットワーク３００を介した送受信に適した通信データを形成する。エンコード部１１０は、複数フレームの画像データを各フレームごとにエンコードする。エンコードする際に、各フレーム内でデータ圧縮処理を施してもよい。なお、複数フレームに亘っての時間軸方向に関するデータ圧縮処理は行わないことが望ましい。但し、仮に時間軸方向へのデータ圧縮処理を行う場合には、ネットワーク３００の状況などに応じて圧縮率を可変としないことが望ましい。

エンコード部１１０は、例えば、ＲＴＣＰ（リアルタイム・データ転送制御プロトコル）を使用しないストリーミングソフトを用いることが望ましい。例えば、エンコード部１１０は、ＤＶＴＳ（Digital Video Transport System）に対応したエンコードを行う。

送信部１１２は、ネットワーク３００に対応したプロトコルに従って、エンコード部１１０で形成された通信データをネットワーク３００に送信する。

ネットワーク３００は、インターネットやイントラネットなどであり、また、有線ネットワークでも無線ネットワークでもよい。もちろん、インターネット、イントラネット、有線ネットワーク、無線ネットワークのいくつかが組み合わされてネットワーク３００を形成してもよい。

画像処理装置２００は、超音波診断装置１００からネットワーク３００を介して送信される超音波画像の画像データを復元する装置であり以下に説明する各機能を備えている。

受信部２０２は、ネットワーク３００に対応したプロトコルに従って、超音波診断装置１００からネットワーク３００を介して送信される通信データを受信する。

デコード部２０４は、受信された通信データを各フレームごとにデコードして複数フレームの超音波画像データを復元する。デコード部２０４は、超音波診断装置１００内のエンコード部１１０によるエンコードに対応したデコードを行う。例えば、エンコード部１１０においてＤＶＴＳに対応したエンコードが行われた場合、デコード部２０４は、ＤＶＴＳに対応したデコードを行って超音波画像データを復元する。

そして、デコード部２０４において復元された画像データに対応した超音波画像がモニタ２０６に表示される。また、デコード部２０４におけるデコード処理に関する情報が画像評価部２０８へ出力される。

画像評価部２０８は、デコード部２０４によって復元された各フレームごとの画像データ内におけるデータロス数を算出し、さらに、そのデータロス数に応じた指標値を算出する。なお、データロス数とは、例えば、ネットワーク３００の負荷状況などの影響により正常に復元することができなかった画像データのデータ数である。例えば、超音波画像データが複数のパケットに分割して送受信される場合には、データロス数として、正常に復元することができなかったパケットの数であるパケットロス数が利用される。

画像評価部２０８は、データロス数に応じた指標値として、例えば複数フレーム間におけるパケットロス数の平均値などを算出する。そして、画像評価部２０８において算出された指標値は、例えば、超音波画像とともにモニタ２０６に表示される。

図２は、図１の画像処理装置２００によるパケットロス数の平均値の算出処理を説明するためのフローチャートである。以下、図２のフローチャートを各ステップごとに説明する。なお、図１に示した部分（構成）については、図１の符号を利用して説明する。

まず、受信部２０２によってパケットの受信が開始される（Ｓ２０１）。つまり、超音波診断装置１００において、超音波画像の画像データが各フレームごとに複数のパケットに分割されて通信データによってネットワーク３００を介して送信され、画像処理装置２００の受信部２０２が複数のパケットに対応した通信データを受信する。

そして、例えば図示しない制御部などによって通信データに含まれるフレーム情報が取得される（Ｓ２０２）。フレーム情報には、例えば、画像データのフレームレートや、１フレームあたりのパケット数などの情報が含まれている。制御部は、フレーム情報に基づいて、１フレームのパケット数Ａを算出する（Ｓ２０３）。なお、フレーム情報に１フレームあたりのパケット数のデータが含まれている場合には、制御部は、そのデータを取得すればよい。

そして、受信バッファリングされて（Ｓ２０４）、複数のパケットが次々に取得されると、デコード部２０４によって各フレームごとに複数のパケットのデコードが行われる。

デコード部２０４におけるデコード処理に関する情報は画像評価部２０８へ出力され、画像評価部２０８は、その情報に基づいて、デコード部２０４により正常に復元されたパケット数である有効パケット数Ｂを各フレームごとにカウントする（Ｓ２０５）。さらに、画像評価部２０８は、１フレームのパケット数Ａから１フレームの有効パケット数Ｂを引き算して、１フレームごとにパケットロス数を算出する（Ｓ２０６）。

超音波診断装置１００から送信された全てのパケットを画像処理装置２００が正常に受信できれば、パケットロス数は０（ゼロ）となる。しかし、例えば、超音波診断装置１００から所定のフレームレート（例えば、１秒あたり３０フレーム）で複数のパケットが送信され、画像処理装置２００がそのフレームレートで複数の画像データを復元する場合、ネットワーク３００の負荷が大きいことなどの影響により、そのフレームレートに間に合う伝送速度でパケットを伝送できない状況が考えられる。

上記のような状況では、例えば、あるフレームの画像データを復元すべきタイミングでそのフレームを構成する一部のパケットが画像処理装置２００に送られてこない場合や、あるフレームの画像データを復元すべきタイミングに間に合うように全てのパケットを画像処理装置２００の受信バッファに蓄えることが困難な場合などが考えられる。このように、例えば、ネットワーク３００の影響によりフレームを構成する一部のパケットをデコード部２０４がデコードできない場合に、パケットロス数が発生する。

画像評価部２０８は、１フレームごとにパケットロス数を算出すると、データロス数に応じた指標値として、複数のフレームについてのパケットロス数の平均値を算出する（Ｓ２０７）。例えば、連続する３０フレームについての１フレームあたりのパケットロス数の平均値を算出する。平均値を算出するためのフレーム数は、例えば、ユーザ操作などに応じて変更できる構成でもよい。

パケットロス数の平均値が算出されると、そのパケットロス数（平均値）がモニタ２０６に表示される（Ｓ２０９）。また、パケットロス数の平均値が算出されると、パケット数の計算値（平均値）がリセットされ（Ｓ２０８）、Ｓ２０２のステップに戻り、それ以降の処理が再び実行される。そして、Ｓ２０２からＳ２０９の処理が繰り返し実行され、パケットの受信の終了が確認されると（Ｓ２１０）、本フローチャートが終了する。

図３は、画像処理装置のモニタに表示される表示画像３０を説明するための図である。図３（Ａ）に示す表示画像３０Ａは、超音波画像３２Ａを含んでいる。超音波画像３２Ａは、デコード部（図１の符号２０４）によって復元された画像データに対応した画像である。さらに、表示画像３０Ａの右上には「ロス数５」が表示されている。ロス数５は、超音波画像３２Ａのパケットロス数の平均値、つまり、図２のＳ２０７で算出される値である。

１フレームの画像データは、例えば、数百パケットから千パケット程度で構成されている。そのため、そのうちの５つのパケットが復元できない場合（ロス数５）でも、超音波画像３２Ａの全体としては、ほぼ完全に良好な画像状態を保つことができる。そのため、図３（Ａ）のようにロス数が比較的小さい場合には、例えば、医師などは、超音波画像３２Ａにより、適切な診断が可能であると判断することができる。

これに対し、図３（Ｂ）に示す表示画像３０Ｂは、超音波画像３２Ｂを含んでおり、さらに、表示画像３０Ｂの右上には「ロス数１００」が表示されている。ロス数１００は、超音波画像３２Ｂのパケットロス数の平均値である。例えば、数百パケットから千パケット程度で超音波画像３２Ｂが構成されており、そのうちの１００個のパケットが復元できない場合（ロス数１００）、復元できないパケットに対応した画像部分が、例えば、図３（Ｂ）に示すように、黒い矩形状の複数の画像抜け３４となって、超音波画像３２Ｂの全体に目立つように現れてしまう。

そのため、図３（Ｂ）のようにロス数が比較的大きい場合には、例えば、医師などは、超音波画像３２Ｂにより、適切な診断ができないと判断する。そして、例えば、ロス数が小さくなり画像状態が良好になるのを待ってから、適切な診断を行うことが可能になる。

以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。

例えば、上述の実施形態では、図１の超音波診断装置１００と画像処理装置２００との間で互いにフレームレートを共通として、画像データのエンコードとデコードを行っている。その共通のフレームレートは、変更可能であってもよい。つまり、超音波診断装置１００と画像処理装置２００が互いに１秒あたり３０フレームでエンコードとデコードを行ってもよいし、超音波診断装置１００と画像処理装置２００が互いに１秒あたり６０フレームでエンコードとデコードを行ってもよい。

また、上述の実施形態では、図３に示すように「ロス数」を表示しているが、このロス数に基づいて、診断の有効性を装置が判断してもよい。例えば、ロス数に関する閾値に基づいて、ロス数が閾値以下であれば診断が有効であると判断し、ロス数が閾値よりも大きければ診断が無効であると判断する。なお、診断が無効である場合には、例えば、警告メッセージなどを表示してもよい。さらに、警告メッセージと共にあるいは警告メッセージとは別に、超音波画像の表示を停止してもよい。

また、超音波画像を表示するモニタとは別の表示器に「ロス数」を表示してもよい。例えば、図１の画像処理装置２００が超音波画像を表示するモニタ２０６とは別に、ＬＣＤなどを備えており、そのＬＣＤに「ロス数」を表示してもよい。

なお、図１に示す画像処理装置２００は、例えば、超音波画像を記憶媒体などに記憶するレコーダー内に組み込まれてもよいし、超音波診断装置内に組み込まれてもよいし、コンピュータ内に組み込まれてもよい。

さらに、本発明は、その本質を逸脱しない範囲で、上述した態様以外の各種の変形形態を包含する。

本発明に係る超音波画像通信システムの全体構成を示す機能ブロック図である。 パケットロス数の平均値の算出を説明するためのフローチャートである。 画像処理装置のモニタに表示される表示画像を説明するための図である。

符号の説明

１００ 超音波診断装置、１０６ 超音波画像形成部、１１０ エンコード部、２００ 画像処理装置、２０４ デコード部、２０８ 画像評価部。

Claims (3)

1. 超音波を送受波することによりエコーデータを得る送受波部と、
   エコーデータに基づいて複数フレームの超音波画像データを形成する画像形成部と、
   複数フレームの超音波画像データを各フレームごとにエンコードすることにより通信データを形成するエンコード部と、
   ネットワークを介して得られた通信データを各フレームごとにデコードして複数フレームの超音波画像データを復元するデコード部と、
   復元された各フレームごとの超音波画像データ内におけるデータロス数に応じた指標値であって、復元された超音波画像データの画像状態をユーザが把握するためにそのユーザに提供される指標値を算出する画像評価部と、
   を有し、
   前記エンコード部におけるエンコード前の超音波画像データと前記デコード部におけるデコード後の超音波画像データが互いに同一フレームレートとなるようにエンコードとデコードが行われる、
   ことを特徴とする超音波画像通信システム。
2. 超音波を送受波することによって得られる超音波画像データを処理する超音波画像処理装置であって、
   複数フレームの超音波画像データを各フレームごとにエンコードして得られる通信データを受信する受信部と、
   受信された通信データを各フレームごとにデコードして複数フレームの超音波画像データを復元するデコード部と、
   復元された各フレームごとの超音波画像データ内におけるデータロス数に応じた指標値であって、復元された超音波画像データの画像状態をユーザが把握するためにそのユーザに提供される指標値を算出する画像評価部と、
   を有し、
   前記デコード部は、前記エンコード前の超音波画像データと前記デコード後の超音波画像データが互いに同一のフレームレートとなるように前記デコードを行う、
   ことを特徴とする超音波画像処理装置。
3. 請求項２に記載の超音波画像処理装置において、
   復元された各フレームごとの超音波画像データに対応した超音波画像の表示タイミングに応じて当該超音波画像データについての前記指標値を表示する表示部をさらに有する、
   ことを特徴とする超音波画像処理装置。

Images