JP4519364B2

JP4519364B2 - パノラマ画像表示方法、ソフトウエア及び装置

Info

Publication number: JP4519364B2
Application number: JP2001165270A
Authority: JP
Inventors: 晴子中川; 眞治岸本
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2001-05-31
Filing date: 2001-05-31
Publication date: 2010-08-04
Anticipated expiration: 2021-05-31
Also published as: JP2002359798A

Description

【０００１】
【発明が属する技術分野】
本発明は、複数の画像データを結合し広視野のパノラマ画像を生成しそれを表示するパノラマ画像表示方法、ソフトウエア及び装置に係り、特にパノラマ画像の測定不良部分を修正するのに好適な技術に関するものである。
【０００２】
【従来の技術】
従来のパノラマ画像表示方法及び装置は、超音波像を合成しパノラマ画像を合成する方法及び装置として、特開2000-217815号公報に開示されている。
ここでは、プローブから取得した超音波データを画像に変換する画像化部と、画像化部で得られた画像を動画として表示する動画表示機能と、プローブ操作によって生成された画像間の移動量を検出する移動量検出機能とプローブ操作によって生成された断層画像間の回転量を検出する回転量検出機能をもつコンピュータと、動画表示と並行して、診断中の断層画像列をコンピュータにより検出した移動量と回転量に応じて平面的に接続したパノラマ画像を表示するパノラマ画像表示手段とを設けることにより、プローブ操作により得た断層画像列から、実時間でパノラマ画像を作成できるものである。
【０００３】
また、パノラマ画像の作成状況がディスプレィ上で刻々と確認できると共に、プローブ操作の失敗を訂正できるものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、作成後のパノラマ画像を編集する機能を有していないために、パノラマ画像の計測に対して不良部分があっても、パノラマ画像の計測領域全体を最初から計測し直す必要があった。また、その計測し直しはまた失敗する（計測不良となる）可能性を含んでいた。このようなことから全体的に鮮明なパノラマ画像を得るために何度も計測し直すことが場合によって必要となり、それは患者一人に対して診察する時間が長くなるということであり、１日に何人もの患者を診察しなければならない病院の画像診断装置としては甚だ効率が悪いという問題があった。
【０００５】
具体的な例では、胸部の嚢胞（シスト）について、探触子を動かすことだけでなく、患者の呼吸や心拍などによる体動もあって、探触子の位置を適正に設定しにくく、シストのパノラマ画像を計測するために十数回も計測し直したという臨床結果もある。
【０００６】
また、鮮明なパノラマ画像を作成するためには、コンピュータが探触子の移動量や回転量を算出しやすい画像情報を得られるように探触子を適度な速さで動かさなければならないという制限もある。
【０００７】
また、診断部位に探触子を当接させる強さが変わると、画像が歪み、それが原因で計測不良が生じることもあるので、探触子を診断部位に当接させる強さをできるだけ均等に保たなければならない。しかも探触子をあてる適度な強さというのは、患者の体格や診断部位によって異なるため、適度な強さを知ることは診断装置を使い慣れない医師や臨床検査技師等の操作者には容易ではない。
【０００８】
また、探触子を動かす適度な速さや診断部位に探触子を当接させる適度な強さを知っている操作者であっても、診断部位が広範囲に及んでパノラマ画像の計測時間が長くなれば、それだけ患者の体動や探触子を持つ手のブレなどによって計測不良を起こす確率が高くなり、広い範囲に渡って診断画像を作成できるというパノラマ画像の利点が充分生かされないおそれがある。
【０００９】
また、診断部位が広範囲にわたるパノラマ画像で、部分的に計測不良となった場合に、最初からもう一度時間をかけて全体を計測し直すということは貴重な診察時間を無駄にしているともいえる。
【００１０】
そこで、本発明の第１の目的は、パノラマ画像の計測不良部分を効率的に補正可能なパノラマ像表示方法を提供することにある。
【００１１】
また、本発明の第２の目的は、パノラマ画像の計測不良部分を効率的に補正可能なパノラマ像表示ソフトウエアを提供することにある。
【００１２】
また、本発明の第３の目的は、パノラマ画像の計測不良部分を効率的に補正可能なパノラマ像表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記第１の目的は、位置的に近接した複数の画像フレームの画像データを得るステップと、前記複数の画像フレーム間の位置関係データを検出するステップと、該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成するステップと、同一位置の前記パノラマ画像データを形成させるために前記画像データを得るステップ乃至前記パノラマ画像データを形成するステップを複数回繰り返させるステップと、該繰り返されることによって得られた個々のパノラマ画像データを表示装置に表示させるステップと、該表示された個々のパノラマ画像に対する欠落情報を設定するステップと、該設定された欠落情報を除くパノラマ画像データを合成するステップと、該合成されたパノラマ画像データをパノラマ画像として前記表示装置に表示させるステップとを備えたことを特徴とするパノラマ画像表示方法によって達成される。
【００１４】
また、上記第２の目的は、複数の画像フレームの画像データを得る画像データ取得手段と、前記複数の画像フレーム間の位置関係データを検出する位置関係データ検出手段と、該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成するパノラマ画像データ形成手段と、該形成されたパノラマ画像データをパノラマ画像として表示する表示手段と、前記画像データ取得手段乃至表示手段を制御する制御手段と、を備えるパノラマ表示装置に使用されるコンピュータ・ソフトウエアであって、前記画像データ取得手段が位置的に近接した複数の画像フレームの画像データを得る手順と、前記位置関係データ検出手段が前記複数の画像フレーム間の位置関係データを検出する手順と、前記パノラマ画像データ形成手段が該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成する手順と、前記制御手段が同一位置の前記パノラマ画像データを形成させるために前記画像データを得る手順乃至前記パノラマ画像データを形成する手順を複数回繰り返させる手順と、前記が該繰り返されることによって得られた個々のパノラマ画像データを前記表示手段に表示させる手順と、該表示された個々のパノラマ画像に対する欠落情報を設定する手順と、該設定された欠落情報を除くパノラマ画像データを合成する手順と、該合成されたパノラマ画像データをパノラマ画像として前記表示手段に表示させる手順と、をコンピュータに実現させるプログラムからなるパノラマ画像表示ソフトウエアによって達成される。
【００１５】
また、上記第３の目的は、位置的に近接した複数の画像フレームの画像データを得る手段と、前記複数の画像フレーム間の位置関係データを検出する手段と、該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成する手段と、同一位置の前記パノラマ画像データを形成させるために前記画像データを得るステップ乃至前記パノラマ画像データを形成するステップを複数回繰り返させる手段と、該繰り返されることによって得られた個々のパノラマ画像データを表示装置に表示させる手段と、該表示された個々のパノラマ画像に対する欠落情報を設定する手段と、該設定された欠落情報を除くパノラマ画像データを合成する手段と、該合成されたパノラマ画像データをパノラマ画像として前記表示装置に表示させる手段とを備えたことを特徴とするパノラマ画像表示装置によって達成される。
【００１６】
【発明の実施の形態】
本発明のパノラマ画像表示方法、ソフトウエア及び装置の好適な実施形態について図面を用いて説明する。
【００１７】
また、ここで採用する動画像を得る装置は、超音波診断装置であるが、同様に動画像が収集可能なＸ線装置など各種医用画像診断装置の他、超音波、Ｘ線などを用いる家畜などの動物の体内を診断する畜産用画像診断装置でもよい。
【００１８】
図２は、本発明のパノラマ画像表示方法が採用される超音波診断装置の構成を示すブロック図である。
超音波診断装置は、図２に示すように、探触子２０１と、超音波送受信部２０２と、受波整相部２０３と、デジタルスキャンコンバータ（ＤＳＣ）部２０４と、パノラマ画像処理部２０５と、画像表示部２０６と、印刷出力部２０７と、画像メモリ２０８と、統括制御部２０９と、操作パネル２１０と、インターフェース（Ｉ／Ｆ）部２１１とを備えている。
【００１９】
探触子２０１は患者の診断部位に超音波を送信すると共に、診断部位からの反射エコーを受信する。超音波送受信部２０２は探触子２０１を駆動すると共に、探触子２０１に受信された反射エコーを信号増幅する。整相部２０３は超音波送受信部２０２に増幅された反射エコー信号を整相する。ＤＳＣ部２０４は整相した反射エコー信号をＢモード、Ｍモード、ドプラモードなど少なくとも１つのモードの超音波画像へ変換する。パノラマ画像処理部２０５は本発明に新たに追加した構成で、複数フレームの超音波画像データを結合して得たパノラマ画像データを複数回得て、それらパノラマ画像データを合成する。画像表示部２０６は合成されたパノラマ画像データをパノラマ画像として表示する。印刷出力部２０７は表示画像をフィルムや紙に印刷するビデオプリンタなどである。記憶装置２０８は超音波画像やパノラマ画像を記憶する磁気ディスク、光磁気ディスクなどのあらゆる記憶媒体である。Ｉ／Ｆ部２０９は外部に設けられる電話回線などのネットワーク設備と接続し、ネットワーク設備を介して超音波画像データやパノラマ画像データやプログラムを含む各種データを超音波診断装置から外部へ、あるいは外部から超音波診断装置へ通信できるようになっている。操作パネル２１０は、超音波診断装置で計測するに当たり設定する各種パラメータを操作者によって入力されるキーボードやポインティングデバイスなどからなる入力装置である。統括制御部２１１は、操作パネル２１０の入力に従って、超音波送受信部２０２の超音波の送受信、整相部２０３の整相、ＤＳＣ２０４のモードの選択、パノラマ画像処理部２０５の合成、画像表示部２０６の表示、印刷出力部２０７の印刷、記憶装置２０８の記憶、Ｉ／Ｆ部２０９の通信を制御する。
【００２０】
パノラマ画像処理部２０５は、さらに、パノラマ画像記憶部２０５ａと、比較部２０５ｂと、パノラマ画像合成処理部２０５ｃと、合成パノラマ画像記憶部２０５ｄと、パノラマ画像合成制御部２０５ｅとを有している。
【００２１】
パノラマ画像部２０５ａは、患者の同一の診断部位に対してパノラマ画像データを複数回（ここでは３回）作成し、記憶する。このパノラマ画像を作成する方法は、特開平8-280688号公報、特開2000-217815号公報の何れに記載されている技術を用いても構わない。このようにして作成されるパノラマ画像データを３回得て、それぞれをフレームメモリ２０５ａ−１、２０５ａ−２、２０５ａ−３、それぞれ１回目、２回目、３回目に作成したパノラマ画像データを記憶する。比較部２０５ｂは、３回の各パノラマ画像データの同じ位置における画素のうち、突出した画素値があるかどうか比較により判定する。その結果、突出した画素値があれば、他のパノラマ画像データの突出していない画素値を後段の合成処理に用い、突出した画素値でなければ、その画素値を後段の合成処理で用いることができるように画素値を出力する。この比較は、パノラマ画像データを構成する全ての画素に対して行う。パノラマ画像合成処理部２０５ｃは前記突出していない画素を集めてパノラマ画像データを合成して合成パノラマ画像データを出力する。この合成パノラマ画像データは、同じ位置の画素の値が突出した画素値でなければ、それぞれを加算平均して出力してもよい。この加算平均を出力することにより、相関ノイズの少ない合成パノラマ画像データが得られる。合成パノラマ画像記憶部２０５ｄはパノラマ画像合成処理部２０５ｃに出力された合成パノラマ画像を記憶する。パノラマ画像合成制御部２０５ｅはパノラマ画像記憶部２０５ａの記憶、比較部２０５ｂの比較演算、パノラマ画像合成処理部２０５ｃの合成と、合成パノラマ画像記憶部２０５ｄの記憶をそれぞれ制御する。
【００２２】
次にパノラマ画像の合成の手順を図１、図３を用いて説明する。図１は本発明のパノラマ画像表示方法の実施の一形態を説明するフローチャート、図３は図１のパノラマ画像表示方法の表示例を示す図である。
【００２３】
パノラマ画像の計測回数Ｎ（ここでは３回）を設定する（ステップ１０１）。計測回数Ｎに係るループカウンタＩに０を設定し、初期化する（ステップ１０２）。パノラマ画像を計測する（ステップ１０３）。計測したパノラマ画像をフレームメモリに記憶する、１回目はフレームメモリ２０５ａ−１、２回目はフレームメモリ２０５ａ−２、３回目はフレームメモリ２０５ａ−３にそれぞれ記憶する（ステップ１０４）。ループカウンタＩに１を加えてループカウンタＩを更新する（ステップ１０５）。計測回数ＮとループカウンタＩを比較し、ループカウンタＩが設定計測回数Ｎに達していたらＹｅｓに分岐して次のステップ１０７へ進み、達していなければＮｏに分岐してステップ１０３〜１０５を繰り返す（ステップ１０６）。次に、上記３回計測したそれぞれのパノラマ画像を読み出す際の総画素数Ｍを設定する。この設定は操作者が操作パネル２１０に入力してもよいが、パノラマ画像の画像マトリクスサイズが２５６×１２８などといったように予め決まっているとすれば、画素数は３２７６８として設定してもよい（ステップ１０７）。画素数Ｍに係るループカウンタＪに０を設定し、初期化する（ステップ１０８）。１回目，２回目，３回目に計測したパノラマ画像の画素データをそれぞれＤ１，Ｄ２，Ｄ３として読み出す（ステップ１０９）。画素値Ｄ１，Ｄ２，Ｄ３をそれぞれ比較し、他のふたつから大きく異なるものが有るか無いか判定し、有る場合はステップ１１１に分岐し、無い場合はステップ１１２に分岐する（ステップ１１０）。異なる画素値が有る判定の場合、その計測のパノラマ画像の画素位置（アドレス）Ａｅをエラー画素として記憶する。残りの２回のパノラマ画像の画素値が略同じ値ならばどちらか一方を画素値とする。また、その２回のパノラマ画像の画素値を加算平均処理し、その加算平均処理した値を画素値とすれば、相関ノイズの影響を除去できる（ステップ１１１）。異なる画素値が無い判定の場合、３回のパノラマ画像の何れかの画素値を代表して画素値とする。また、その３回のパノラマ画像の画素値を加算平均処理し、その加算平均処理した値を画素値とすれば、相関ノイズの影響を除去できる。そして、このステップ又はステップ１１１で得られた画素値又は加算平均値を合成パノラマ画像記憶部２０５ｄに記憶する（ステップ１１２）。ループカウンタＪに１を加えてループカウンタＪを更新する（ステップ１１３）。画素数ＭとループカウンタＪを比較し、ループカウンタＪが設定画素数Ｍに達していたらＹｅｓに分岐して次のステップ１１５へ進み、達していなければＮｏに分岐してステップ１０９〜１１３を繰り返す（ステップ１１４）。最後に、合成パノラマ画像データを、図３に示すように、画像表示部２０６に表示する。ここでは、１回目に計測したパノラマ画像３１、２回目に計測したパノラマ画像３２、３回目に計測したパノラマ画像３３が表示されており、それぞれ異なる位置に計測不良の領域３４，３５，３６が各パノラマ画像３１〜３３に重畳して表示される。これら計測不良の領域３４〜３６は、ステップ１１１のＡｅに基づいて作られる。また、ポインティングデバイスのカーソール３７は任意に各計測不良の位置を訂正することが可能となっている。そして、ステップ１０１〜１１４の手順を経て、合成パノラマ画像３８が表示される。なお、ここでは、各回に計測したパノラマ画像と合成パノラマ画像を並べて表示することで例示しているが、各回に計測したパノラマ画像と合成パノラマ画像を切り換えて表示してもよい。また、途中のプロセスの表示が不要な場合は、合成パノラマ画像だけを表示してもよい。またこれら並べ表示、切り換え表示等は、操作者によって操作パネル２１０より、任意に設定できる（ステップ１１５）。
【００２４】
また、上記突出値の判定において、それぞれ計測したパノラマ画像データを並べるか切り換えて表示して、操作者が突出した複数の画素領域を囲むような破線等をマウス、トラックボール、ジョイスティクなどのポインティングデバイスによって入力できるようにする「手動」のやり方と、計測された複数のパノラマ画像データの画素の同一位置を加算平均してそれぞれの画素値の加算平均値を求め、それらの加算平均値から突出した画素値によって形成される領域を囲むような破線等をその突出した画素値のあったパノラマ画像データに重畳して画像表示する「全自動」のやり方と、「全自動」のやり方で得たパノラマ画像の突出画素領域を「手動」のやり方でその突出画像領域を修正する「半自動」のやり方がある。これらの「手動」、「全自動」、「半自動」のやり方は、任意の選択可能である。突出した画素値であった場合は、その画素値を記録すると共に、合成処理からその画素値を除く。この操作はパノラマ画像を構成する全画素に対して行われる。このようにして、合成したパノラマ画像データから診断に供するようなパノラマ画像を表示装置に表示することができる。
【００２５】
また、パノラマ画像の計測不良部分は、パノラマ画像計測でなくとも、計測不良部分を新たに動画像データとして得るか、過去に得た動画像データを読み出すかし、パノラマ画像の計測不良部分に何れかの動画像データを合成することもできる。
【００２６】
また、上記方法は、統括制御部をＣＰＵとすれば、上記手順をあらゆるプログラム言語で記述したソフトウエアで実現できる。このソフトウエアは、記憶媒体に記憶できる他、インターネットなどあらゆる通信規格に準拠したネットワーク設備によりプログラム配信も可能である。
【００２７】
また、本実施形態は動画像を例に説明したが、いわゆる静止画像も含まれることはいうまでもないことである。
【００２８】
以上説明したように、本実施の形態によれば、次の項目の効果が発揮できる。
【００２９】
（１）パノラマ画像を数回作成した結果、部分的に計測不良が生じてもその部分がそれぞれ異なる場合、それぞれのパノラマ画像を合成すれば、計測し直しをする手間が省けるため、パノラマ画像の作成に費やす時間が短縮され、診察のスループットが向上する。
【００３０】
（２）広範囲にわたるパノラマ画像を作成しようとする場合でも、複数（３）回作成した結果を合成するため、計測不良となる確率が低くなるので、操作者がパノラマ計億の操作に習熟していない場合でも計測の効率を低下させない。
【００３１】
（３）複数のパノラマ画像を作成して画面に並べて表示、もしくは切り換えて表示することによりそれぞれの画像の比較が簡潔明瞭となり、その中からもっとも鮮明に計測されたパノラマ画像を選択可能となるので、さらに高画質、高信頼性のパノラマ画像を得ることが可能になる。
【００３２】
（４）修正すべき画像範囲に破線等を重畳表示されることにより、どの範囲がどのように合成されるかを操作者が見て確認できるので、アーチファクト等のでないことが分かり、誤診を防止できる。
【００３３】
（５）「半自動」のやり方を使えば、「全自動」のやり方で得た修正すべき画像範囲を「手動」で変更できるので、自動判定が困難な複雑な症例においても対応可能である。
【００３４】
【発明の効果】
本発明は、パノラマ画像の計測不良部分を効率的に補正可能なパノラマ像表示方法、ソフトウエア及び装置を提供するという効果を奏する。
【図面の簡単な説明】
【図１】本発明のパノラマ画像表示方法の実施の一形態を説明するフローチャート。
【図２】図１のパノラマ画像表示方法が採用される超音波診断装置の構成を示すブロック図。
【図３】図１のパノラマ画像表示方法の表示例を示す図。
【符号の説明】
２０１…探触子、２０２…超音波送受信部、２０３…受波整相部、２０４…ＤＳＣ部、２０５…画像処理部、２０６…画像表示部、２０７…印刷出力部、２０８…記憶装置、２０９…統括制御部、２１０…操作パネル、２１１…I/F部、２０５ａ…広視野化処理部、２０５ａ―１〜２０５ａ−３…フレームメモリ、２０５ｂ…相関処理部、２０５ｃ…広視野合成処理部、２０５ｄ…合成広視野フレームメモリ部、２０５ｅ…広視野画像制御部

Claims

位置的に近接した複数の画像フレームの画像データを得るステップと、前記複数の画像フレーム間の位置関係データを検出するステップと、該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成するステップと、同一位置の前記パノラマ画像データを形成させるために前記画像データを得るステップ乃至前記パノラマ画像データを形成するステップを複数回繰り返させるステップと、該繰り返されることによって得られた個々のパノラマ画像データを表示装置に表示させるステップと、該表示された個々のパノラマ画像に対する欠落情報を設定するステップと、該設定された欠落情報を除くパノラマ画像データを合成するステップと、該合成されたパノラマ画像データをパノラマ画像として前記表示装置に表示させるステップとを備えたことを特徴とするパノラマ画像表示方法。
前記合成前後のパノラマ画像データを同一画面に並べる若しくは切り換えてパノラマ画像として表示させるステップをさらに備えることを特徴とする請求項１に記載のパノラマ画像表示方法。
前記合成前のパノラマ画像データの欠落情報を当該パノラマ画像データに重畳して画像表示することを特徴とする請求項２に記載のパノラマ画像表示方法。
前記合成前のパノラマ画像データとその欠落情報を重畳して画像表示することにおいて、少なくともその欠落部分と一致する部分について新たに画像フレームの画像データを得るステップと、該新たに得られた画像フレームの画像データと前記加算平均前のパノラマ画像データを結合してパノラマ画像を生成することを特徴とする請求項３に記載のパノラマ画像表示方法。
前記合成前のパノラマ画像データとその欠落情報を重畳して画像表示することにおいて、少なくともその欠落部分と一致する部分について過去に得た画像フレームの画像データを読み出すステップと、該読み出された画像フレームの画像データと前記加算平均前のパノラマ画像データを結合してパノラマ画像を生成することを特徴とする請求項３に記載のパノラマ画像表示方法。
複数の画像フレームの画像データを得る画像データ取得手段と、前記複数の画像フレーム間の位置関係データを検出する位置関係データ検出手段と、該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成するパノラマ画像データ形成手段と、該形成されたパノラマ画像データをパノラマ画像として表示する表示手段と、前記画像データ取得手段乃至表示手段を制御する制御手段と、を備えるパノラマ表示装置に使用されるコンピュータ・ソフトウエアであって、
前記画像データ取得手段が位置的に近接した複数の画像フレームの画像データを得る手順と、
前記位置関係データ検出手段が前記複数の画像フレーム間の位置関係データを検出する手順と、
前記パノラマ画像データ形成手段が該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成する手順と、
前記制御手段が同一位置の前記パノラマ画像データを形成させるために前記画像データを得る手順乃至前記パノラマ画像データを形成する手順を複数回繰り返させる手順と、前記が該繰り返されることによって得られた個々のパノラマ画像データを前記表示手段に表示させる手順と、該表示された個々のパノラマ画像に対する欠落情報を設定する手順と、該設定された欠落情報を除くパノラマ画像データを合成する手順と、該合成されたパノラマ画像データをパノラマ画像として前記表示手段に表示させる手順と、をコンピュータに実現させるプログラムからなるパノラマ画像表示ソフトウエア。
位置的に近接した複数の画像フレームの画像データを得る手段と、前記複数の画像フレーム間の位置関係データを検出する手段と、該検出された位置関関係データを用いて前記複数の画像フレームを結合しパノラマ画像データを形成する手段と、同一位置の前記パノラマ画像データを形成させるために前記画像データを得るステップ乃至前記パノラマ画像データを形成するステップを複数回繰り返させる手段と、該繰り返されることによって得られた個々のパノラマ画像データを表示装置に表示させる手段と、該表示された個々のパノラマ画像に対する欠落情報を設定する手段と、該設定された欠落情報を除くパノラマ画像データを合成する手段と、該合成されたパノラマ画像データをパノラマ画像として前記表示装置に表示させる手段とを備えたことを特徴とするパノラマ画像表示装置。