JP4582793B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、一の画面や記録用紙に複数の画像が表示又は印刷されるようにする合成画像データを生成する画像処理装置及び画像処理方法に関する。

パーソナルコンピュータ、パーソナルコンピュータの周辺機器、ディジタルカメラ、通信端末装置等の情報処理装置は、モニタ画面等の表示手段を備えることで、画像や文字の閲覧や装置の操作が可能となっている。これらの情報処理装置は、小型化される一方で高機能化及び多機能化が進んでいる。これに伴い、情報処理装置に備えられる表示手段には、項目毎に多くの画像や文字を並べて表示することが可能となっている一方で、表示が細かく煩雑となり、視認性や操作性の低下を招くようになっている。

従来は、複数の領域に分割した表示画面上に、より多くの情報を表示するため、項目毎の画像や文字を並べて表示し、視認性の向上のため、ユーザが選択した領域について拡大表示するようになっている。これにより、ユーザは、表示の全体構成を把握した上で、所望の画像や文字の内容を詳細に確認することができる。

なお、この種の特許文献としては、下記特許文献１及び引用文献２がある。

しかしながら、上述した文献の技術は、分割画面の内の所望の領域だけを拡大表示するものであり、主に医療や工業分野では、不都合が生じていた。例えば、医療の分野において、超音波撮影装置、ＭＲＩ、電子顕微鏡、内視鏡装置等の映像機器から出力される画像データは、被写体の画像と共に、この画像データに関連した付加情報が表示されるように構成されている。そこで、複数の画像表示するに当たっては、撮影した画像を付加情報と共に分割された各画面領域上に配置して一括表示し、また、印刷できるようにしている。例えば、各分割画面には、被写体の画像に近接して、その画像の付加情報として、患者情報や内視鏡の識別情報等が表示される。そして、患者情報は、例えば、ユーザが直接操作部より入力し、識別情報は、内視鏡装置から直接入力されるようになっている。このような例では、一括表示された画像の内、ユーザが選択したものを拡大表示することによって、例えば患部画像の詳細を見ることができる。

しなしながら、単一の画像を拡大表示すると他の画像との比較が容易でなく、印刷して対処するにしても、その部数が増加するに連れて取り扱い性が悪化し、効率的ではない。そこで、複数の画像を同一の画面あるいは印刷用紙に拡大表示して（例えば２分割）、このような問題点を改善する方法がある（特許文献３参照）。しかしながら、付加情報が画像毎に配置されている上、その占有面積が大きく、肝心の画像が実質的にはさほど拡大されない。

特開平９−２５８７０９号公報 特開２００３−１７８３１８号公報 特開平７−１３１７４５号公報

本発明は、以上のような問題点に鑑みてなされたものであり、その目的は、一の画面又は記録用紙上において、複数の画像を付加情報と共に効率的に表示できるようにし、視認性の向上や記録用紙の取り扱いを容易にすることができる画像処理装置及び画像処理方法を提供することにある。

本発明に係る画像処理装置は、外部機器から入力された画像データに基づいて合成画像データを生成する画像処理装置において、上記外部機器から画像部とこの画像部に関連する付加情報部とからなる画像データが入力される入力手段と、上記入力手段に入力された画像データを保存する画像メモリと、上記画像メモリに保存された複数の画像データのそれぞれを、一画面内に割り当てられた複数の所定領域のそれぞれに表示する合成画像データを生成する画像処理手段と、上記合成画像データを出力する出力手段とを備える。
上記複数の所定領域は、上記画像部と上記付加情報部とからなる画像データが表示される第１の所定領域と、上記画像データの画像部を拡大した画像部が表示される第２の所定領域とを含む。
上記画像処理手段は、表示する画像データが上記第１の所定領域、上記第２の所定領域の何れの領域に表示されるかを判別する画像データの判別手段と、上記判別手段で上記第２の所定領域に割り当てられると判別された画像データを選択する選択手段と、上記入力手段に入力される画像データのカテゴリデータを取得する取得手段と、上記取得手段で取得したカテゴリーデータを判別する判別手段と、上記判別手段で判別したカテゴリデータに応じた可視的識別データを設定する設定手段とを有する。
上記画像処理手段は、上記各所定領域に割り当てられる画像データに対して上記設定手段で設定された可視的識別データを合成し、上記所定領域のそれぞれに表示されるようにする。
上記カテゴリデータが変わったときの画像データを上記第１の所定領域に割り当て、この第１の所定領域に上記画像部と上記付加情報部とからなる画像データを表示できるようにし、上記一の画面内の第２の所定領域に、上記選択手段で選択された画像データの画像部を拡大した画像部が表示されるようにした合成画像データを生成する。

本発明に係る画像処理方法は、以上のような画像処理装置を用いて、上記一画面内の第１の所定領域に、上記画像部と上記付加情報部とからなる画像データが表示されるようにし、上記一の画面内の第２の所定領域に、上記第１の所定領域に表示される画像データの画像部を拡大した画像部が表示されるようにした合成画像データを生成するものである。

本発明によれば、画像処理手段は、一画面内の第１の所定領域に、画像部と付加情報部とからなる画像データが表示されるようにし、一の画面内の第２の所定領域に、第１の所定領域に表示される画像データの画像部を拡大した画像部が表示されるようにしたので、一の画面又は記録用紙上において、複数の画像を付加情報と共に効率的に表示できるようにし、視認性の向上や記録用紙の取り扱いを容易にすることができる。
また、カテゴリデータが変わったときの画像データを第１の所定領域に割り当て、この第１の所定領域に画像部と付加情報部とからなる画像データを自動的に表示するので、ユーザが拡大表示する領域を選択する作業を省略することができ、利便性の向上を図ることができる。また、付加情報部を見るまでもなく、可視的識別データでカテゴリを区別することができる。

以下、本発明に係る画像処理装置が適用されたビデオプリンタ装置について図面を参照して説明する。

図１に示すように、本発明を適用したビデオプリンタ装置１は、医療現場で用いられるものであり、入力側に、外部機器として映像機器である内視鏡装置２が接続され、更に、出力側に、ビデオモニタ３が接続されている。そして、ビデオプリンタ装置１は、内視鏡装置２から入力されたキャプチャ画像データをＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）で構成されたビデオモニタ３に表示すると共に、記録用紙４に印刷するものである。なお、このビデオモニタ３は、ビデオプリンタ装置１に内蔵された一体型であっても良く、また、ビデオプリンタ装置１に対して外付けであっても良い。

ここで、内視鏡装置２は、硬性内視鏡や軟性内視鏡を有しており、撮影した映像の中の一時点をキャプチャしたとき、１フレーム又は１フィールド分のキャプチャ画像データを生成する。また、内視鏡装置２は、メモリに、内視鏡のシリアル番号、長さ等の内視鏡の仕様に関するステータスデータを格納している。更に、内視鏡装置２は、ユーザによって、内視鏡を使用する患者のＩＤナンバ、名前、性別、年齢、備考患者名等の患者識別データが入力され、患者識別データをメモリに格納している。

内視鏡装置２は、ビデオプリンタ装置１に出力するに当たって、図２に示すように、キャプチャ画像データで構成されたキャプチャ画像部６と、患者識別データで構成された患者識別部７ａ及び内視鏡のステータスデータで構成されたステータス識別部７ｂを備えた付加情報部７とでなる画像データ５を生成し、この画像データ５をビデオプリンタ装置１に出力する。

本発明の第１の参考例となるビデオプリンタ装置１は、内視鏡装置２より画像データ５が入力される入力端子１１と、入力端子１１より入力された画像データ５を保存する画像メモリ１２と、この画像メモリ１２に保存された画像データ５に対してトリミング等の画像処理を施す画像処理部１３と、画像処理部１３で画像処理された合成画像データを出力する出力端子１４とを備える。更に、ビデオプリンタ装置１は、出力端子１４に接続された印刷ヘッド１５と、印刷ヘッド１５で印刷するための印刷データを生成する印刷信号変換部１６とを備える。更に、出力端子１４には、ビデオモニタ３が接続されている。ビデオプリンタ装置１は、出力端子１４に、印刷ヘッド１５及び印刷信号変換部１６並びにビデオモニタ３が接続されることによって、画像処理された合成画像データを印刷し及び／又はビデオモニタ３に表示することができるようになっている。更に、ビデオプリンタ装置１は、画像データ５を選択する選択釦等を有し、各種操作釦に応じた操作信号を発生する操作部１７と、操作部１７からの入力に応じて全体を制御する制御部１８を備えている。なお、操作部１７は、押し釦等で構成する他、タッチパネルであっても良い。

画像メモリ１２は、入力端子１１より入力された画像データ５を時間順又は操作順等の順に保存する。

画像処理部１３は、ビデオモニタ３の表示画面や記録用紙４に、４つの画像データ５を表示できる合成画像データ８を生成する。具体的に、この合成画像データ８は、例えば、図４に示すように、一画面又は一枚の記録用紙４に４枚の画像データ５を表示することができるものであり、４つの領域Ａ，Ｂ，Ｃ，Ｄに分割され、各領域Ａ〜領域Ｄに、画像メモリ１２で管理されている順に、画像データ５ａ，５ｂ，５ｃ，５ｄが割り当てられたものである。各領域に割り当てられる画像データ５ａ〜５ｄには、キャプチャ画像部６と付加情報部７が設けられている。

また、画像処理部１３は、操作部１７より合成画像データ８の領域Ａ〜領域Ｄの内、一又は複数が選択されると、制御部１８よりその選択信号が入力され、選択された領域に割り当てられる画像データ５より付加情報部７を除去するトリミング処理を行うと共に、キャプチャ画像部６を領域Ａ〜領域Ｄ内で拡大する拡大処理を行い、本発明の合成画像データ９を生成する。具体的に、図５には、４分割された領域Ａ，Ｂ，Ｃ，Ｄの内、領域Ｂ〜領域Ｄが選択された本発明の合成画像データ９を示す。すなわち、領域Ａは、ユーザによって選択されていない第１の領域となる非選択領域であり、図２に示したキャプチャ画像部６と付加情報部７とで構成された画像データ５が表示され、領域Ｂ〜領域Ｄは、ユーザによって選択された第２の領域となる選択領域であり、付加情報部７がトリミングされ、キャプチャ画像部６が拡大表示されている。これにより、ユーザは、一画面又は１枚の記録用紙４上で、領域Ａの付加情報部７で患者や内視鏡に関する情報を知ることができ、更に、領域Ａのキャプチャ画像部６に加え、拡大された領域Ｂ〜領域Ｄのキャプチャ画像部６で患部の詳細を視認することができる。

画像処理部１３は、図４に示した合成画像データ８や図５に示した合成画像データ９を出力端子１４に出力することによって、これらの合成画像データ８，９を記録用紙４に印刷したりビデオモニタ３に表示できるようにする。

なお、図４及び図５の例では、領域を４分割した場合を説明したが、本発明において、分割数はこれに限定されるものではなく、例えば２分割、６分割、８分割であっても良い。また、図５において、第１の領域となる非選択の領域は、領域Ａ以外の領域であっても良い。

また、第２の領域となる選択領域のキャプチャ画像部６を拡大するに当たっては、上述のように、付加情報部７を削除する他、画像処理部１３で付加情報部７を縮小したり、更に、付加情報部７の一部を省略する、例えばステータス識別部７ｂを省略するといった処理を行って、キャプチャ画像部６の拡大表示領域を広くするようにしても良い。

図４及び図５の合成画像データ８，９を印刷する印刷ヘッド１５は、高度な印画品質を実現するため、サーマルヘッドが用いられている。印刷対象となる記録用紙４は、樹脂等の基材シートに記録層が設けられた記録紙であり、サーマルヘッドによって印刷する画像データに応じた熱エネルギを記録層に印加することによって所望の画像が転写される。

なお、印刷ヘッド１５にサーマルヘッドを用いるとき、普通紙等に、インクリボンの染料等の色材を熱転写して、画像を形成するようにしても良い。また、印刷ヘッド１５としては、サーマルヘッドの他、液室で圧力を発生させてノズルよりインクを吐出するインクジェット用の印刷ヘッドを用いても良い。

印刷信号変換部１６は、画像処理部１３から入力される図４及び図５の合成画像データ８，９に基づいて印刷ヘッド１５を駆動するための印刷データを生成し、この印刷データに基づいて、印刷ヘッド１５を駆動制御する。

次に、以上のように構成されたビデオプリンタ装置１において、図４に示した合成画像データ８から図５に示した合成画像データ９が生成されるまでの一連の手順を図６を参照して説明する。

先ず、内視鏡装置２で図２に示したキャプチャされた画像データ５が入力端子１１に入力されると、ビデオプリンタ装置１は、画像メモリ１２に、図２に示した画像データ５を順に保存する。そして、画像処理部１３は、画像メモリ１２より画像データ５を読み出し、４つの領域Ａ〜領域Ｄに、画像メモリ１２で管理されている順に、画像データ５ａ，５ｂ，５ｃ，５ｄを割り当て、図４に示す合成画像データ８を生成する。次いで、画像処理部１３は、ステップＳ２において、この合成画像データ８を出力端子１４に出力し、この合成画像データ８をビデオモニタ３の表示画面に表示する。

画像処理部１３は、ステップＳ３において、操作部１７より合成画像データ８の領域Ａ〜領域Ｄの内、何れが選択されたかを制御部１８からの選択信号に基づいて判断する。そして、選択された領域に関して、ステップＳ４に進み、非選択の領域に関して、ステップＳ５に進む。

選択された領域に関し、ステップＳ４において、画像処理部１３は、選択された領域に割り当てられる画像データ５より付加情報部７を除去するトリミング処理を行うと共に、キャプチャ画像部６を領域Ａ〜領域Ｄ内で拡大する拡大処理を行う。

そして、画像処理部１３は、ステップＳ５において、選択された領域のトリミング等が施された画像データと非選択であった領域の画像データとを合成し、図５に示す合成画像データ９を生成する。すなわち、選択処理された領域に、キャプチャ画像部６のみを合成する。また、画像処理部１３は、非選択であった領域に、画像データ５に対して何も画像処理を行っていないキャプチャ画像部６と付加情報部７とからなる画像データ５を合成する。そして、画像処理部１３は、かくして生成された図５に示す合成画像データ９を、出力端子１４より出力し、ビデオモニタ３に表示する。これにより、ユーザは、一画面上で、領域Ａの付加情報部７で患者や内視鏡に関する情報を知ることができ、更に、領域Ａのキャプチャ画像部６に加え、拡大された領域Ｂ〜領域Ｄのキャプチャ画像部６で患部の詳細を視認することができる。

また、印刷実行操作がされたとき、画像処理部１３は、出力端子１４より印刷信号変換部１６に図５に示す合成画像データ９を出力し、印刷信号変換部１６で印刷データに変換し、印刷ヘッド１５を駆動することによって、記録用紙４に、ビデオモニタ３に表示された合成画像データ９を印刷する。かくして、ユーザは、記録用紙４によっても、領域Ａの付加情報部７で患者や内視鏡に関する情報を知ることができ、更に、領域Ａのキャプチャ画像部６に加え、拡大された領域Ｂ〜領域Ｄのキャプチャ画像部６で患部の詳細を視認することができる。

すなわち、合成画像データ９では、画面の各領域Ａ〜領域Ｄに表示された画像のうち、ユーザが所望するキャプチャ画像部６を拡大表示できると共に、複数画像の一括表示に伴う付加情報部７の重複表示を減らすことで、視認性を向上することができる。また、記録用紙４に印刷したときには、見やすく、加えて効率的に印画スペースを使用することができる。更に、選択前の合成画像データ８と比較して表示レイアウトを変更することなく、視覚的イメージを維持した状態で拡大表示を行うことができるため、画面の切換操作の必要が無くなり視認性の向上を図ることができる。

次に、本発明の第２の参考例を説明する。この例は、図５に示す合成画像データ９の例えば左上の領域Ａを除く領域Ｂ〜領域Ｄで自動的にキャプチャ画像部６の拡大画像表示を行うことを特徴とする。なお、ここでは、４分割の例で説明する。

この例において、画像処理部１３は、図７に示すように、領域Ａ〜領域Ｄのそれぞれに割り当てる画像データ５を判別する判別部１３ａと、キャプチャ画像部６を拡大する画像データ５を選択する選択部１３ｂと、選択部１３ｂで選択された画像データ５のトリミングや拡大処理を行う拡大処理部１３ｃと、拡大処理する画像データとそのままの画像データ５とを合成する合成部１３ｄを備えている。

判別部１３ａは、画像メモリ１２に順に管理されている画像データ５に対して識別番号を付与する。例えば、図１０に示すように、判別部１３ａは、一画面に４画像を表示することから、１枚目に「１」を付番し、２枚目に「２」を付番し、３枚目に「３」を付番し、４枚目に「４」を付番し、次画面に移る５枚目に「１」を付番し、６枚目に「２」を付番し、・・・といったように一画面内における付番処理を行う。なお、一画面における分割数を、ここでは、４としたが、上述のように、分割数は、これに限定されるものではない。

また、判別部１３ａは、画像データ５の番号「１」〜「４」と領域Ａ〜領域Ｄとを対応付けた定義を有しており、また、予め定められた領域をキャプチャ画像部６を拡大する領域と定義している。例えば、判別部１３ａは、領域Ａに「１」の画像データ５を割り振り、領域Ｂに「２」の画像データ５を割り振り、領域Ｃに「３」の画像データ５を割り振り、領域Ｄに「４」の画像データ５を割り振る。

選択部１３ｂは、拡大表示する画像データ５を選択する。すなわち、選択部１３ｂは、キャプチャ画像部６を拡大表示する判別部１３ａで付番された画像データ５の「２」、「３」、「４」を選択し、「１」の画像データ５を非選択とする。

なお、ここでは、領域Ａに割り振られる「１」の画像データ５を非選択とし、領域Ｂ〜領域Ｄに割り当てられる「２」〜「４」の画像データ５を選択する場合を説明したが、本発明において、画像データ５が非選択となる領域は、これ以外の一であっても良く、また、複数であっても良い。

拡大処理部１３ｃは、選択部１３ｂで選択された「２」〜「４」の画像データ５に関して、上述したように付加情報部７をトリミングし、キャプチャ画像部６を拡大する拡大処理を行う。なお、拡大処理部１３ｃは、付加情報部７の全体をトリミングする他、付加情報部７を縮小したり、付加情報部７の一部をトリミングするようにしても良い。

合成部１３ｄは、拡大処理部１３ｃで拡大処理された「２」〜「４」に付番がされている画像データを、領域Ｂ〜領域Ｄに合成し、拡大処理がされていない「１」の画像データ５を領域Ａに合成し、図５に示す合成画像データ９を生成する。

次に、以上のように構成された画像処理部１３の動作について図８乃至図１０を参照して説明する。ステップＳ１１において、判別部１３ａは、画像メモリ１２より画像データ５を取り込み、取り込んだ画像データ５にｎ番を付番する。例えば、判別部１３ａは、最初の画像データ５の取り込みを行い、取り込んだ画像データ５に対して「１」を付番する。ステップＳ１２において、判別部１３ａは、付番された画像データ５のｎが一画面の分割数Ｎであるかどうかを判断する。ここでは、一画面に４つの画像データ５を取り込むことから、Ｎ＝４であり、判別部１３ａは、ｎが４であるかを判断する。そして、判別部１３ａは、ｎ＝Ｎでないとき、ステップＳ１３において、次の画像データ５を画像メモリ１２から取り込み、（ｎ＋１）を付番する。例えば、判別部１３ａは、先に取り込んだ画像データ５が「１」のとき、新たに画像メモリ１２から取り込んだ画像データ５に対して「２」を付番し、ステップＳ１２に戻る。また、ステップＳ１３において、ｎ＝Ｎのとき、判別部１３ａは、ステップＳ１４において、ｎをリセットし、次画面のための付番を「１」からできるようにし、ステップＳ１３に進む。そして、判別部１３ａは、「１」の画像データ５を、領域Ａに割り当て、「２」〜「４」に付番がされている画像データを、領域Ｂ〜領域Ｄに割り当てる。

そして、図９に示すように、選択部１３ｂは、ステップＳ２１において、領域Ａに割り振られる「１」が付番された画像データ５であるかを判断し、「１」でないとき、すなわち、領域Ｂ〜領域Ｄに割り振られる「２」〜「４」の画像データ５であるとき、ステップＳ２２において、「２」〜「４」の画像データ５が付番された画像データ５を拡大表示するため選択処理をする。

すると、選択部１３ｂは、選択した「２」〜「４」の画像データ５を拡大処理部１３ｃに出力し、拡大処理部１３ｃは、上述のように、付加情報部７をトリミングし、キャプチャ画像部６を拡大する拡大処理を行い、拡大処理を行ったデータを合成部１３ｄに出力する。そして、合成部１３ｄでは、拡大処理部１３ｃで拡大処理された「２」〜「４」に付番がされている画像データを、領域Ｂ〜領域Ｄに合成し、拡大処理がされていない「１」の画像データ５を、トリミングや拡大処理を行うことなく領域Ａに合成し、図５に示す合成画像データ９を生成する。そして、合成部１３ｄは、生成した図５に示す画像データ９を、出力端子１４を介して出力することによってビデオモニタ３に表示し、又は印刷信号変換部１６へ出力し印刷する。

ここで、図１０は、この例で生成された合成画像データ９を示す。図１０に示すように、１枚目、２枚目の何れにあっても、図中左上の領域Ａのみが非選択で、「１」が付与されたキャプチャ画像部６と付加情報部７で構成された画像データ５が表示され、領域Ｂ〜領域Ｄに選択処理された「２」〜「４」の画像データ５のキャプチャ画像部６の拡大表示がされることになる。

以上のような例によれば、自動的に、各画面又は記録用紙４の最初の領域、すなわち領域Ａに、キャプチャ画像部６と共に付加情報部７が表示されることから、ユーザが拡大表示する領域を選択する作業を省略することができ、利便性の向上を図ることができる。また、１枚の記録用紙４に、一人の患者のキャプチャ画像部６を表示することで、例えばここでは一人の患者当たり４枚の画像データ５を割り振るようにすることで、印画物の管理も容易に行うことができる。

更に、本発明の第３の参考例を説明する。この例におけるビデオプリンタ装置１は、第１の実施の形態の変形例であり、図１１に示すように、内視鏡装置２と映像用信号線２１と制御信号線２２とで接続されている。映像用信号線２１は、ビデオプリンタ装置１の入力端子１１に接続され、内視鏡装置２から出力されたビデオモニタ３に表示するための映像データや図２に示した画像データ５をビデオプリンタ装置１に入力するものであり、上述した２つの例のビデオプリンタ装置１にも設けられているものである。この例では、更に、ビデオプリンタ装置１に、制御信号線２２から付加情報部７を構成する内視鏡装置２に入力された患者識別データ等が画像データの一部としてではなく、カテゴリデータとして入力される。そして、このビデオプリンタ装置１では、このカテゴリデータを可視的識別データに変換して画像データ５と合成することを特徴とする。この制御信号線２２は、図３に示す入力端子１９に接続され、制御部１８に入力される。また、キャプチャ画像部６が拡大される領域は、第２の実施の形態のように予め定められているのではなく、ユーザの操作によって選択されるものである。

具体的に、制御部１８には、様々な患者を分類するためのカテゴリデータとして、内視鏡装置２から入力端子１９を介して上述した付加情報部７の患者識別部７ａを構成する患者識別データが入力される。この患者識別データは、図２の画像データ５に対応付けられており、図２の画像データ５が入力される度に制御部１８に入力される。そして、制御部１８は、図１２に示すように、入力されたカテゴリデータを判別して、患者識別データに対応付けて可視的識別データ２３を生成する。すなわち、制御部１８は、カテゴリデータが先に入力されたカテゴリデータと同じかどうかを判断し、同じとき、先と同じ可視的識別データ２３を選択し、異なるとき、先の可視的識別データ２３と異なる可視的識別データ２３を選択する。

図１２の例では、可視的識別データ２３として、一人目の患者ＡＡＡに対して「○」を割り振り、２人目の患者ＢＢＢ（図１２では表示はされない。）に対して「△」を割り振り、３人目の患者ＣＣＣに対して「□」を割り振るようにしている。なお、可視的識別データとしては、この他に、「赤、青、黄」等色で識別するようにしても良い。

そして、制御部１８は、可視的識別データ２３を画像処理部１３に出力する。画像処理部１３は、領域Ａ〜領域Ｄに、画像メモリ１２で管理されている順に、画像データ５ａ，５ｂ，５ｃ，５ｄを割り当て、領域Ａ〜領域Ｄに割り当てる画像データ５に、可視的識別データ２３を合成する。そして、画像処理部１３は、操作部１７より合成画像データ８の領域Ａ〜領域Ｄの内、一又は複数が選択されると、制御部１８より選択信号が入力され、選択された領域に割り当てられる画像データ５より付加情報部７を除去するトリミング処理を行うと共に、キャプチャ画像部６を領域Ａ〜領域Ｄ内で拡大する拡大処理を行い、本発明の合成画像データ９を生成する。

図１２の例において、１枚目は、領域Ａと領域Ｃが非選択で領域Ｂと領域Ｄが選択となっており、領域Ｂと領域Ｄがキャプチャ画像部６を拡大した領域となっている。そして、非選択となった領域Ａと領域Ｃには、画像データ５がそのまま、すなわちキャプチャ画像部６と付加情報部７の患者識別部７ａが設けられている。また、２枚目は、領域Ａ〜領域Ｄが全て選択されており、キャプチャ画像部６が拡大されている。更に、３枚目では、領域Ａ〜領域Ｃが選択され、キャプチャ画像部６が拡大され、領域Ｄが非選択で、キャプチャ画像部６と付加情報部７の患者識別部７ａが設けられている。

なお、図１２は、付加情報部７の内視鏡装置２に関するステータス識別部７ｂが省略された例となっている。この場合、画像処理部１３は、内視鏡装置２から入力された全ての画像データ５に対して、ステータス識別部７ｂのみをトリミングする画像処理を行う。

ここで、図１２の例では、１枚目の領域Ａ〜領域Ｃが患者ＡＡＡのものであり、可視的識別データ２３として「○」が表示されている。ユーザは、領域Ａの患者ＡＡＡの患者識別部７ａと可視的識別データ２３の「○」をもってして、１枚の領域Ａ〜領域Ｃのキャプチャ画像部６が患者ＡＡＡのものであると確認することができる。

また、１枚目の領域Ｄ〜２枚目の領域Ｂまでが患者ＢＢＢのものであり、可視的識別データ２３として「△」が表示されている。なお、この患者ＢＢＢに関する画像データ５は、全て選択されており、キャプチャ画像部６が拡大されており、非選択のキャプチャ画像部６と付加情報部７とでなる画像データ５は、表示されていないが、ユーザは、可視的識別データ「△」をもってして、少なくとも患者ＡＡＡ、患者ＣＣＣ以外の患者のキャプチャ画像部６が表示されていることを確認することができる。

更に、２枚目の領域Ｃ〜３枚目の領域Ｄが患者ＣＣＣのものであり、可視的識別データ２３として「□」が表示されている。そして、患者ＣＣＣについては、３枚目の領域Ｄが非選択で、キャプチャ画像部６と付加情報部７とが表示されるようになっている。ユーザは、３枚目の領域Ｄの患者ＣＣＣの患者識別部７ａと可視的識別データ２３の「□」をもってして、２枚目の領域Ｃ〜３枚目の領域Ｄのキャプチャ画像部６が患者ＣＣＣのものであると確認することができる。

次に、以上のようなビデオプリンタ装置１の動作について図１３を参照して説明する。ステップＳ３１において、画像処理部１３は、画像メモリ１２から取り込む画像データ５の取り込み順序の初期化を行うと共に、制御部１８は、取り込む画像データ５に合成する可視的識別データ２３の初期化処理を行う。ステップＳ３２において、画像処理部１３は、内視鏡装置２から映像用信号線２１を介して画像データ５が入力され、画像データを画像メモリ１２に格納すると共に、制御部１８は、制御信号線２２を介して内視鏡装置２からカテゴリデータを取得し、最初の可視的識別データ２３を設定する。そして、制御部１８は、ステップＳ３３において、取得したカテゴリデータを判別し、取得したカテゴリーデータが先に取得したカテゴリデータと同じかどうかを判断し、異なるとき、ステップＳ３４に進み、同じとき、ステップＳ３５に進む。カテゴリデータが同じときには、これまで設定された可視的識別データ２３と同じ種類の可視的識別データ２３を画像処理部１３に出力する。

カテゴリデータが異なるとき、ステップＳ３４において、制御部１８は、可視的識別データ２３の変更処理を行い、可視的識別データ２３を画像処理部１３に出力する。例えば、制御部１８は、可視的識別データ２３が「○」に設定されているとき、カテゴリデータが変わると、可視的識別データ２３を「○」から「△」に変更する。

ステップＳ３５において、画像処理部１３は、制御部１８から入力された可視的識別データ２３と、この可視的識別データ２３に対応する画像メモリ１２から読み出した画像データ５とを合成する。そして、ステップＳ３６において、画像処理部１３は、画像メモリ１２から次の画像データ５の取り込みを行うと共に、制御部１８は、取り込む画像データ５のカテゴリデータを制御信号線２２を介して内視鏡装置２から取得し、ステップＳ３２からの処理を繰り返す。

かくして、画像処理部１３は、画像メモリ１２から入力された画像データ５に制御部１８から入力された可視的識別データ２３を合成すると、４つの領域Ａ〜領域Ｄに、画像メモリ１２で管理されている順に、画像データ５を合成し、図４に示す合成画像データ８を生成する。次いで、画像処理部１３は、この合成画像データ８を出力端子１４に出力し、この合成画像データ８をビデオモニタ３の表示画面に表示する。

更に、画像処理部１３は、操作部１７より合成画像データ８の領域Ａ〜領域Ｄの内、何れが選択されたかを制御部１８からの選択信号に基づいて判断し、選択された領域に関して、選択された領域に割り当てられる画像データ５より付加情報部７を除去するトリミング処理を行うと共に、キャプチャ画像部６を領域Ａ〜領域Ｄ内で拡大する拡大処理を行う。また、画像処理部１３は、非選択の領域に関して、非選択の領域に割り振られている画像データ５に対して何も画像処理を行わない。

そして、画像処理部１３は、選択された領域のトリミング等が施された画像データと非選択であった領域の画像データとを合成し、図１２に示す合成画像データ９を生成する。すなわち、選択処理された領域に、可視的識別データ２３と共にキャプチャ画像部６を合成し、非選択であった領域に、可視的識別データ２３と共にキャプチャ画像部６と付加情報部７とからなる画像データ５を合成する。そして、画像処理部１３は、かくして生成された図１２に示す合成画像データ９を、出力端子１４より出力し、ビデオモニタ３に表示する。また、印刷実行操作がされたとき、画像処理部１３は、出力端子１４より印刷信号変換部１６に図１２に示す合成画像データ９を出力し、印刷信号変換部１６で印刷データに変換し、印刷ヘッド１５を駆動することによって、記録用紙４に、ビデオモニタ３に表示された合成画像データ９を印刷する。

以上のような例によれば、領域Ａ〜領域Ｄの各画像データを、患者識別部７ａを見るまでもなく、可視的識別データ２３によってその種類を特定することができる。仮に領域Ａ〜領域Ｄの全てがキャプチャ画像部６が拡大され、患者識別部７ａが表示されなくても、可視的識別データ２３によって、患者が異なることを特定することができる。また、同じ可視的識別データ２３の画像データ５が複数の記録用紙４に跨ったとしても、可視的識別データ２３によって、キャプチャ画像部６の種類、すなわち患者を特定することができる。

次に、本発明の実施の形態について説明する。この例は、上述した第２の参考例と第３の参考例とを組み合わせたものであり、カテゴリデータが変わった最初の画像データをキャプチャ画像部６と付加情報部７とで構成し、残りをキャプチャ画像部６を拡大して表示することを特徴とする。

すなわち、図１４に示すように、制御部１８は、第３の実施の形態で説明したように、様々な患者を分類するためのカテゴリデータとして、内視鏡装置２から入力端子１９を介して上述した付加情報部７の患者識別部７ａを構成する患者識別データが入力される。この患者識別データは、図２の画像データ５に対応付けられており、図２の画像データ５が入力される度に制御部１８に入力される。そして、制御部１８は、図１５に示すように、入力されたカテゴリデータを判別して、患者識別データに対応付けて可視的識別データ２３を生成する。すなわち、制御部１８は、カテゴリデータが先に入力されたカテゴリデータと同じかどうかを判断し、同じとき、先と同じ可視的識別データ２３を選択し、異なるとき、先の可視的識別データ２３と異なる可視的識別データ２３を選択する。

また、画像処理部１３は、上述した第２の参考例で説明したように、領域Ａ〜領域Ｄのそれぞれに割り当てる画像データ５を判別する判別部１３ａと、キャプチャ画像部６を拡大する画像データ５を選択する選択部１３ｂと、選択部１３ｂで選択された画像データ５のトリミングや拡大処理を行う拡大処理部１３ｃと、拡大処理する画像データとそのままの画像データとを合成する合成部１３ｄを備えている。

ここで、判別部１３ａは、上述のように、画像メモリ１２に順に管理されている画像データ５に対して識別番号を付与する。また、判別部１３ａは、画像データ５の番号「１」〜「４」と領域Ａ〜領域Ｄとを対応付けた定義を有している。そして、判別部１３ａは、領域Ａ〜領域Ｄに付番した画像データ５を割り振る。

そして、選択部１３ｂは、制御部１８がカテゴリデータが変更されたことを検出したとき、カテゴリデータの変更後の最初の画像データ５を非選択とし、残りの画像データ５を選択する。そして、拡大処理部１３ｃは、選択部１３ｂで選択された画像データ５に関して、上述したような付加情報部７をトリミングし、キャプチャ画像部６を拡大する拡大処理を行う。そして、合成部１３ｄは、選択されて拡大処理された画像データと非選択で拡大処理されていない画像データとを各所定領域に合成し、図１５に示す合成画像データ９を生成する。

図１５の例において、制御部１８は、可視的識別データ２３として、一人目の患者ＡＡＡに対して「○」を割り振り、２人目の患者ＢＢＢに対して「△」を割り振り、３人目の患者ＣＣＣに対して「□」を割り振るようにしている。

また、１枚目は、領域Ａと領域Ｄが非選択で領域Ｂと領域Ｃが選択となっており、領域Ｂと領域Ｃが患者ＡＡＡのキャプチャ画像部６を拡大した領域となっている。そして、非選択となった領域Ａには、患者ＡＡＡを示す患者識別部７ａが付加情報部７として設けられ、非選択となった領域Ｄには、患者ＢＢＢを示す患者識別部７ａが付加情報部７として設けられている。

また、２枚目は、領域Ａ〜領域Ｄが全て選択されており、患者ＢＢＢのキャプチャ画像部６が拡大されている。なお、２枚目は、患者識別部７ａが表示されていないが、可視的識別データで患者を特定することができる。更に、３枚目では、領域Ａ、領域Ｃ及び領域Ｄが選択され、キャプチャ画像部６が拡大され、領域Ｂが非選択で、患者ＣＣＣを示す患者識別部７ａが付加情報部７として設けられている。

すなわち、可視的識別データ２３が「○」の患者ＡＡＡは、１枚目の領域Ａ〜領域Ｃが割り当てられ、非選択となっている先頭の領域Ａに患者識別部７ａが設けられている。また、可視的識別データ２３が「△」の患者ＢＢＢは、１枚目の領域Ｄ〜３枚目の領域Ａまでが割り当てられ、非選択となっている先頭の１枚目の領域Ｄに患者識別部７ａが設けられている。更に、可視的識別データ２３が「□」の患者ＣＣＣは、３枚目の領域Ｂ〜領域Ｄが割り当てられ、非選択となっている先頭の領域Ｂに患者識別部７ａが設けられている。なお、各患者の非選択の領域は、各患者の２番目や３番目の領域であっても良い。

次に、以上のようなビデオプリンタ装置１の動作について図１６を参照して説明する。先ず、ステップＳ４１において、判別部１３ａは、画像メモリ１２から取り込む画像データ５の取り込み順序の初期化を行うと共に、制御部１８は、取り込む画像データ５に合成する可視的識別データ２３の初期化処理を行う。そして、判別部１３ａは、ステップＳ４２において、判別部１３ａは、内視鏡装置２から映像用信号線２１を介して画像データ５が入力されると、入力された画像データ５に対して付番処理を行うと共に画像データを画像メモリ１２に格納する。また、制御部１８は、取り込む画像データ５のカテゴリデータを制御信号線２２を介して内視鏡装置２から取得し、最初の可視的識別データ２３を設定する。

次いで、制御部１８は、ステップＳ４３において、取得したカテゴリデータを判別し、取得したカテゴリーデータが先に取得したカテゴリデータと同じかどうかを判断し、異なるとき、ステップＳ４４に進み、同じとき、ステップＳ４６に進む。

カテゴリデータが異なるとき、選択部１３ｂは、ステップＳ４４において、先のカテゴリデータと変わった最初のカテゴリデータに対応する画像データ５を非選択とする。ステップＳ４５において、制御部１８は、可視的識別データ２３の変更処理を行う。例えば、制御部１８は、可視的識別データ２３が「○」に設定されているとき、カテゴリデータが変わると、可視的識別データ２３を「○」から「△」に変更する。

ステップＳ４３において、カテゴリデータが先のカテゴリデータと同じとき、ステップＳ４６において、選択部１３ｂは、カテゴリデータに対応する画像データ５を選択し、キャプチャ画像部６を拡大処理できるようにする。

ステップＳ４７において、選択部１３ｂは、制御部１８から入力された可視的識別データ２３と、この可視的識別データ２３に対応する画像データ５とを合成する。そして、ステップＳ３６において、画像処理部１３は、画像メモリ１２から次の画像データ５の取り込みを行うと共に、制御部１８は、取り込む画像データ５のカテゴリデータを制御信号線２２を介して内視鏡装置２から取得し、ステップＳ４１からの処理を繰り返す。

この後、拡大処理部１３ｃは、ステップＳ４６で選択された画像データ５に関し、付加情報部７をトリミングし、キャプチャ画像部６を拡大する拡大処理を行い、拡大処理を行ったデータを合成部１３ｄに出力する。そして、合成部１３ｄでは、各画像データを、ステップＳ４１で付番された番号に対応付けられた領域Ａ〜領域Ｄに合成し、図１５の各頁の合成画像データ９を生成する。そして、合成部１３ｄは、生成した図１５に示す画像データ９を、出力端子１４を介して出力することによってビデオモニタ３に表示し、又は印刷信号変換部１６へ出力し印刷する。

以上のような例によれば、自動的に、カテゴリデータが変わったところで、キャプチャ画像部６と共に付加情報部７が表示されることから、ユーザが拡大表示する領域を選択する作業を省略することができ、利便性の向上を図ることができる。また、１枚の記録用紙４に、一人の患者のキャプチャ画像部６を表示することで、例えばここでは一人の患者当たり４枚の画像データ５を割り振るようにすることで、印画物の管理も容易に行うことができる。

以上、入力側の外部機器に、内視鏡装置２を用いた例を説明したが、入力側の外部機器としては、超音波撮影装置、ＭＲＩ、電子顕微鏡等であっても良く、また、ビデオプリンタ装置１には、異なる種類の医療用映像機器が接続されていても良い。更に、ビデオプリンタ装置１に接続される外部機器としては、コンシューマ用又は業務用のディジタル若しくはアナログのビデオカメラ、ビデオデッキ等であっても良い。

本発明が適用されたビデオプリンタ装置の使用例を説明する図である。 内視鏡装置から入力されるキャプチャ画像データを示す図である。 本発明の第１の参考例となるビデオプリンタ装置のブロック図である。 選択処理前の合成画像データを示す図である。 選択処理後の合成画像データを示す図である。 第１の参考例の動作を示すフローチャートである。 第２の参考例の画像処理部の構成を示すブロック図である。 第２の参考例の動作を示すフローチャートである。 図８の続きのフローチャートである。 第２の参考例の合成画像データを示す図である。 第３の参考例の構成を示す図である。 第３の参考例の合成画像データを示す図である。 第３の参考例の動作を示すフローチャートである。 本発明の実施の形態の構成を示す図である。 本発明の実施の形態の合成画像データを示す図である。 本発明の実施の形態の動作を示すフローチャートである。

符号の説明

１ ビデオプリンタ装置、２ 内視鏡装置、３ ビデオモニタ、４ 記録用紙、５ 画像データ、６ キャプチャ画像部、７ 付加情報部、７ａ 患者識別部、７ｂ ステータス識別部、８ （選択前）合成画像データ、９ （選択後）合成画像データ、１１ 入力端子、１２ 画像メモリ、１３ 画像処理部、１３ａ 判別部、１３ｂ 選択部、１３ｃ 拡大処理部、１３ｄ 合成部、１４ 出力端子、１５ 印刷ヘッド、１６ 印刷信号変換部、１７ 操作部、１８ 制御部、１９ 入力端子、２１ 映像信号線、２２ 制御信号線、２３ 可視的識別データ

Claims (15)

1. 外部機器から入力された画像データに基づいて合成画像データを生成する画像処理装置において、
   上記外部機器から画像部とこの画像部に関連する付加情報部とからなる画像データが入力される入力手段と、
   上記入力手段に入力された画像データを保存する画像メモリと、
   上記画像メモリに保存された複数の画像データのそれぞれを、一画面内に割り当てられた複数の所定領域のそれぞれに表示する合成画像データを生成する画像処理手段と、
   上記合成画像データを出力する出力手段とを備え、
   上記複数の所定領域は、上記画像部と上記付加情報部とからなる画像データが表示される第１の所定領域と、上記画像データの画像部を拡大した画像部が表示される第２の所定領域とを含み、
   上記画像処理手段は、表示する画像データが上記第１の所定領域、上記第２の所定領域の何れの領域に表示されるかを判別する画像データの判別手段と、
   上記画像データの判別手段で上記第２の所定領域に割り当てられると判別された画像データを選択する選択手段と、
   上記入力手段に入力される画像データのカテゴリデータを取得する取得手段と、
   上記取得手段で取得したカテゴリーデータを判別する判別手段と、
   上記カテゴリーデータの判別手段で判別したカテゴリデータに応じた可視的識別データを設定する設定手段とを有し、
   上記画像処理手段は、上記各所定領域に割り当てられる画像データに対して上記設定手段で設定された可視的識別データを合成し、上記所定領域のそれぞれに表示されるようにし、
   上記カテゴリデータが変わったときの画像データを上記第１の所定領域に割り当て、この第１の所定領域に上記画像部と上記付加情報部とからなる画像データを表示できるようにし、上記一の画面内の第２の所定領域に、上記選択手段で選択された画像データの画像部を拡大した画像部が表示されるようにした合成画像データを生成する画像処理装置。
2. 上記画像処理手段は、上記第２の所定領域に上記画像部が拡大表示される画像データに関し、上記付加情報部を省略して、上記画像部を拡大する請求項１記載の画像処理装置。
3. 上記画像処理手段は、上記第２の所定領域に上記画像部が拡大表示される画像データに関し、上記付加情報部の一部を省略して、上記画像部を拡大する請求項１記載の画像処理装置。
4. 上記画像処理手段は、上記第２の所定領域に上記画像部が拡大表示される画像データに関し、上記付加情報部を縮小して、上記画像部を拡大する請求項１記載の画像処理装置。
5. 上記カテゴリデータは、上記外部機器から入力される請求項１記載の画像処理装置。
6. 更に、上記出力端子に接続され、上記合成画像データを印刷する印刷手段を備える請求項１記載の画像処理装置。
7. 更に、上記出力端子に接続され、上記合成画像データを表示する表示手段を備える請求項１記載の画像処理装置。
8. 上記外部機器は、内視鏡装置である請求項１記載の画像処理装置。
9. 外部機器から入力された画像データに基づいて合成画像データを生成する画像処理方法において、
   外部機器より、画像部とこの画像部に関連する付加情報部とからなる画像データが入力手段に入力されるステップと、
   上記入力手段に入力された画像データを画像メモリに保存するステップと、
   上記画像メモリに保存された複数の画像データのそれぞれを、一画面内に割り当てられた複数の所定領域のそれぞれに表示する合成画像データを生成するステップとを有し、
   上記複数の所定領域は、上記画像部と上記付加情報部とからなる画像データが表示される第１の所定領域と、上記画像データの画像部を拡大した画像部が表示される第２の所定領域とを含み、
   上記合成画像データを生成するステップは、
   表示する画像データが上記第１の所定領域、上記第２の所定領域の何れの領域に表示されるかを判別し、上記第２の所定領域に割り当てられると判別された画像データを選択するステップと、
   上記入力手段に入力される画像データのカテゴリデータを取得し、この取得したカテゴリーデータを判別するステップと、
   上記判別したカテゴリデータに応じた可視的識別データを上記各所定領域に割り当てられる画像データに対して合成し、上記所定領域のそれぞれに表示されるようにするステップと、
   上記カテゴリデータが変わったときの画像データを上記第１の所定領域に割り当て、この第１の所定領域に上記画像部と上記付加情報部とからなる画像データを表示できるようにし、上記一の画面内の第２の所定領域に、上記選択された画像データの画像部を拡大した画像部が表示されるようにした合成画像データを生成するステップと
   を有する画像処理方法。
10. 上記合成画像データを生成するステップでは、上記第２の所定領域に上記画像部が拡大表示される画像データに関し、上記付加情報部を省略して、上記画像部を拡大する請求項９記載の画像処理方法。
11. 上記合成画像データを生成するステップでは、上記第２の所定領域に上記画像部が拡大表示される画像データに関し、上記付加情報部の一部を省略して、上記画像部を拡大する請求項９記載の画像処理方法。
12. 上記合成画像データを生成するステップでは、上記第２の所定領域に上記画像部が拡大表示される画像データに関し、上記付加情報部を縮小して、上記画像部を拡大する請求項９記載の画像処理方法。
    
13. 上記カテゴリデータは、上記外部機器から入力される請求項９記載の画像処理方法。
14. 更に、上記生成された合成画像データを印刷するステップを有する請求項９記載の画像処理方法。
15. 更に、上記生成された合成画像データをモニタに表示するステップを有する請求項９記載の画像処理方法。

Images