JP7016068B2

JP7016068B2 - 映像統合システム

Info

Publication number: JP7016068B2
Application number: JP2017004581A
Authority: JP
Inventors: 圭司江原
Original assignee: DVX Inc
Current assignee: DVX Inc
Priority date: 2017-01-13
Filing date: 2017-01-13
Publication date: 2022-02-04
Anticipated expiration: 2037-01-13
Also published as: JP2018112716A

Description

特許法第３０条第２項適用展示会でのデモンストレーション平成２８年７月１５日～７月１７日第６３回日本不整脈心電学会

特許法第３０条第２項適用展示会でのデモンストレーション平成２８年１０月２０日～１０月２２日ＣＣＴ２０１６

特許法第３０条第２項適用展示会でのデモンストレーション平成２８年１０月２７日～１０月２８日カテーテルアブレーション関連秋季大会２０１６

本発明は、複数の個別機器、例えば複数の医療機器からの映像を略リアルタイムに統合して表示する映像統合システムに関する。

近年、医療現場においては多くの画像診断機器が用いられている。例えば循環器疾患におけるカテーテル治療においては、カテーテルの位置をＸ線映像で術者がリアルタイムに把握しながら、処置が行われている。

図１４（Ａ）は、複数の医療機器３１０Ａ～３１０Ｃにそれぞれモニタが備えられて、患者Ｐの生体情報や、患部の映像を術者が観察しながら、術者が処置をおこなう従来の手術態様を示す説明図である。しかしながらこのような態様においては、術中において医師や看護師は、患者の生体情報、例えば血圧や酸素飽和度、心電図等を取得し表示する生体情報モニタをはじめとして、別々の場所に備えられた極めて多くの医療機器からの映像情報を同時に把握しなければならない。個別の医療機器に備えられた画像表示をそれぞれの機器上で見ながら、複雑な処置をおこなうことは、煩雑であり危険を見落としてしまう可能性も高い。

そのため、図１４（Ｂ）で示すように、複数の医療機器３１０からの映像を統合して、一つの統合画面３２０として提供するモニタ装置が開発されている（例えば、特許文献１参照）。

特許第５８５１６４７号公報

しかしながら、現行の装置においては複数の医療機器からの入力映像を一画面に多分割画面表示することはできるものの、それぞれの医療機器からの映像信号の規格が異なるため、画面レイアウトを変更すること、新たな装置からの映像を術中に追加すること、さらに術中に患部をモニタ上で大きな映像として観察をしたい場合に、リアルタイムに映像サイズを変更すること等は専門の技術者以外では困難であった。また手術の進行に合わせて、画面レイアウトを変更することも難しいという課題があった。

本発明は、斯かる実情に鑑み、複数の医療機器が生成する規格の異なる複数の映像信号を略リアルタイムに統合し、レイアウトの自由に変更可能に表示する映像統合システムを提供しようとするものである。

（１）本発明は、複数の個別機器の映像出力端子とそれぞれ接続され、前記個別機器で生成される個別映像の信号が入力される少なくとも２つの個別映像信号入力端子と、複数の前記個別映像を略リアルタイムで合成することで、単一の画面内に複数の前記個別映像が映される合成映像表示画面用の信号を生成する出力映像生成処理部と、前記合成映像表示画面用の信号をディスプレイに出力する合成映像出力端子とを備えることを特徴とする、映像統合システムを提供する。

上記（１）に記載する発明によれば、複数の機器からの個別の映像信号を略リアルタイムに合成し、単一のディスプレイ画面内に表示することができる。したがって、使用者は、複数の機器のそれぞれに備えられたモニタに映し出された映像を、それぞれ確認するという煩雑な動作から解放されるので、作業の正確性、効率性の向上という著しく優れた効果を奏する。

（２）本発明は、前記個別映像の信号に基づいて、解像度及び／又はアスペクト比の管理情報を取得する個別映像管理部と、複数の前記個別映像の各々の前記アスペクト比を維持したまま、前記合成映像表示画面用の信号に適用させるために、複数の前記個別映像を変換する規格化処理部とを備え、前記出力映像生成処理部は、前記規格化された前記個別映像を用いて、前記合成映像表示画面用の信号を生成することを特徴とする、上記（１）に記載の映像統合システムを提供する。

上記（２）に記載する発明によれば、複数の個別機器が生成する規格の異なる映像信号を、映像サイズが変更されてもアスペクト比を維持したまま、画面に表示が可能になるよう規格化させる規格化処理をおこなうので、形状を維持したままの映像をリアルタイムに生成でき、使用者の正確な判断の材料となり得る映像表示ができるという優れた効果を奏する。

（３）本発明は、前記規格化処理部が、複数の前記個別映像における一部又は全部の前記個別映像がアナログデータの場合、前記アナログデータをデジタ変換して規格化することを特徴とする、上記（２）に記載の映像統合システムを提供する。

上記（３）に記載する発明によれば、アナログ映像信号を生成する機器からの映像信号と、デジタル映像信号を生成する機器からの映像信号を、同時に単一の画面内で、表示することが可能になるという優れた効果を奏する。

（４）本発明は、前記合成映像表示画面内に表示される、複数の前記個別映像の位置関係となる個別レイアウトが予め登録される個別レイアウト登録処理部を備え、前記出力映像生成処理部は、前記個別レイアウトを参照して、前記合成映像表示画面用の信号を生成することを特徴とする、上記（１）乃至（３）のいずれかに記載の映像統合システムを提供する。

上記（４）に記載する発明によれば、使用者が予め複数の個別映像の位置関係を表す個別レイアウトを登録でき、それに従って合成映像を表示可能なので、一連の作業中に必要なレイアウトを適宜呼び出して、リアルタイムにレイアウトを変更することが可能になり、作業の正確性、効率性の向上という優れた効果を奏する。

（５）本発明は、操作入力手段による使用者の操作入力を受け付ける操作入力端子を備え、前記個別レイアウト登録処理部は、前記個別映像のレイアウト調整に関する操作入力を使用者に促すレイアウト編集領域を含むレイアウト登録画面を出力し、前記操作入力に基づいて前記個別レイアウトを編集する前記個別レイアウト編集部を有することを特徴とする、上記（４）に記載の映像統合システムを提供する。

上記（５）に記載する発明によれば、リアルタイムに個別映像のレイアウト調整を行うことができるので、作業中に最適な個別映像のレイアウトに変更ができるというという優れた効果を奏する。

（６）本発明は、前記出力映像生成処理部が、複数の前記個別レイアウトの中から所望の前記個別レイアウトの選択を使用者に促す個別レイアウト選定部を有しており、使用者によって選択された前記個別レイアウトを参照して、前記合成映像表示画面用の信号を生成することを特徴とする、上記（４）又は（５）に記載の映像統合システムを提供する。

上記（６）に記載する発明によれば、使用者が予め登録した個別レイアウトの中から、容易に最適なレイアウトを選択して画面に表示できるので、一連の作業中に使用者自身が最適なレイアウトを選択しつつ作業を進められるという優れた効果を奏する。

（７）本発明は、前記個別レイアウト選定部が、前記合成映像表示画面の一部又は全部において、選定可能な前記個別レイアウトのリストとなる個別レイアウトリスト表示領域を含めることを特徴とする、上記（６）に記載の映像統合システムを提供する。

上記（７）に記載する発明によれば、合成映像表示画面中に、選定可能な個別レイアウトのリストとなる個別レイアウトリストを表示することができるので、一連の作業中に使用者自身が最適なレイアウトを選択しつつ作業を進められるという優れた効果を奏する。

（８）本発明は、前記出力映像生成処理部が、前記合成映像表示画面の一部又は全部において、略リアルタイムとなる前記個別映像のレイアウト調整の操作入力を使用者に促す個別レイアウト直接編集領域を含む信号を出力し、前記操作入力に基づいて、生成中の前記合成映像表示画面のレイアウトを変更する前記個別レイアウト直接編集処理部を有することを特徴とする、上記（４）乃至（７）のいずれかに記載の映像統合システムを提供する。

上記（８）に記載する発明によれば、使用者自身が作業中、リアルタイムに、個別映像のレイアウト調整を行うことができるので、常に最適な個別映像のレイアウトに変更ができるというという優れた効果を奏する。

（９）本発明は、前記個別レイアウト直接編集領域では、略リアルタイムで表示される複数の前記個別映像の相対位置、前後関係、大きさ、明るさの少なくとも一つを調整できることを特徴とする、上記（８）に記載の映像統合システムを提供する。

上記（９）に記載する発明によれば、使用者自身が作業中、リアルタイムに、個別映像の相対位置、前後関係、大きさ、明るさを調整できるので、使用者の作業の正確性を向上させ、使用者の正確な判断の材料となり得る映像表示ができるという優れた効果を奏する。

（１０）本発明は、前記個別レイアウト直接編集処理部が、前記合成映像表示画面の一部又は全部において、新たに前記合成映像表示画面に追加可能な前記個別映像のリストを含む信号を出力し、使用者の操作入力に基づいて選定される前記個別映像を、生成中の前記合成映像表示画面に追加表示することを特徴とする、上記（８）又は（９）に記載の映像統合システムを提供する。

上記（１０）に記載する発明によれば、使用者が作業中に適宜、必要な映像信号を選定して画面に追加表示させることが可能になるという優れた効果を奏する。

（１１）本発明は、複数の前記個別レイアウトから、所望の複数の前記個別レイアウトを選択してグループ化したレイアウトグループが予め登録されるレイアウトグループ登録処理部を備え、前記出力映像生成処理部の前記個別レイアウト選定部は、前記レイアウトグループの中から所望の前記個別レイアウトの選択を使用者に促すようにし、前記レイアウトグループの中から使用者によって選択された前記個別レイアウトを参照して、前記合成映像表示画面用の信号を生成することを特徴とする、上記（６）又は（７）に記載の映像統合システムを提供する。

上記（１１）に記載する発明によれば、使用者自身が予め登録したレイアウトの集合であるレイアウトグループから、使用者が最適なレイアウトをリアルタイムに選択しつつ作業を進められるという優れた効果を奏する。

上記の映像統合システムによれば、複数の医療機器が生成する規格の異なる複数の映像信号を略リアルタイムに統合し、レイアウトの自由に変更可能に表示する映像統合システムを提供することができるという優れた効果を奏し得る。

本発明の実施形態に係る映像統合システムの構成図である。合成映像表示画面の説明図である。個別映像管理画面の説明図である。合成映像表示領域を有する場合の合成映像表示画面の説明図である。（Ａ）個別レイアウト直接編集領域を有する合成映像表示画面の説明図である。（Ｂ）合成映像表示画面において、追加用個別映像見本リスト表示領域から個別映像を選択して、個別レイアウトに追加する動作を説明する説明図である。個別レイアウトリスト表示領域を有する合成映像表示画面の説明図である。レイアウト編集領域を有するレイアウト登録画面の説明図である。カテゴリー設定領域を有するレイアウトグループ登録画面の説明図である（Ａ）合成映像表示画面の説明図である。（Ｂ）合成映像表示画面において個別映像の位置やサイズを変更させる動作、及び、個別映像の重複部分の透過表示の態様を示す説明図である。（Ａ）映像統合システムの制御部によって実現される機能における、個別映像の信号の処理に関する機能ブロック図である。（Ｂ）個別レイアウト、及び、レイアウトグループの登録処理に関する機能ブロック図である。個別映像、及び、個別レイアウトに関する処理に関する機能ブロック図である。個別レイアウトの直接編集を行う動作のフローチャートである。レイアウトグループ表示を行い、個別レイアウトを選択して合成映像表示画面の表示を変更していく動作のフローチャートである。（Ａ）それぞれモニタを有する複数の医療機器を用いた従来の手術の態様を説明する概念図である。（Ｂ）複数の医療機器からの映像を一つの画面に統合する従来のモニタを説明する概念図である。

以下、本発明の実施の形態を添付図面を参照して説明する。図１～図１３は発明を実施する形態の一例であって、図中、同一の符号を付した部分は同一物を表わす。なお、各図において一部の構成を適宜省略して、図面を簡略化する。そして、部材の大きさ、形状、厚みなどを適宜誇張して表現する。

図１に、本発明の実施形態に係る映像統合システム１の構成図を示す。映像統合システム１は、システム全体の制御と処理を行う制御部３０と、制御部３０に各装置を接続するバス６０と、プログラムやデータのどの情報を記録するメモリ４０と、使用者が情報入力操作を行う操作入力手段５０と、それぞれが映像信号を生成し映像統合システム１に接続される個別機器１５からの信号についての入力インターフェース１０と、映像統合システム１によって統合された映像を表示するディスプレイ装置２５への信号についての出力インターフェース２０を備える。

制御部３０はＣＰＵ７０、ＲＡＭ７２およびＲＯＭ７４などから構成され、各種制御を実行する。ＣＰＵ７０はいわゆる中央演算処理装置であり、各種プログラムが実行されて様々な機能を実現する。ＲＡＭ７２はＣＰＵの作業領域、記憶領域として使用され、ＲＯＭ７４はＣＰＵで実行されるオペレーティングシステムやプログラムを記憶する。

メモリ４０は、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録媒体であり、プログラム等を記録するプログラム等記録領域８０、過去の映像データを記録する過去映像情報記録領域９０、個別映像の配置やサイズなどのレイアウト情報を記録するレイアウト情報記録領域１００等を備える。

操作入力手段５０は、キーボード、マウス、トラックボール、ディスプレイ装置２５に備えられたタッチパネル等の一般的な入力装置である。

入力インターフェース１０は、個別機器１５からの映像信号を入力する個別映像信号入力端子１２を複数備える。個別映像信号入力端子１２は、例えば、ＨＤＭＩ（登録商標）端子（Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ：高精細度マルチメディアインターフェース）、Ｓビデオ端子、ＢＮＣ端子、ＵＳＢ端子、ＶＧＡ端子等である。

出力インターフェース２０は、ディスプレイ装置２５へ、統合（合成）された映像信号を出力するインターフェースであり、例えばＨＤＭＩ（登録商標）信号を複数に分配する出力信号分配手段２０Ａと、例えばＨＤＭＩ（登録商標）信号をＬＡＮ信号に変換する出力信号変換手段２０Ｂを有する。また出力インターフェース２０は、ディスプレイ装置２５に合成された映像信号を出力する合成映像出力端子２２を有する。合成映像出力端子２２は、例えば、ＬＡＮ端子、ＨＤＭＩ（登録商標）端子（Ｈｉｇｈ－ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ：高精細度マルチメディアインターフェース）、Ｓビデオ端子、ＢＮＣ端子、ＵＳＢ端子、ＶＧＡ端子等である。

すなわち、映像統合システム１は、複数の個別機器１５の映像出力端子とそれぞれ接続され、個別機器１５で生成される個別映像の信号が入力される少なくとも２つの個別映像信号入力端子１２と、複数の個別映像を略リアルタイムで合成することで、ディスプレイ装置２５の単一の画面内に複数の個別映像が映される合成映像表示画面９００用の信号を生成する出力映像生成処理部６００と、合成映像表示画面９００用の信号をディスプレイ装置２５に出力する合成映像出力端子２２を備える

図２には、ディスプレイ装置２５に表示される合成映像表示画面９００の説明図を示す。

ここで個別機器からの映像信号による映像を個別映像、複数の個別映像を一画面に配置する際の位置関係を個別レイアウト、異なる複数の個別レイアウトをひとまとまりとして扱う集合をレイアウトグループと定義する。

図２において、合成映像表示画面９００は、個別映像の配置であるレイアウトの集合であるレイアウトグループを選定可能な画面領域であるレイアウトグループ選定領域９０５、指定されたレイアウトグループの個別レイアウトのリストを表示する個別レイアウトリスト表示領域９２０を備える。

使用者は、操作入力手段５０によって、レイアウトグループ選定領域９０５に表示された項目を選定することで、特定のレイアウトグループを選択できる。例えば、図２においてレイアウトグループ選定領域９０５Ａの項目１において、「Ａ」という項目を選び、レイアウトグループ選定領域９０５Ｂの項目２において、「ｔ＿ｋ１＿３」を選定すると、個別レイアウトリスト表示領域９２０に、個別レイアウトである「ＬＡ」、「ＬＺ」、「ＬＣ」からなるレイアウトグループが表示される。例えば医療現場において、複数の医師が映像統合システム１を使用する場合に、項目１として担当医師の名前を入力し、項目２に例えば手術方法を入力すれば、その手術中において担当医師が使用することを望む個別映像のレイアウトをすぐに選ぶことができる。

合成映像表示画面９００は、さらに、個別映像を管理する個別映像管理画面８００に表示させるシステム設定ボタン９０１、後述するレイアウト登録画面９５０を表示させる新規編集ボタン９０２、レイアウトグループ選定領域９０５において選定されたレイアウトグループの個別レイアウトに従って、後述する合成映像表示領域９１０を表示する合成映像表示画面９００をスタートさせるスタートボタン９０３を備える。

図３には、個別映像管理画面８００の説明図を示す。個別映像管理画面８００には、個別映像信号入力端子１２から入力された個別機器１５からの個別映像の信号の管理情報が表示される。管理情報は例えば、個別機器１５の名称、個別機器１５からの映像の解像度、アスペクト比などである。映像統合システム１は、例えば個別映像信号入力端子１２に接続された個別機器１５のそれぞれへ適切なＥＤＩＤデータ（ＥｘｔｅｎｄｅｄＤｉｓｐｌａｙＩｄｅｎｔｉｆｉｃａｔｉｏｎＤａｔａ）を送信し、必要な解像度、アスペクト比に従った信号を受信する。使用者は個別映像管理画面８００において、必要な解像度、後述する登録用個別映像見本リスト表示領域９５８等で表示するアイコン、個別映像の背景色等を操作入力手段５０により入力更新できる。個別映像管理画面８００には、さらに、個別映像管理画面８００において表示され、入力された管理情報を更新又は決定する決定ボタン９０４を備える。

図４には、合成映像表示領域９１０を有する場合の合成映像表示画面９００の説明図を示す。本合成映像表示画面９００は、例えば医療現場においては、手術中に医師や看護師が患者の生体情報、患部の映像等を参照しながら処置を行う際に用いる。このため手術に関連のない余計な制御情報等は表示させない。合成映像表示領域９１０には、例えば個別映像ＫＡ、ＫＢ、ＫＣ、ＫＤが、予め登録された個別レイアウトに従って表示される。このとき図２において選定したレイアウトグループにおいてひとまとまりになった複数の個別レイアウトを順序づけておき、順番に選択できることが望ましい。また図２において、個別レイアウトリスト表示領域９２０のなかで、操作入力手段５０により、個別レイアウトの順序を変更させることができることが望ましい。例えば個別レイアウトリスト表示領域９２０に表示された各個別レイアウトのアイコンをドラッグさせることで順序を変更させることができることが望ましい。

映像統合システム１において、出力映像生成処理部６００は、合成映像表示画面９００の一部又は全部において、略リアルタイムとなる個別映像のレイアウト調整の操作入力を使用者に促す個別レイアウト直接編集領域９４０を含む信号を出力し、操作入力に基づいて、生成中の合成映像表示画面９００のレイアウトを変更する個別レイアウト直接編集処理部６４０を有することが望ましい。

なお、個別映像が時間変化をする場合には、映像を略リアルタイムにリフレッシュさせることで、個別映像が長時間停止することを防ぐことが望ましい。

図５（Ａ）には、個別レイアウト直接編集領域９４０を有する合成映像表示画面９００の説明図を示す。本合成映像表示画面９００を表示するためには、使用者は例えば図４の合成映像表示領域９１０において、操作入力手段５０として備えられたマウスを左クリックする。本合成映像表示画面９００には、合成映像表示領域９１０から遷移して、現在表示中の個別レイアウトを直接編集可能となる個別レイアウト直接編集領域９４０を有する。また本合成映像表示画面９００は、個別映像リストが表示されて、現在の個別レイアウトに追加表示できるようにする追加用個別映像見本リスト表示領域９３０をサイドバーとして備える。図５（Ａ）では、例えば個別レイアウトＬＺとして個別映像ＫＡ，ＫＢ、ＫＤを個別レイアウト直接編集領域９４０の中に表示するレイアウトが選定されている。個別レイアウト直接編集領域９４０において、使用者は、操作入力手段５０、例えばマウスの操作をすることで、それぞれの個別映像のサイズ、位置等を変更することができる。

すなわち個別レイアウト直接編集領域９４０では、略リアルタイムで表示される複数の個別映像の相対位置、前後関係、大きさ、明るさの少なくとも一つを調整できることが望ましい。

図５（Ｂ）では、合成映像表示画面９００において、追加用個別映像見本リスト表示領域９３０から特定の個別映像を選択して、合成映像表示画面９００に追加表示する動作を説明する説明図である。使用者は、例えば、追加用個別映像見本リスト表示領域９３０のなかに見本として表示されている個別映像ＫＣ１を、操作入力手段５０であるマウスによって選択して、一点鎖線矢印で示された軌跡にしたがって、いわゆるドラッグアンドドロップ操作をすることで、適切な位置に個別映像ＫＣ２として個別レイアウト直接編集領域９４０に表示させることができる。なお使用者は、例えば図５に示された更新ボタン９４５を選択することで、個別レイアウトＬＺについて、個別映像ＫＣをさらに含む新たな個別レイアウトとして更新登録することができる。

すなわち個別レイアウトを編集する個別レイアウト直接編集処理部６４０は、合成映像表示画面９００の一部又は全部において、新たに合成映像表示画面９００に追加可能な個別映像のリストを含む信号を出力し、使用者の操作入力に基づいて選定される個別映像を、生成中の合成映像表示画面９００に追加表示する。

図６には、個別レイアウトリスト表示領域９２０を有する合成映像表示画面９００の説明図である。個別レイアウトリスト表示領域９２０は、指定されたレイアウトグループの個別レイアウトのリストを表示する。本合成映像表示画面９００は、例えば、使用者は例えば図４の合成映像表示領域９１０において、操作入力手段５０として備えられたマウスを右クリックすることで表示される。

本合成映像表示画面９００は、合成映像表示領域９１０と個別レイアウトリスト表示領域９２０を備え、個別レイアウトリスト表示領域９２０には、選定されたレイアウトグループ中の個別レイアウトが表示される。使用者が操作入力手段５０によって、特定の個別レイアウトを選ぶことで、合成映像表示領域９１０のレイアウトが変更される。例えば図６においては、個別レイアウトＬＺにしたがって、個別映像ＫＡ、ＫＢ、ＥＣ、ＫＤが合成映像表示領域９１０に表示される。使用者は、例えば手術の処置の進行に従って、レイアウトグループ中の個別レイアウトＬＢ、ＬＤ、ＬＺ、ＬＡと、画面のレイアウトを変化させることで、そのときに最も必要だと使用者が考える個別映像を、適切なレイアウトで
表示させることができる。

すなわち映像統合システム１は、複数の個別レイアウトから、所望の複数の個別レイアウトを選択してグループ化したレイアウトグループが予め登録されるレイアウトグループ登録処理部５５０を備え、出力映像生成処理部６００の個別レイアウト選定部６３０は、レイアウトグループの中から所望の個別レイアウトの選択を使用者に促すようにし、レイアウトグループの中から使用者によって選択された個別レイアウトを参照して、合成映像表示画面９００用の信号を生成する。

なおレイアウトの変更更新時も、個別映像が時間変化をする場合には、映像を略リアルタイムにリフレッシュさせることで、個別映像が長時間停止することを防ぐことが望ましい。

図７には、レイアウト編集領域９５２を有するレイアウト登録画面９５０の説明図を示す。レイアウト編集領域９５２は、使用者が編集するレイアウト内容（複数の個別映像を含む）を表示する。本レイアウト登録画面９５０は、作成されたレイアウトの見本を縮小表示するレイアウト見本表示領域９５４と、表示可能な個別映像の見本リストが表示される登録用個別映像見本リスト表示領域９５８をさらに備える。

具体的には、新規に個別レイアウトを作成したいときには新規ボタン９５７を選択する。新規の個別レイアウトにおいては、レイアウト編集領域９５２には、なにも表示されていない。使用者は、レイアウト登録画面９５０の登録用個別映像見本リスト表示領域９５８から、表示させたい個別映像に対応するアイコンを選択して、レイアウト編集領域９５２に、いわゆるドラッグアンドドロップ操作をすることで、個別映像を選定する。レイアウト編集領域９５２において、使用者は、操作入力手段５０、例えばマウスの操作をすることで、それぞれの個別映像のサイズ、位置等を変更することができる。個別レイアウトの編集終了後、登録ボタン９５６を選択することで、個別レイアウトが登録される。

図８には、カテゴリー設定領域９６８を有するレイアウトグループ登録画面９６０の説明図を示す。レイアウトグループ登録画面９６０において、使用者は、レイアウトグループを編集し、登録することができる。レイアウトグループ登録画面９６０は、さらに、選択された複数の個別レイアウトを表示するレイアウトグループ編集領域９６２と、作成された個別レイアウトの見本をリスト表示する個別レイアウト見本表示領域９６４と、レイアウトの編集を完了して、当該レイアウトを新たに個別レイアウトとして登録する登録ボタン９６６を備える。使用者はカテゴリー設定領域９６８に表示された項目を、操作入力手段５０によって選定することで、特定のレイアウトグループを選択できる。例えば、図８においてカテゴリー設定領域９６８の項目１において、「Ｂ」という項目を選び、レイカテゴリー設定領域９６８の項目２において、「ｔ＿ｋ１＿１」を選定すると、レイアウトグループ編集領域９６２に、個別レイアウトである「ＬＢ」、「ＬＤ」、「ＬＺ」からなるレイアウトグループが表示される。使用者は、追加ボタンを選択することで個別レイアウト見本表示領域９６４から適宜、個別レイアウトを選択してレイアウトグループに追加することができる。また使用者は削除ボタンを選択することでレイアウトグループから、特定の個別レイアウトを削除することもできる。

図９には、合成映像表示画面９００の説明図を示す。本実施形態に係る映像統合システム１において、ディスプレイ装置２５の合成映像表示画面９００が有する合成映像表示領域９１０は、リアルタイムにその個別映像のサイズやレイアウトを変更することができる。具体的には、図９（Ａ）のようなレイアウトであったとき、使用者が個別映像ＫＢ１を拡大して表示させたい場合には、個別映像のＫＣ、ＫＤ１を縮小し、個別映像ＫＢ１を拡大させて個別映像ＫＢ２として表示させることができる（図９（Ｂ）参照）。このとき個別映像ＫＢ２と個別映像ＫＤ２の重複部分、及び、個別映像ＫＢ２と個別映像ＫＡの重複部分は、それぞれが表示透過率を変化させることで両者を表示させてもよく、それぞれの個別映像部分をクリックすることでいずれかを強調表示させてもよい。

図１０（Ａ）には、映像統合システム１の制御部３０によって実現される機能における、個別映像の信号の処理に関する機能ブロック図を示す。制御部３０によって実現されるのは、複数の画面を合成する合成映像生成制御部５００に対応する合成映像生成制御機能と、表示ディスプレイの認証を行う表示ディスプレイ認証部５１０に対応する表示ディスプレイ認証機能と、解像度などの個別映像の管理情報を管理する個別映像管理部５２０に対応する個別映像管理認証機能と、解像度を取得する解像度取得処理部５２２に対応する解像度取得処理認証機能と、アスペクト比を取得するアスペクト比取得処理部５２４に対応するアスペクト比取得処理認証機能と、個別映像の名前・アイコン・枠色などを入力系統別に設定できる個別映像表示方法設定処理部５２６に対応する個別映像表示方法設定処理である。

すなわち映像統合システム１は、個別映像の信号に基づいて、解像度及び／又はアスペクト比の管理情報を取得する個別映像管理機能と、複数の個別映像の各々のアスペクト比を維持したまま、合成映像表示画面用の信号に適用させるために、複数の個別映像を変換する規格化処理機能とを備え、出力映像生成処理機能は、規格化された個別映像を用いて、合成映像表示画面用の信号を生成する。

また規格化処理機能は、複数の個別映像における一部又は全部の個別映像がアナログデータの場合、前記アナログデータをデジタル変換して規格化してもよい。

図１０（Ｂ）には、個別レイアウト、及び、レイアウトグループの登録処理に関する機能ブロック図を示す。制御部３０によって実現されるのは、個別レイアウト登録処理部５４０に対応する個別レイアウト登録処理機能と、レイアウトグループ登録処理部５５０に対応するレイアウトグループ登録処理機能である。

映像統合システム１において、制御部３０によって合成映像表示画面内に表示される、複数の個別映像の位置関係となる個別レイアウトが予め登録される個別レイアウト登録処理機能が備えられ、出力映像生成処理機能は、個別レイアウトを参照して、合成映像表示画面用の信号を生成されることが望ましい。

映像統合システム１は、操作入力手段による使用者の操作入力を受け付ける操作入力端子５１を備え、制御部３０によって実現される機能として、個別レイアウト登録処理機能、すなわち前記個別映像のレイアウト調整に関する操作入力を使用者に促すレイアウト編集領域を含むレイアウト登録画面を出力し、操作入力に基づいて個別レイアウトを編集する個別レイアウト編集機能を有することが望ましい。

図１１には、個別映像、及び、個別レイアウトに関する処理に関する機能ブロック図を示す。制御部３０によって実現されるのは、合成映像を生成し、外部（出力映像出力端子）に出力する出力映像生成処理部６００に対応する出力映像生成処理機能と、個別映像を組み合わせて合成映像を生成する個別映像合成処理部６１０に対応する個別映像合成処理機能と、合成映像の中で個別映像同士が重なり合う場合に、前面の個別映像が透過して、背面の個別映像が透けて見えるようにする個別映像透過表示処理部６１２に対応する個別映像透過表示処理機能と、複数の個別機器が生成する規格の異なる映像信号を、映像サイズが変更されてもアスペクト比を維持したまま、画面に表示が可能になるよう規格化させる規格化処理をおこなう個別映像規格化処理部６１４に対応する個別映像規格化処理機能と、レイアウトグループを選定するレイアウトグループ選定部６２０に対応するレイアウトグループ選定機能と、個別レイアウトを選定する個別レイアウト選定部６３０に対応する個別レイアウト選定機能と、表示中のレイアウトを編集可能にする個別レイアウト直接編集処理部６４０に対応する個別レイアウト直接編集処理機能と、個別映像のサイズ、前後関係を変更できる個別映像調整処理部６４２に対応する個別映像調整処理機能と、個別映像を追加する個別映像追加処理部６４４に対応する個別映像追加処理機能とボタン一つで、新たに追加された個別映像をリスト追加できる個別映像更新処理部６４６に対応する個別映像更新処理機能である。

これらの機能は、メモリ４０のプログラム等記録領域８０に記憶されたプログラムを制御部３０が実行し、入力インターフェース１０、出力インターフェース２０、操作入力手段５０等のハードウェアが協働することで実現される。

次に、上記した実施の形態の動作を説明する。

図１２には、制御部３０で実行される動作の内、個別レイアウトの直接編集を行う動作のフローチャートを示す。

まず制御部３０は、使用者が選択したレイアウトグループを選定するレイアウトグループ選定機能により、特定のレイアウトグループを選定する（ステップＳ１）。次にレイアウトグループ中の個別レイアウトに従って個別映像合成処理機能と、出力映像生成処理機能により、ディスプレイ装置２５に出力するための信号を生成し、ディスプレイ装置２５に合成映像表示画面９００を表示する（ステップＳ２）。レイアウト編集命令がなければ（ステップＳ３のＮＯの場合）、そのまま合成映像表示画面９００を表示し続ける。レイアウト編集命令があったならば（ステップＳ３のＹＥＳの場合）、レイアウトが編集登録できる画面（図５参照）を表示し（ステップＳ４）、個別レイアウト直接編集処理機能によりレイアウト編集をおこなう（図示省略）。そして個別映像透過表示処理機能、個別映像調整処理機能、個別映像追加処理機能により編集後のレイアウトを生成し、編集後のレイアウトで画面表示を行う（ステップＳ５）。更新ボタン（図５（Ａ）参照）が選択されたならば（ステップＳ６のＹＥＳの場合）、編集後のレイアウトに個別レイアウトを更新する（ステップＳ７）。更新ボタン（図５（Ａ）参照）が選択されなければ（ステップＳ６のＮＯの場合）、個別レイアウトは更新されず元の個別レイアウトに従って合成映像表示画面９００を表示する（ステップＳ２に戻る）。表示中止命令があれば（ステップＳ８のＹＥＳの場合）、終了し（ステップＳ９）、表示中止命令があれば（ステップＳ８のＮＯの場合）、個別レイアウトに従って合成映像表示画面９００を表示する（ステップＳ２に戻る）。

図１３には、制御部３０で実行される動作の内、レイアウトグループ表示を行い、個別レイアウトを選択して合成映像表示画面の表示を変更していく動作のフローチャートを示す。

まず制御部３０は、使用者が選択したレイアウトグループを選定するレイアウトグループ選定機能により、特定のレイアウトグループを選定する（ステップＴ１）。次にレイアウトグループ中の個別レイアウトに従って個別映像合成処理機能と、出力映像生成処理機能により、ディスプレイ装置２５に出力するための信号を生成し、ディスプレイ装置２５に合成映像表示画面９００を表示する（ステップＴ２）。レイアウト選定命令がなければ
（ステップＴ３のＮＯの場合）、そのまま合成映像表示画面９００を表示し続ける。レイアウト選定命令があったならば（ステップＴ３のＹＥＳの場合）、レイアウトグループ中の個別レイアウトリストを表示する画面を表示する（図６参照）（ステップＴ４）。レイアウトグループ選定機能により、レイアウトグループ中の個別レイアウトを使用者に選定させ（ステップＴ５）、選定後のレイアウトで画面表示を行う（ステップＴ６）。表示中止命令があれば（ステップＴ７のＹＥＳの場合）、終了し（ステップＴ８）、表示中止命令があれば（ステップＴ７のＮＯの場合）、個別レイアウトに従って合成映像表示画面９００を表示する（ステップＴ２に戻る）。

本発明の実施形態に係る映像統合システム１によれば、複数の個別機器１５からの個別の映像信号を略リアルタイムに合成し、単一のディスプレイ画面２５内に表示することができる。したがって、使用者は、複数の個別機器１５のそれぞれに備えられたモニタに映し出された映像を、それぞれ確認するという煩雑な動作から解放されるので、作業の正確性、効率性の向上という著しく優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、複数の個別機器１５が生成する規格の異なる映像信号を、映像サイズが変更されてもアスペクト比を維持したまま、画面に表示が可能になるよう規格化させる規格化処理をおこなうので、形状を維持したままの映像をリアルタイムに生成でき、使用者の正確な判断の材料となり得る映像表示ができるという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、アナログ映像信号を生成する機器からの映像信号と、デジタル映像信号を生成する機器からの映像信号を、同時に単一の画面内で、表示することが可能になるという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、使用者が予め複数の個別映像の位置関係を表す個別レイアウトを登録でき、それに従って合成映像を表示可能なので、一連の作業中に必要なレイアウトを適宜呼び出して、リアルタイムにレイアウトを変更することが可能になり、作業の正確性、効率性の向上という優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、リアルタイムに個別映像のレイアウト調整を行うことができるので、作業中に最適な個別映像のレイアウトに変更ができるというという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、使用者が予め登録した個別レイアウトの中から、容易に最適なレイアウトを選択して画面に表示できるので、一連の作業中に使用者自身が最適なレイアウトを選択しつつ作業を進められるという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、合成映像表示画面９００中に、選定可能な個別レイアウトのリストとなる個別レイアウトリストを表示することができるので、一連の作業中に使用者自身が最適なレイアウトを選択しつつ作業を進められるという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、使用者自身が作業中、リアルタイムに、個別映像のレイアウト調整を行うことができるので、常に最適な個別映像のレイアウトに変更ができるというという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、使用者自身が作業中、リアルタイムに、個別映像の相対位置、前後関係、大きさ、明るさを調整できるので、使用者の作業の正確性を向上させ、使用者の正確な判断の材料となり得る映像表示ができるという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、使用者が作業中に適宜、必要な映像信号を選定して画面に追加表示させることが可能になるという優れた効果を奏する。

本発明の実施形態に係る映像統合システム１によれば、使用者自身が予め登録したレイアウトの集合であるレイアウトグループから、使用者が最適なレイアウトをリアルタイムに選択しつつ作業を進められるという優れた効果を奏する。

尚、本発明の映像統合システムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、本発明の映像統合システムは、上述した個別機器１５として医療機器を前提とした実施形態の他、細胞培養工場での監視システム、原子炉の制御システム、大型船舶や航空機内での機器管理システムなど、作業の延期や中断が許容されない環境であって、使用者にとって必要な映像情報の種類、配置、個別映像の大きさを容易に、且つ、略リアルタイムに変更可能であることが望ましい場面で使用される。

１映像統合システム
１０入力インターフェース
１２個別映像信号入力端子
１５個別機器
２０出力インターフェース
２０Ａ出力信号分配手段
２０Ｂ出力信号変換手段
２２合成映像出力端子
２５ディスプレイ装置
３０制御部
４０メモリ
５０操作入力手段
５１操作入力端子
６０バス
７０ＣＰＵ
７２ＲＡＭ
７４ＲＯＭ
８０プログラム等記録領域
９０過去映像情報記録領域
１００レイアウト情報記録領域
５００合成映像生成制御部
５１０表示ディスプレイ認証手段
５２０個別映像管理部
５２２解像度取得処理部
５２４アスペクト比取得処理部
５２６個別映像表示方法設定処理部
５４０個別レイアウト登録処理部
５５０レイアウトグループ登録処理部
６００出力映像生成処理部
６１０個別映像合成処理部
６１２個別映像透過表示処理部
６１４個別映像規格化処理部
６２０レイアウトグループ選定部
６３０個別レイアウト選定部
６４０個別レイアウト直接編集処理部
６４２個別映像調整処理部
６４４個別映像追加処理部
６４６個別映像更新処理部
８００個別映像管理画面
９００合成映像表示画面
９０５レイアウトグループ選定領域
９１０合成映像表示領域
９２０個別レイアウトリスト表示領域
９３０追加用個別映像見本リスト表示領域
９４０個別レイアウト直接編集領域
９５０レイアウト登録画面
９５２レイアウト編集領域
９５４レイアウト見本表示領域
９５６登録ボタン
９５８登録用個別映像見本リスト表示領域
９６０レイアウトグループ登録画面
９６２レイアウトグループ編集領域
９６４個別レイアウト見本表示領域
９６６登録ボタン
９６８カテゴリー設定領域

Claims

術中において患者の情報を取得する複数の医療機器の映像出力端子とそれぞれ接続され、前記医療機器で生成される個別映像の信号が入力される少なくとも２つの個別映像信号入力端子と、
複数の前記個別映像を略リアルタイムで合成することで、単一の画面内に複数の前記個別映像が映される合成映像表示画面用の信号を生成する出力映像生成処理部と、
前記合成映像表示画面用の信号をディスプレイに出力する合成映像出力端子と、
前記合成映像表示画面内に表示される、複数の前記個別映像の位置関係となる個別レイアウトが予め登録される個別レイアウト登録処理部と、
複数の前記個別レイアウトから、所望の複数の前記個別レイアウトを選択してグループ化したレイアウトグループが予め登録されるレイアウトグループ登録処理部と、
を備え、
前記出力映像生成処理部は、前記合成映像表示画面の一部において、前記レイアウトグループの中から選定可能な複数の前記個別レイアウトのリストを表示する個別レイアウトリスト表示領域を含めることで、複数の前記個別レイアウトの中から所望の前記個別レイアウトを選択させる、個別レイアウト選定部を有しており、
前記出力映像生成処理部は、前記レイアウトグループの中から使用者によって選択された前記個別レイアウトを参照して、前記合成映像表示画面用の信号を生成し、
前記合成映像表示画面は、前記レイアウトグループを選定可能な画面領域であるレイアウトグループ選定領域を含み、
前記レイアウトグループ選定領域には、前記使用者によって選定可能な複数の項目が表示され、
前記個別レイアウトリスト表示領域には、選定された前記項目に対応する特定の前記レイアウトグループが表示されることを特徴とする、映像統合システム。
前記個別映像の信号に基づいて、解像度及びアスペクト比の管理情報を取得する個別映像管理部と、
複数の前記個別映像の各々の前記アスペクト比を維持したまま、前記合成映像表示画面用の信号に適用させるために、複数の前記個別映像を変換する規格化処理部と、を備え、
前記出力映像生成処理部は、前記規格化された前記個別映像を用いて、前記合成映像表示画面用の信号を生成することを特徴とする、
請求項１に記載の映像統合システム。
前記規格化処理部は、複数の前記個別映像における一部又は全部の前記個別映像がアナログデータの場合、前記アナログデータをデジタル変換して規格化することを特徴とする、
請求項２に記載の映像統合システム。
操作入力手段による前記使用者の操作入力を受け付ける操作入力端子を備え、
前記個別レイアウト登録処理部は、前記合成映像表示画面の一部において、前記使用者が編集可能であるとともに複数の前記個別映像を含むレイアウト内容を表示するレイアウト編集領域を含むレイアウト登録画面を出力し、前記操作入力に基づいて前記個別レイアウトを編集する個別レイアウト編集部を有することを特徴とする、
請求項１から３のいずれか一項に記載の映像統合システム。
前記出力映像生成処理部は、前記合成映像表示画面の一部において、略リアルタイムとなる前記個別映像のリストを表示する個別レイアウト直接編集領域を含む信号を出力し、前記使用者の操作入力に基づいて、生成中の前記合成映像表示画面のレイアウトを変更する前記個別レイアウト直接編集処理部を有することを特徴とする、
請求項１から４のいずれかに記載の映像統合システム。
前記個別レイアウト直接編集領域では、略リアルタイムで表示される複数の前記個別映像の相対位置、前後関係、大きさ、明るさの少なくとも一つを調整できることを特徴とする、
請求項５に記載の映像統合システム。
前記個別レイアウト直接編集処理部は、前記合成映像表示画面の一部において、新たに前記合成映像表示画面に追加可能な前記個別映像のリストを含む信号を出力し、前記使用者の操作入力に基づいて選定される前記個別映像を、生成中の前記合成映像表示画面に追加表示することを特徴とする、
請求項５又は６に記載の映像統合システム。
前記個別映像の信号に基づいて、解像度及びアスペクト比の管理情報を取得する個別映像管理部を備え、
前記個別映像管理部は、複数の前記医療機器のそれぞれに対して、前記ディスプレイが必要とする縦方向解像度及び横方向解像度による前記個別映像の出力指示を行い、前記ディスプレイに個別映像管理画面を表示することで、前記医療機器のそれぞれに指示するための前記縦方向解像度及び前記横方向解像度の値を入力・更新可能である請求項１に記載の映像統合システム。