JP2008152692A - 画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム - Google Patents
画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2008152692A JP2008152692A JP2006342218A JP2006342218A JP2008152692A JP 2008152692 A JP2008152692 A JP 2008152692A JP 2006342218 A JP2006342218 A JP 2006342218A JP 2006342218 A JP2006342218 A JP 2006342218A JP 2008152692 A JP2008152692 A JP 2008152692A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- display
- screen display
- image
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】ディスプレイイメージと空間イメージを併せて再現する構成を実現する。
【解決手段】カメラによって撮影された空間画像データを取得し、さらに、PCなどの情報処理装置のディスプレイ表示データである画面表示データを取得し、空間画像データと画面表示データとの合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に画面表示データを設定した合成画像を生成する。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【選択図】図1
【解決手段】カメラによって撮影された空間画像データを取得し、さらに、PCなどの情報処理装置のディスプレイ表示データである画面表示データを取得し、空間画像データと画面表示データとの合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に画面表示データを設定した合成画像を生成する。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
【選択図】図1
Description
本発明は、画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、空間イメージとディスプレイイメージとを併せて記録し、また再生を行なうことを可能とした画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムに関する。
画像データや音声データを記録データとしてデータベースに蓄積して、後日再生可能としたシステムは様々な分野で利用されている。例えば、オフィス空間において行われる会議において会議室のボードの記載事項を写真として記録してデータベースに格納し、後日、再生して確認することを可能としたシステムは、会議の参加者が後日、会議で行われた内容を確認する場合や、会議の非参加者に会議内容を知らせることを可能とする場合などに有用である。また、PC等のディスプレイに表示されたデータをデータベースに記録するシステム等も様々な分野で利用されている。
たとえば、特許文献1(特開2004−080750号公報)は、ホワイトボードの情報をスナップショットとしてキャプチャし、音声を含めてシーケンスを解析する方法を開示している。
また、特許文献2(特許2733502号公報)は、ビデオの編集を、セグメント単位で行い、所定のプログラムを利用して違ったソースからでも編集することを可能としたシステムを開示している。
このような様々な画像記録システムにおいて利用される記録画像として例えばスナップショットが利用可能である。スナップショットはある瞬間の記録画像である。しかし、上記の従来技術も含めた多くの従来技術は、文字などの情報が表示されているディスプレイ画面やホワイトボードなどがスナップの対象として設定され、取得画像の再生による再現処理を行なう場合、ディスプレイ画面やホワイトボード対応の特定情報を再生できるに過ぎない。すなわち、ディスプレイ等の表示情報を含めた空間全体のイメージを記録し再現する構成とはなっていない。従って、再生処理によって再生されたホワイトボードやPC画面データが、どういった環境、例えばどの会議でどのような参加メンバーの下で表示されていたのかを思い起こすことが困難となるという問題がある。
スナップ等の画像記録方法としては次の2つが考えられる。1つはカメラによる画像取得方法である。例えば、上述した特許文献1(特開2004−080750)では、ホワイトボードの画像をカメラによって撮影し、録音した音声データと併せて記録を行ない、記録データの解析によって要点整理やミーティングの振り返り支援などに活用する構成を開示している。
画像記録手法のもう1つの態様としては、例えばコンピュータの機能としてのディスプレイ画面プリント機能を適用する手法がある。これは、PC等の情報処理装置のディスプレイに表示された画像の記録処理に限られるが、ディスプレイ画面データの記録処理として、PC等の情報処理装置の持つデータ処理プログラムを利用して、ディスプレイ表示データを記録装置に出力して記録することが可能である。たとえば記録する画像データに併せて記録タイミングとしての時間データを記録することで、画像再生時に画像が記録された時間を確認することもできる。
しかし、上記のいずれの構成においても、記録処理後、再生される画像データは、ディスプレイ画面やホワイトボード対応の特定情報が再生可能となるのみであり、これらの情報を含めた空間全体のイメージを再現することは出来ない。
空間全体のイメージの記録構成を構築することを想定すると、例えば、3次元空間の画像情報を多面的に取得しようとする場合、状況に応じたスナップを取得する要請が出てくる。例えば、
(a)ユーザの目の前にある(例えばデスクやテーブル上の)数面のディスプレイに表示されたデータのスナップを必要とする場合、
(b)デスクやテーブルを取り巻く4方の面〈場合によっては、天井と床を加えた6面〉から、全部または選択的にいくつかの面のスナップが欲しい場合、
なお、この場合、ディスプレイ面のみならず、カードや付箋を貼り付けたパネル/ボードや、ホワイトボードに手書きで書き込んだもの、その他、物理的に存在していたものの情報が全て記録されることになる。
(c)(a),(b)の組み合わせが欲しい場合
(d)背景面ではなく、その場に居合わせた人を主に記録したい場合、さらに人物クローズアップを別途撮影して同時に記録したい場合、
これらの様々な要請が出てくることが予想される。
しかし、上述した従来技術による画像記録処理構成では、このような様々な要請に対応できるものはなかった。
(a)ユーザの目の前にある(例えばデスクやテーブル上の)数面のディスプレイに表示されたデータのスナップを必要とする場合、
(b)デスクやテーブルを取り巻く4方の面〈場合によっては、天井と床を加えた6面〉から、全部または選択的にいくつかの面のスナップが欲しい場合、
なお、この場合、ディスプレイ面のみならず、カードや付箋を貼り付けたパネル/ボードや、ホワイトボードに手書きで書き込んだもの、その他、物理的に存在していたものの情報が全て記録されることになる。
(c)(a),(b)の組み合わせが欲しい場合
(d)背景面ではなく、その場に居合わせた人を主に記録したい場合、さらに人物クローズアップを別途撮影して同時に記録したい場合、
これらの様々な要請が出てくることが予想される。
しかし、上述した従来技術による画像記録処理構成では、このような様々な要請に対応できるものはなかった。
また、これら状況に応じたスナップの取得に対応する画像の再生方式も様々考えられるが、従来技術においては、これらの状況やユーザの指定に応じた再生を可能とするものはなかった。例えば画像の再生態様としては、次のような様々な態様が想定される。
(a)眼前の1画面(1PC多画面であれば多画面が対象、要するに1PCのカバー範囲)に全体のスナップを表示し、必要に応じて(指定に応じて)、脇の画面(上、下、左右など)に詳細な情報を表示する。
(b)(a)の方式を拡張し、空間的なイメージ再現により近づけるため、空間内の可能な数枚のディスプレイに展開的に表示する。
(c)空間面の再現にはプロジェクタを用い、それぞれの面は、反対側の面からプロジェクションする。プロジェクション面を広く(できれば面全体に同じ程度の大きさに)確保する為にロールスクリーンなどが使われる。このとき、プロジェクトされた面に含まれるディスプレイ面の情報が不鮮明であれば、そのディスプレイ面の情報を眼前(デスク上)のディスプレイに選択的に表示する。
(d)スナップ画像を、空間にある可能なディスプレイ面を使って、もともとの表示位置に対応して表示するだけでなく、左右上下逆順あるいはランダムに入れ替えて表示したり、さらにはある時間間隔で次々と入れ替えたり、順番にシフトさせたりすることで、スナップという記録の機能を超えて、新しい見方や発想を誘発するような効果を狙った再現を行う。
(a)眼前の1画面(1PC多画面であれば多画面が対象、要するに1PCのカバー範囲)に全体のスナップを表示し、必要に応じて(指定に応じて)、脇の画面(上、下、左右など)に詳細な情報を表示する。
(b)(a)の方式を拡張し、空間的なイメージ再現により近づけるため、空間内の可能な数枚のディスプレイに展開的に表示する。
(c)空間面の再現にはプロジェクタを用い、それぞれの面は、反対側の面からプロジェクションする。プロジェクション面を広く(できれば面全体に同じ程度の大きさに)確保する為にロールスクリーンなどが使われる。このとき、プロジェクトされた面に含まれるディスプレイ面の情報が不鮮明であれば、そのディスプレイ面の情報を眼前(デスク上)のディスプレイに選択的に表示する。
(d)スナップ画像を、空間にある可能なディスプレイ面を使って、もともとの表示位置に対応して表示するだけでなく、左右上下逆順あるいはランダムに入れ替えて表示したり、さらにはある時間間隔で次々と入れ替えたり、順番にシフトさせたりすることで、スナップという記録の機能を超えて、新しい見方や発想を誘発するような効果を狙った再現を行う。
このように、様々な態様の画像再生構成が考えられるが、従来技術においては、これらの様々な画像再生の要請に対応可能なものはないというのが現状である。
特開2004−080750号公報
特許2733502号公報
本発明は、上述の問題点に鑑みてなされたものであり、例えばPC等の情報処理装置のディスプレイ画面などの表示データと、その周囲の環境の撮影データとを併せて記録し再生することを可能とした画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システムにある。
カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システムにある。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、予め記憶部に記憶された背景情報としての空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得した空間画像データの属性情報として記録された空間画像データ取得時間情報と、前記画面表示データ取得部の取得した画面表示データの属性情報として記録された画面表示データ取得時間情報とを比較し、画面表示データ取得時間情報に最も近い空間画像データ取得時間情報を持つ空間画像データを合成対象画像として選択して合成画像の生成処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記空間画像データ取得部は、カメラの撮影した空間画像データを取得して、取得した空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記空間画像データ取得部は、複数の異なる位置に設定されたカメラの撮影した複数の空間画像データを取得して、取得した複数の空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記画面表示データ取得部は、複数の異なる位置に設定されたディスプレイに表示される複数の画面表示データを取得して、取得した複数の画面表示データを、該画面表示データを表示したディスプレイの識別子とデータ取得時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、予め取得済みの実空間におけるディスプレイ設定位置情報に基づいて、前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得した空間画像データの画像解析に基づいてディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像出力部は、情報処理装置におけるディスプレイであり、前記合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを組み合わせた空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像出力部は、一台または複数のプロジェクタによって構成され、前記合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、前記空間画像データ取得部の取得する空間を小領域に区分してアドレスを設定した空間アドレス情報と、合成画像中に出力するオブジェクトの表示位置を示すアドレスを各オブジェクトに対応付けたオブジェクト対応アドレス情報テーブルを保持し、前記空間アドレス情報と前記オブジェクト対応アドレス情報テーブルに設定されたアドレスに従って、前記合成画像上における各オブジェクトの出力位置を決定する構成であることを特徴とする。
さらに、本発明の画像データ処理システムの一実施態様において、前記合成画像生成部は、時間遷移に応じて、前記オブジェクトの表示位置および表示内容を更新した合成画像を生成して出力する構成であることを特徴とする。
さらに、本発明の第2の側面は、
画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法にある。
画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法にある。
さらに、本発明の第3の側面は、
画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、カメラによって撮影された空間画像データを取得し、さらに、PCなどの情報処理装置のディスプレイに表示されたデータである画面表示データを取得し、これらの空間画像データと画面表示データとの合成処理により合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像を生成して出力する構成とした。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
以下、図面を参照しながら本発明の実施形態に係る画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラムの詳細について説明する。
本発明の画像データ処理システムは、空間のイメージデータ、例えば写真データとしてのスナップショットとしての空間画像データを取得し、さらに、ユーザのデスクやテーブル上、あるいは空間の壁面などに配置されたディスプレイの画面表示データを取得し、取得した空間画像データと、ディスプレイの画面表示データをデータベース等の記憶手段に格納する。
さらに、データベース等の記憶手段に格納されたデータの再生処理に際しては、空間画像データを再生するとともに、空間画像データ中に表示されるディスプレイの位置に合わせて、記憶手段に格納されたディスプレイの画面表示データをはめ込んで、合成画像を生成して再生を行なう。
このような合成画像の再生を行なうことで、空間全体のイメージと個々のディスプレイの内容を同時に再現できる。また、記録した空間画像データおよび表示画像データの再生処理態様は、ユーザの指定に応じて、様々な表示態様の選択を可能としている。
まず、図1を参照して、本発明の一実施形態に係る画像データ処理システムの構成について説明する。本発明の一実施形態に係る画像データ処理システム100は、図1に示すように、様々なPCなどの情報処理装置のディスプレイ10の画面表示データを取り込む処理を実行する画面表示データ取得部111、画面表示データ取得部111の取得した画像データを記録する画面表示データ記憶部112、空間の様々な位置に配置され空間の画像データを撮影するカメラ20の撮影画像データを取り込む処理を実行する空間画像データ取得部121、空間画像データ取得部121の取得した画像データを記録する空間画像データ記憶部122、さらに、画面表示データ記憶部112に格納された画面表示データと、空間画像データ記憶部122に格納された空間画像データとを取得して、合成画像を生成する合成画像生成部131、合成画像生成部131の生成した合成画像データを記録する合成画像記憶部132、合成画像生成部131の生成した合成画像データを出力する例えばディスプレイやプロジェクション等によって構成される合成画像出力部141を有する。さらに、画像の取り込みタイミングの指定や、画像の再生制御などの各種制御情報を入力する入力部(操作パネル)101を有する。
合成画像生成部131では、空間画像データ記憶部122から空間画像データを取得し、画面表示データ記憶部112に格納された画面表示データを取得して、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。すなわち、合成画像生成部131は、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像の生成処理を実行する。
ユーザは、入力部(操作パネル)101から、例えば画像の取り込みタイミングを指定することが可能であり、また、合成画像の生成、出力に際して、出力態様等の指定が可能である。
なお、空間画像データ記憶部122には、空間画像データ取得部121が逐次取得した画像データが記録されていくが、予めデフォルトの背景画像も記憶されている。このデフォルト背景画像は、予め所定の空間イメージに対応する画像データであり、空間画像データ取得部121が新たな画像データを取得していない場合にも、合成画像生成部131は、空間画像データ記憶部122に記憶されたデフォルト背景画像を適用して、画面表示データ記憶部112に格納された画面表示データを、デフォルト空間画像データ中のディスプレイ位置に合わせてはめ込んだ合成画像を生成する。
ディスプレイやカメラの配置例について、図2、図3を参照して説明する。図2は、ある室内空間を上から見た図を示している。図3は、同一空間を正面(図2の下側)から見た図である。図2において、4方の壁面200をそれぞれ区別して、200N1,200N2,200E1,200E2,200S1,200W1,200W2として示している。図の下側の壁面200S1はパーティションやドア部分など独立した壁面ではない部分であり点線として示してある。
図2、図3に示す空間は1つのスナップ対象空間の例であり、前後左右床の5面によって囲まれ、壁面200には壁面ディスプレイ211が設置されている。壁面200は、基本的には情報提示面として活用される(ホワイトボード、メモクリップ、ドキュメント(カタログなどを含む、ファイルや書籍の背表紙など)が、個人ワーク環境として必要な収納スペース(上着掛け、かばん収納、傘収納、靴収納、コーヒーカップ、写真立て、文具収納、回覧受けなど)を兼ねている。
中央付近にはデスク220と椅子(図示せず)が配置され、通常は、デスク220を中心とした個人ワーク環境として使用されているが、デスク220上のディスプレイ221のみならず、壁面200の各面に配置されたディスプレイ211にも情報表示が可能となっている。
壁面200N1には、ファイルが置かれ、2つの壁面ディスプレイ211設定されている。
壁面200N2には、書籍が置かれ1つのホワイトボードが設定されている。
壁面200E1には、1つの壁面ディスプレイ211が設定されている。
壁面200E2には、ドキュメント、パンフレット類が置かれている。
壁面200S1は、例えば入り口である。
壁面200W1には、1つの壁面ディスプレイ211が設定されている。
壁面200W2には、コート、かさ、カバンなどの日用品が置かれている。
壁面200W1と壁面200W2にまたがってパネルが設定されている。
壁面200N2には、書籍が置かれ1つのホワイトボードが設定されている。
壁面200E1には、1つの壁面ディスプレイ211が設定されている。
壁面200E2には、ドキュメント、パンフレット類が置かれている。
壁面200S1は、例えば入り口である。
壁面200W1には、1つの壁面ディスプレイ211が設定されている。
壁面200W2には、コート、かさ、カバンなどの日用品が置かれている。
壁面200W1と壁面200W2にまたがってパネルが設定されている。
4方の各壁面200のほぼ中央部にはカメラ201〜204が設置され、4方向からの空間画像の撮影を行なう。図2、図3に示す入力部(操作パネル)222をユーザが操作することで、これらのカメラ201〜204により各空間イメージ画像が撮影される。カメラ201〜204は、図1に示すカメラ10に相当し、カメラ201〜204の撮影画像は、図1に示す空間画像データ取得部121によって取得されて空間画像データ記憶部122に格納される。なお、どのカメラによって撮影された画像データであるかを示すカメラ識別データと、撮影タイミングの時間データも画像の属性データとして画像に併せて空間画像データ記憶部122に記録される。
壁面200には、複数の壁面ディスプレイ211が設置されている。また、中央のデスク220上にも複数のディスプレイ221が設置されている。これらのディスプレイ211,221は、図1におけるディスプレイ10に相当し、これらのディスプレイ211,221に表示された画像データは、図2、図3に示す入力部(操作パネル)222をユーザが操作することで、図1に示す画面表示データ取得部111によって取得されて画面表示データ記憶部112に格納される。なお、どのディスプレイの表示画像データであるかを示すディスプレイ識別データと、データ取得タイミングの時間データも画像の属性データとして画像に併せて画面表示データ記憶部112に記録される。
また、4方の各壁面200中、3方の壁面200E,200S,200Wのほぼ中央部にはプロジェクタ231,232,233が設置されている。これらは、図1に示す合成画像出力部141に相当し、合成画像生成部131の生成した画像データを各対向壁面に出力する。なお、壁面ディスプレイ211や、デスク220上の複数のディスプレイ221も合成画像出力部141に相当する。ユーザは、入力部(操作パネル)222を操作して、これらの複数の画像出力装置を適宜、選択して合成画像生成部131の生成した合成画像を出力する。
なお、この空間は、図4、図5に示すように、人251〜255が入ったり移動したりするスペースや通路があり、数人が壁面を見たり、あるいは机を囲んだりして、打ち合わせやディスカッションができる設定である。
なお、以下説明する実施例は、図2に示すように複数のカメラと複数のプロジェクタを備えた構成における処理例を説明するが、本発明は、複数のカメラと複数のプロジェクタを備えることは必ずしも必須ではなく、例えば撮影方向を変更する制御可能な1台のカメラとした構成でもよく、またプロジェクタも1つのみとする構成でもよい。
以下、図6に示すフローチャートを参照して、本実施例に係る画像データ処理システムにおける画像取得処理および画像出力処理シーケンスについて説明する。図6に示す処理フローは、入力部(操作パネル)をユーザが操作することで、壁面あるいはデスク上のディスプレイの表示画像を記憶部に格納して、その記憶画像を予め取得済みの空間イメージ画像(背景画像)と合成してディスプレイあるいはプロジェクタを介して出力する処理を実行する場合の処理シーケンスを説明するフローである。
まず、ステップS101において、ユーザが入力部(操作パネル)を操作して、ディスプレイの画面表示データの取り込み指示を実行する。この指示に基づいて、ステップS102において、図1に示す画面表示データ取得部111が、ネットワーク接続されたディスプレイ、例えば、図2、図3に示す構成例では、壁面ディスプレイ211とデスク上のディスプレイ221の各々に表示されたデータを各々取得し、ステップS103において、取得した複数の画面表示データを画面表示データ記憶部112に格納する。
なお、画面表示データ取得部111は、各ディスプレイの画面表示データに併せて、各ディスプレイの識別情報(ID)と、取得時間情報を各画面表示データに対応する属性情報として設定して画面表示データ記憶部112に格納する。例えば、各ディスプレイの画面表示データは、個別の画像ファイルとして画面表示データ記憶部112に格納され、ファイル名をPC名(アドレスなどのID)+タイムスタンプの構成として格納される。
ステップS104において、合成画像生成部131が画面表示データ記憶部112に格納された画面表示データを取得する。なお、ステップS104以下の処理は、ステップS103までの画像取得処理に続けて実行する構成としてもよいが、ユーザによる入力部に対する画像再生指示に基づいて実行する構成としてもよい。
次に、ステップS105において、合成画像生成部131が空間画像データ記憶部122に格納された空間画像データを取得する。合成画像生成部131が空間画像データ記憶部122から取得する空間画像データは、デフォルトとして指定された予め撮影済みの背景画像データか、あるいは、合成画像生成部131が画面表示データ記憶部112から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データとする。
次に、合成画像生成部131は、ステップS106において、記憶部から取得した画面表示データと空間画像データとを合成する処理を実行する。すなわち、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。
なお、ディスプレイ位置は、予め合成画像生成部131内の記憶部に記録されている。すなわち、画面表示データを取得する対象となる個々のディスプレイの実空間における位置情報は、各ディスプレイの識別情報に対応付けられて予め合成画像生成部131内の記憶部に記録されており、この位置情報に基づいて、空間画像データ内におけるディスプレイ画面表示データの出力位置を決定して合成画像を生成する。なお、このような位置情報を保持せず、カメラによって撮影された空間画像データの画像解析によってディスプレイ位置を求めて、その求めたディスプレイ位置に画面表示データを設定して出力する構成としてもよい。
次に、ステップS107において、合成画像生成部131の生成した合成画像を合成画像出力部141を介して出力する。合成画像出力部141は先に説明したように、ディスプレイ、あるいはプロジェクタであり、ユーザによる入力部を介する指示によって選択された出力先に合成画像が出力される。
図6を参照して説明したシーケンスは、ディススプレイに表示された画像のみを取得する処理として説明したが、空間に配置されたカメラによって撮影された空間画像を画面表示データの取りこみに併せて取得して、これらの取得画像に基づいて合成画像を生成して出力するシーケンスについて、図7に示すフローチャートを参照して説明する。
まず、ステップS201において、ユーザが入力部(操作パネル)を操作して、ディスプレイの画面表示データの取り込み、および、カメラ(例えば図2に示すカメラ201〜204)による空間画像の取得(撮影)指示を実行する。この指示に基づいて、ステップS202において、図1に示す画面表示データ取得部111が、ネットワーク接続されたディスプレイ、例えば、図2、図3に示す構成例では、壁面ディスプレイ211とデスク上のディスプレイ221の各々に表示されたデータを各々取得し、さらに、空間画像データ取得部121がカメラ201〜204の各々において撮影された空間画像を取得する。
ステップS203では、取得した画像データを記憶部に格納する。すなわち、画面表示データを画面表示データ記憶部112に格納し、カメラによって撮影された空間画像データを空間画像データ記憶部122に格納する。
なお、画面表示データ取得部111は、各ディスプレイの画面表示データに併せて、各ディスプレイの識別情報(ID)と、取得時間情報を各画面表示データに対応する属性情報として設定して画面表示データ記憶部112に格納し、空間画像データ取得部121は、各カメラの取得画像に併せて、各カメラの識別情報(ID)と、取得時間情報を各空間画像データに対応する属性情報として設定して空間画像データ記憶部122に格納する。例えば、前述したように個別の画像ファイルの各々について、ファイル名をPCあるいはカメラ名(アドレスなどのID)+タイムスタンプの構成として格納する。
ステップS204では、合成画像生成部131が画面表示データ記憶部112に格納された画面表示データを取得し、ステップS205において、合成画像生成部131が空間画像データ記憶部122に格納された空間画像データを取得する。なお、ステップS204以下の処理は、ステップS203までの画像取得処理に続けて実行する構成としてもよいが、ユーザによる入力部に対する画像再生指示に基づいて実行する構成としてもよい。
合成画像生成部131が空間画像データ記憶部122から取得する空間画像データは、合成画像生成部131が画面表示データ記憶部112から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データであり、このように、同時取り込みが実行されている場合は、その同時取り込み空間画像データが取得される。
次に、合成画像生成部131は、ステップS206において、記憶部から取得した画面表示データと空間画像データとを合成する処理を実行する。すなわち、空間画像データ中に表示されるディスプレイの位置に合わせてディスプレイの画面表示データをはめ込んだ合成画像を生成する。次にステップS207において、合成画像生成部131の生成した合成画像を合成画像出力部141を介して出力する。
合成画像出力部141は先に説明したように、ディスプレイ、あるいはプロジェクタであり、ユーザによる入力部を介する指示によって選択された出力先に合成画像が出力される。
合成画像生成部131において生成され、合成画像出力部141に出力される合成画像の例について図8、図9を参照して説明する。合成画像出力部141は、ディスプレイ、あるいはプロジェクタであり、これらを選択して出力することが可能である。図8に示す例は、デスク上の1つのディスプレイ301に合成画像を出力した例を示している。
合成画像は、空間画像データ311〜313にディスプレイから取得した画面表示データを貼り合わせた合成画像として設定される。空間画像データ311〜313は、それぞれ、図に示す壁面351〜353のそれぞれの撮影画像、すなわち空間画像データに相当する。この壁面の空間画像データは、図1に示す空間画像データ記憶部122に格納されたものである。
この空間画像の各壁面のディスプレイ位置に対応するディスプレイ321〜324から取得されたが画面表示データが重ねられて表示される。すなわち、図に示す矢印によって示すディスプレイから取得され画面表示データ記憶部112に格納された画面表示データがそれぞれのディスプレイ表示位置に表示される。デスク上のディスプレイから取得した画面表示データについても、それぞれオリジナルの位置関係を維持した状態でそれぞれ表示されることになる。図9に、表示される合成画像の拡大図を示す。
なお、合成画像中に表示される空間画像データ311〜313は、デフォルトとして指定された予め撮影済みの背景画像データか、あるいは、合成画像生成部131が画面表示データ記憶部112から取得した画面表示データのタイムスタンプに最も近い撮影時間を属性データとして持つ空間画像データである。
なお、画像の取得処理は、ユーザによる入力部(操作パネル)を介する指示によって決定される画像取得タイミングに応じて次々に実行することが可能であり、合成画像の生成処理も、画像取得タイミングに応じて実行される。従って、出力する合成画像も次々に切り替えることが可能となる。出力画像の切り替え指示も入力部(操作パネル)を介して実行される。
また、合成画像の出力先についても、ユーザの指定に応じて変更することが可能である。例えば、図8に示す例では、壁面ディスプレイから取り込んだ画面表示データが、ディスプレイに表示された合成画像上では小さく見づらい。このような場合、この合成画像上の1つのディスプレイに対応する画面表示データを、1つのディスプレイ、例えば、図8に示す矢印で示す対応するディスプレイに表示させるといった処理も可能である。
すなわち、合成画像として表示されているデータは、それぞれが個別のファイルとして設定されており、合成画像生成部131が、ユーザの指示に応じて各ファイルの出力先を変更する処理を行なうことで実現される。
図8に示す例では、正面の壁面に2台、左右の壁面に1枚、デスク上に3枚のディスプレイがあることを想定しているが、ディスプレイがない場合でも、天井から見た映像、床から天井を見上げたときの映像、背後の面の映像などを加えることができる。なお、図に示す例では、各壁面に対応する空間画像データを並べて表示する構成としているが、各空間画像データを個別のウィンドウとして設定する表示や、吹き出し風に周囲に拡大画像を配する表示構成としてもよい。
図8、図9を参照して説明した合成画像の表示例は、合成画像出力部としてディスプレイを用いた例であるが、先に説明したように合成画像出力部としてプロジェクタを適用する構成としてもよい。プロジェクタによる合成画像の出力例について図10を参照して説明する。
図10は、図2と同様の空間を上面から見た図である。先に説明したように各壁面のほぼ中央には、合成画像出力部として利用可能なプロジェクタ231〜233が設置されている。合成画像生成部131が生成した画像は、これらのプロジェクタ231〜233を介して、それぞれ対向壁面に表示される。この際、対向面には、それぞれ、必要に応じてスクリーンを設定してプロジェクタの出力画像を表示する構成としてもよい。合成画像生成部は、複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する。
このように、プロジェクタ231〜233が対向壁面に表示する画像データは、それぞれ隣接するカメラ202,203,204によって撮影された画像とする。すなわち、オリジナルの空間と同様な空間位置関係を保持した空間画像データが表示されることになる。
なお、上述の実施例では、静止画を投影する例について説明しているが、動画を撮影して表示する構成としてもよい。この例では、情報ディスプレイ中心の再現に加え、その空間に居た人の情報も写し込むことができるため、もっともリアルに状況を再現できる。
[ネットワークを介した制御構成例]
上述した実施例は、基本的に画像の撮影空間に位置するユーザが、その同一空間内で、合成画像の表示、観察を行なう例として説明したが、画像取得を行なう空間にいないユーザが、ネットワークを介して画像取得の指示や合成画像の生成、出力処理の指示を行なう構成とすることも可能である。例えば、遠隔のPCから、ネットワークを介して、離れた位置にある空間の画像および画面表示データの取得の指示を行い、合成画像を得て、手元のディスプレイに表示させるといった処理である。このようなネットワークを介する制御構成について図11を参照して説明する。
上述した実施例は、基本的に画像の撮影空間に位置するユーザが、その同一空間内で、合成画像の表示、観察を行なう例として説明したが、画像取得を行なう空間にいないユーザが、ネットワークを介して画像取得の指示や合成画像の生成、出力処理の指示を行なう構成とすることも可能である。例えば、遠隔のPCから、ネットワークを介して、離れた位置にある空間の画像および画面表示データの取得の指示を行い、合成画像を得て、手元のディスプレイに表示させるといった処理である。このようなネットワークを介する制御構成について図11を参照して説明する。
図11に示すように、先に図2を参照して説明したと同様の画像データ取得空間310、すなわち、画面表示データを出力するディスプレイ311と、空間画像データを撮影するカメラ312を有する画像データ取得空間310と、画像データ取得空間310における画像取得処理や画像合成処理を実行する情報処理装置320はネットワークによって接続されている。
このようなネットワーク構成において、情報処理装置320は、ユーザの指示情報を入力する入力部321、ユーザ指示に応じてネットワーク接続されたディスプレイ311の画面表示データの取得を実行する画面表示データ取得部322、ユーザ指示に応じてネットワーク接続されたカメラ312の撮影する空間画像データの取得を実行する空間画像データ取得部323、さらに、空間画像データと画面表示データとの合成処理を実行する合成画像生成部324、合成画像生成部324の生成した合成画像を出力表示する合成画像出力部325を有する。
なお、図に示す例では、画面表示データ取得部322の取得した画面表示データを格納する画面表示データ記憶部331、空間画像データ取得部323の取得した空間画像データを格納する空間画像データ記憶部332、合成画像生成部324の生成した合成画像を格納する合成画像データ記憶部333もそれぞれネットワークによって接続されたデータベースとした設定である。なお、これらのデータベースは、情報処理差うち320内部に構成してもよい。
先の実施例では、画像データ取得空間にいるユーザが入力部を介して画像取得を指示する構成としていたが、本実施例では、画像データ取得空間にいないユーザがネットワークを介した情報処理装置320の入力部を介して画像取得を指示する。すなわち、遠隔から、画像スナップ取得指示を送ることができる。取得画像や合成画像は、手元の情報処理装置320のディスプレイ上で見ることができる。
[画像表示制御処理]
上述した実施例では、カメラの撮影した空間画像データ内のディスプレイ対応位置に、ディスプレイから取得した画面表示データをはめ込んだ合成画像を生成して出力する構成として説明した。この場合、例えば、出力合成画像中の画面表示データの出力位置は、実空間におけるディスプレイ設定位置に対応する位置に固定されることになる。その他の実物体、例えば、パネル等も出力合成画像中の画面表示データの出力位置は、実空間における位置に対応した画面位置に固定されることになる。
上述した実施例では、カメラの撮影した空間画像データ内のディスプレイ対応位置に、ディスプレイから取得した画面表示データをはめ込んだ合成画像を生成して出力する構成として説明した。この場合、例えば、出力合成画像中の画面表示データの出力位置は、実空間におけるディスプレイ設定位置に対応する位置に固定されることになる。その他の実物体、例えば、パネル等も出力合成画像中の画面表示データの出力位置は、実空間における位置に対応した画面位置に固定されることになる。
本実施例では、出力される画像中の各オブジェクトの出力位置を変更できる設定とした例である。例えば、図12に示すようにカメラによって撮影される対象となる空間にアドレスを振った空間アドレス情報を用いて3次元での空間表示制御を行う。図12に示す例は、画像データ取得空間の正面の壁全体を1つの2次元領域として、縦方向と横方向にそれぞれ分割した矩形領域を設定して、各矩形領域にアドレスを対応付けた例である。各壁面の識別子として、中央正面の壁面を[C]、左側壁面を[L]、右側壁面を[R]として、各壁面において、それぞれ細分化した矩形領域ごとのアドレスを設定する。
図12に示す例は、中央正面壁面[C]のアドレス設定例であり、縦方向に10分割、横方向に12分割して、計120個のアドレスを設定する。アドレスは、例えば、
[壁面識別子−縦座標−横座標]
の設定とする。図12に示す例では、
左上端のアドレス=[C−01−01]
右上端のアドレス=[C−01−12]
左下端のアドレス=[C−10−01]
右下端のアドレス=[C−10−12]
となる。
[壁面識別子−縦座標−横座標]
の設定とする。図12に示す例では、
左上端のアドレス=[C−01−01]
右上端のアドレス=[C−01−12]
左下端のアドレス=[C−10−01]
右下端のアドレス=[C−10−12]
となる。
さらに、図13に示すように、各壁面に設定されるオブジェクト、例えばディスプレイやパネル、電子ボードなどのオブジェクト各々について、オブジェクト名(またはID)とその表示位置情報としてのアドレスを対応付けたオブジェクト対応アドレス情報テーブルを設定して記憶する。図13に示す例では、
ディスプレイ01(PC01)のアドレスは[C−03−02]、
ディスプレイ02(PC02)のアドレスは[C−03−04]、
電子ボードのアドレスは[C−02−06]、
このようなデータエントリを有するオブジェクト対応アドレス情報テーブルの例である。
ディスプレイ01(PC01)のアドレスは[C−03−02]、
ディスプレイ02(PC02)のアドレスは[C−03−04]、
電子ボードのアドレスは[C−02−06]、
このようなデータエントリを有するオブジェクト対応アドレス情報テーブルの例である。
合成画像生成部は、図12に示す空間アドレス情報と、図13に示すオブジェクト対応アドレス情報テーブルとを利用して、各オブジェクトの表示位置を制御する。オブジェクト対応アドレス情報テーブルに記録された各オブジェクトに対するアドレス位置に書くオブジェクトの表示、例えば、ディスプレイから取得した画面表示データを出力すれば、実空間のディスプレイ位置に対応する表示画像の生成が可能となる。また、オブジェクトの表示位置を変更する場合には、オブジェクト対応アドレスをユーザが一時的に変更することで、表示位置を変更することが可能となる。
例えば、時間経過に従って、ディスプレイの表示位置を変更する処理が実現できる。例えば図14に示すような、時間毎の表示位置を設定した表示位置設定情報テーブルに基づいて、各ディスプレイから取得した画面表示データを出力合成画像上で移動させながら表示を行なうことが可能となる。
例えば合成画像生成部は、図14(a)に示す時間対応オブジェクト表示位置情報と、図14(b)に示す時間対応オブジェクト表示情報を保持し、これらを適用して、各時間タイミング(T1,T2,T3・・・Tn)において、各オブジェクトの表示位置と表示内容を逐次変更して出力する。
図14(a)に示す時間対応オブジェクト表示位置情報は、ディスプレイとしてのPC1〜PC4の時間T1〜Tnにおける表示位置を設定したデータであり、図14(b)に示す時間対応オブジェクト表示情報は、ディスプレイとしてのPC1〜PC4・・・の時間T1〜Tnにおける表示情報を示したテーブルである[○○.jpg]は、画面表示データ取得部によって、各ディスプレイから取得され画面表示データ記憶部に記録されたファイル名を示している。
合成画像生成部は、図14(a)に示す時間対応オブジェクト表示位置情報に従って、ディスプレイとしてのPC1〜PC4の時間T1〜Tnにおける表示位置を決定し、図14(b)に示す時間対応オブジェクト表示情報に基づいて、各表示位置に表示する情報ファイルを取得して、壁面を示す空間画像上に上書きを実行して合成画像を生成し出力する。このように、時間遷移に応じて、オブジェクトの表示位置と表示内容を更新した表示処理が実現される。
最後に、上述した画像データ処理を実行する情報処理装置のハードウェア構成例について、図15を参照して説明する。図15に示す情報処理装置は、例えばPCであり、図1に示すブロック図に対応する処理を実行し、また図11に示す情報処理装置320に対応する。CPU(Central Processing Unit)501は、OS(Operating System)に従った処理や、上述の実施例において説明した画像データの取得処理、合成画像の生成処理、合成画像の出力制御などを実行する。これらの処理は、情報処理装置のROM、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行される。
ROM(Read Only Memory)502は、CPU501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
キーボード508、ポインティングデバイス509は、ユーザにより操作される入力デバイスである。画像の取得や、画像の合成、出力処理制御情報等の指示入力がなされる。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、例えば合成画像を表示する。
HDD(Hard Disk Drive)511は、ハードディスクを駆動し、CPU501によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば上述の実施例において説明した各種の取得画像、生成した合成画像の記憶部としても機能する。さらに、上述の実施例において適用するデータ処理プログラム、各種テーブル、パラメータ、その他のコンピュータ・プログラムが格納される。
ドライブ512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体521に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。
接続ポート514は、外部接続機器522を接続するポートであり、USB,IEEE1394等の接続部を持つ。接続ポート514は、インタフェース507、および外部バス506、ブリッジ505、ホストバス504等を介してCPU501等に接続されている。通信部515は、ネットワークに接続され、各種データベースや他の情報処理装置、カメラ、ディスプレイの取得画像の入力などの情報通信を実行する。
なお、図15に示す情報処理装置のハードウェア構成例は、PCを適用して構成した装置の一例であり、本発明の画像データ処理システムを構成する装置は、図15に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成においては、カメラによって撮影された空間画像データを取得し、さらに、PCなどの情報処理装置のディスプレイに表示されたデータである画面表示データを取得し、これらの空間画像データと画面表示データとの合成処理により合成画像を生成して出力する。合成画像生成処理においては、空間画像データ中のディスプレイ表示位置に、画面表示データを設定した合成画像を生成して出力する構成とした。本構成により、ディスプレイに表示されたデータの再現に際して、その時点の空間イメージを併せて再現することが可能となり、実空間における状況の再現をよりリアルに行なうことが可能となる。
10 ディスプレイ
20 カメラ
100 画像データ処理システム
111 画面表示データ取得部
112 画面表示データ記憶部
121 空間画像データ取得部
122 空間画像データ記憶部
131 合成画像生成部
132 合成画像記憶部
141 合成画像出力部
200 壁面
201〜204 カメラ
211 壁面ディスプレイ
220 デスク
221 ディスプレイ
231〜233 プロジェクタ
251〜255 人
301〜303 ディスプレイ
311〜313 空間画像データ
321〜324 ディスプレイ
351〜353 壁面
501 CPU(Central Processing Unit)
502 ROM(Read-Only-Memory)
503 RAM(Random Access Memory)
504 ホストバス
505 ブリッジ
506 外部バス
507 インタフェース
508 キーボード
509 ポインティングデバイス
510 ディスプレイ
511 HDD(Hard Disk Drive)
512 ドライブ
514 接続ポート
515 通信部
521 リムーバブル記録媒体
522 外部接続機器
20 カメラ
100 画像データ処理システム
111 画面表示データ取得部
112 画面表示データ記憶部
121 空間画像データ取得部
122 空間画像データ記憶部
131 合成画像生成部
132 合成画像記憶部
141 合成画像出力部
200 壁面
201〜204 カメラ
211 壁面ディスプレイ
220 デスク
221 ディスプレイ
231〜233 プロジェクタ
251〜255 人
301〜303 ディスプレイ
311〜313 空間画像データ
321〜324 ディスプレイ
351〜353 壁面
501 CPU(Central Processing Unit)
502 ROM(Read-Only-Memory)
503 RAM(Random Access Memory)
504 ホストバス
505 ブリッジ
506 外部バス
507 インタフェース
508 キーボード
509 ポインティングデバイス
510 ディスプレイ
511 HDD(Hard Disk Drive)
512 ドライブ
514 接続ポート
515 通信部
521 リムーバブル記録媒体
522 外部接続機器
Claims (14)
- カメラによって撮影された空間画像データを取得する空間画像データ取得部と、
ディスプレイの表示画像を取得する画面表示データ取得部と、
前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成部と、
前記合成画像生成部の生成した合成画像を出力する合成画像出力部を有し、
前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする画像データ処理システム。 - 前記合成画像生成部は、
予め記憶部に記憶された背景情報としての空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データの属性情報として記録された空間画像データ取得時間情報と、
前記画面表示データ取得部の取得した画面表示データの属性情報として記録された画面表示データ取得時間情報と、
を比較し、画面表示データ取得時間情報に最も近い空間画像データ取得時間情報を持つ空間画像データを合成対象画像として選択して合成画像の生成処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記空間画像データ取得部は、カメラの撮影した空間画像データを取得して、取得した空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。
- 前記空間画像データ取得部は、複数の異なる位置に設定されたカメラの撮影した複数の空間画像データを取得して、取得した複数の空間画像データを、該空間画像データを撮影したカメラのカメラ識別子と撮影時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。
- 前記画面表示データ取得部は、複数の異なる位置に設定されたディスプレイに表示される複数の画面表示データを取得して、取得した複数の画面表示データを、該画面表示データを表示したディスプレイの識別子とデータ取得時間情報を含む属性情報とともに記憶部に記憶する処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。
- 前記合成画像生成部は、
予め取得済みの実空間におけるディスプレイ設定位置情報に基づいて、前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記合成画像生成部は、
前記空間画像データ取得部の取得した空間画像データの画像解析に基づいてディスプレイ表示位置を決定して、該決定位置に前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記合成画像出力部は、情報処理装置におけるディスプレイであり、
前記合成画像生成部は、
複数のカメラによって撮影された複数の空間画像データを組み合わせた空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記合成画像出力部は、一台または複数のプロジェクタによって構成され、
前記合成画像生成部は、
複数のカメラによって撮影された複数の空間画像データを、各カメラに対応する位置に設定されたプロジェクタの出力データとした空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記合成画像生成部は、
前記空間画像データ取得部の取得する空間を小領域に区分してアドレスを設定した空間アドレス情報と、
合成画像中に出力するオブジェクトの表示位置を示すアドレスを各オブジェクトに対応付けたオブジェクト対応アドレス情報テーブルを保持し、
前記空間アドレス情報と前記オブジェクト対応アドレス情報テーブルに設定されたアドレスに従って、前記合成画像上における各オブジェクトの出力位置を決定する構成であることを特徴とする請求項1に記載の画像データ処理システム。 - 前記合成画像生成部は、
時間遷移に応じて、前記オブジェクトの表示位置および表示内容を更新した合成画像を生成して出力する構成であることを特徴とする請求項11に記載の画像データ処理システム。 - 画像データ処理システムにおいて画像データ処理を実行する画像データ処理方法であり、
空間画像データ取得部が、カメラによって撮影された空間画像データを取得する空間画像データ取得ステップと、
画面表示データ取得部が、ディスプレイの表示画像を取得する画面表示データ取得ステップと、
合成画像生成部が、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成する合成画像生成ステップと、
合成画像出力部が、前記合成画像生成ステップにおいて生成した合成画像を出力する合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行するステップであることを特徴とする画像データ処理方法。 - 画像データ処理システムにおいて画像データ処理を実行させるコンピュータ・プログラムであり、
空間画像データ取得部に、カメラによって撮影された空間画像データを取得させる空間画像データ取得ステップと、
画面表示データ取得部に、ディスプレイの表示画像を取得させる画面表示データ取得ステップと、
合成画像生成部に、前記空間画像データと、前記画面表示データとの合成処理により合成画像を生成させる合成画像生成ステップと、
合成画像出力部に、前記合成画像生成ステップにおいて生成した合成画像を出力させる合成画像出力ステップを有し、
前記合成画像生成ステップは、
前記空間画像データ取得部の取得した空間画像データ中のディスプレイ表示位置に、前記画面表示データ取得部の取得した画面表示データを設定した合成画像の生成処理を実行させるステップであることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006342218A JP2008152692A (ja) | 2006-12-20 | 2006-12-20 | 画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006342218A JP2008152692A (ja) | 2006-12-20 | 2006-12-20 | 画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008152692A true JP2008152692A (ja) | 2008-07-03 |
Family
ID=39654774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006342218A Pending JP2008152692A (ja) | 2006-12-20 | 2006-12-20 | 画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008152692A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179083A (ja) * | 2013-03-13 | 2014-09-25 | Samsung Electronics Co Ltd | イメージを処理する電子装置及びその動作方法 |
US10349022B2 (en) | 2017-03-22 | 2019-07-09 | Casio Computer Co., Ltd. | Image processing apparatus, projector, image processing method, and storage medium storing image processing program |
JP2019522831A (ja) * | 2016-04-22 | 2019-08-15 | インターデジタル シーイー パテント ホールディングス | 画像を合成するための方法及び装置 |
CN112954200A (zh) * | 2021-01-28 | 2021-06-11 | 上海微创医疗机器人(集团)股份有限公司 | 图像的处理方法、可读存储介质及手术机器人*** |
-
2006
- 2006-12-20 JP JP2006342218A patent/JP2008152692A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179083A (ja) * | 2013-03-13 | 2014-09-25 | Samsung Electronics Co Ltd | イメージを処理する電子装置及びその動作方法 |
US9363433B2 (en) | 2013-03-13 | 2016-06-07 | Samsung Electronics Co., Ltd. | Electronic device and method for processing image |
JP2019522831A (ja) * | 2016-04-22 | 2019-08-15 | インターデジタル シーイー パテント ホールディングス | 画像を合成するための方法及び装置 |
JP7142575B2 (ja) | 2016-04-22 | 2022-09-27 | インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ | 画像を合成するための方法及び装置 |
US11568606B2 (en) | 2016-04-22 | 2023-01-31 | Interdigital Ce Patent Holdings | Method and device for compositing an image |
US10349022B2 (en) | 2017-03-22 | 2019-07-09 | Casio Computer Co., Ltd. | Image processing apparatus, projector, image processing method, and storage medium storing image processing program |
CN112954200A (zh) * | 2021-01-28 | 2021-06-11 | 上海微创医疗机器人(集团)股份有限公司 | 图像的处理方法、可读存储介质及手术机器人*** |
CN112954200B (zh) * | 2021-01-28 | 2023-12-01 | 上海微创医疗机器人(集团)股份有限公司 | 图像的处理方法、可读存储介质及手术机器人*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5027400B2 (ja) | 録画された会議のタイムラインに使用するための自動顔領域抽出 | |
WO2001095256A1 (fr) | Creation d'un fichier de designation d'image et reproduction d'une image par utilisation de celui-ci | |
JP2008117019A (ja) | 会議情報管理装置、会議再生装置、設備管理装置、会議システム及びプログラム | |
JP2008152692A (ja) | 画像データ処理システム、および画像データ処理方法、並びにコンピュータ・プログラム | |
US20090091511A1 (en) | Aspect-ratio independent, multimedia capture and editing systems and methods thereof | |
JP2009080663A (ja) | 画像投影システム、画像投影装置及びプログラム | |
JP4764194B2 (ja) | 自動写真撮影装置及びその方法 | |
JP3948264B2 (ja) | ネットワーク情報処理システム、及び情報処理方法 | |
JP2007060028A (ja) | 映像処理装置及びオブジェクト処理方法 | |
JP2006040053A (ja) | 画像処理方法及びプログラム | |
JPH10108123A (ja) | 画像再生装置 | |
JP4861370B2 (ja) | 写真撮影遊戯システム、それに用いられる写真撮影遊戯機及びサーバ | |
JP3833155B2 (ja) | 仮想空間呈示装置及び仮想空間提示方法 | |
JP2006180022A (ja) | 画像処理システム | |
JP2005260513A (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
JP6116213B2 (ja) | 合成動画コンテンツの生成システム | |
JP2005269021A (ja) | 再生プログラム及び再生データ生成プログラム並びにデータ記録装置 | |
JP2017116900A (ja) | 情報処理システム、及びその制御方法、プログラム | |
Foote et al. | Reach-through-the-screen: A new metaphor for remote collaboration | |
JP2005303906A (ja) | フォトムービーのフレーム検出方法及び装置 | |
JP2009100217A (ja) | ネットワーク機器判別管理システム及び判別管理方法 | |
JPH1118031A (ja) | 映像プレゼンテーション及びプリント供給装置 | |
US11863871B2 (en) | Communication terminal, image communication system, and method of displaying image | |
JP5064302B2 (ja) | 画像表示装置 | |
JP2002369067A (ja) | 資料提供装置用の遠隔操作用のプログラムを記憶した記憶媒体 |