JP2005117285A - 情報入力装置、通信端末及び通信方法 - Google Patents
情報入力装置、通信端末及び通信方法 Download PDFInfo
- Publication number
- JP2005117285A JP2005117285A JP2003347767A JP2003347767A JP2005117285A JP 2005117285 A JP2005117285 A JP 2005117285A JP 2003347767 A JP2003347767 A JP 2003347767A JP 2003347767 A JP2003347767 A JP 2003347767A JP 2005117285 A JP2005117285 A JP 2005117285A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- camera
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 ユーザの指し示す画面上の位置を認識する情報入力装置として、既存の方式はセンサーを用いるため装置が複雑で高価になるという問題点があり、また、共有する情報画面と通信相手の映像とを正確に合成する手法がなかったため、電子ボード機能を持つ臨場感の高いテレビ会議システムを実現することができなかった。
【解決手段】 偏光フィルタを組み込むことにより画像処理による情報入力装置の実現を可能にし、カメラパラメータと撮影環境パラメータの伝送、及び鏡面変換による画像処理を用いることにより、情報共有画面と通信相手の映像を一致するように表示し、ディスプレイサイズの異なる端末同士でも通信可能な、電子ボード機能とテレビ会議機能を併せ持つ臨場感の高い通信を実現する。
【選択図】 図１
【解決手段】 偏光フィルタを組み込むことにより画像処理による情報入力装置の実現を可能にし、カメラパラメータと撮影環境パラメータの伝送、及び鏡面変換による画像処理を用いることにより、情報共有画面と通信相手の映像を一致するように表示し、ディスプレイサイズの異なる端末同士でも通信可能な、電子ボード機能とテレビ会議機能を併せ持つ臨場感の高い通信を実現する。
【選択図】 図１
Description
本発明は画面上の位置やユーザの指示位置の軌跡を入力するための情報入力装置、及び動画像を通信する通信端末に関し、特にプレゼンテーション装置、ディスプレイ装置や電子ボードシステム、テレビ会議システム等の情報通信表示装置に関する。
会議室等において大型のディスプレイに様々な情報を表示し、これにユーザの指示により文字や絵を描き加え、ホワイトボードのような形で利用し会議を行う電子ボードシステムが開発されている。これらのシステムにおいては、画面上のユーザの指し示す位置を認識し、描画やコンピュータの操作が行えるようにする手段が必要であるが、これまでに使われている方式には、超音波方式、赤外線方式、抵抗膜方式、静電容量方式等がある。
超音波方式と赤外線方式は、ディスプレイ装置の周辺に超音波発信器及び赤外線発信器を取り付け、ユーザがペン等のポインタによって指示する位置を超音波や赤外線の反射や遮蔽によって認識するものである。また、抵抗膜方式と静電容量方式は、ディスプレイ上に物体の接触によって抵抗値や静電容量の変化する膜を貼ることによって、ユーザの指示する位置を認識するものである。しかしこれらの方法は、大型の発信器をディスプレイの周りに配置したり、ディスプレイ上に特殊な機構を持つ膜を貼ったりする必要があるため、装置が複雑化し、非常に高価になってしまうという問題点があった。
また一方で、遠隔地の人と会議を行うためのシステムとしてテレビ会議システムが開発されている。こうしたテレビ会議システムでは、参加者を撮影するカメラの向いている方向やズーム値等の情報をやり取りすることにより、遠隔地からカメラの操作を行う機能を持っているが、カメラとディスプレイの位置関係やディスプレイのサイズ等、撮影環境に関する情報は伝送されていないため、通信相手の映像を実物大で表示するように調整することができず、臨場感に乏しいという問題点があった。また、前述の電子ボードシステムのような機能は持っていないため、遠隔地の人と情報共有をしながら会議をしたり、通信相手の指し示す画面上の位置を把握し、正確に表示したりすることは難しかった。
また一方で、遠隔地の人と会議を行うためのシステムとしてテレビ会議システムが開発されている。こうしたテレビ会議システムでは、参加者を撮影するカメラの向いている方向やズーム値等の情報をやり取りすることにより、遠隔地からカメラの操作を行う機能を持っているが、カメラとディスプレイの位置関係やディスプレイのサイズ等、撮影環境に関する情報は伝送されていないため、通信相手の映像を実物大で表示するように調整することができず、臨場感に乏しいという問題点があった。また、前述の電子ボードシステムのような機能は持っていないため、遠隔地の人と情報共有をしながら会議をしたり、通信相手の指し示す画面上の位置を把握し、正確に表示したりすることは難しかった。
これに対し、臨場感を重視し、大型ディスプレイを用いた同タイプの２台の通信端末において実物大でユーザを表示するテレビ会議システムも提案されている（例えば非特許文献１参照）。
また、撮影した映像上に描画を行う機能を持つものとしては、ユーザを撮影するカメラと画像を表示するディスプレイとペンタイプのタブレット型入力装置を備えたシール印刷装置がある（例えば特許文献１参照）。
また、撮影した映像上に描画を行う機能を持つものとしては、ユーザを撮影するカメラと画像を表示するディスプレイとペンタイプのタブレット型入力装置を備えたシール印刷装置がある（例えば特許文献１参照）。
情報処理学会 オーディオビジュアル複合情報処理研究会技術報告 ２３−２ ｐｐ．３〜８ １９９８年１２月４日刊行 安田浩、青木輝勝、クスタルト・ウィドヨ、坂本信樹、鈴木一徳、佐分淑樹、共著
上記のように従来のセンサー方式には、超音波方式、赤外線方式、抵抗膜方式、静電容量方式等があるが、これらは装置が複雑で非常に高価になるという問題点があった。
またこれまでは、電子ボードシステムとテレビ会議システムはそれぞれ独立して存在しており、これらを融合した臨場感の高いシステムは存在しなかった。例えば、上記非特許文献に記載の技術は、ディスプレイサイズが固定であることを前提にしているため、撮影環境に関する情報は伝送されておらず、異なるサイズの端末とは通信できない。また、電子ボードシステムのように画面上に描画する機能は持っていない。又、上記シール印刷装置では、自分の姿を映しながら、その上にペン等で描画することが可能であるが、通信端末ではないため、通信相手の画像を伝送し、実物と同じサイズになるように調整して表示する機能は持っていない。
またこれまでは、電子ボードシステムとテレビ会議システムはそれぞれ独立して存在しており、これらを融合した臨場感の高いシステムは存在しなかった。例えば、上記非特許文献に記載の技術は、ディスプレイサイズが固定であることを前提にしているため、撮影環境に関する情報は伝送されておらず、異なるサイズの端末とは通信できない。また、電子ボードシステムのように画面上に描画する機能は持っていない。又、上記シール印刷装置では、自分の姿を映しながら、その上にペン等で描画することが可能であるが、通信端末ではないため、通信相手の画像を伝送し、実物と同じサイズになるように調整して表示する機能は持っていない。
本発明は、上記従来技術を鑑みて、ユーザの指し示す画面上の位置を認識し、描画やコンピュータの操作が行えるようにする手段として、効率的に認識でき、かつ安価に構成可能な情報入力装置を提供し、新しい通信システムとして、テレビ会議機能と電子ボード機能を兼ね備えた臨場感の高い通信端末と、これを実現するための通信方法を提供するものである。
上記課題を解決するために本願で開示する構成の代表的なものは以下の通りである。
画像を表示するディスプレイ装置と、画面上の位置を指し示すポインタと、ポインタの位置を認識するカメラ装置とを有し、該カメラ装置と該ディスプレイ装置がそれぞれ異なる偏光を通過させる偏光フィルタを有する情報入力装置を用いる。
また、ユーザを撮影する撮影装置と、画像を表示する画像表示装置と、画面上の位置を指し示し、指示位置を入力するための情報入力装置と、通信を行うためのネットワーク装置と、画像の変換と情報画面及び撮影画像の重畳とを行う画像処理装置と、音声の入出力を行う音声入出力装置と、これらの装置を制御・管理するコントローラとを有し、該画像処理装置は通信相手から伝送された撮影環境パラメータを利用して、拡大縮小、射影、クリッピング等の処理によって実物のサイズと同じように見えるように撮影映像を変換し、情報画面と重畳してディスプレイ装置に表示する通信端末を用いる。
また、テレビ会議システムにおける通信方式として、参加者を撮影したカメラの映像情報と、コンピュータ画面や数値等のデータ情報と、カメラの向きやズーム等のカメラパラメータと、カメラとディスプレイの位置関係、ディスプレイのサイズ、解像度、被写体との距離等を示した撮影環境パラメータを伝送する通信方法を用いる。
画像を表示するディスプレイ装置と、画面上の位置を指し示すポインタと、ポインタの位置を認識するカメラ装置とを有し、該カメラ装置と該ディスプレイ装置がそれぞれ異なる偏光を通過させる偏光フィルタを有する情報入力装置を用いる。
また、ユーザを撮影する撮影装置と、画像を表示する画像表示装置と、画面上の位置を指し示し、指示位置を入力するための情報入力装置と、通信を行うためのネットワーク装置と、画像の変換と情報画面及び撮影画像の重畳とを行う画像処理装置と、音声の入出力を行う音声入出力装置と、これらの装置を制御・管理するコントローラとを有し、該画像処理装置は通信相手から伝送された撮影環境パラメータを利用して、拡大縮小、射影、クリッピング等の処理によって実物のサイズと同じように見えるように撮影映像を変換し、情報画面と重畳してディスプレイ装置に表示する通信端末を用いる。
また、テレビ会議システムにおける通信方式として、参加者を撮影したカメラの映像情報と、コンピュータ画面や数値等のデータ情報と、カメラの向きやズーム等のカメラパラメータと、カメラとディスプレイの位置関係、ディスプレイのサイズ、解像度、被写体との距離等を示した撮影環境パラメータを伝送する通信方法を用いる。
本発明により、ユーザの指し示す画面上の位置を認識し、描画やコンピュータ操作を行うことのできる情報入力装置を安価に構成することができる。又、電子ボードによる情報共有画面とテレビ会議による通信相手の映像を一致するように表示し、ディスプレイサイズの異なる端末同士でも、ガラス越しに絵を描きながら会議をするような臨場感の高い通信を実現する通信端末、および通信方法を提供することが可能になる。
以下、本発明の実施例を図示により説明する。
図１に本発明による情報入力装置の一実施例を示し、その特徴について述べる。
まずディスプレイ装置(101)は、さまざまな画像情報を表示する装置であり、ディスプレイ画面(102)に情報を表示する。ディスプレイ画面(102)には偏光フィルタが貼られているか、ディスプレイ装置の構造上内部にこれと同等の機能を有する。例えば液晶ディスプレイは、構造上内部に偏光フィルタが組み込まれているため、この場合ディスプレイ上に新たに偏光フィルタを貼る必要はない。偏光フィルタは一般に用いられるものでよく、一定の偏光を持つ光のみを通過させ、その他の偏光を持つ光を遮断する性質を持つ。偏光フィルタには、一定の回転方向の偏光のみを通過させる円偏光フィルタと、一定の偏光面を持つ偏光のみを通過させる直線偏光フィルタがあるが、どちらを用いてもよい。尚、通常ディスプレイ画面に表示される光にはあらゆる方向の偏光が含まれているため、偏光フィルタを通しても人間の目には通常と同じように見えるため通常の視認に関しては何ら問題がない。
図１に本発明による情報入力装置の一実施例を示し、その特徴について述べる。
まずディスプレイ装置(101)は、さまざまな画像情報を表示する装置であり、ディスプレイ画面(102)に情報を表示する。ディスプレイ画面(102)には偏光フィルタが貼られているか、ディスプレイ装置の構造上内部にこれと同等の機能を有する。例えば液晶ディスプレイは、構造上内部に偏光フィルタが組み込まれているため、この場合ディスプレイ上に新たに偏光フィルタを貼る必要はない。偏光フィルタは一般に用いられるものでよく、一定の偏光を持つ光のみを通過させ、その他の偏光を持つ光を遮断する性質を持つ。偏光フィルタには、一定の回転方向の偏光のみを通過させる円偏光フィルタと、一定の偏光面を持つ偏光のみを通過させる直線偏光フィルタがあるが、どちらを用いてもよい。尚、通常ディスプレイ画面に表示される光にはあらゆる方向の偏光が含まれているため、偏光フィルタを通しても人間の目には通常と同じように見えるため通常の視認に関しては何ら問題がない。
カメラ装置(103)はディスプレイ画面(102)上を撮影するカメラである。ユーザ(105)の操作するポインタ(104)の位置を画像処理によって認識する。カメラ装置(103)はレンズ口または内部に上記ディスプレイ画面(102)とは異なる偏光を通過させる偏光フィルタを持つ。この仕組みにより、カメラ装置(103)の撮影画像(106)は、ディスプレイ画面の表示部分が偏光フィルタの作用により黒く映り、その他の部分は通常と同じように映る。このため画面上を指し示すユーザ(105)の操作するポインタ(104)は、それだけがディスプレイ画面の黒い背景にはっきりと映し出され、簡単に位置の認識が可能になる。カメラ装置(103)は無線または有線によって撮影した映像を本体のディスプレイ装置(101)に伝送し、画像処理によってポインタ(104)の位置を識別する。画像処理による位置検出をカメラ装置(103)の内部で行い、位置情報を本体に伝送してもよい。位置検出方法は既存技術を用いればよい。例えば、ポインタ(104)として特定の色で塗られたボールを用いる場合、撮影画像中からこのボールの色の範囲のみを抽出すると円形領域が得られる。また一方で、ディスプレイ画面は黒く映し出されるので、エッジ抽出処理によってディスプレイ領域が得られる。この円形領域の中心位置をディスプレイ領域に対して射影変換することによって位置検出を実現することができる。
ポインタ(104)はユーザ(105)の操作する位置がカメラによって認識可能なものであればよく、例えば棒の先に色のついたボールをつけたものでよい。また、レーザポインタのように、指示するための棒の部分がないものを用いれば視認の障害とならない。
ポインタ(104)はユーザ(105)の操作する位置がカメラによって認識可能なものであればよく、例えば棒の先に色のついたボールをつけたものでよい。また、レーザポインタのように、指示するための棒の部分がないものを用いれば視認の障害とならない。
次に、図２を用いて、本発明における情報入力装置の一実施例の詳細を示し、情報入力方法の詳細について説明する。
本発明の情報入力装置は主に、ディスプレイ装置(101)、カメラ装置(103)、ポインタ(104)から構成される。
ディスプレイ装置(101)は、偏光フィルタ１(201)、画面表示部(202)、本体側通信部(203)、情報処理部(204)、インタフェース(205)からなる。偏光フィルタ１(201)は、前述のように画面表示部(202)から発せられる光のうち一定の偏光のみを通過させるためのフィルタである。画面表示部(202)はディスプレイ画面であり、情報や映像を表示する装置である。本体側通信部(203)はカメラ装置(103)から伝送されてくる映像情報を受信するための装置である。情報処理部(204)はカメラ装置(103)から伝送された映像情報から、画像処理によってポインタ(104)の指し示すディスプレイ画面上の位置を認識し、算出する装置である。インタフェース(205)は外部に接続されたＰＣ等の機器と情報のやり取りを行う装置であり、上記情報処理部(204)の算出した位置情報を外部機器に伝送する役割を持つ。
カメラ装置(103)は、偏光フィルタ２(206)、撮像部(207)、カメラ側通信部(208)からなる。偏光フィルタ２(206)は、上記偏光フィルタ１(201)とは異なる偏光を通過させるフィルタである。撮像部(207)は、ディスプレイ画面とポインタを撮影するための装置である。カメラ側通信部(208)は、上記本体側通信部(203)と通信し、撮像部(207)の撮影した画像情報をディスプレイ装置(101)に伝送するための装置である。図２では情報処理部(204)、及びインタフェース(205)はディスプレイ装置(101)の内部に備えているが、これはカメラ装置(103)の内部に備えてもよい。
カメラ装置(103)はディスプレイ装置(101)上のディスプレイ画面と、ユーザの操作するポインタ(104)を撮影する。この時、偏光フィルタ１(201)と偏光フィルタ２(206)の効果により、画面表示部(202)の表示するディスプレイ画面は撮像部(207)の撮影した画像上では黒く映り、ポインタ(104)だけがはっきり区別されて映る。この画像をカメラ装置(103)はカメラ側通信部(208)と本体側通信部(203)の無線または有線の通信によりディスプレイ装置(101)側に伝送する。伝送された画像情報は、情報処理部(204)によって画像処理され、ポインタ(104)の指し示すディスプレイ画面上の相対位置が算出される。算出された位置情報をインタフェース(205)が、外部に接続されたＰＣ等に伝送する。以上のような手続きにより、ユーザの指し示した位置が機器に入力され、情報入力が完了する。このように本願を用いれば、偏光フィルムをディスプレイと撮像装置の両方に備えるという簡易な構成によって、ポインタの位置を認識可能とすることができる。
本発明の情報入力装置は主に、ディスプレイ装置(101)、カメラ装置(103)、ポインタ(104)から構成される。
ディスプレイ装置(101)は、偏光フィルタ１(201)、画面表示部(202)、本体側通信部(203)、情報処理部(204)、インタフェース(205)からなる。偏光フィルタ１(201)は、前述のように画面表示部(202)から発せられる光のうち一定の偏光のみを通過させるためのフィルタである。画面表示部(202)はディスプレイ画面であり、情報や映像を表示する装置である。本体側通信部(203)はカメラ装置(103)から伝送されてくる映像情報を受信するための装置である。情報処理部(204)はカメラ装置(103)から伝送された映像情報から、画像処理によってポインタ(104)の指し示すディスプレイ画面上の位置を認識し、算出する装置である。インタフェース(205)は外部に接続されたＰＣ等の機器と情報のやり取りを行う装置であり、上記情報処理部(204)の算出した位置情報を外部機器に伝送する役割を持つ。
カメラ装置(103)は、偏光フィルタ２(206)、撮像部(207)、カメラ側通信部(208)からなる。偏光フィルタ２(206)は、上記偏光フィルタ１(201)とは異なる偏光を通過させるフィルタである。撮像部(207)は、ディスプレイ画面とポインタを撮影するための装置である。カメラ側通信部(208)は、上記本体側通信部(203)と通信し、撮像部(207)の撮影した画像情報をディスプレイ装置(101)に伝送するための装置である。図２では情報処理部(204)、及びインタフェース(205)はディスプレイ装置(101)の内部に備えているが、これはカメラ装置(103)の内部に備えてもよい。
カメラ装置(103)はディスプレイ装置(101)上のディスプレイ画面と、ユーザの操作するポインタ(104)を撮影する。この時、偏光フィルタ１(201)と偏光フィルタ２(206)の効果により、画面表示部(202)の表示するディスプレイ画面は撮像部(207)の撮影した画像上では黒く映り、ポインタ(104)だけがはっきり区別されて映る。この画像をカメラ装置(103)はカメラ側通信部(208)と本体側通信部(203)の無線または有線の通信によりディスプレイ装置(101)側に伝送する。伝送された画像情報は、情報処理部(204)によって画像処理され、ポインタ(104)の指し示すディスプレイ画面上の相対位置が算出される。算出された位置情報をインタフェース(205)が、外部に接続されたＰＣ等に伝送する。以上のような手続きにより、ユーザの指し示した位置が機器に入力され、情報入力が完了する。このように本願を用いれば、偏光フィルムをディスプレイと撮像装置の両方に備えるという簡易な構成によって、ポインタの位置を認識可能とすることができる。
情報処理部(204)による画像処理の一実施例を説明する。ユーザがポインタをディスプレイ画面上に沿って動かした時、このポインタの画面上の相対位置を算出するためには、撮影された画像内でのディスプレイ画面の領域と、ポインタの中心点の位置とが分かっていればよい。ディスプレイ画面の領域については、ディスプレイ画面のみが黒く映っているので、エッジ抽出処理によって簡単に取得可能である。またポインタの中心点は、ポインタが黒い背景上にはっきり区別されて映っているので、エッジ抽出処理と領域分割処理によって簡単に取得できる。これらの情報と、ディスプレイ画面が長方形であるという条件を組み合わせることにより、カメラとディスプレイ位置の関係が未知であるとしても、ポインタの画面上における相対位置は射影変換処理によって算出することができる。尚、射影変換の具体的方法については、例えば、日本バーチャルリアリティ学会論文誌ＴＶＲＳＪ、Ｖｏｌ．４、Ｎｏ．４、ｐｐ．６０７〜６１６（１９９９）、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎、共著に記載される。このように本発明を用いれば、カメラ装置(103)とディスプレイ装置(101)の配置に関わらず、画面を撮像すればポインタの位置情報取得が可能になる。尚、上記以外にもエッジ抽出処理の代用として特定の色を抽出するカラー領域抽出処理を用い、さらにこの領域の輪郭を追跡して直線を判別し、ディスプレイの領域を取得する既存技術を用いることもできる。
次に、図３に本発明による通信端末の一実施例を示し、その特徴について述べる。
本発明の通信端末は、利用図(312)に示すように、遠隔地に離れたユーザ同士が同じホワイトボードを利用しているかのように電子ボードシステムに描かれる情報を共有し、さらに通信相手の映像を鏡面変換、および位置調整して表示することにより、相手の描く画面上の軌跡と相手の映像上の動きを正確に一致させながら、臨場感の高いテレビ会議システムを実現するものである。通信端末の一実施例として、上記情報入力装置を用いた場合を説明する。ユーザ(301)がポインタ(303)を用いて描画する位置を指し示し、情報入力装置の一部であるカメラ装置(302)によってポインタ(303)の位置が追跡され、情報が入力される。ディスプレイ装置は情報入力装置と画像表示装置が一体となった構成になっており、偏光フィルタ(304)とディスプレイ画面(305)を備える。ディスプレイ画面(305)は半透明のハーフミラーになっており、撮影装置であるユーザ撮影用カメラ(307)によってユーザの動作が撮影される。またディスプレイに映像を表示するための装置として、プロジェクタ(307)が用いられる。さらに、スピーカ(308)とマイク(309)を備えれば音声の入出力を行う装置ことができる。通信端末内部にこれら情報入力装置、画像表示装置、撮影装置、音声入出力装置、およびネットワーク装置を管理するコントローラ(308)があり、ネットワーク(309)を通じて他の端末との通信を行う。
本発明の通信端末は、利用図(312)に示すように、遠隔地に離れたユーザ同士が同じホワイトボードを利用しているかのように電子ボードシステムに描かれる情報を共有し、さらに通信相手の映像を鏡面変換、および位置調整して表示することにより、相手の描く画面上の軌跡と相手の映像上の動きを正確に一致させながら、臨場感の高いテレビ会議システムを実現するものである。通信端末の一実施例として、上記情報入力装置を用いた場合を説明する。ユーザ(301)がポインタ(303)を用いて描画する位置を指し示し、情報入力装置の一部であるカメラ装置(302)によってポインタ(303)の位置が追跡され、情報が入力される。ディスプレイ装置は情報入力装置と画像表示装置が一体となった構成になっており、偏光フィルタ(304)とディスプレイ画面(305)を備える。ディスプレイ画面(305)は半透明のハーフミラーになっており、撮影装置であるユーザ撮影用カメラ(307)によってユーザの動作が撮影される。またディスプレイに映像を表示するための装置として、プロジェクタ(307)が用いられる。さらに、スピーカ(308)とマイク(309)を備えれば音声の入出力を行う装置ことができる。通信端末内部にこれら情報入力装置、画像表示装置、撮影装置、音声入出力装置、およびネットワーク装置を管理するコントローラ(308)があり、ネットワーク(309)を通じて他の端末との通信を行う。
図４を用いて、本発明における通信端末の一実施例の詳細を示し、その通信方式について説明する。
本発明の通信端末は少なくとも、情報入力装置(401)、画像表示装置(402)、撮影装置(403)、画像処理装置(404)、音声入出力装置(405)、コントローラ(406)、ネットワーク装置(407)から構成される。
情報入力装置(401)は、前述の様々な方式によりユーザの指し示す位置を取得し、描画やＰＣの操作を行う装置である。これは既存の方式である超音波方式、赤外線方式、抵抗膜方式、静電容量方式等の装置を用いてもよいし、本発明に示す情報入力装置を用いてもよい。画像表示装置(402)は共有する電子ボードの画像情報や、通信相手の映像を表示するためのディスプレイ装置である。これはプラズマディスプレイ、液晶ディスプレイや背面プロジェクタ等を用いればよい。撮影装置(403)はユーザを撮影するためのカメラ装置である。これらの情報入力装置(401)、画像表示装置(402)、撮影装置(403)はそれぞれ組み合わさった装置を用いてもよい。例えば、本発明に示す情報入力装置は、ポインタの軌跡を撮影するためのカメラとディスプレイ画面から構成されるため、情報入力装置(401)と画像表示装置(402)が一体となった装置となっている。また、撮影装置(403)としては通常のカメラを用いてもよいし、ディスプレイと一体となった平面型のカメラを用いてもよい。これはディスプレイ内に微小なレンズが多数埋め込まれることにより、全体が一枚の画像となるように撮影されるものである。
本発明の通信端末は少なくとも、情報入力装置(401)、画像表示装置(402)、撮影装置(403)、画像処理装置(404)、音声入出力装置(405)、コントローラ(406)、ネットワーク装置(407)から構成される。
情報入力装置(401)は、前述の様々な方式によりユーザの指し示す位置を取得し、描画やＰＣの操作を行う装置である。これは既存の方式である超音波方式、赤外線方式、抵抗膜方式、静電容量方式等の装置を用いてもよいし、本発明に示す情報入力装置を用いてもよい。画像表示装置(402)は共有する電子ボードの画像情報や、通信相手の映像を表示するためのディスプレイ装置である。これはプラズマディスプレイ、液晶ディスプレイや背面プロジェクタ等を用いればよい。撮影装置(403)はユーザを撮影するためのカメラ装置である。これらの情報入力装置(401)、画像表示装置(402)、撮影装置(403)はそれぞれ組み合わさった装置を用いてもよい。例えば、本発明に示す情報入力装置は、ポインタの軌跡を撮影するためのカメラとディスプレイ画面から構成されるため、情報入力装置(401)と画像表示装置(402)が一体となった装置となっている。また、撮影装置(403)としては通常のカメラを用いてもよいし、ディスプレイと一体となった平面型のカメラを用いてもよい。これはディスプレイ内に微小なレンズが多数埋め込まれることにより、全体が一枚の画像となるように撮影されるものである。
画像処理装置(404)は、画像表示装置(402)への表示を行うための画像の調整と、電子ボードの共有情報画面と通信相手の撮影映像との合成を行う。通信相手の端末が撮影したカメラ画像をそのままユーザのディスプレイに表示した場合、電子ボード上の共有情報画面における相手の描画した軌跡と、通信相手の映像上での描画の軌跡が一致しないという問題が発生する。これは、共有する電子ボードの画面情報は、それぞれのユーザにとって正しい向きで表示しているのに対し、撮影したカメラ映像は通信相手側のボードの裏側から撮影した映像となっているため、表示した時の向きが一致しなくなってしまうためである。そこで本発明では、画像処理装置(404)によって通信相手の撮影した映像を左右反転し鏡面映像へと変換することにより、電子ボード上の共有情報画面と向きを一致させる方式を用いる。鏡面映像への変換方法としては、通常のカメラによって撮影された映像の場合、画面左上から右方向にラスタースキャンによって表示される映像を、画面右上から左方向にスキャンして表示するように変換すればよい。これにより、相手ユーザが電子ボード上に絵を書いたとき、あたかもガラスの裏側で書いた軌跡が、そのまま電子ボード上でこちらに読める形で表示されるように見える。
また、これを実現させるために、通信相手の映像を実物大で表示するためのカメラパラメータと撮影環境パラメータを通信端末間で伝送する。カメラパラメータは、カメラの向きやズーム等の数値である。これはカメラ内部の情報であり撮影装置(403)から取得する。撮影環境パラメータは、カメラとディスプレイの位置関係や、ディスプレイのサイズ、ディスプレイの解像度、被写体との距離を示すものであり、設計時にあらかじめ決まった情報であるか、または情報入力装置(401)によって取得される。例えばディスプレイをガラスに見立て、遠隔地の端末と通信をするシステムの場合、通信を行う端末の画面サイズがそれぞれ異なったとしても、ディスプレイのサイズとカメラとディスプレイの位置関係を情報として伝送することにより、画像の調整によって実物大で表示することが可能になる。被写体とカメラとの距離に関しては、赤外線センサー等を用いて取得し伝送すればよい。
さらに画像処理装置(404)は、背面投射型のプロジェクタによって表示を行う場合には、プロジェクタとディスプレイ表示面との位置関係によって生じる幾何的な歪みを補正する処理も行うことで、ディスプレイ面に映るユーザの姿をより正確に自然に表示することができる。
音声入出力装置(405)は、ユーザの音声をマイクによって集め、通信相手の音声をスピーカによって再生する装置である。
コントローラ(406)は、通信端末の全ての装置を管理するための装置である。
ネットワーク装置(407)は、上記の撮影されたユーザの画像情報や、共有情報画面、音声情報、画像調整のためのカメラパラメータおよび撮影環境パラメータ、その他ネットワーク調整、コントロールのための情報等を通信端末間でやり取りするための装置である。
上記のような方法により、通信相手の描画した共有画面の軌跡と、撮影された通信相手の画像が、正確に重なるように表示し、高い臨場感を保ちながら通信を行う方法を実現できる。
音声入出力装置(405)は、ユーザの音声をマイクによって集め、通信相手の音声をスピーカによって再生する装置である。
コントローラ(406)は、通信端末の全ての装置を管理するための装置である。
ネットワーク装置(407)は、上記の撮影されたユーザの画像情報や、共有情報画面、音声情報、画像調整のためのカメラパラメータおよび撮影環境パラメータ、その他ネットワーク調整、コントロールのための情報等を通信端末間でやり取りするための装置である。
上記のような方法により、通信相手の描画した共有画面の軌跡と、撮影された通信相手の画像が、正確に重なるように表示し、高い臨場感を保ちながら通信を行う方法を実現できる。
なお、前記実施例では電子ボード機能を持ったテレビ会議システムを例に挙げて説明してきたが、本発明の適用はこれに限定されるものではなく、カメラを備えたパソコンや携帯情報端末、携帯電話や通信機能を持つ家庭用ゲーム機等にも用いることができる。
101…ディスプレイ装置;102,305…ディスプレイ画面;103,302…カメラ装置;104,303…ポインタ;105,301…ユーザ;106…撮影画像;201,304…偏光フィルタ１;202…画面表示部;203…本体側通信部;204…情報処理部;205…インタフェース;206…偏光フィルタ２;207…撮像部;208…カメラ側通信部;306,403…撮影装置;307…プロジェクタ;308…スピーカ;309…マイク;310,406…コントローラ;311…ネットワーク;312…利用図;401…情報入力装置;402…画像表示装置;404…画像処理装置;405…音声入出力装置;407…ネットワーク装置。
Claims (6)
- 画像を表示するディスプレイ装置と、画面上の位置を指し示すポインタと、ポインタの位置を認識するカメラ装置とを有し、該カメラ装置と該ディスプレイ装置がそれぞれ異なる偏光を通過させる偏光フィルタを有することを特徴とする情報入力装置。
- 上記ディスプレイ装置は、直線偏光の偏光フィルタを有することを特徴とする、請求項１記載の情報入力装置。
- 上記カメラ装置はポインタの色、形状を認識して位置を識別することを特徴とする、請求項１記載の情報入力装置。
- ユーザを撮影する撮影装置と、画像を表示する画像表示装置と、画面上の位置を指し示し、指示位置を入力するための情報入力装置と、通信を行うためのネットワーク装置と、画像の変換と情報画面及び撮影画像の重畳とを行う画像処理装置と、音声の入出力を行う音声入出力装置と、これらの装置を制御・管理するコントローラとを有し、該画像処理装置は通信相手から伝送された撮影環境パラメータを利用して、拡大縮小、射影、クリッピング等の処理によって実物のサイズと同じように見えるように撮影映像を変換し、情報画面と重畳して画像表示装置に表示することを特徴とする通信端末。
- 上記画像処理装置は、通信相手から伝送される撮影画像を鏡面変換し、通信相手の指し示した位置とユーザの画面位置とが一致するように調整することを特徴とする請求項４記載の通信端末。
- テレビ会議システムにおける通信方法であって、
参加者を撮影したカメラの映像情報と、コンピュータ画面や数値等のデータ情報と、カメラの向きやズーム等のカメラパラメータと、カメラとディスプレイの位置関係、ディスプレイのサイズ、解像度、被写体との距離等を示した撮影環境パラメータを伝送することを特徴とする通信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003347767A JP2005117285A (ja) | 2003-10-07 | 2003-10-07 | 情報入力装置、通信端末及び通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003347767A JP2005117285A (ja) | 2003-10-07 | 2003-10-07 | 情報入力装置、通信端末及び通信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005117285A true JP2005117285A (ja) | 2005-04-28 |
Family
ID=34540171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003347767A Pending JP2005117285A (ja) | 2003-10-07 | 2003-10-07 | 情報入力装置、通信端末及び通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005117285A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009094701A (ja) * | 2007-10-05 | 2009-04-30 | Yamaha Corp | 情報処理装置及びプログラム |
| JP2010193043A (ja) * | 2009-02-17 | 2010-09-02 | Sharp Corp | テレビ電話装置 |
| JP2010278566A (ja) * | 2009-05-26 | 2010-12-09 | Fuji Xerox Co Ltd | 遠隔会議システム、情報処理装置、及びプログラム |
| JP2012023595A (ja) * | 2010-07-15 | 2012-02-02 | Konica Minolta Business Technologies Inc | 会議システム |
| JP2012079167A (ja) * | 2010-10-04 | 2012-04-19 | Sony Corp | 情報処理装置、情報処理システムおよび情報処理方法 |
| JP2012118859A (ja) * | 2010-12-02 | 2012-06-21 | Hitachi Solutions Ltd | 会議録システム及びプログラム |
| JP2012185823A (ja) * | 2011-03-07 | 2012-09-27 | Ricoh Co Ltd | 共同環境における位置情報の提供 |
| JP2013070368A (ja) * | 2011-09-05 | 2013-04-18 | Panasonic Corp | テレビ対話システム、端末および方法 |
| WO2013108363A1 (ja) * | 2012-01-17 | 2013-07-25 | チームラボ株式会社 | ミラー装置、ミラー装置の制御方法及び制御プログラム |
| JP2016208079A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2017516421A (ja) * | 2014-03-24 | 2017-06-15 | ヌビア、テクノロジー、カンパニー、リミテッドＮｕｂｉａ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | 携帯端末及びその撮像方法 |
| WO2019167267A1 (ja) * | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | 情報処理システム |
| US11256466B2 (en) | 2017-07-06 | 2022-02-22 | Fujitsu Limited | Information processing apparatus, information processing method, and recording medium recording information processing program |
-
2003
- 2003-10-07 JP JP2003347767A patent/JP2005117285A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009094701A (ja) * | 2007-10-05 | 2009-04-30 | Yamaha Corp | 情報処理装置及びプログラム |
| JP2010193043A (ja) * | 2009-02-17 | 2010-09-02 | Sharp Corp | テレビ電話装置 |
| JP2010278566A (ja) * | 2009-05-26 | 2010-12-09 | Fuji Xerox Co Ltd | 遠隔会議システム、情報処理装置、及びプログラム |
| JP2012023595A (ja) * | 2010-07-15 | 2012-02-02 | Konica Minolta Business Technologies Inc | 会議システム |
| JP2012079167A (ja) * | 2010-10-04 | 2012-04-19 | Sony Corp | 情報処理装置、情報処理システムおよび情報処理方法 |
| JP2012118859A (ja) * | 2010-12-02 | 2012-06-21 | Hitachi Solutions Ltd | 会議録システム及びプログラム |
| JP2012185823A (ja) * | 2011-03-07 | 2012-09-27 | Ricoh Co Ltd | 共同環境における位置情報の提供 |
| US9124761B2 (en) | 2011-09-05 | 2015-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Television communication system, terminal, and method |
| JP2013070368A (ja) * | 2011-09-05 | 2013-04-18 | Panasonic Corp | テレビ対話システム、端末および方法 |
| WO2013108363A1 (ja) * | 2012-01-17 | 2013-07-25 | チームラボ株式会社 | ミラー装置、ミラー装置の制御方法及び制御プログラム |
| JPWO2013108363A1 (ja) * | 2012-01-17 | 2015-05-11 | チームラボ株式会社 | ミラー装置、ミラー装置の制御方法及び制御プログラム |
| JP2017516421A (ja) * | 2014-03-24 | 2017-06-15 | ヌビア、テクノロジー、カンパニー、リミテッドＮｕｂｉａ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | 携帯端末及びその撮像方法 |
| US9961273B2 (en) | 2014-03-24 | 2018-05-01 | Nubia Technology Co., Ltd. | Mobile terminal and shooting method thereof |
| JP2016208079A (ja) * | 2015-04-15 | 2016-12-08 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| US11256466B2 (en) | 2017-07-06 | 2022-02-22 | Fujitsu Limited | Information processing apparatus, information processing method, and recording medium recording information processing program |
| WO2019167267A1 (ja) * | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | 情報処理システム |
| JPWO2019167267A1 (ja) * | 2018-03-02 | 2021-02-04 | 日本電気株式会社 | 情報処理システム |
| JP7067608B2 (ja) | 2018-03-02 | 2022-05-16 | 日本電気株式会社 | 情報処理システム |
| US11875757B2 (en) | 2018-03-02 | 2024-01-16 | Nec Corporation | Information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8441435B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| US9367142B2 (en) | Eyeglasses attached with projector and method of controlling the same | |
| KR20140144510A (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
| CN106101687B (zh) | Vr图像拍摄装置及其基于移动终端的vr图像拍摄*** | |
| JPWO2005119591A1 (ja) | 表示制御方法および装置、プログラム、並びに携帯機器 | |
| JP2005117285A (ja) | 情報入力装置、通信端末及び通信方法 | |
| US10819948B2 (en) | Window system based on video communication | |
| JP6946684B2 (ja) | 電子情報ボードシステム、画像処理装置、及びプログラム | |
| US20190306461A1 (en) | Video communication device and method for video communication | |
| JP2012175136A (ja) | カメラシステムおよびその制御方法 | |
| JP2016213674A (ja) | 表示制御システム、表示制御装置、表示制御方法、及びプログラム | |
| JP5273323B1 (ja) | ヘッドマウントディスプレイ装置 | |
| CN113282163A (zh) | 具可调整影像感测模块的头戴式装置及其*** | |
| CN108427194A (zh) | 一种基于增强现实的显示方法及设备 | |
| JP2011097447A (ja) | コミュニケーションシステム | |
| US20170302908A1 (en) | Method and apparatus for user interaction for virtual measurement using a depth camera system | |
| WO2018168823A1 (ja) | 画像処理装置および電子機器 | |
| CN106210701A (zh) | 一种用于拍摄vr图像的移动终端及其vr图像拍摄*** | |
| JP2005142765A (ja) | 撮像装置及び方法 | |
| JP2005303683A (ja) | 画像送受信装置 | |
| CN111736692B (zh) | 显示方法、显示装置、存储介质与头戴式设备 | |
| CN108427195A (zh) | 一种基于增强现实的信息处理方法及设备 | |
| US10701313B2 (en) | Video communication device and method for video communication | |
| JP6436606B1 (ja) | 医療映像システム | |
| JP2018050156A (ja) | 双方向コミュニケーション装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060421 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091215 |