JPH09200715A

JPH09200715A - 通信装置、通信方法及び通信システム

Info

Publication number: JPH09200715A
Application number: JP8024870A
Authority: JP
Inventors: Eita Ono; 英太小野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-01-19
Filing date: 1996-01-19
Publication date: 1997-07-31

Abstract

(57)【要約】【課題】通信相手側の被写体について所望の方向から
見た画像を容易に得ることができ、簡素な構成にて臨場
感のある通話を可能とする通信装置、通信方法及び通信
システムを提供する。【解決手段】当該装置側では、画像入力部１１で得ら
れた画像情報から、Ｉ成分についての閾値処理等により
操作者２２の視点位置情報が視点位置測定部１３により
測定され、符号化部１５を介して送信される。一方、そ
の視点位置情報を復号化部１８を介して受信した側の通
信装置では、その視点位置に対して最も適当なカメラ
を、送信画像選択部１４が画像入力部１１のカメラの中
から特定する。そして、その特定されたカメラによる画
像情報のみが、符号化部１５を介して当該装置側へ送信
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、相手側の映像等を
受信することにより会話を行うテレビ電話等の通信装
置、通信方法及び通信システムに関する。

【０００２】

【従来の技術】従来の通信システムは、一般に、複数の
テレビ電話等の通信装置が互いに接続されて構成されて
いる。従来の通信システムでは、例えば各通信装置がそ
の操作者側の映像・音声情報をカメラ・マイクにより取
得し、この情報を相手側の通信装置に送信し、相手側の
通信装置が受信した情報をモニタに出力することによ
り、映像を見ながら通話できるように構成されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の通信システムでは、画像情報を送信する側の通信装
置（以下「送信元装置」という）におけるカメラの撮影
方向及び撮影の視点が単一であることが通常であるた
め、画像情報が送信される側の通信装置（以下「送信先
装置」という）の操作者は固定的な映像しか見ることが
できず、送信元装置側の被写体を所望の方向から見た画
像を容易に得ることはできなかった。

【０００４】ここで、送信元装置のカメラの向きをマニ
ュアル操作にて変更制御できるように構成すれば、送信
先装置の操作者は、撮影方向を変更することにより、任
意の方向からの映像を得ることができる。

【０００５】しかし、送信元装置のカメラの向きを、通
話しながら制御することは非常に困難であり、多くの不
便を伴う。

【０００６】このように、送信先装置の操作者が送信元
装置側とより臨場感のある通話を行う上で、改善の余地
があった。

【０００７】本発明は上記従来技術の問題を解決するた
めになされたものであり、その目的は、通信相手側の被
写体について所望の方向から見た画像を容易に得ること
ができ、簡素な構成にて臨場感のある通話を可能とする
通信装置、通信方法及び通信システムを提供することに
ある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の請求項１の通信装置は、送信先装置の操作者
の位置情報を取得する位置情報取得手段と、被写体を複
数の異なる視点から撮影可能な撮影手段と、該撮影手段
により得られる複数の異なる視点からの被写体の画像の
中から特定の画像を前記取得された位置情報に基づき選
択する画像選択手段と、該選択された特定の画像に係る
情報を前記送信先装置へ送信する送信手段とを備えたこ
とを特徴とする。

【０００９】同じ目的を達成するために本発明の請求項
２の通信装置は、上記請求項１の構成において、前記位
置情報取得手段は、前記送信先装置の操作者を撮影して
得られた操作者の画像に係る所定の情報に基づいて前記
操作者の位置情報を取得することを特徴とすることを特
徴とする。

【００１０】同じ目的を達成するために本発明の請求項
３の通信装置は、上記請求項２の構成において、前記所
定の情報は、色情報及び互いに時間差をおいて得られた
画像間の差異に関する情報の少なくとも一方であること
を特徴とする。

【００１１】同じ目的を達成するために本発明の請求項
４の通信装置は、上記請求項１の構成において、前記位
置情報取得手段は、三次元位置計測装置により前記操作
者の位置情報を取得することを特徴とする。

【００１２】同じ目的を達成するために本発明の請求項
５の通信装置は、上記請求項４の構成において、前記三
次元位置計測装置は、前記送信先装置の操作者が装着し
たアンテナの位置を磁気的に計測するものであり、前記
アンテナは前記送信先装置の操作者が装着可能に構成さ
れた音声入力手段に取り付けられていることを特徴とす
る。

【００１３】同じ目的を達成するために本発明の請求項
６の通信装置は、上記請求項１〜５のいずれか１項に記
載の構成において、前記画像選択手段は、前記送信先装
置の操作者の右目及び左目の各々に対応させて前記特定
の画像を右目用及び左目用に各々選択することを特徴と
する。

【００１４】同じ目的を達成するために本発明の請求項
７の通信装置は、上記請求項１〜６のいずれか１項に記
載の構成において、当該装置側の音声情報を取得する当
該音声情報取得手段と、当該装置側の操作者の位置情報
を取得する当該位置情報取得手段とを備え、前記送信手
段は、前記取得された当該装置側の操作者の位置情報、
前記選択された特定の画像に係る情報及び前記取得され
た当該装置側の音声情報を一括して符号化し、前記送信
先装置へ送信することを特徴とする。

【００１５】同じ目的を達成するために本発明の請求項
８の通信方法は、送信先装置の操作者の位置情報を取得
する位置情報取得工程と、被写体を複数の異なる視点か
ら撮影可能な撮影工程と、該撮影工程により得られる複
数の異なる視点からの被写体の画像の中から特定の画像
を前記取得された位置情報に基づき選択する画像選択工
程と、該選択された特定の画像に係る情報を前記送信先
の装置へ送信する送信工程とを含むことを特徴とする。

【００１６】同じ目的を達成するために本発明の請求項
９の通信方法は、上記請求項８の構成において、前記位
置情報取得工程は、前記送信先装置の操作者を撮影して
得られた操作者の画像に係る所定の情報に基づいて前記
操作者の位置情報を取得することを特徴とする。

【００１７】同じ目的を達成するために本発明の請求項
１０の通信方法は、上記請求項９の構成において、前記
所定の情報は、色情報及び互いに時間差をおいて得られ
た画像間の差異に関する情報の少なくとも一方であるこ
とを特徴とする。

【００１８】同じ目的を達成するために本発明の請求項
１１の通信方法は、上記請求項８の構成において、前記
位置情報取得工程は、三次元位置計測装置により前記操
作者の位置情報を取得することをことを特徴とする。

【００１９】同じ目的を達成するために本発明の請求項
１２の通信方法は、上記請求項１１の構成において、前
記三次元位置計測装置は、前記送信先装置の操作者が装
着したアンテナの位置を磁気的に計測するものであり、
前記アンテナは前記送信先装置の操作者が装着可能に構
成された音声入力手段に取り付けられていることを特徴
とする。

【００２０】同じ目的を達成するために本発明の請求項
１３の通信方法は、上記請求項８〜１２のいずれか１項
に記載の構成において、前記画像選択工程は、前記送信
先装置の操作者の右目及び左目の各々に対応させて前記
特定の画像を右目用及び左目用に各々選択することを特
徴とする。

【００２１】同じ目的を達成するために本発明の請求項
１４の通信方法は、上記請求項８〜１３のいずれか１項
に記載の構成において、当該装置側の音声情報を取得す
る当該音声情報取得工程と、当該装置側の操作者の位置
情報を取得する当該位置情報取得工程とを含み、前記送
信工程では、前記取得された当該装置側の操作者の位置
情報、前記選択された特定の画像に係る情報及び前記取
得された当該装置側の音声情報を一括して符号化し、前
記送信先装置へ送信することを特徴とする。

【００２２】同じ目的を達成するために本発明の請求項
１５の通信システムは、第１通信装置及び第２通信装置
が通信可能に接続されて構成された通信システムにおい
て、前記第２通信装置側の操作者の位置情報を前記第１
通信装置が取得する位置情報取得手段と、前記第１通信
装置側の操作者を含む被写体を複数の異なる視点から撮
影可能な撮影手段と、該撮影手段により得られる複数の
異なる視点からの被写体の画像の中から特定の画像を前
記取得された位置情報に基づき選択する画像選択手段
と、該選択された特定の画像に係る情報を前記第２通信
装置へ送信する送信手段とを備えたことを特徴とする。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２４】（実施の第１形態）以下に、本発明の実施
の第１形態に係る通信装置及び通信システムを図１〜図
７を用いて説明する。

【００２５】図１は、本実施の形態に係る通信装置の構
成を示す図である。

【００２６】本通信装置１は送信部１６及び受信部１１
１に大別される。

【００２７】なお、通信装置１は、構成を同一とする他
の通信装置２と接続され、通信システムを構成してい
る。すなわち、送信路１７に送信される情報は、通信装
置２の受信部（図示せず）に受信され、通信装置２から
送信されてくる情報は、送信路２０を介して通信装置１
の受信部１１１に受信される。

【００２８】送信部１６は、画像入力部１１、音声入力
部１２、視点位置測定部１３、送信画像選択部１４及び
符号化部１５から構成される。

【００２９】画像入力部１１は、通信装置１側の被写
体、例えば通信装置１で通話を行う者（以下「操作者」
という）を複数の視点から撮影し、得られた画像情報を
入力する。入力された画像情報は、画像入力部１１に接
続された視点位置測定部１３及び送信画像選択部１４に
出力される。

【００３０】音声入力部１２は、操作者の声等の音声情
報を入力し、音声入力部１２に接続された符号化部１５
へ出力する。

【００３１】視点位置測定部１３は、画像入力部１１か
ら入力された画像情報に基づき操作者の位置（例えば頭
部の位置）を測定し、視点位置測定部１３に接続された
符号化部１５にその位置情報を出力する（詳細は後述す
る）。

【００３２】送信画像選択部１４は、通信装置２側の通
信相手の位置に応じた最適な画像を画像入力部１１から
得られた画像の中から選択し、その選択された画像に係
る情報を送信画像選択部１４に接続された符号化部１５
に出力する（詳細は後述する）。

【００３３】符号化部１５は、音声入力部１２から入力
された音声情報、視点位置測定部１３から入力された位
置情報及び送信画像選択部１４から入力された画像情報
をまとめて符号化し、送信路１７に送信する。

【００３４】受信部１１１は、復号化部１８、画像出力
部１９及び音声出力部１１０から構成される。

【００３５】復号化部１８は、通信装置２側から送信路
２０を介して送られてきた情報を復号化する。復号化さ
れた通信相手の位置情報は復号化部１８にも接続された
送信画像選択部１４へ出力される。また、復号化された
画像情報は復号化部１８に接続されたディスプレイ等の
画像出力部１９に出力され、復号化された音声情報はス
ピーカ等の音声出力部１１０へ出力される。

【００３６】なお、視点位置測定部１３は、通信装置１
側が通信装置２側の画像を臨場感をもって見たい場合に
必要となる要素であり、送信画像選択部１４は、通信装
置２側が通信装置１側の画像を臨場感をもって見たい場
合に必要となる要素である。

【００３７】図２は、本実施の形態に係る通信装置にお
ける、カメラの配置を示す図である。本図では、通信相
手側である通信装置２のカメラの配置を示すが、通信装
置１でも同様に配置される。なお、同図において、図１
と同一要素には同一符号が付してある。

【００３８】通信装置２側では、５台のカメラ２３，２
４，２５，２６，２７が互いに適当な角度間隔をおい
て、通信相手２１の頭部方向を向くように配置される。
通信相手２１の頭部位置は、通信操作を行う上で最適な
位置として、予め設定しておく。

【００３９】従来の通信装置では、中央のカメラ２５の
みを設けることが通常であり、通信装置１側の操作者２
２が画像出力部１９に対する視点位置を例えば点Ａから
点Ｂへと変えたとしても、画像出力部１９に表示される
画像に変化はなかった。すなわち、カメラ２５により得
られる通信相手２１の正面像が見られるのみであった。

【００４０】本発明では、予め通信相手２１をななめ側
方等から撮影するためのカメラを追加すると共に、操作
者２２の位置に応じて最適な画像が選択され、出力され
るようにした。

【００４１】通信装置１側の視点位置測定部１３により
得られた操作者２２の位置情報が通信装置２の送信画像
選択部１４に送信され、カメラ２３〜２７により得られ
た５つの画像の中から操作者２２の位置に応じて１つの
画像が選択されると共に通信装置１側に送信される。こ
れにより、例えば、通信相手２１の向かって右ななめ側
方の像が見たいときは、カメラ２３またはカメラ２４に
よる画像が出力されるようにしたものである。

【００４２】カメラ２３〜２７の個数は多い程良いが、
操作者２２の視点の移動可能範囲に対応する範囲を網羅
できるように配置することが望ましい。

【００４３】具体的には、例えば操作者２２が画像出力
部１９を見る適正な角度が１２０°（片側６０°）の範
囲内であることを考慮し、これを網羅できるように、す
なわち通信相手２１を正面に対して左右各６０°から見
られる範囲を網羅することが望ましい。

【００４４】その際、操作者２２は視点を移動させて
も、視線は常にディスプレイの方向を見ているのが通常
であるから、このことを前提としてカメラ２３〜２７を
円弧状に配置するようにしてもよい。

【００４５】また、カメラを複数設けるのではなく、１
つのカメラを図２に示したカメラ位置に移動できるよう
にしてもよい。

【００４６】図３は、送信画像選択部１４による、画像
選択処理のフローチャートである。

【００４７】本処理は、通信装置２側が通信装置１側の
画像を得たい場合に実行される。

【００４８】まず、送信画像選択部１４は、通信相手２
１の視点位置情報を復号化部１８を経て取得する（ステ
ップＳ３１）。

【００４９】次に、最適カメラ番号を算出する（ステッ
プＳ３２）。ここで、位置情報の取得及び最適カメラ番
号の算出は、次のようにして行う。

【００５０】通信装置２側の中央のカメラ２５による画
像のみを用いて視点位置を測定するとして、カメラ２５
の撮影可能角度を例えば１２０°と設定する。そして、
カメラ２５により得られる画像を左右に２４°ずつ５分
割し、分割された画像に右から順に１〜５番まで番号を
付ける。また、カメラ２３〜２７も右から順に１〜５番
まで番号を付ける。

【００５１】次に、通信装置２の視点位置測定部１３
は、通信相手２１が分割された画像の何番目に最もよく
（大きく）写っているかを判断し、この判断結果を視点
位置情報として通信装置１側へ送信する。通信装置１の
送信画像選択部１４は、その画像番号に対応する番号を
持つカメラを特定する。従って、例えば通信相手２１が
カメラ２５の撮影可能角度範囲内で向かって右側いっぱ
いに移動していたときは、１番目のカメラ２３が特定さ
れる。

【００５２】次いで、ステップＳ３３では、上記のよう
にして特定されたカメラにより得られた画像情報のみが
デジタル情報化され、ステップＳ３４で符号化部１５へ
出力されて、本処理を終了する。

【００５３】本処理により、通信相手２１にとって最適
な画像を提供するであろうカメラが特定されると共に、
通信相手２１は、そのカメラによる画像情報を得ること
ができる。

【００５４】図４は通信装置１側の視点位置測定部１３
による、操作者２２の位置測定処理のフローチャートで
ある。

【００５５】本処理は、通信装置１側が通信装置２側の
画像を得たい場合に実行される。

【００５６】本処理による操作者２２の視点位置測定で
は、操作者２２の頭部を視点位置とみなし、大まかな測
定手法が採られる。

【００５７】まず、画像入力部１１を構成するカメラの
内、中央に配置されたカメラによる画像が視点位置測定
部１３に入力され、ＮＴＳＣ（米国テレビジョン方式委
員会）によるＹＩＱ表示系へ変換される（ステップＳ４
１）。ここでは、人の肌色がＹＩＱのＩ成分により強く
現れることが利用される。

【００５８】次いで、Ｉ成分について閾値処理による二
値化処理が施されることにより、Ｉ成分の強い部分だけ
が取り残される（ステップＳ４２）。

【００５９】そして、孤立点が除去されることにより、
取り残された画素のうち孤立して存在する信頼性の低い
画素が排除される（ステップＳ４３）。

【００６０】次に、重心位置が算出され（ステップＳ４
４）、この重心位置が画像中の操作者２２の頭部位置と
みなされる。

【００６１】次に、得られた視点位置情報が復号化部１
５へ出力され（ステップＳ４５）、本処理を終了する。

【００６２】ここで、通信相手側である通信装置２に
は、通信装置１側のカメラの内、どのカメラによる画像
が最適かがわかれば十分である。従って、上述した図３
による処理に代えて、画像幅に対する相対的な数値を視
点位置情報として出力するようにしてもよい。例えば、
重心座標のｘ成分を画像の横サイズで割った値を視点位
置情報としてもよい。

【００６３】本処理により、通信装置２側の被写体につ
いて通信装置１の操作者２２が見たいと思う方向を通信
装置２側に知らせることができる。

【００６４】しかも、その方向は画像入力部１１により
得られた画像情報に基づいて定められるので、特別なセ
ンサを設けることなく容易に構成できる。

【００６５】図５は、符号化部１５による情報処理の概
念を示す図である。

【００６６】符号化部１５は、映像、音声情報の他に付
加情報を送信することが一般に可能である。そこで、符
号化部１５は、得られた視点位置情報を付加情報の１つ
として通信装置２に送信する。

【００６７】画像入力部１１により得られた画像情報に
は、ＩＴＵ−Ｔ（国際電気通信連合の電気通信標準化部
門）におけるＨ．２６１等の画像圧縮処理が施される。

【００６８】音声入力部１２により得られた音声情報に
は、ＩＴＵ−ＴにおけるＧ．７２８等のデータ圧縮処理
が施される。

【００６９】これらの圧縮された画像情報及び音声情報
は、送信画像選択部１４から得られる通信相手２１の視
点位置情報等の複数の情報と一括的に、まとめてＩＴＵ
−ＴにおけるＨ．２２１等の処理により、多重符号化さ
れる。そして、この多重符号化された情報が送信路１７
を介して通信装置２に送信される。

【００７０】なお、視点位置情報の一括的多重符号化
は、画像情報及び音声情報のいずれか一方とで行われる
ようにしてもよい。

【００７１】図６は、復号化部１８による、情報処理の
概念を示す図である。

【００７２】復号化部１８には、通信装置２から多重符
号化された情報が受信される。

【００７３】受信された情報は、音声情報、画像情報及
び通信相手２１の位置情報の各々に分離され、復号化さ
れる。

【００７４】音声情報及び画像情報は、各々ＩＴＵ−Ｔ
におけるＨ．２６１及びＧ．７２８による処理で復号化
され、各々音声出力部１１０及び画像出力部１９に出力
される。

【００７５】復号化された通信相手２１の位置情報は、
送信部１６内の送信画像選択部１４へ出力される。

【００７６】図５及び図６のように、従来の通信装置に
一般的に備えられている符号化部及び復号化部を利用し
て情報の送受信を行うため、構成を簡素化できる。

【００７７】上述した一連の処理は、通信装置１及び通
信装置２間で相互に行われる。その処理結果の一例を図
７に示す。

【００７８】同図では、下方の通信装置１の操作者２２
が、上方の通信装置２側の通信相手２１を所望の方向か
ら見たい場合を示す。

【００７９】操作者が画像出力部１９の中心線に対し角
度θだけ右側にずれた位置に移動した場合、その位置に
対応するカメラとして、通信装置２のカメラ２３が選択
される。

【００８０】カメラ２３は通信相手２１の中心線からの
角度が略θだけずれた位置に配置されており、カメラ２
３のずれ角が最も角度θに近いために選択されたもので
ある。

【００８１】カメラ２３により得られた通信相手２１の
画像は通信装置１側に送られ、画像出力部１９には、下
方右図中に示すように、通信相手２１の向かって右斜め
横顔が写し出されることになる。

【００８２】このように、本通信装置１によれば、通信
装置２側の被写体について、操作者２２自身の視点位置
を変えるだけで所望の方向から見た画像を容易に得るこ
とができる。そのため、臨場感のある通話を行うことが
できる。

【００８３】また、操作者２２の位置測定には画像入力
部１１により得られた画像情報が用いられるので、特別
なセンサを必要とせず、構成を簡素化できる。

【００８４】さらに、画像情報、音声情報及び位置情報
は、一括的に多重符号化されて送信されるので、従来の
符号化部及び復号化部を利用でき、構成を簡素化でき
る。

【００８５】（実施の第２形態）以下に、本発明の実施
の第２形態に係る通信装置及び通信システムを説明す
る。

【００８６】本実施の形態に係る通信装置の構成は、実
施の第１形態に係る通信装置と基本的に同一であり、視
点位置測定部１３による操作者２２の位置測定処理の手
法が異なるのみであるので、図４に代えて図８を用い、
異なる点のみ説明する。なお、実施の第１形態と同一の
要素には同一の符号を用いる。

【００８７】また、本実施の形態に係る通信システムで
は、通信相手側の通信装置も本実施の形態に係る通信装
置と同一の構成とする。

【００８８】図８は、本実施の形態に係る視点位置測定
部１３による、操作者２２の位置測定処理のフローチャ
ートである。

【００８９】本処理では、いわゆる動画像の情報を利用
する。すなわち、時系列的に得られる画像の連続性から
求められた情報を、実施の第１形態による処理に付加す
る。

【００９０】まず、ステップＳ８１，ステップＳ８２，
ステップＳ８３では、図４のステップＳ４１，ステップ
Ｓ４２，ステップＳ４３と同一の処理が画像入力部１１
により得られた動画像に対して行われる。そして、これ
と並行して、ステップＳ８４及びステップＳ８５の処理
が行われる。

【００９１】ステップＳ８４では、互いに時間差をおい
て得られた前フレームと現フレームについて、差分処理
が行われる。すなわち、得られた動画像は、固定された
カメラにて撮影して得られたものなので、画像の背景部
分は通常動かず、前フレームと現フレームとの差分処理
により消去される。これに対し、移動のある操作者２２
の画像部分は、前フレームと現フレームとの差分が強い
部分として現れる。

【００９２】次に、ステップＳ８５では、差分処理によ
り残った画像情報について閾値処理が行われ、可動領域
が求められる。

【００９３】次いで、ステップＳ８１，Ｓ８２，Ｓ８３
で得られた肌色領域と、ステップＳ８４，Ｓ８５で得ら
れた可動領域との論理積が採られる（ステップＳ８
６）。これは、肌色領域かつ可動領域が操作者２２の頭
部を表わすものと考えられるからである。

【００９４】次に、図４のステップＳ４４，ステップＳ
４５と同様の処理がステップＳ８７，ステップＳ８８で
行われ、本処理を終了する。

【００９５】本実施の形態に係る通信装置または通信シ
ステムによれば、実施の第１形態と同様の効果を得ら
れ、さらに、操作者２２の位置測定情報が高くなるの
で、通話の臨場感をより増すことができる。

【００９６】なお、本処理において、色情報を利用せ
ず、動画像の情報のみを利用するようにしてもよい。

【００９７】（実施の第３形態）以下に、本発明の実施
の第３形態に係る通信装置及び通信システムを説明す
る。

【００９８】なお、本実施の形態においても、通信装置
同士は同一の構成であり、互いに接続されて通信システ
ムを成すものとする。

【００９９】本実施の形態に係る通信装置は、基本的に
その構成が実施の第１形態に係る通信装置と同一である
が、立体画像を得るために、以下の点で相違する。

【０１００】まず、通信相手２１の視点位置を測定する
ためのカメラを、図９に示すように、非常に密な間隔で
多数（例えば１５個以上）配置する。しかも、配置され
た各カメラは、人間の両眼の間隔と略同一の間隔をおい
て他のカメラが位置するように配置されることが望まし
い。

【０１０１】さらに、画像出力部１９を単なるディスプ
レイでなく、立体表示可能なヘッドマウントディスプレ
イ、ステレオメガネまたはレンチキュラーディスプレイ
等とする。

【０１０２】このように構成した上で、画像情報の処理
を左目用、右目用の各々について行う。

【０１０３】具体的には、視点位置測定部１３により得
られた通信相手２１の視点位置情報から、人間の頭部中
心と両眼の位置のずれを補正することにより、左目及び
右目に対して最適な画像を提供するであろうカメラを各
々特定する。そして特定された２つのカメラから得られ
る画像情報に実施の第１または第２形態と同様の処理を
施した上で、画像出力部１９の左目用表示部及び右目用
表示部に各々表示させる。

【０１０４】これにより、操作者２２の所望する方向か
らの通信相手２１等の立体画像を得ることができる。

【０１０５】なお、実施の第１、第２、第３形態におい
て、カメラ２３〜２７の配置を左右方向に一列とした
が、これを上下、斜め方向に配置することにより、より
臨場感のある通話が可能となる。

【０１０６】なお、実施の第１、第２、第３形態におい
て、通信システムを構成する通信装置を互いに同一の構
成であるとしたが、これに限るものではない。例えば、
臨場感のある画像を得たい側が通信装置１で、被写体画
像の送信元となる側が通信装置２であるとする。そし
て、通信装置２は送信部１６のみを備え、通信装置１は
受信部１１１のみを備えると共に操作者２２の視点位置
情報を通信装置２に知らせる手段を別途備えるようにし
てもよい。

【０１０７】こうすることにより、一方通行ではある
が、通信装置１側で通信装置２側の被写体を所望の方向
から見ることができる。

【０１０８】なお、通信相手２１や操作者２２の視点位
置の測定手法は、実施の第１、第２、第３形態において
説明した手法に限るものではない。

【０１０９】すなわち、通信システムにおいて、最適な
カメラを通信装置または通信装置システム中の要素のい
ずれかにより把握できれば十分であるから、画像を見る
側の通信装置は、受信部１１１の他に、最適なカメラを
特定できる手段を最低限備えていれば、一方通行の画像
を得る上では十分である。

【０１１０】例えば、画像送信元の通信装置から、カメ
ラを特定するための情報または特定された結果に係る情
報を受信すると共に、その特定されたカメラからの画像
を得られるように構成すればよい。

【０１１１】また、視点位置測定は、三次元位置センサ
を利用して、測定対象の（ｘ，ｙ，ｚ）座標を直接測定
するようにしてもよい。この測定には、例えば米国ポヒ
マス社のファーストラックという装置を用いることがで
きる。この装置は、測定対象に所定のアンテナを搭載
し、磁界を用いて測定対象の三次元位置を測定できるも
のである。

【０１１２】なお、通話を行う者の音声を入力するマイ
ク等が、通話者の身に直接付けられるように構成されて
いる場合があるが、このマイクに上記三次元位置センサ
を取り付けることにより、通話の妨げとならず、簡素な
構成にて使い安い通信装置を実現できる。

【０１１３】このほか、視点位置測定では、測定対象の
位置を角度を用いて捉えるようにしてもよい。あるい
は、カメラ２３〜２５の撮影目標となる点を、全て測定
対象の中心点とする代わりに、測定対象の前または後に
ずらすようにしてもよい。このようにすることにより、
測定対象が左右に移動すれば、測定対象の画像中におけ
る位置が各カメラ毎に異なる。そこでこれを利用し、最
も中央に測定対象を捉えるカメラから、測定対象の視点
位置を把握することもできる。

【０１１４】

【発明の効果】以上説明したように、本発明の請求項１
に係る通信装置または請求項８に係る通信方法によれ
ば、送信先装置の操作者の位置情報が取得され、被写体
が複数の異なる視点から撮影され、該得られる複数の異
なる視点からの被写体の画像の中から特定の画像が前記
取得された位置情報に基づき選択され、該選択された特
定の画像に係る情報が前記送信先装置へ送信されるの
で、送信先装置の操作者は、送信元装置の被写体を所望
の方向から見た画像を容易に得ることができ、簡素な構
成にて臨場感のある通話が可能となる。

【０１１５】本発明の請求項２に係る通信装置または請
求項９に係る通信方法によれば、前記送信先装置の操作
者を撮影して得られた操作者の画像に係る所定の情報に
基づいて前記操作者の位置情報が取得されるので、特別
のセンサを必要とせず、構成を簡素化できる。

【０１１６】本発明の請求項３に係る通信装置または請
求項１０に係る通信方法によれば、色情報及び互いに時
間差をおいて得られた画像間の差異に関する情報の少な
くとも一方に基づいて前記操作者の位置情報が取得され
る。

【０１１７】本発明の請求項４に係る通信装置または請
求項１１に係る通信方法によれば、三次元位置計測装置
により前記操作者の位置情報が取得される。

【０１１８】本発明の請求項５に係る通信装置または請
求項１２に係る通信方法によれば、前記送信先装置の操
作者が装着可能に構成された音声入力手段に取り付けら
れたアンテナの位置から磁気的に前記送信先装置の操作
者の位置が計測されるので、通話の妨げとなることな
く、簡素な構成で使用勝手を向上できる。

【０１１９】本発明の請求項６に係る通信装置または請
求項１３に係る通信方法によれば、送信先装置の操作者
の右目及び左目の各々に対応させて前記特定の画像を右
目用及び左目用に各々選択されるので、立体画像につい
ても、送信先装置の操作者は、送信元装置の被写体を所
望の方向から見た画像を容易に得ることができ、簡素な
構成にて臨場感のある通話が可能となる。

【０１２０】本発明の請求項７に係る通信装置または請
求項１４に係る通信方法によれば、当該装置側の音声情
報が取得され、当該装置側の操作者の位置情報が取得さ
れ、前記取得された当該装置側の操作者の位置情報が、
前記選択された特定の画像に係る情報及び前記取得され
た当該装置側の音声情報と共に一括的に符号化されて、
前記送信先装置へ送信されるので、従来の通信装置の符
号化部、復号化部を利用でき、構成を簡素化できる。

【０１２１】本発明の請求項１５に係る通信システムに
よれば、第２通信装置側の操作者の位置情報が前記第２
通信装置に取得され、前記第１通信装置側の操作者を含
む被写体が複数の異なる視点から撮影され、該得られる
複数の異なる視点からの被写体の画像の中から特定の画
像が前記取得された位置情報に基づき選択され、該選択
された特定の画像に係る情報が前記第２通信装置へ送信
されるので、互いの装置間で、被写体を所望の方向から
見た画像を容易に得ることができ、簡素な構成にて臨場
感のある双方向通話が可能となる。

【図面の簡単な説明】

【図１】本発明の実施の第１形態に係る通信装置の構成
図である。

【図２】同実施の形態に係る通信装置における、カメラ
の配置を示す図である。

【図３】同実施の形態に係る送信画像選択部１４によ
る、画像選択処理のフローチャートである。

【図４】同実施の形態に係る視点位置測定部による操作
者の位置情報測定処理のフローチャートである。

【図５】同実施の形態に係る符号化部１５による情報処
理の概念を示す図である。

【図６】同実施の形態に係る復号化部１８による情報処
理の概念を示す図である。

【図７】同実施の形態に係る処理結果の一例を示す図で
ある。

【図８】本発明の実施の第２形態における視点位置測定
処理のフローチャートである。

【図９】本発明の実施の第３形態におけるカメラの配置
を示す図である。

【符号の説明】

１１画像入力部１２音声入力部１３視点位置測定部１４送信画像選択部１５符号化部１６送信部１８復号化部１９画像出力部２３カメラ２４カメラ２５カメラ２６カメラ２７カメラ１１１受信部

Claims

【特許請求の範囲】

【請求項１】送信先装置の操作者の位置情報を取得す
る位置情報取得手段と、被写体を複数の異なる視点から
撮影可能な撮影手段と、該撮影手段により得られる複数
の異なる視点からの被写体の画像の中から特定の画像を
前記取得された位置情報に基づき選択する画像選択手段
と、該選択された特定の画像に係る情報を前記送信先装
置へ送信する送信手段とを備えたことを特徴とする通信
装置。
【請求項２】前記位置情報取得手段は、前記送信先装
置の操作者を撮影して得られた操作者の画像に係る所定
の情報に基づいて前記操作者の位置情報を取得すること
を特徴とする請求項１記載の通信装置。
【請求項３】前記所定の情報は、色情報及び互いに時
間差をおいて得られた画像間の差異に関する情報の少な
くとも一方であることを特徴とする請求項２記載の通信
装置。
【請求項４】前記位置情報取得手段は、三次元位置計
測装置により前記操作者の位置情報を取得することを特
徴とする請求項１記載の通信装置。
【請求項５】前記三次元位置計測装置は、前記送信先
装置の操作者が装着したアンテナの位置を磁気的に計測
するものであり、前記アンテナは前記送信先装置の操作
者が装着可能に構成された音声入力手段に取り付けられ
ていることを特徴とする請求項４記載の通信装置。
【請求項６】前記画像選択手段は、前記送信先装置の
操作者の右目及び左目の各々に対応させて前記特定の画
像を右目用及び左目用に各々選択することを特徴とする
請求項１〜５のいずれか１項に記載の通信装置。
【請求項７】当該装置側の音声情報を取得する当該音
声情報取得手段と、当該装置側の操作者の位置情報を取
得する当該位置情報取得手段とを備え、前記送信手段
は、前記取得された当該装置側の操作者の位置情報、前
記選択された特定の画像に係る情報及び前記取得された
当該装置側の音声情報を一括して符号化し、前記送信先
装置へ送信することを特徴とする請求項１〜６のいずれ
か１項に記載の通信装置。
【請求項８】送信先装置の操作者の位置情報を取得す
る位置情報取得工程と、被写体を複数の異なる視点から
撮影可能な撮影工程と、該撮影工程により得られる複数
の異なる視点からの被写体の画像の中から特定の画像を
前記取得された位置情報に基づき選択する画像選択工程
と、該選択された特定の画像に係る情報を前記送信先の
装置へ送信する送信工程とを含むことを特徴とする通信
方法。
【請求項９】前記位置情報取得工程では、前記送信先
装置の操作者を撮影して得られた操作者の画像に係る所
定の情報に基づいて前記操作者の位置情報を取得するこ
とを特徴とする請求項８記載の通信方法。
【請求項１０】前記所定の情報は、色情報及び互いに
時間差をおいて得られた画像間の差異に関する情報の少
なくとも一方であることを特徴とする請求項９記載の通
信方法。
【請求項１１】前記位置情報取得工程では、三次元位
置計測装置により前記操作者の位置情報を取得すること
を特徴とする請求項８記載の通信方法。
【請求項１２】前記三次元位置計測装置は、前記送信
先装置の操作者が装着したアンテナの位置を磁気的に計
測するものであり、前記アンテナは前記送信先装置の操
作者が装着可能に構成された音声入力手段に取り付けら
れていることを特徴とする請求項１１記載の通信方法。
【請求項１３】前記画像選択工程では、前記送信先装
置の操作者の右目及び左目の各々に対応させて前記特定
の画像を右目用及び左目用に各々選択することを特徴と
する請求項８〜１２のいずれか１項に記載の通信方法。
【請求項１４】当該装置側の音声情報を取得する当該
音声情報取得工程と、当該装置側の操作者の位置情報を
取得する当該位置情報取得工程とを含み、前記送信工程
では、前記取得された当該装置側の操作者の位置情報、
前記選択された特定の画像に係る情報及び前記取得され
た当該装置側の音声情報を一括して符号化し、前記送信
先装置へ送信することを特徴とする請求項８〜１３のい
ずれか１項に記載の通信装置。
【請求項１５】第１通信装置及び第２通信装置が通信
可能に接続されて構成された通信システムにおいて、前
記第２通信装置側の操作者の位置情報を前記第１通信装
置が取得する位置情報取得手段と、前記第１通信装置側
の操作者を含む被写体を複数の異なる視点から撮影可能
な撮影手段と、該撮影手段により得られる複数の異なる
視点からの被写体の画像の中から特定の画像を前記取得
された位置情報に基づき選択する画像選択手段と、該選
択された特定の画像に係る情報を前記第２通信装置へ送
信する送信手段とを備えたことを特徴とする通信システ
ム。