JP2008160295A - テレビ電話システム及びテレビ電話装置 - Google Patents

Abstract

【課題】相手に見られたくない周りの様子を隠しながら、背景映像に変化を持たせて相手側に違和感を与えずに通話できるようにする。
【解決手段】現在の日時を取得する内蔵時計６０６と、それぞれの日時に対応した時変的な要素を含む複数の背景映像を記憶するデータ管理サーバ５０とを備えている。テレビ電話装置Ａでの通話時、映像を送信する際に、カメラ６０５で撮影された自分の映像から実際の背景映像を除去し、内蔵時計６０６により取得された日時に対応する背景映像をデータ管理サーバ５０から抽出してメモリ６０９に格納する。そして、前記実際の背景が除去された人物映像を、メモリ６０９に格納された背景映像と合成して送信する。
【選択図】 図１

Description

本発明は、ＩＰ電話機，固定電話機，携帯電話機等において、カメラで撮影した映像を相手に送り、相手側カメラからの映像を端末に映すことで、互いに相手の姿を見ながら通話を行うことができるテレビ電話システム及びテレビ電話装置に関するものであり、特にカメラで撮影した映像に、状況に応じた背景画像を合成するようにしたテレビ電話システム及びテレビ電話装置に関するものである。

最近では、ＣＣＤカメラを備えたコンピュータ装置をＩＰ電話の端末装置として用い、ＣＣＤカメラで撮影した通話者の画像（静止画または動画）データを送り、相互に通話者の映像を見ながら会話ができる、いわゆるテレビ電話機能を利用することが容易になってきている。また、家庭に設置される固定電話や携帯電話においても、テレビ電話機能が搭載されたものが提案されている。

ところで、このようなテレビ電話は、いくつかの携帯電話会社がサービスを提供しているが、以下のような理由で、携帯電話会社が提供するキラーコンテンツ（キーサービス）に成長するまでには至っていない。すなわち、（１）通常の音声通話と比較して料金が高い。（２）周囲にテレビ電話する相手がいない。（３）人物（自分や相手）が映ることに抵抗を感じる人が多い。（４）背景が映ることに抵抗を感じる人が多い。などの理由である。

このような理由のうち、上記（３）、（４）は、個人のプライバシーが映像として相手方に送信されることに対する抵抗感があると考えられる。また、自分自身の映像が相手に送信されるため、それなりの服装に着替えたり、化粧に気を配ったりしなければならず、おっくうである、あるいは、恥ずかしいなどの個人の感性による問題もある。

前述のように、テレビ電話機能を有する電話機では、相手と通話する際、自分の姿を相手側に送ると同時に、背景の映像も送ってしまい、場合によっては、他人には見られたくない物まで相手に見られてしまうおそれがある。そこで、下記の特許文献１（特開２００３−３３３５５６号公報）に示されるように、通話時に背景映像を別の映像で置き換えることにより、相手に実際の周りの様子を見られることなく、しかも自然な形で自分の姿を送りながら通話ができるようにしたテレビ電話装置の技術が提案されている。

上記特許文献１に開示されたテレビ電話装置は、画像入力装置にて撮影された人物の画像からその人物の輪郭を元に背景を除去する背景除去装置と、少なくとも１種類の背景画像を記憶した背景画像データベースと、背景が除去された人物の画像を背景画像記憶データベースに記憶されている背景画像と合成して背景の異なる画像を作成する画像合成装置
と、を備えて構成されたものである。このように構成すれば、カメラで撮影された人物映像から、その人物の輪郭を元にして背景を削除し、そのようにして背景が削除された人物映像と、予めデータベースに保持しておいた背景映像とを合成した映像を相手側に送信することができる。そのようにすれば、相手に実際の周りの様子を見られることなく、ある程度自然な形で自分の姿を送りながら通話ができる。
特開２００３−３３３５５６号公報（図１、［要約］［解決手段］）

しかしながら、上記特許文献１に開示されたテレビ電話装置では、背景映像が固定映像で、いつも同じであるため、面白みに欠け、また、何度か通話する内に相手側に違和感を与えてしまうという問題点があった。

本発明は、そのような問題点に鑑み、相手に見られたくない周りの様子を隠しながら、背景映像に変化を持たせて相手側に違和感を与えずに通話できるようにすることを目的とするものである。

前記課題を解決するため、本願の請求項１にかかるテレビ電話システムの発明は、人物映像を撮影する撮影手段と、該撮影手段で撮影された人物映像から背景映像を除去する背景除去手段と、現在の日時を取得する日時情報取得手段と、それぞれの日時に対応した複数の背景映像を記憶する背景映像記憶手段と、前記日時情報取得手段により取得された日時に対応する背景映像を前記背景映像記憶手段から抽出する背景映像抽出手段と、前記背景除去手段により背景が除去された人物映像を、前記背景映像抽出手段により抽出された背景映像と合成する映像合成手段とを備えたことを特徴とする。

また、本願の請求項２にかかる発明は、請求項１にかかる発明において、前記背景映像記憶手段に季節を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時に対応する季節を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする。

また、本願の請求項３にかかる発明は、請求項１又は請求項２にかかる発明において、現在の天候情報を取得する天候情報取得手段を有し、かつ、前記背景映像記憶手段に天候を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記天候情報取得手段により取得された天候を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする。

また、本願の請求項４にかかる発明は、請求項１ないし請求項３の何れかにかかる発明において、現在位置を取得する位置情報取得手段を有し、かつ、前記背景映像記憶手段に地域を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記位置情報取得手段により取得された現在位置を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする。

また、本願の請求項５にかかるテレビ電話装置の発明は、人物映像を撮影する撮影手段と、該撮影手段で撮影された人物映像から背景映像を除去する背景除去手段と、現在の日時を取得する日時情報取得手段と、それぞれの日時に対応した複数の背景映像を記憶する背景映像記憶手段と、前記日時情報取得手段により取得された日時に対応する背景映像を前記背景映像記憶手段から抽出する背景映像抽出手段と、前記背景除去手段により背景が除去された人物映像を、前記背景映像抽出手段により抽出された背景映像と合成する映像合成手段とを備えたことを特徴とする。

また、本願の請求項６にかかる発明は、請求項５にかかる発明において、前記背景映像記憶手段に季節を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時に対応する季節を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする。

また、本願の請求項７にかかる発明は、請求項５又は請求項６にかかる発明において、現在の天候情報を取得する天候情報取得手段を有し、かつ、前記背景映像記憶手段に天候を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記天候情報取得手段により取得された天候を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする。

また、本願の請求項８にかかる発明は、請求項５ないし請求項７の何れかにかかる発明において、現在位置を取得する位置情報取得手段を有し、かつ、前記背景映像記憶手段に地域を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記位置情報取得手段により取得された現在位置を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする。

本発明のテレビ電話システムは、次のような効果を奏する。

すなわち、請求項１にかかる発明においては、日時情報取得手段により現在の日時を取得し、取得された日時に対応する背景映像を背景映像記憶手段から抽出して、背景除去手段により背景が除去された人物映像と抽出された背景映像とを合成するようにした。その結果、相手に見られたくない周りの様子を隠しながら、背景映像に変化を持たせて相手側に違和感を与えずに通話できるようになる。

また、請求項２にかかる発明においては、請求項１にかかるテレビ電話システムにおいて、背景映像記憶手段に季節を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時に対応する季節を反映した背景映像を前記背景映像記憶手段から抽出するようにしたので、映像に季節感を与えることができるようになる。

また、請求項３にかかる発明においては、請求項１又は請求項２にかかるテレビ電話システムにおいて、現在の天候情報を取得する天候情報取得手段を有し、かつ、前記背景映像記憶手段に天候を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記天候情報取得手段により取得された天候を反映した背景映像を前記背景映像記憶手段から抽出するようにした。その結果、映像により一層現実感を与えることができるようになる。

また、請求項４にかかる発明においては、請求項１，２又は３にかかるテレビ電話システムにおいて、現在位置を取得する位置情報取得手段を有し、かつ、前記背景映像記憶手段に地域を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記位置情報取得手段により取得された現在位置を反映した背景映像を前記背景映像記憶手段から抽出するようにした。その結果、旅先等での臨場感を与えることができるようになる。

また、請求項５にかかる発明においては、日時情報取得手段により現在の日時を取得し、取得された日時に対応する背景映像を背景映像記憶手段から抽出して、背景除去手段により背景が除去された人物映像と抽出された背景映像とを合成するようにした。その結果、相手に見られたくない周りの様子を隠しながら、背景映像に変化を持たせて相手側に違和感を与えずに通話できるようになる。

また、請求項６にかかる発明においては、請求項５にかかるテレビ電話装置において、背景映像記憶手段に季節を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時に対応する季節を反映した背景映像を前記背景映像記憶手段から抽出するようにしたので、映像に季節感を与えることができるようになる。

また、請求項７にかかる発明においては、請求項５又は請求項６にかかるテレビ電話装置において、現在の天候情報を取得する天候情報取得手段を有し、かつ、前記背景映像記憶手段に天候を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記天候情報取得手段により取得された天候を反映した背景映像を前記背景映像記憶手段から抽出するようにした。その結果、映像により一層現実感を与えることができるようになる。

また、請求項８にかかる発明においては、請求項５ないし請求項７の何れかにかかるテレビ電話装置において、現在位置を取得する位置情報取得手段を有し、かつ、前記背景映像記憶手段に地域を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記位置情報取得手段により取得された現在位置を反映した背景映像を前記背景映像記憶手段から抽出するようにした。その結果、旅先等での臨場感を与えることができるようになる。

以下、本発明の具体例を実施例及び図面を用いて詳細に説明する。但し、以下に示す実施例は、本発明の技術思想を具体化するためのテレビ電話システム及びテレビ電話装置を例示するものであって、本発明をこのテレビ電話システム及びテレビ電話装置に特定することを意図するものではなく、特許請求の範囲に含まれるその他の実施形態のテレビ電話システム及びテレビ電話装置にも等しく適用し得るものである。

図１は、本発明の実施例にかかるテレビ電話システムの構成を示すブロック図である。本発明の実施例にかかるテレビ電話システムは、ＩＰ電話機であるテレビ電話装置Ａ，Ｂ，Ｃ，・・・，Ｎなどと、ルータ２０とゲートウェイ３０と呼制御サーバ４０とデータ管理サーバ５０とから構成される。テレビ電話装置Ａ，Ｂ，Ｃ，・・・，Ｎ，ルータ２０，ゲートウェイ３０，呼制御サーバ４０及びデータ管理サーバ５０は、ＬＡＮ１３により接続されており、呼制御サーバ４０は、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ -Ｐｒｏｔｏｃｏｌ）プロトコルを適用したＳＩＰサーバを用いることができる。

電話回線網１２に接続された加入者電話装置１４からテレビ電話装置Ａ，Ｂ，Ｃ，・・・，Ｎへの呼はゲートウェイ３０を介して行われ、呼制御サーバ４０の呼接続制御のもとでテレビ電話装置Ａ，Ｂ，Ｃ，・・・，Ｎに接続される。また、ルータ１５に接続される他のＩＰ電話システムに設置されたテレビ電話装置からの呼は、インターネット網１１、ルータ２０を介して呼制御サーバ４０の呼接続制御のもとでテレビ電話装置Ａ，Ｂ，Ｃ，・・・，Ｎに接続される。なお、図１においてテレビ電話装置Ａ以外のテレビ電話装置Ｂ，Ｃ，・・・，Ｎはその構成の図示を省略しているが、テレビ電話装置Ａと同様の構成である。

データ管理サーバ５０は、背景映像記憶手段として、テレビ電話装置の通話時に、相手側に送信する人物映像の背景として置き換えるべき、各種映像を保持している。それらの背景映像は、それぞれの日時に応じた、時変的な要素が反映された映像、例えば、昼の時間帯では明るい映像，夜の時間帯では暗い映像、季節が秋の時期であれば紅葉が入った映像，冬の時期であれば雪景色が入った映像というような映像が用意されている。なお、背景映像は、静止画でもよいし、動画でもよい。

また、時変的な要素に加えて、晴れ，雨，雪等の天候的要素を反映させた映像を記憶させてもよい。さらに、時変的な要素に加えて、有名観光地等においては、それら地域特有の要素を反映させた映像を記憶させてもよい。

テレビ電話装置６０は、通常のＩＰ電話機と同様、制御回路６０１、音声送受話部６０２、表示部６０３、入力部６０４、カメラ６０５、内蔵時計６０６、天候情報取得部６０８、位置情報取得部６０７、メモリ６０９を備えて構成される。制御回路６０１はＲＡＭ、ＲＯＭを有するマイクロプロセッサから構成され、ＲＯＭに記憶された制御プログラムに基づいて各部を制御する。音声送受話部６０２はマイク、スピーカからなり通話に使用される。

表示部６０３は液晶表示ユニットなどから構成され、テレビ電話装置６０の各種設定画面や着信電話の表示などに使用される。入力部６０４は英数キー、機能キーなどを有し、電話番号入力や発信など各種操作に使用される。カメラ６０５は、撮影手段として、相手側に送信するための映像を撮影する。

内蔵時計６０６は、日時情報取得手段として、時計及びカレンダー機能を備えていて、常時、現在日時を取得する。位置情報取得部６０７は、例えば、ＧＰＳ（Global Positioning System）を利用して、当該テレビ電話装置Ａ６０の現在位置を取得する。なお、現在位置を取得する手段としては、ＧＰＳを利用する方法以外に、携帯電話機，ＰＨＳ等の携帯通信機器の基地局情報を利用したり、電話の市外局番を利用したりすることもできる。天候情報取得部６０８は、インターネットや各種通信手段を利用して、現在位置の天候情報を取得する。メモリ６０９は、通話を開始するに当たって、その時の日時に対応する背景映像をデータ管理サーバ５０から取り込んで格納する。

次に、本発明の実施例にかかるテレビ電話システムの処理を説明する。処理は、制御部６０１で実行される。図２は、背景除去処理の説明図である。通話開始時、まず、カメラ６０５から撮影映像（イ）を受け取り、それにエッジ処理を施してエッジ映像を得る。次いで、エッジ映像から人物の輪郭を抽出して抽出輪郭映像（ロ）を得る。そして、元の撮影映像（イ）から、抽出輪郭映像（ロ）の外側にある背景部分を除去して背景除去映像（ハ）を得る。

次に、相手側に送信する映像を得るため映像合成処理を行う。図３は、映像合成処理の説明図である。上記背景除去処理で得られた背景除去映像（ハ）を、先にデータ管理サーバ５０から取り込んで、メモリ６０９に格納されている背景映像（ニ）と合成して背景を差し替えた合成映像（ホ）を得る。この合成映像（ホ）は、ルータ２０又はゲートウェイ３０を介して相手側のテレビ電話装置に送信される。なお、この実施例では、合成する背景映像（ニ）は、室内映像であり、時変的な要素として壁に掛けた時計の表示を入れている。この時計の表示は、通話時点の時刻に対応した映像が選択される。

そのような人物映像と背景映像の合成処理において、合成する背景映像として、図３に示したような時計の表示を入れた映像以外に、時変的な要素として昼の時間帯では明るい映像，夜の時間帯では暗い映像、季節が秋の時期であれば紅葉が入った映像，冬の時期であれば雪景色が入った映像というような映像を使うことができる。

また、時変的な要素に加えて、有名観光地等においては、それら地域特有の要素を反映させた映像を使うこともできる。例えば、旅先から電話する場合、背景にその地域の映像やフレーム映像が合成されていれば、旅先からの感動をよりリアルに伝えることができる。また、旅先から出す絵葉書のような、いかにも観光地という分かりやすい映像や、地域限定プリクラのようなフレーム映像が合成されていれば、通話相手は容易に旅先に居ることを認識することができる。

更に、観光地など人前でテレビ電話を利用するのは恥かしいし、プライバシー保護の観点から問題になる場合もあるが、この方法によれば、旅館に帰ってからでも、背景に観光地の映像を映しながら、落ち着いてテレビ電話をすることができる。なお、その時の現在位置情報は、位置情報取得部６０７から取得し、その地域に適合した背景映像をデータ管理サーバ５０から取り込む。

さらに、晴れ，雨，雪等の天候的要素を反映させた映像を使うこともできる。例えば、その時、当該地域の天候が晴れであれば、日が射している映像とか、雨であれば、雨が降っている映像とかである。なお、その時の天候情報は、天候情報取得部６０８から取得し、その天候情報に適合した背景映像をデータ管理サーバ５０から取り込む。

なお、上記実施例では、ＬＡＮ１３に接続された固定式のテレビ電話装置の場合で説明したが、本発明の対象はそれに限定されず、携帯電話式のテレビ電話にも適用できる。その場合、背景映像は、携帯電話会社のサーバか、インターネット上のいずれかのサーバに格納しておけばよい。

また、上記実施例では、背景映像は、データ管理サーバ５０に記憶させ、通話の都度、テレビ電話装置のメモリに取り込むようにしたが、テレビ電話装置に十分な容量の記憶装置を用いることが可能であれば、それぞれのテレビ電話装置の記憶装置に格納してもよい。そのようにすれば、各テレビ電話装置において本発明を実現できる。

本発明の実施例にかかるテレビ電話システムの構成を示すブロック図である。 背景除去処理の説明図である。 映像合成処理の説明図である。

符号の説明

１１…インターネット網
１２…電話回線網
１３…ＬＡＮ
１４…加入者電話装置
１５，２０…ルータ
３０…ゲートウェイ
４０…呼制御サーバ
５０…データ管理サーバ
６０…テレビ電話装置
５０１…背景映像データベース
６０１…制御部
６０２…音声送受話部
６０３…表示部
６０４…入力部
６０５…カメラ
６０６…内蔵時計
６０７…位置情報取得部
６０８…天候情報取得部
６０９…メモリ

Claims (8)

1. 人物映像を撮影する撮影手段と、該撮影手段で撮影された人物映像から背景映像を除去する背景除去手段と、現在の日時を取得する日時情報取得手段と、それぞれの日時に対応した複数の背景映像を記憶する背景映像記憶手段と、前記日時情報取得手段により取得された日時に対応する背景映像を前記背景映像記憶手段から抽出する背景映像抽出手段と、前記背景除去手段により背景が除去された人物映像を、前記背景映像抽出手段により抽出された背景映像と合成する映像合成手段とを備えたことを特徴とするテレビ電話システム。
2. 前記背景映像記憶手段に季節を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時に対応する季節を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする請求項１に記載のテレビ電話システム。
3. 現在の天候情報を取得する天候情報取得手段を有し、かつ、前記背景映像記憶手段に天候を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記天候情報取得手段により取得された天候を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする請求項１又は請求項２に記載のテレビ電話システム。
4. 現在位置を取得する位置情報取得手段を有し、かつ、前記背景映像記憶手段に地域を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記位置情報取得手段により取得された現在位置を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする請求項１ないし請求項３の何れか１項に記載のテレビ電話システム。
5. 人物映像を撮影する撮影手段と、該撮影手段で撮影された人物映像から背景映像を除去する背景除去手段と、現在の日時を取得する日時情報取得手段と、それぞれの日時に対応した複数の背景映像を記憶する背景映像記憶手段と、前記日時情報取得手段により取得された日時に対応する背景映像を前記背景映像記憶手段から抽出する背景映像抽出手段と、前記背景除去手段により背景が除去された人物映像を、前記背景映像抽出手段により抽出された背景映像と合成する映像合成手段とを備えたことを特徴とするテレビ電話装置。
6. 前記背景映像記憶手段に季節を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時に対応する季節を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする請求項５に記載のテレビ電話装置。
7. 現在の天候情報を取得する天候情報取得手段を有し、かつ、前記背景映像記憶手段に天候を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記天候情報取得手段により取得された天候を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする請求項５または請求項６に記載のテレビ電話装置。
8. 現在位置を取得する位置情報取得手段を有し、かつ、前記背景映像記憶手段に地域を反映した背景映像を記憶し、前記日時情報取得手段により取得された日時、及び、前記位置情報取得手段により取得された現在位置を反映した背景映像を前記背景映像記憶手段から抽出することを特徴とする請求項５ないし請求項７の何れか１項に記載のテレビ電話装置。

Images