JP6938734B2 - 映像通話サービスを提供する端末及びサーバ - Google Patents

Description

本発明は、相手の映像を漸進的に露出させる映像通話サービスを提供する端末及びサーバに関する。

映像通話サービスは、通話中に、相手の音声を出力すると共に、相手の映像を画面に表示するものであり、遠隔地にいる相手の姿を見ながら通話することができ、単に音声だけの通話に比べ、通話者間に互いの感情状態を容易に交換することができるという長所がある。

最近、高速情報通信が現実化され、映像通話が可能な端末装置の普及が拡大されながら、映像通話サービスが注目されており、併せて、映像通話の利用率が日増しに上昇している。

しかし、映像通話の便利性にもかかわらず、向上された画質で、ユーザ及び周辺環境を相手に非恣意的に直接露出させることにより、ユーザの肖像権及び私生活が侵害されてしまうという問題点が発生しうる。

本発明が解決しようとする課題は、映像通話サービスの進行中に発生するイベントにより、ユーザ及び周辺環境を露出させる映像通話サービスを提供する方法、サーバ及び端末を提供することである。

一開示により、コンピューター可読記録媒体に保存されたアプリケーションは、第１端末において、第１端末と第２端末との映像通話セッションを樹立する段階、第１端末に表示される第２ユーザの映像において、露出領域を除いた残り領域を変調して表示する段階、映像通話セッションが維持される間、所定イベントを検出する段階、及び所定イベントに基づいて、露出領域のサイズを制御する段階を含む映像通話サービスを提供する方法を遂行することができる。

一開示により、映像通話サービスを提供するサーバを提供し、サーバは、映像通話サービスを提供する端末と通信を行う通信インターフェース、ストレージ、プロセッサ、及びプロセッサによって実行可能な命令語を保存するメモリを含み、プロセッサは、命令語を実行することにより、第１端末と第２端末との映像通話セッションを樹立し、第１端末に表示される第２ユーザ映像において、露出領域を除いた残り領域を変調して表示し、映像通話セッションが維持される間、所定イベントを検出し、所定イベントに基づいて、露出領域のサイズを制御することができる。

一開示により、プロセッサによって実行可能な命令語が保存された非一時的コンピュータ可読記録媒体を提供し、記録媒体は、第１端末と第２端末との映像通話セッションを樹立する命令語、第１端末の映像通話画面に表示される第２ユーザ映像において、露出領域を除いた残り領域を変調して表示する命令語、映像通話セッションが維持される間、所定イベントを検出する命令語、所定イベントに基づいて、露出領域のサイズを制御する命令語を含んでもよい。

一開示により、映像通話サービスを遂行するユーザ端末を提供し、ユーザ端末は、ユーザ映像を獲得するカメラ、サーバ、及び他のユーザ端末と通信する通信インターフェース、プロセッサ、及びプロセッサによって実行可能な命令語を提供するメモリを提供し、プロセッサは命令語を実行することにより、他のユーザ端末との映像通話セッションを樹立し、ユーザ端末の映像通話画面に表示される他のユーザの映像において、露出領域を除いた残り領域を変調して表示し、映像通話セッションが維持される間、所定イベントを検出し、所定イベントに基づいて、露出領域のサイズを制御することができる。

映像通話サービスが提供される環境について説明するための図面である。 一開示による露出領域を介して、映像通話サービスを提供する様子について説明するための図面である。 一開示による、所定時間経過後、露出領域サイズを制御する様子について説明するための図面である。 一開示による、ユーザの露出領域サイズ制御要請により、露出領域サイズが増大する様子について説明するための図面である。 一開示による、露出領域サイズ増加を要請するユーザ入力による映像通話画面について説明するための図面である。 一開示により、端末でのジェスチャ検出により、露出領域サイズを制御する内容について説明するための図面である。 一開示により、経時的に、露出領域を除いた非露出領域の属性を変更する様子について説明するための図面である。 一開示による、ユーザ選択による非露出領域の属性を変更した様子について説明するための図面である。 一実施形態による端末の構成を示したブロック図である。 一実施形態による、映像通話サービスを提供するサーバの構成を示したブロック図である。 他の実施形態による、映像通話サービスを提供するサーバが、複数個の分散サーバに具現された様子について説明するための図面である。 一開示による、露出領域を介して、映像通話サービスを提供する方法について説明するためのフローチャートである。

以下、添付された図面を参照し、本発明の実施形態について、本発明が属する技術分野で当業者が容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態にも具現され、以下で開示される実施形態に限定されるものではない。また、図面において、本発明を明確に開示するために、本発明と関係ない部分は、省略し、図面において、同一であったり類似したりする符号は、同一であったり類似したりする構成要素を示す。

本発明の目的及び効果は、下記の説明によって自然に理解されたり、さらに明らかになったりするであろうが、下記の記載だけに、本発明の目的及び効果が制限されるものではない。

以下、本発明の望ましい実施形態をについて、付した図面を参照して詳細に説明すれば、次の通りである。

図１は、映像通話サービスが提供される環境について説明するための図面である。

映像通話サービスは、複数のユーザが各自の端末を利用し、自分の映像を相手に伝送し、相手の映像を受信することにより、意思をやり取りすることができるサービスを意味する。映像通話サービスを利用するユーザは、各自の端末を介して、映像と音声とをやり取りすることができ、チャット機能を介して、テキストをやり取りすることもできる。映像通話サービスを利用しようとするユーザは、相手を直接指定するか、あるいは映像通話サービスを提供するサーバにおいて、ランダム、または所定方式によって相手を指定することにより、相手との映像通話サービスを利用することができる。

図１を参照すれば、第１端末１００−１及び第２端末１００−２が、通信網を介して、映像通話サービスを提供するサーバ２００と連結されている。サーバ２００は、複数のユーザが、各自の端末１００−１，１００−２を利用し、映像通話サービスを利用するように一助となる各種プログラムまたはアプリケーションと、データとを保存することができる。映像通話サービスを提供するサーバ２００は、近距離通信及び遠隔地通信をいずれも行うことができる。映像通話サービスを提供するサーバ２００は、通信網を介して、複数の端末１００−１，１００−２と連結され、複数の端末１００−１，１００−２は、映像通話サービスを提供するサーバ２００との連結に利用される多様な種類の端末にもなる。例えば、複数の端末１００−１，１００−２は、映像通話サービスを提供するサーバ２００と通信を行うことができる装置として、スマートウォッチのようなウェアラブル装置、スマートフォン・タブレットＰＣ（personal computer）・ラップトップコンピュータのようなモバイル装置、デスクトップコンピュータのようなステーショナリ装置などにもなる。また、複数の端末１００−１，１００−２は、映像通話サービスを介して連結されるユーザ間の映像通話がなされるように、映像を撮影して再生することができる、映像通話を支援する映像通話装置でもある。

一開示により、「露出領域」は、映像通話セッションが樹立され、端末に映像通話画面が表示される場合、ユーザが端末を介して、映像を視聴することができる領域である。例えば、露出領域は、端末の画面上に表示されるユーザを撮影した映像ストリームの一部領域を意味する。一開示により、露出領域サイズが増大する場合、端末を介して見ることができるユーザの身体範囲が拡大される。すなわち、第２ユーザは、第２端末の画面上の第１露出領域を介して、第１ユーザの映像を見ることができる。また、第１ユーザは、第１端末の画面上の第２露出領域を介して、第２ユーザの映像を見ることができる。

一開示により、「非露出領域」は、端末に表示された映像通話画面において、露出領域を除いた映像領域である。例えば、端末の画面上に表示されるユーザ映像のうち非露出領域は、モザイク、陰影調節、背景挿入のように、ユーザの映像を隠すための手段としても表示される。すなわち、ユーザは、非露出領域に該当する映像において、相手の姿または周辺環境を見ることができない。一開示により、露出領域と非露出領域との大きさを合わせたものが、相手の映像大きさと同じである。

一開示により、「ピンチ（pinch）」は、ユーザが２本指を画面の上にタッチした状態で、互いに異なる方向に動かす動作を示す。オブジェクト、またはページの拡大（Pinch open）または縮小（Pinch close）のためのジェスチャであり、２本指の距離により、拡大値や縮小値が決定される。

図２は、一開示による露出領域を介して、映像通話サービスを提供する様子について説明するための図面である。

一開示により、第１端末１００−１では、カメラを介して獲得した第１ユーザ２１の映像ストリーム、及び第２端末１００−２から受信した第２ユーザ３１の映像ストリームを表示することができる。一開示により、第１ユーザ２１は、第２露出領域２０１を介して、第２ユーザ３１の映像ストリーム一部のみを見ることができる。例えば、第１ユーザ２１は、第２露出領域２０１に位置した第２ユーザ３１の両目を見ることができる。すなわち、第２露出領域２０１は、第２ユーザ３１の映像の一部領域を隠し、一部領域だけを見せる役割を行う。

同様に、第２端末１００−２は、第２ユーザ３１の映像ストリーム、及び第１端末１００−１から受信した第１ユーザ２１の映像ストリームを表示することができる。このとき、第１ユーザ２１の映像の一部領域しか、第１露出領域２０２を介して見ることができない。

従って、第１ユーザ２１及び第２ユーザ３１は、映像通話連結時、所望しない顔及び周辺環境の露出を防止することができる。

一開示により、第１端末１００−１は、第２端末１００−２を介して出力される映像通話サービスの音声信号の属性を制御することができる。一開示により、第１端末１００−１において、第１ユーザ２１の音声変調、音消去処理、音量の調節などを制御することにより、第２端末１００−２から出力される第１ユーザ２１の音声を制御することができる。

一開示により、第１端末１００−１は、第１端末１００−１を介して入力される音声信号を制御することができる。例えば、第１端末１００−１は、第１端末１００−１で受信した音声信号の音量大きさ、音声変調などの音声属性を制御した後、第２端末１００−２に伝送することができる。

図３は、一開示による、所定時間経過後、露出領域サイズを制御する様子について説明するための図面である。

一開示により、第１端末１００−１は、第２端末１００−２との映像通話セッションの維持時間が拡張されることにより、第２露出領域３０１のサイズを拡大させることができる。一開示により、第１ユーザ２１は、拡張された第２露出領域３０３を介して、さらに広い範囲の第２ユーザ３１の映像を見ることができる。

同様に、第２端末１００−２は、第１端末１００−１との映像通話セッションが樹立された後、所定時間が経過すれば、第１露出領域３０２の大きさが拡大される。一開示により、第２ユーザ３１は、拡張された第１露出領域３０４を介して、第１ユーザ２１映像を見ることができる。

一開示により、第１端末１００−１及び第２端末１００−２は、映像通話セッション樹立後、所定時間が経過することにより、同時に、同じ広さに露出領域サイズが変更される。一開示により、所定時間が経過すれば、変更される露出領域サイズは、ユーザ、またはサーバの管理者によって事前に設定されている。

一開示により、第１端末１００−１及び第２端末１００−２の露出領域は、映像通話セッションの維持時間が長くなるほど、順次に広くなる。

図４は、一開示による、ユーザの露出領域サイズ制御要請により、露出領域サイズが増大する様子について説明するための図面である。

一開示により、第１端末１００−１は、第１ユーザ２１から、露出領域拡大調節アイコン４０３を選択する入力を受信することができる。一開示により、露出領域拡大調節アイコン４０３の入力により、第１端末１００−１は、第２露出領域４０１のサイズを拡大させて変更された第２露出領域４０５を介して、第２ユーザ３１の映像を出力することができる。

一開示により、第１端末１００−１は、第１ユーザ２１により、露出領域拡大調節アイコン４０３を選択する入力を受信すれば、第２端末１００−２に、第１露出領域４０２の拡大信号を伝送することができる。第２端末１００−２においては、第１露出領域４０２の拡大信号を受信することにより、サイズが変更された第１露出領域４０６を表示することができる。第２ユーザ３１は、サイズが変更された第１露出領域４０６を介して、第１ユーザ２１の映像を見ることができる。

一開示により、第１ユーザ２１の露出領域拡大調節アイコン４０３を選択する入力により、サーバ２００において、第１端末１００−１の第２露出領域４０１、及び第２端末１００−２の第１露出領域４０２のサイズを同時に調節することができる。

一開示により、露出領域拡大調節アイコン４０３は、ボタン、アイコン、矢印などによっても表示される。一開示により、露出領域拡大調節アイコン４０３は、映像通話画面において、任意の領域にも配置される。

一開示により、第１ユーザ２１が、露出領域縮小調節アイコン４０４を選択する場合、第１端末１００−１及び第２端末１００−２の露出領域サイズが縮小される。

図５は、一開示による、露出領域サイズ増加を要請するユーザ入力による映像通話画面について説明するための図面である。

一開示により、露出領域は、ユーザの拡大要請及び受諾によっても変更される。双方のうちいずれか一人が、露出領域拡大を願わない場合、露出領域が任意に拡大されることを防止するためのものである。

一開示により、第１端末１００−１は、第２ユーザ３１の映像の第２露出領域５０１の拡張を第２端末１００−２に要請することができる。一開示により、第１ユーザ２１が、露出領域拡大調節アイコン５０２を選択することにより、第１端末１００−１は、第２端末１００−２に、第２露出領域５０１の拡大を要請することができる。他の開示により、第１ユーザ２１が、露出領域縮小調節アイコン５０３を選択することにより、第１端末１００−１は、第２端末１００−２に、第２露出領域５０１の縮小を要請することができる。

一開示により、第２端末１００−２は、第１端末１００−１から受信した露出領域拡大要請により、要請メッセージ５０４を表示することができる。一開示により、要請メッセージ５０４は、第１ユーザ２１が、第２露出領域５０１の拡張を願うという内容を含んでもよい。

一開示により、第２ユーザ３１がＯＫボタン５０５を選択する場合、第２端末１００−２は、第１端末１００−１に、露出領域の拡張信号を伝送することができる。一開示により、第１端末１００−１は、拡張信号を受信することにより、変更された第２露出領域５０７を表示することができる。また、第２端末１００−２においても、拡張された露出領域が表示される。

一開示により、第２ユーザ３１がＮＯボタン５０６を選択する場合、第１端末１００−１及び第２端末１００−２の露出領域サイズは、拡大されない。

図６は、一開示により、端末でのジェスチャ検出により、露出領域サイズを制御する内容について説明するための図面である。

一開示により、第１端末１００−１及び第２端末１００−２に表示された映像のジェスチャから、露出領域サイズを拡大させるか否かということを決定することができる。一開示により、第１端末１００−１において、第１ユーザ２１を撮影した映像、及び第２端末１００−２から受信した第２ユーザ３１を撮影した映像から検出した第１ユーザ２１のジェスチャ及び第２ユーザ３１のジェスチャのうち少なくとも一つに対応するエモーション情報が、肯定的反応に分類された情報に該当する場合、第１端末１００−１は、第２露出領域６０１のサイズを拡大させることができる。また、前述のような方式により、第２端末１００−２においても、第１露出領域６０２のサイズを拡大させることができる。

一開示により、ジェスチャは、ユーザが、顔、手、体などを利用して伝達する非言語的意思疎通を意味し、表情、手動作、身振りなどにもなる。ユーザは、ジェスチャを取ることにより、自分の意思を相手に伝達するか、あるいは相手にある反応を誘導することができる。表情は、ユーザが顔を介して、目、眉毛、鼻、口、額、頬などを動かることにより、自分の考えを示すものである。例えば、表情は、まばたき、目を大きくしたり閉じたりすること、口元を上げること、口を開けること、唇をかむこと、額にしわを寄せることなどにもなる。手動作は、ユーザが、手を、所定形状やアクションを取るようにすることであり、身振りは、ユーザが、体を、所定形状やアクションを取るようにすることにより、自分の考えを示すものである。手動作は、ＯＫサイン、親指を上に上げるたり、下に下げたりすること、「Ｖ」字形作り、手を先後に振ること、手を左右に振るなどにもなる。身振りは、体ねじり、肩を小刻みに動かすこと、腕組みなどにもなる。

一方、ジェスチャは、ユーザが意識的または無意識的に、顔、手、体などを利用し、自分の意思を示したものであるので、ジェスチャそれぞれは、対応するエモーション情報がある。エモーション情報は、ジェスチャによる、ユーザの感情や、感情を引き起こす気分・雰囲気・表現自体を意味する。例えば、エモーション情報は、喜び、幸せ、怒り、楽しさ、苦しみ、悲しみ、憂鬱、眠い、退屈、関心、不機嫌、満足、微笑、笑い、ウィンク、泣くこと、肯定、否定、ＯＫ（受容）、いや（拒絶）などにもなる。

また、ジェスチャそれぞれは、対応するアイコン情報がある。アイコン情報は、ジェスチャと類似した形で、そのジェスチャを直観的に描いたり、ジェスチャに対応するエモーション情報を示したりする絵や記号でもある。例えば、アイコン情報は、ユーザの表情、手動作、身振りのそれぞれに対応する形状や様子の絵を含んだり、エモーション情報を表現したりする記号または文字を含んでもよい。

一開示により、第１端末１００−１は、第１ユーザ２１及び第２ユーザ３１のジェスチャを検出し、それに対応するエモーション情報が、肯定的情報に該当するか否かということを判断することができる。

一開示により、ジェスチャに対応するエモーション情報が、肯定的情報であるか、あるいは否定的情報であるかということは、人工知能学習モデルによっても獲得される。一開示により、ユーザと他ユーザとのコミュニケーション情報に基づいて、ジェスチャとエモーション情報との関係性を学習した結果に基づいて、獲得された人工知能学習モデルを利用し、ユーザのジェスチャに対応するエモーション情報が、肯定的であるか否かということが判断される。

一開示により、第１端末１００−１は、ジェスチャに対応するエモーション情報が、肯定的であるか否かということを判断するために、深層ニューラルネットワーク（deep neural network）技術による学習モデルを活用することができる。

一開示により、第１端末１００−１において、第１ユーザ２１及び第２ユーザ３１の目、鼻、口などの顔の特徴点を利用し、第１ユーザ２１及び第２ユーザ３１が笑っていると判断する場合、「笑い」というジェスチャに対応するエモーション情報が、「肯定」であると判断することができる。それにより、第１端末１００−１においては、第１ユーザ２１及び第２ユーザ３１のコミュニケーション状態が肯定的であるという判断により、第２露出領域６０１のサイズを拡張させることができる。また、第２端末１００−２においても、第１露出領域６０２のサイズを拡張させることができる。

一開示により、第１端末１００−１においては、第２端末１００−２と送受信したコミュニケーション情報を検出し、コミュニケーション情報に対応するエモーション情報を決定することができる。一開示により、コミュニケーション情報は、ジェスチャ情報、イモティコン情報、テキスト情報及び音声情報のうち少なくとも一つを含んでもよい。

一開示により、第１端末１００−１においては、第２端末１００−２に伝送したテキスト情報及びイモティコン情報を含む第１コミュニケーション情報６０４と、第２端末１００−２から受信したテキスト情報及びイモティコン情報を含む第２コミュニケーション情報６０５が、「いいよ」、「うれしいね」に対応する場合、エモーション情報を「肯定」と判断することができる。それにより、第１端末１００−１においては、第１ユーザ２１及び第２ユーザ３１のコミュニケーション状態が肯定的であるという判断により、第２露出領域６０１のサイズを拡張させることができる。また、同じ判断により、第２端末１００−２においても、第１露出領域６０２のサイズを拡張させることができる。

一開示により、第１端末１００−１においては、第２ユーザ３１を「友達追加」するアクション、及び第２端末１００−２が第１ユーザ２１を「友達追加」するアクションが検出される場合、第１ユーザ２１及び第２ユーザ３１のコミュニケーション状態が肯定的であると判断することができる。一開示により、第１端末１００−１は、第２露出領域６０１のサイズを拡張させることができる。

他の開示により、第１端末１００−１において、第１ユーザ２１及び第２ユーザ３１のコミュニケーション状態が否定的であると判断した場合、第２露出領域６０１のサイズを縮小することができる。また、同じ判断により、第２端末１００−２においても、第１露出領域６０２のサイズを縮小することができる。

一開示により、第１端末１００−１においては、第１ユーザ２１の映像、及び第２ユーザ３１の映像から検出した音声情報、ジェスチャ情報、イモティコン情報及びテキスト情報を、サーバ２００に伝送することができる。また、第２端末１００−２においても、第２ユーザ３１の映像、及び第１ユーザ２１の映像から検出した音声情報、ジェスチャ情報、イモティコン情報及びテキスト情報を、サーバ２００に伝送することができる。

一開示により、サーバ２００は、第１端末１００−１及び第２端末１００−２から受信した音声情報、ジェスチャ情報、イモティコン情報及びテキスト情報に基づいて、第１端末１００−１及び第２端末１００−２の露出領域サイズを制御する信号を伝送することができる。一開示により、サーバ２００は、第１ユーザ２１及び第２ユーザ３１のコミュニケーション状態が肯定的であると判断した場合、露出領域サイズを拡大させる制御信号を伝送することができる。一方、サーバ２００は、第１ユーザ２１及び第２ユーザ３１のコミュニケーション状態が否定的であると判断した場合、露出領域サイズを縮小する制御信号を伝送することができる。

図７は、一開示により、経時的に、露出領域を除いた非露出領域の属性を変更する様子について説明するための図面である。

一開示により、第１端末１００−１においては、第２端末１００−２との映像通話維持時間経過により、第２露出領域７０１を除いた残り領域、すなわち、第２非露出領域７０２の属性を変更することができる。

一開示により、図７（Ａ）ないし図７（Ｃ）は、経時的に整列されたものである。一開示により、映像通話維持時間経過により、第１端末１００−１においては、さらに広範囲の第２ユーザ３１の映像を表示することができる。

一開示により、図７（Ａ）のように、第２非露出領域７０２は、映像通話が樹立される当時、第２露出領域７０１を除き、第２ユーザ３１の身体部位及び周辺環境を見ることができないように変調されて表示される。例えば、第２非露出領域７０２は、モザイク、変調、背景挿入などによって処理され、第２ユーザ３１の他部分の映像を、第１ユーザ２１が見ることができないようにする機能を行う。一開示により、第２露出領域７０１と第２非露出領域７０２との大きさの和は、第２ユーザ３１の映像サイズと同一である。すなわち、第２非露出領域７０２は、第２露出領域７０１を除いた第２ユーザ３１の映像を隠す用途である。

一開示により、図７（Ｂ）のように、第１端末１００−１においては、所定映像通話維持時間の経過後、第２非露出領域７０２の変調を低減させることができる。例えば、第２非露出領域７０２の彩度、濃度、明るさなどを調節し、第２ユーザ３１の映像が、図７（Ａ）よりさらに見えるようにする。

一開示により、図７（Ｃ）のように、第１端末１００−１においては、所定映像通話維持時間がさらに経過した後、第２非露出領域７０２の変調をなくすことができる。一開示により、既定の映像通話維持時間の経過後、第１端末１００−１においては、第２露出領域７０１及び第２非露出領域７０２が消え、完全な第２ユーザ３１映像が表示される。このとき、第２露出領域７０１を示す図形が、枠や点線によって表示されるか、あるいは徐々に消える。

一開示により、図７においては、経時的な非露出領域の変化について説明したが、他の実施形態によるイベント検出にも適用されるのである。

図８は、一開示による、ユーザ選択による非露出領域の属性を変更した様子について説明するための図面である。

一開示により、第１端末１００−１の第１ユーザ２１は、第２端末１００−２に表示される第１ユーザ２１の映像の第１非露出領域８０４の属性を変更させることができる。例えば、第１非露出領域８０４に背景イメージを挿入するか、背景色を変更するか、あるいは任意の写真が挿入されるようにする。

一開示により、第１ユーザ２１は、第１端末１００−１の制御メニューを介して、第２端末の第１非露出領域８０４の属性を変更することができる。

また、第２端末１００−２においても、同じ動作により、第２端末１００−２の第２ユーザ３１は、第１端末１００−１に表示された第２ユーザ３１の映像の第２非露出領域８０３の属性を変更させることができる。

図９は、一実施形態による端末の構成を示したブロック図である。

一開示により、図９は、第１端末１００−１を図示しているが、一開示により、第２端末１００−２も、図９の構成を含んでもよい。

図９を参考すれば、第１端末１００−１は、メモリ１１０、プロセッサ１２０、ユーザインターフェース１３０、通信インターフェース１４０、音声及び画像の入力部１５０を含んでもよい。本実施形態に係わる技術分野で当業者であるならば、図９に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということを知ることができるであろう。

メモリ１１０は、ソフトウェアまたはプログラムを保存することができる。例えば、メモリ１１０は、アプリケーション、アプリケーションプログラミングインターフェース（ＡＰＩ）のようなプログラム、及び多種のデータを保存することができる。メモリ１１０は、プロセッサ１２０によって実行可能な命令語を保存することができる。

プロセッサ１２０は、メモリ１１０に保存された命令語を実行することができる。プロセッサ１２０は、メモリ１１０に保存された各種のプログラム、コンテンツ、データを利用するか、あるいは新たなプログラム、コンテンツ、データをメモリ１１０に保存することもできる。

プロセッサ１２０は、メモリ１１０にアクセスし、メモリ１１０に保存されたＯ／Ｓを利用し、起動を行うことができる。プロセッサ１２０は、メモリ１１０に保存された各種のプログラム、コンテンツ、データなどを利用し、多様な動作を遂行することができる。例えば、プロセッサ１２０は、メモリ１１０に保存された各種のプログラム、コンテンツ、データを利用し、ディスプレイ１３６に所定画面を表示することができる。プロセッサ１２０は、ディスプレイ１３６の一領域に対するユーザ操作がなされれば、ユーザ操作に対応する制御動作を遂行することができる。

プロセッサ１２０は、グラフィック処理に特化されたＧＰＵ（graphics processing unit）を含んでもよい。ＧＰＵは、第１端末１００−１の起動が完了すれば、ディスプレイ１３６の領域に、ユーザインターフェース画面をディスプレイする。具体的には、ＧＰＵは、コンテンツ、アイコン、メニューのような多様な客体を含む映像通話レイアウトが表示された画面を生成することができる。ＧＰＵは、画面の映像通話レイアウトにより、各客体が表示される座標値、形態、大きさ、カラーのような属性値を演算することができる。そして、ＧＰＵは、演算された属性値に基づいて、客体を含む多様なレイアウトの画面を生成することができる。ＧＰＵで生成された画面は、ディスプレイ１３６に提供され、ディスプレイ１３６の各領域にそれぞれ表示される。

一方、プロセッサ１２０は、ビデオプロセッサとオーディオプロセッサとを含んでもよい。プロセッサ１２０は、ビデオプロセッサとオーディオプロセッサとを制御し、通信インターフェース１４０を介して受信された映像ストリーム、またはメモリ１１０に保存された映像ストリームに含まれたビデオデータまたはオーディオデータを処理することができる。

ユーザインターフェース１３０は、入力部１３１及び出力部１３５を含んでもよい。

入力部１３１は、ユーザから多様な命令語を入力される。入力部１３１は、キーパッド１３２、タッチパネル１３３及びペン認識パネル１３４のうち少なくとも一つを含んでもよい。

キーパッド１３２は、第１端末１００−１の本体外観の前面部や側面部、背面部などの多様な領域に形成された機械的ボタン、ホイールのような多様な類型のキーを含んでもよい。

タッチパネル１３３は、ユーザのタッチ入力を感知し、感知されたタッチ信号に該当するタッチイベント値を出力することができる。タッチパネル１３３が表示パネルと結合し、タッチスクリーンを構成した場合、タッチスクリーンは、静電式、減圧式、圧電式のような多様な類型のタッチセンサによっても具現される。

ペン認識パネル１３４は、ユーザのタッチ用ペン（例えば、スタイラスペン（stylus pen））の運用による、ペンの近接入力またはタッチ入力を感知し、感知されたペン近接イベントまたはペンタッチイベントを出力することができる。ペン認識パネル１３４は、例えば、ＥＭＲ（electromagnetic resonance）方式によっても具現され、ペンの近接またはタッチによる電磁場の強度変化により、タッチ入力または近接入力を感知することができる。ペン認識パネル１３４は、グリッド構造を有する電子誘導コイルセンサと、電子誘導コイルセンサの各ループコイルに順次に所定周波数を有する交流信号を提供する電子信号処理部と、を含んでも構成される。

出力部１３５は、ディスプレイ１３６、スピーカ１３７を含んでもよい。

ディスプレイ１３６は、表示パネル、及び表示パネルを制御するコントローラを含んでもよい。表示パネルは、ＬＣＤ（liquid crystal display）、ＯＬＥＤ（organic light emitting diode）ディスプレイ、ＡＭ−ＯＬＥＤ（active-matrix organic light-emitting diode）、ＰＤＰ（plasma display panel）のような多様な方式によっても具現される。表示パネルは、柔軟に（flexible）、または着用することができる（wearable）ようにも具現される。ディスプレイ１３６は、入力部１３１のタッチパネル１３３と結合され、タッチスクリーンにも提供される。

スピーカ１３７は、オーディオデータに基づいて、音を出力することができる。例えば、スピーカ１３７は、映像ストリームに含まれたオーディオデータにより、ユーザの音声を出力することができる。

通信インターフェース１４０は、多様な類型の通信方式により、多様な類型の外部器機と通信を行うことができる。通信インターフェース１４０は、Ｗｉ−Ｆｉ（wireless fidelity）チップ、ブルートゥース（Bluetooth）チップ、ＮＦＣ（near field communication）チップ、無線通信チップのうち少なくとも一つを含んでもよい。プロセッサ１２０は、通信インターフェース１４０を利用し、各種外部機器と通信を行うことができる。

Ｗｉ−Ｆｉチップ、ブルートゥース（Bluetooth）チップは、それぞれＷｉＦｉ方式、ブルートゥース（Bluetooth）方式で通信を行うことができる。Ｗｉ−Ｆｉチップやブルートゥース（Bluetooth）チップを利用する場合には、ＳＳＩＤ（service set identifier）及びセッションキーのような各種連結情報をまず送受信し、それらを利用して通信連結した後、各種情報を送受信することができる。ＮＦＣチップは、多様なＲＦＩＤ（radio frequency identification）周波数帯域において、１３．５６ＭＨｚ帯域を使用するＮＦＣ方式で動作するチップを意味する。無線通信チップは、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）、ジグビー（ZigBee）、３Ｇ（3rd generation）、３ＧＰＰ（3rd generation partnership project）、ＬＴＥ（long term evolution）、５Ｇ（5th generation）のような多様な通信規格によって通信を行うチップを意味する。

音声及び映像の入力部１５０は、マイク１５１とカメラ１５３とを含んでもよい。マイク１５１は、ユーザ音声や、その他音を入力され、オーディオデータに変換することができる。プロセッサ１２０は、マイク１５１を介して入力されるユーザ音声を、映像通話に利用するか、あるいはオーディオデータに変換し、メモリ１１０に保存することができる。カメラ１５３は、ユーザ制御により、静止映像または動画を撮影することができる。カメラ１５３は、第１端末１００−１の前面または背面に位置したカメラモジュールでもある。プロセッサ１２０は、マイク１５１を介して入力される音声と、カメラ１５３によって撮影される映像と、を利用して、映像通話のための映像ストリームを生成することができる。

一方、第１端末１００−１は、モーション制御モードや音声制御モードで動作することができる。モーション制御モードで動作する場合、プロセッサ１２０は、カメラ１５３を活性化させてユーザを撮影し、ユーザのモーション変化を追跡し、それに対応する制御動作を遂行することができる。音声制御モードで動作する場合、プロセッサ１２０は、マイク１５１を介して入力されたユーザ音声を分析し、分析されたユーザ音声により、制御動作を遂行することができる。

前述の第１端末１００−１の構成要素の名称は、異なりもする。また、本開示による第１端末１００−１は、前述の構成要素のうち少なくとも一つを含んでも構成され、一部構成要素が省略されたり、追加的な他の構成要素をさらに含んだりしてもよい。第１端末１００−１は、前述の構成要素のうち少なくとも一つを利用し、次のような動作を遂行することができる。

図１０は、一実施形態による映像通話サービスを提供するサーバの構成を示したブロック図である。

図１０を参照すれば、映像通話サービスを提供するサーバ２００は、メモリ２１０、プロセッサ２２０、ストレージ２３０、通信インターフェース２４０を含む。本実施形態に係わる技術分野で当業者であるならば、図１０に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということが分かる。図１０のブロック図の各構成要素は、映像通話サービスを提供するサーバ２００の具現方式により、分離、追加または省略がなされる。すなわち、具現方式により、１つの構成要素が２以上の構成要素に細分化されたり、２以上の構成要素が１つの構成要素に合わされたりもし、一部構成要素がさらに追加されたり除去されたりもする。

メモリ２１０は、プロセッサ２２０によって実行可能な命令語を保存することができる。メモリ２１０は、ソフトウェアまたはプログラムを保存することができる。

プロセッサ２２０は、メモリ２１０に保存された命令語を実行することができる。プロセッサ２２０は、映像通話サービスを提供するサーバ２００の全般的な制御を行うことができる。プロセッサ２２０は、通信インターフェース２４０を介して受信される情報及び要請事項を獲得し、受信される情報をストレージ２３０に保存することができる。また、プロセッサ２２０は、受信される情報を加工することができる。例えば、プロセッサ２２０は、第１端末１００−１または第２端末１００−２から受信される情報から、映像通話サービスに利用される情報を生成するか、あるいは受信される情報を管理するための加工行為を遂行し、ストレージ２３０に保存することができる。また、プロセッサ２２０は、端末から獲得された要請事項に対する応答として、ストレージ２３０に保存された情報を利用し、通信インターフェース２４０を介して、端末に映像通話サービスを提供するための情報を伝送することができる。

ストレージ２３０は、映像通話サービスを提供するサーバ２００が、映像通話サービスを提供するために必要な各種ソフトウェア及び情報を保存することができる。例えば、ストレージ２３０は、映像通話サービスを提供するサーバ２００で実行されるプログラム、アプリケーション、及び映像通話サービスに利用される各種データを保存することができる。

ストレージ２３０は、映像通話サービスを利用するユーザ別個人情報をデータベース化し、保存及び管理を行うことができる。ストレージ２３０は、映像通話サービスを提供するサーバ２００に接続するためのアカウント別に、ユーザの個人情報と、映像通話サービスに利用される多様な情報とを保存することができる。

通信インターフェース２４０は、第１端末１００−１または第２端末１００−２を含む外部機器と通信を行うことができる。例えば、映像通話サービスを提供するサーバ２００は、端末から、映像通話サービス開始要請、映像通話サービス環境を整えるための設定情報に対する要請などを受信し、端末の要請に対する応答として、映像通話サービスに係わる全ての事項を提供することができる。

図１１は、他の実施形態による、映像通話サービスを提供するサーバ２００が、複数個の分散サーバによって具現された様子について説明するための図面である。以上において、映像通話サービスを提供するサーバ２００に係わって記載された内容は、以下で省略された内容であるとしても、そのまま適用されるのである。

図１１を参考すれば、映像通話サービスを提供する分散サーバは、負荷分散サーバ２００−１と、映像通話サービスを提供する機能サーバ２００−３，２００−５，２００−７とからも構成される。負荷分散サーバ２００−１は、端末のような外部機器の映像通話サービスに係わる要請があるとき、映像通話サービスを提供する機能サーバ２００−３，２００−５，２００−７のうち任意のサーバを決定し、端末１００−１，１００−２に連結させたり、映像通話サービスを提供する機能サーバ２００−３，２００−５，２００−７の状態をモニタリングし、最適のサーバを選択し、端末１００−１，１００−２に連結させたりする。

図１２は、一開示による露出領域を介して、映像通話サービスを提供する方法について説明するためのフローチャートである。

ブロック１２０１において、一開示により、サーバ２００は、第１端末１００−１と第２端末１００−２との映像通話セッションを樹立することができる。一開示により、サーバ２００は、第１ユーザ２１を撮影した第１映像ストリームを、第１端末１００−１から受信し、第２端末１００−２に伝送することができる。一開示により、サーバ２００は、第２ユーザ３１を撮影した第２映像ストリームを、第２端末１００−２から受信し、第１端末１００−１に伝送することができる。

ブロック１２０２において、一開示により、サーバ２００は、第１端末１００−１の映像通話画面に表示される第２ユーザ映像、及び第２端末１００−２の映像通話画面に表示される第１ユーザ映像において、露出領域を除いた残り領域を変調して送出することができる。第１端末１００−１に第２ユーザ３１の映像を送出しながら、第２ユーザ３１の映像上において、露出領域を除いた残り領域をユーザが識別することができないように変調して送出することができる。また、サーバ２００は、第２端末１００−２において、露出領域を除いた残り領域を変調した第１ユーザ映像を伝送することができる。

ブロック１２０３において、一開示により、サーバ２００は、映像通話セッションが維持される間、所定イベントを検出することができる。一開示により、所定イベントは、第１端末１００−１と第２端末１００−２との映像通話セッションの維持時間・露出領域調節アイコンの選択・露出領域調節を要請するユーザ入力、友達追加イベント、映像から検出されたユーザのジェスチャ、映像通話中に使用されたテキスト情報、音声信号、イモティコン情報を含む。

ブロック１２０４において、一開示により、サーバ２００は、所定イベントに基づいて、第１端末１００−１及び第２端末１００−２の露出領域サイズを制御することができる。一開示により、サーバ２００は、第１端末１００−１及び第２端末１００−２それぞれの露出領域サイズを同時に制御することができる。

なお、前述の映像通話サービスを提供する方法に係わる実施形態は、映像通話サービスを提供する第１端末１００−１または第２端末１００−２において、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション形態でも提供される。言い替えれば、第１端末１００−１または第２端末１００−２に、前述の映像通話サービスを提供する方法の各段階を実行させるためのコンピュータ可読記録媒体に保存されたアプリケーションまたはコンピュータプログラム形態で提供される。

また、前述の実施形態は、コンピュータまたはプロセッサによって実行可能な命令語またはデータを保存するコンピュータ可読記録媒体の形態によっても具現される。前述の命令語及びデータのうち少なくとも一つは、プログラムコードの形態に保存され、プロセッサによって実行されたとき、所定プログラムモジュールを生成して所定動作を遂行することができる。そのようなコンピュータ可読記録媒体は、ＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリ、ＣＤ−ＲＯＭｓ、ＣＤ−Ｒｓ、ＣＤ＋Ｒｓ、ＣＤ−ＲＷｓ、ＣＤ＋ＲＷｓ、ＤＶＤ−ＲＯＭｓ、ＤＶＤ−Ｒｓ、ＤＶＤ＋Ｒｓ、ＤＶＤ−ＲＷｓ、ＤＶＤ＋ＲＷｓ、ＤＶＤ−ＲＡＭｓ、ＢＤ−ＲＯＭｓ、ＢＤ−Ｒｓ、ＢＤ−ＲＬＴＨｓ、ＢＤ−ＲＥｓ、マグネチックテープ、フロッピーディスク、光磁気データ保存装置、光学データ保存装置、ハードディスク、ソリッドステートディスク（ＳＳＤ）、そして命令語またはソフトウェア、関連データ、データファイル及びデータ構造を保存することができ、プロセッサやコンピュータが命令語を実行するように、プロセッサやコンピュータに、命令語またはソフトウェア、関連データ、データファイル及びデータ構造を提供することができるいかなる装置でもよい。

以上、実施形態を中心に説明した。開示された実施形態が属する技術分野で当業者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。発明の範囲は、前述の実施形態の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれたものであると解釈されなければならないのである。

本発明の、映像通話サービスを提供する端末及びサーバは、例えば、通信セキュリティ関連の技術分野に効果的に適用可能である。

１００−１ 第１端末
１００−２ 第２端末
１１０，２１０ メモリ
１２０，２２０ プロセッサ
１３０ ユーザインターフェース
１４０，２４０ 通信インターフェース
１５０ 音声及び画像の入力部
２００ サーバ
２３０ ストレージ

Claims (9)

1. 第１端末において、
   第１端末と第２端末との映像通話セッションを樹立する段階と、
   前記第１端末に表示される第２ユーザの映像において、露出領域を除いた残り領域を変調して表示する段階と、
   前記映像通話セッションが維持される間、前記露出領域のサイズ調節に対する要請を検出する段階と、
   前記第２端末に前記露出領域のサイズ調節に対する要請を伝送したことに対する応答として、前記第２端末から前記露出領域のサイズ調節に対する諾否を受信する段階と、
   前記受信された諾否によって、前記露出領域の大きさを制御する段階と、
   を含む、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
2. 前記検出する段階は、
   前記露出領域の拡大調節アイコンまたは縮小調節アイコンの選択による、前記露出領域のサイズ調節に対する要請を検出する、
   請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
3. 前記露出領域のサイズ調節に対する要請が前記露出領域の拡大要請である場合、前記露出領域のサイズ調節に対する要請は、前記露出領域の拡大を所望するという内容の要請メッセージを含む、
   請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
4. 前記制御する段階は、
   前記第２端末から前記露出領域のサイズ調節に対する受諾が受信された場合、前記露出領域のサイズ調節に対する要請によって、前記露出領域の大きさを調節し、受諾が受信されない場合、前記露出領域の大きさを維持する、
   請求項１に記載の、映像通話サービスを提供する方法を遂行させるコンピュータ可読記録媒体に保存されたアプリケーション。
5. 映像通話サービスを提供する端末と通信を遂行する通信インターフェースと、
   プロセッサと、
   前記プロセッサによって実行可能な命令語を保存するメモリと、
   を含み、
   前記プロセッサは、
   前記命令語を実行することにより、
   第１端末と第２端末との映像通話セッションを樹立し、前記第１端末の映像通話画面に表示される第２ユーザの映像において、露出領域を除いた残り領域を変調し、前記映像通話セッションが維持される間、前記露出領域のサイズ調節に対する要請を検出し、前記第２端末において、前記露出領域のサイズ調節に対する要請を伝送したことに対する応答として、前記第２端末から前記露出領域のサイズ調節に対する諾否を受信し、前記受信された諾否によって、前記露出領域の大きさを制御する、
   映像通話サービスを提供するサーバ。
6. 前記プロセッサは、
   前記露出領域の拡大調節アイコンまたは縮小調節アイコンの選択による、前記露出領域のサイズ調節に対する要請を検出する、
   請求項５に記載の、映像通話サービスを提供するサーバ。
7. 前記露出領域のサイズ調節に対する要請が前記露出領域の拡大要請である場合、前記露出領域のサイズ調節に対する要請は、前記露出領域の拡大を所望するという内容の要請メッセージを含む、
   請求項５に記載の、映像通話サービスを提供するサーバ。
8. 前記プロセッサは、
   前記第２端末から前記露出領域のサイズ調節に対する受諾が受信された場合、前記露出領域のサイズ調節に対する要請によって、前記露出領域の大きさを調節して、受諾が受信されない場合、前記露出領域の大きさを維持する、
   請求項５に記載の、映像通話サービスを提供するサーバ。
9. 第１端末と第２端末との映像通話セッションを樹立する命令語と、
   前記第１端末の映像通話画面に表示される第２ユーザの映像において、露出領域を除いた残り領域を変調して表示する命令語と、
   前記映像通話セッションが維持される間、前記露出領域のサイズ調節に対する要請を検出する命令語と、
   前記第２端末に前記露出領域のサイズ調節に対する要請を伝送したことに対する応答として、前記第２端末から前記露出領域のサイズ調節に対する諾否を受信する命令語と、
   前記受信された諾否によって、前記露出領域の大きさを制御する命令語と、
   を含む、プロセッサによって実行可能な命令語が保存された非一時的コンピュータ可読記録媒体。

Images