JP6724110B2 - 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム - Google Patents

仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム Download PDF

Info

Publication number
JP6724110B2
JP6724110B2 JP2018215065A JP2018215065A JP6724110B2 JP 6724110 B2 JP6724110 B2 JP 6724110B2 JP 2018215065 A JP2018215065 A JP 2018215065A JP 2018215065 A JP2018215065 A JP 2018215065A JP 6724110 B2 JP6724110 B2 JP 6724110B2
Authority
JP
Japan
Prior art keywords
avatar
virtual space
data
avatars
terminals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018215065A
Other languages
English (en)
Other versions
JP2020091504A (ja
Inventor
尚 小嶋
尚 小嶋
寛明 齊藤
寛明 齊藤
進之介 岩城
進之介 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2018215065A priority Critical patent/JP6724110B2/ja
Priority to US17/258,277 priority patent/US11205293B2/en
Priority to CN201980046970.6A priority patent/CN112424760A/zh
Priority to PCT/JP2019/042289 priority patent/WO2020090786A1/ja
Publication of JP2020091504A publication Critical patent/JP2020091504A/ja
Application granted granted Critical
Publication of JP6724110B2 publication Critical patent/JP6724110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムに関する。
近年、ネットワークを介してライブコンテンツを配信するサービスがインターネット生放送として普及している。このようなインターネット生放送において、配信者が仮想空間内で仮想キャラクタ(アバター)として登場し、その映像をライブコンテンツとして配信する技術が提案されている。このようなライブコンテンツでは、モーションキャプチャ技術によって、配信者の動作が仮想キャラクタの動作として合成された映像が配信される。
下記の特許文献1には、仮想空間内に登場している複数のアバター間の距離に応じて、アバターの表示態様を変える構成が開示されている。具体的には、最も距離が遠い第1段階ではアニメーション動作をしない静止したアバター画像が描画され、そこから接近した第2段階ではアバターが歩行アニメーションだけを行い、更に接近した第3段階ではアバターは上半身のジェスチャー動作アニメーションを行い、最も接近した第4段階ではアバターの顔部分にアバター操作者本人の実写顔写真をはめ込むようにし、多人数が参加する仮想空間のライブコンテンツ配信において、必要伝送帯域やCPU(セントラルプロセッシングユニット)などの負荷を減らして実現性を向上させようとすることが意図されている。
また、下記の特許文献2には、人物の代理オブジェクトではなく、波の動きを、コンピュータグラフィックス(CG)を利用した仮想的オブジェクトとして描画しようとする画像生成システムにおいて、波のCG描画オブジェクトが、同様の岩のCG描画オブジェクトにぶつかってから飛沫が飛ぶように描画を行うと、海岸に岩や波が多数存在する状況では、個々の波対岩の衝突判定が極めて頻繁となり計算付加が重く、リアルタイムな飛沫の描画が難しくなるので、具体的な波と岩との衝突の判定ではなく、岩が存在する領域全体に対する波の衝突判定を行うようにして、システムの計算付加を低減させ、この結果、リアリティがあり破綻のないCG描画を行おうとする構成が提案されている。
特開2001−160154号公報 特開2002−216165号公報
インターネット生放送などでライブコンテンツを楽しむ視聴者が近年増加をしており、その様なライブコンテンツでは、生放送の視聴者がただ単にコンテンツを視聴して楽しむだけでなく、視聴者自身が自分のアバターをこのライブコンテンツに、すなわちライブコンテンツが提供する仮想空間の中に、登場させて楽しむことができるものが登場している。
このような視聴者アバターの参加が可能なシステムでは、視聴者は自分が選んだ、あるいはデザインした外観のアバターとしてこのライブコンテンツに登場し、この結果、このライブコンテンツを視聴する他の視聴者に視認されることで、自分の存在がアピールできる満足感が得られる。また視聴者が投入した視聴者アバターの視点から、ライブコンテンツが提供する仮想空間内を見ることができるので、没入感が高まる。さらに、視聴者はアバターとして仮想空間内で、このライブコンテンツを主催して配信する配信者アバターと、あるいは同様に参加している他の視聴者のアバターと会話を楽しむこともできるので、これも仮想空間への没入感を高めることにつながる。
ところで、アバターの形でライブコンテンツに登場し参加する視聴者は、自らのアバターの外観や動きを他の視聴者から視聴されたり、自分が操作するアバターの視点からライブコンテンツの仮想空間を見て楽しんだり、あるいは他のアバターと会話をして楽しむ、といった先に説明した楽しみ方ばかりではなく、他のアバターと握手したり、他のアバターととともにダンスを楽しむ、といった、アバター同士の接触を伴うアクションを楽しみたい、と望むことが考えられる。
このような、アバター同士の接触を伴うアクションとして、先に挙げた握手、ダンスなどのほかにも、ハイタッチ(手のひらを高く上げて他人の手のひらと合わせる動作の和製英語。片手を合わせる動作を英語表現では「high five」といい、両手を合わせる動作を同じく「high ten」という。)、手をつなぐ、相撲、レスリング、ボクシング、腕相撲などの格闘系スポーツ、かたぐるま、二人三脚、ハグ、肩をたたく、指切り、おしくらまんじゅう、手つなぎ鬼、など枚挙にいとまがない。
特に、手をつなぐことや握手やハイタッチは、日常の実空間で頻繁に行われている慣習であるし、手を組む、あるいは合わせるだけで簡単に行えるので、仮想空間内でアバター同士が行う動作として、今後ニーズが高まるものと予想される。
一方、例えば握手をする際には、双方のアバターは自分の手を差し出して、相手のアバターの手のひらと、ある程度精密に位置合わせを行う必要がある。
ところが、仮想空間内の各種オブジェクト、アバターの描画については、特にこれら描画対象物に動きがある場合に、システムの負荷を低減する目的で描画のためのデータ伝送速度は抑制がされている場合が多く、アバターの動きは、人間が実空間で感じる人体の動きよりも間引かれて、間歇的に描画が行われる。このため、アバター同士の握手など、アバター同士が接触を行うアクションは、不自然さのない、アバターを操作する立場では操作感のよい、アバターの描画を含めたシステムの提供が従来は困難であった。
本発明は上記の状況に鑑みてなされたものであって、仮想空間内の動きをライブコンテンツとして放送する際に、仮想空間内に登場しているアバター同士が接触する握手などのアクションを不自然さがなく、アバターを操作する立場では操作感のよい構成を提供するという課題を解決するための、仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムを提供することを発明の目的とする。
上記の課題を解決するために本発明は、下記の1)〜7)に記載の仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラムを提供する。
1)
通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させ、モーションデータを含んだ、アバターのレンダリング用データを複数の端末それぞれへ配信部から配信することによって、複数の端末それぞれの表示画面においてアバター同士の接触動作を含む各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示システムであって、
3次元仮想空間内において、各アバター相互の距離情報を生成する距離情報生成部を更に備え、且つ、当該システムが有する制御部が、生成された相互の距離情報に応じてモーションデータを配信部から複数の端末へ送信する送信間隔を変動させることにより、配信部が行う、モーションデータを含んだアバターのレンダリング用データ配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示システム。
2)
複数の端末の少なくともいずれかが、相互の距離情報を生成する対象のアバターを選択する選択部を備えたことを特徴とする、1)に記載の仮想空間中のアバター表示システム。
3)
制御部は、生成されたアバター相互の距離が、あらかじめ決められた閾値を下回った場合に配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、1)または2)に記載の仮想空間中のアバター表示システム。
4)
通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させるとともに、配信部が、モーションデータを含んだ、アバターのレンダリング用データを複数の端末それぞれへ配信する配信ステップを備えることによって、複数の端末それぞれの表示画面においてアバター同士の接触動作を含む各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示方法であって、
距離情報生成部が3次元仮想空間内において各アバター相互の距離情報を生成するステップを更に備え、且つ、当該システムが有する制御部が、生成された相互の距離情報に応じてモーションデータを配信部から複数の端末へ送信する送信間隔を変動させることにより、配信ステップで実行される、モーションデータを含んだアバターのレンダリング用データ配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示方法。
5)
複数の端末の少なくともいずれかに備えられた選択部が相互の距離情報を生成する対象のアバターを選択するステップ、を備えたことを特徴とする、4)に記載の仮想空間中のアバター表示方法。
6)
制御部は、生成されたアバター相互の距離が、あらかじめ決められた閾値を下回った場合に配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、4)または5)に記載の仮想空間中のアバター表示方法。
7)
4)乃至6)のいずれか1項に記載の仮想空間中のアバター表示方法が備える各ステップをコンピュータに実行させるコンピュータプログラム。
本発明にかかるコンテンツ配信受信システムの構成模式図である。 図1のコンテンツ配信受信システムが有するコンテンツ配信サーバのブロック図である。 図1のコンテンツ配信受信システムが有する配信者端末のブロック図である。 図1のコンテンツ配信受信システムが有する第1の視聴者端末のブロック図である。 図4の第1の視聴者端末の外観模式図である。 本発明のコンテンツ配信受信システムが実行する、生放送コンテンツ視聴についてのシークエンス・チャートである。 本発明のコンテンツ配信受信システムが配信する仮想空間の模式図である。 本発明のコンテンツ配信受信システムが配信する、仮想空間の配信映像の模式図である。 本発明のコンテンツ配信受信システムに用いられるアバターレンダリング用データの模式図である。 本発明のコンテンツ配信受信システムにおける、生放送中のコンテンツに視聴者アバターが参加する際のシークエンス・チャートである。 本発明のコンテンツ配信受信システムが配信する、視聴者アバターが加わった仮想区間の模式図である。 本発明のコンテンツ配信受信システムが配信する、図11の仮想空間を各視点から見た配信映像の模式図である。 本発明のコンテンツ配信受信システムで用いられる、アバター同士が接触するアクションの例の模式図である。 アバター同士が握手をする場合の細部について、従来技術と本発明とを比較した説明図である。 本発明のコンテンツ配信受信システムが実行する、アバター同士が握手を行う場合の細部を説明する説明図である。 図15図示の握手の動作を説明するフローチャートである。 本発明のコンテンツ配信受信システムにおける、種々の表示の態様を示す模式図である。
以下、本開示に係る実施形態について説明する。なお、以下に説明する本実施形態は、それぞれ例示に過ぎず、本発明の趣旨を脱しない範囲で種々の変形が可能であり、これらもまた本発明が包含する。
〔コンテンツ配信受信システム1の構成〕
図1は、本発明にかかるコンテンツ配信受信システム1の構成を模式的に示した図である。
コンテンツ配信受信システム1は、コンテンツ配信サーバ2、配信者端末11、第1の視聴者端末12、第2の視聴者端末22を含んで構成され、これら各構成はインターネット通信網3あるいはその他の通信網によって相互にデータ交換が可能に接続されている。コンテンツ配信サーバ2は、汎用のコンピュータが、本システム1専用のコンピュータプログラムで動作するように構成されたサーバである。
配信者端末11は、後に説明を行う仮想空間30を用いたライブコンテンツの配信であるインターネット生放送に用いられ、このライブコンテンツを主催する配信者が用いる、例えばパーソナルコンピュータである。第1の視聴者端末12は、上記のライブコンテンツを生放送として視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、PDA(パーソナルデジタルアシスタント)など様々な情報端末を用いて実現してもよい。
第2の視聴者端末22は、上記のライブコンテンツを再生コンテンツあるいはインターネット生放送の形で視聴する視聴者が用いる、例えばパーソナルコンピュータであり、あるいはスマートフォン、PDA(パーソナルデジタルアシスタント)など様々な情報端末を用いて実現してもよい点も同様である。
なお、図1図示構成および上記の説明は説明を簡潔明瞭にするため、構成する端末等の数を説明で言及する範囲に制限したが、本発明の実施に当たってはもちろん、より多数の視聴者端末を含んで構成することが可能である。
〔コンテンツ配信サーバ2の構成〕
図2に図示するように、コンテンツ配信サーバ2は、サーバ内外のデータ送信端である入出力インターフェース2a、各サーバ2構成の動作の制御統制を行うCPU(セントラルプロセッシングユニット)を備える制御部2bを有している。
同じくサーバ2が有するコンテンツ情報記憶部2cは、インターネット生放送が行われている、あるいは今後行おうとするコンテンツ(番組)の情報を、コンテンツを配信する配信者の情報、このコンテンツが外部からのアバターの参加を受け入れているかあるいは拒否しているか、についての情報、あるいは、特定の視聴者のみからのアバター参加を許している場合にはその特定視聴者の情報などを記録している。
コンテンツ配信部2dは、配信者端末11から送信されたライブコンテンツを、視聴を求めてきた各端末へ送信して視聴に供する。プログラム記憶部2fは、このサーバ2の各実行動作を実現するためのプログラムなどを記憶している。
ユーザ管理部2gは、先に説明した各ライブコンテンツを主催する配信者が用いる配信者端末、そのライブコンテンツを視聴してコンテンツの視聴、改変や追加を行った視聴者が用いる視聴者端末、などの情報をIP(インターネットプロトコル)アドレスや、動画像配信サービスのアカウント情報などのデータとして保持しており、従ってこのユーザ管理部2gが記憶する情報を用いて、あるライブコンテンツがどの端末へ送信供給されているのか、などをデータとして記憶している。
バスライン2iは、これらサーバ2の各構成間を相互にデータ交換可能に接続する。
〔配信者端末11の構成〕
図3に示すように、配信者端末11は、まず、端末内外の情報入出力端である入出力インターフェース11a、端末11の各構成の制御統制を行うCPU(セントラルプロセッシングユニット)を備えた制御部11bを有している。
配信者が自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、まず、先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、この配信者端末11のデータ記憶部11iに記憶されており、アバター操作部11cは、操作者である配信者などの身体につけた加速度センサーや、3Dカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、先に説明をしたバーチャルオブジェクトのモーションデータの一つである、アバターのモーションデータとして取得する。
具体的には、図9に示すように、アバター操作部11cは、バーチャルオブジェクトの仕様データの一つである、アバターの外観データ9−1を含めた仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データあるいは仕様データのURL(ユニフォームリソースロケーター)を指定するなどして決定する。
そして、配信者自身の身体各所の動きをセンシングした結果であるモーションデータ9−2として、図9(B)に示すように、身体各所を節9−2aとしてその位置情報、動きの情報を得る。節9−2aをつなぐ枝9−2bの情報を更に生成して、節9−2a同士の関係を明確化するように構成してもよい。なお、バーチャルオブジェクトの仕様データの一つである、アバターの仕様データとは、例えば若い女性の外観を有するアバターを男性が操作する場合に、男性が発生した声をボイスチェンジして若い女性の声にするための、声の周波数特性データ(音声キャラクタデータ)、アバターが動く場合の特有の効果音、アバターが現れると特徴的にバックに流れる音楽のデータなどであり、ほかのデータを含めてももちろんよい。
同じく、アバター以外のバーチャルオブジェクト(バーチャルアイテム、仮想アイテム、仮想オブジェクトなどともいう)について、その外観データばかりではなく、アイテムが発生する場合には音声キャラクタデータを仕様データとして付加してもよいし、同様に効果音データや音楽データをそれぞれのバーチャルオブジェクトに対して仕様データとして付加してもよい。以上の点は、本システム1で用いられるアバターを含めた種々のバーチャルオブジェクトに共通している。
レンダリング部11eは、端末11の外部から送信をされた、あるいは端末11内部に記憶されたバーチャルオブジェクトの仕様データ、およびバーチャルオブジェクトのモーションデータを用いてこれらバーチャルオブジェクトをレンダリング(描画)する構成であって、現在端末11から配信中のライブコンテンツのバーチャルオブジェクトに関するデータをサーバ2から受け取り、コンテンツの内容をリアルタイムに確認するモニタリングなどに用いられる。
このために、レンダリング部11eは、上に示したアバターの外観のデータ9−1を含めたアバターの仕様のデータとモーションデータ9−2、この後に説明するように、3次元仮想空間内に投げ込まれたバーチャルオブジェクトの仕様データとモーションデータ、3次元仮想空間の背景画像や仮想空間内に置かれたバーチャルオブジェクトの仕様データおよびモーションデータを用いて、仮想空間を可視化するための描画(レンダリング)を行い、得られた、内包するバーチャルオブジェクトを含めた仮想空間の映像は、配信者端末11の表示部11fに表示される。
先に説明をしたように、例えばアバターについてのレンダリングは、図9(C)に示すように、バーチャルオブジェクトの仕様データの一つであるアバター外観データ9−1に対して、その各所の位置や動きをモーションデータ9−2から得て、現在のアバターの位置や動きを示すアバターのレンダリング用データ9−3を生成する。
なお、レンダリングは、動画データではなく静止画データであるアバターの外観データ9−1と、アバターのモーションデータ9−2を構成する節9−2aや枝9−2bのデータとを用いて行うことができるので、外観データ9−1は静止画データであることからデータ容量が小さいし、節9−2aや枝9−2bのデータは画像データではなく限られた数の点の座標データもしくは運動ベクトルデータであるのでこれもデータの容量が小さく、この結果、データの送信、受信、記憶やレンダリングに要する伝送路やハードウエアの負担は極めて小さいものとすることができる。
さらに、アバターの外観データ9−1、や仕様データをロウデータ(具体的な生データ)そのものではなく、URL(ユニフォームリソースロケーター)でWEB上のデータの保存先として指定すれば、より小さな文字列データで送信や記憶を行うことができる。これらの有利な点は、これら外観データや仕様データやモーションデータをシステムのどの構成で生成し、伝送し、記憶し、レンダリングするかによらず同様の効果を奏するものであるし、人のアバターに限らず、バーチャルオブジェクトをレンダリングしようとする際には共通の効果となる。
なお、アバターを外観のみならず音声を含めて表示(本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。)を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、システム1が送受信あるいは記憶するデータの対象に含めるようにしてもよい。
例えば先に説明したように、アバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報(若い女性キャラクタの発声の周波数スペクトラム等)が、配信者などアバターを操作する者の発声情報とともに、アバター外観情報に、あるいは他の情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音(爆発音、衝突音、飛翔音、オノマトペなど)や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム1が送受や記憶する対象のデータとしてもよい。それらもまたアバター仕様データあるいはその他のデータに追加がなされる。なお、仕様データには、振動に関するデータを含めてもよく、その場合、例えばアバターを操作するコントローラ(ボタンなどが付属した操作具)を振動させるようにしてもよいのであり、この点はシステム1の各所、各局面においても同様である。
表示部11fは、配信者自身がライブコンテンツを視聴したり、現在配信者が配信中のライブコンテンツの内容を確認するためにレンダリング画像をモニタリングしたり、各種操作を行ったりするために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのHMD(ヘッドマウントディスプレイ)などで実現される。操作部11gは配信者が各種動作の操作に用いるもので、例えばパーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。プログラム記憶部11hは、ライブコンテンツの配信や視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム(OS)、インターネット閲覧プログラム(ブラウザ)等を含んでいてもよい。データ記憶部11iは、ライブコンテンツに用いられる仮想空間の背景のデータ、バーチャルデータの仕様データ、モーションデータなどを記憶する。
コメント投稿部11kは、ライブコンテンツの表示画面にかぶさって表示がされた、あるいは仮想空間30内のバーチャルオブジェクトの表面に表示がなされたり、大きな文字の形をしたオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示される文字情報であるコメントをサーバ2に投稿するための構成である。バスライン11mは配信者端末11の各構成を、データを相互に交換可能に接続する。
第1の視聴者端末12と第2の視聴者端末22とは共通の構成を有しており、以下では第1の視聴者端末12を例として説明を行う。
〔第1の視聴者端末12の構成〕
図4に図示するように、第1の視聴者端末12は、端末12内外のデータ送受端である入出力インターフェース12a、端末12各所の制御統制を行うCPU(セントラルプロセッシングユニット)を備えた制御部12bを有している。
先に説明をした、バーチャルオブジェクトの仕様データの一つであるアバターの仕様データとして、アバターの外観データ、アバターのボイスキャラクタデータ、アバターの効果音のデータ、アバターの音楽データなどが、データ記憶部12iに記憶されており、アバター操作部12cは、操作者である視聴者などが自分の仮想的な分身であるアバターを仮想空間内に登場させて、所望の動作をさせるために、自分の身体につけた加速度センサーや、3Dカメラで自分の動きを撮影したデータ、あるいはドップラーセンサで自分の身体各所の動きをセンシングしたデータを用い、これらモーションデータを取得して、そのままで、あるいはレンダリングした画像情報としてサーバ2に送信を行う。
先に説明をしたように、図9を援用すると、アバター操作部12cは、バーチャルデータの仕様データの一つである、アバターの外観データ9−1を含めたアバターの仕様データを自分で用意するか、システムが用意して選択に供する中から選ぶか、ネット上に配置された外観データを含めた仕様データのURL(ユニフォームリソースロケーター)を指定するなどして決定する。そして、身体各所の動きをセンシングした結果であるモーションデータ9−2として、図9(B)に示すように、身体各所を節9−2aとしてその位置情報、動きの情報を得る。節9−2aをつなぐ枝9−2bの情報を更に生成して、節9−2a同士の関係を明確化するように構成してもよい。
なお、アバターを外観のみならず音声を含めて表示(本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。)を行う場合、アバターが発する音声の情報、および音声のキャラクタ情報を、アバターの外観データを含めて、アバターの仕様データとして、システム1が送受信あるいは記憶するデータの対象に含めるようにしてもよい。
例えばアバターが若い女性の外観とキャラクタを有していてそのアバターを操作する配信者などが男性である場合、男性のオリジナルの発声をまず記憶し、記憶した男性の音声をボイスチェンジして若い女性の発声としてアバターの表示に用いることとなる。そのボイスチェンジに用いる発声のキャラクタ情報(若い女性キャラクタの発声の周波数スペクトラム等)が、視聴者などアバターを操作する者の発声情報とともに、アバターの外観情報を合わせたアバター仕様情報に含まれるようにする点は有効である。同じく、バーチャルオブジェクトをライブコンテンツに追加する際に、効果音(爆発音、衝突音、飛翔音、オノマトペなど)や、音楽を追加してもよく、それら効果音データ、音楽データをもシステム1が送受や記憶する対象のデータとしてもよい。それらもまた外観情報あるいはその他のデータとともに、アバターの仕様データに追加がなされる。
アイテム投稿部12eは、視聴者が自己のアバターを、自分が視聴しているライブコンテンツに登場させるため、アバターの外観データを含めた、バーチャルオブジェクトの仕様データや、先に説明したバーチャルオブジェクトのモーションデータをサーバ2へ投稿したり、あるいは自分が再生視聴しているライブコンテンツに新たなバーチャルオブジェクトを投稿するために用いられる。
表示部12fは、視聴者自身がライブコンテンツを視聴したり、各種操作を行うために画面表示を行う構成であって、パーソナルコンピュータの表示パネルや、顔面に装着されるゴーグルタイプのHMD(ヘッドマウントディスプレイ)などで実現される。
操作部12gは視聴者が各種動作の操作に用いるもので、パーソナルコンピュータのキーボード、マウス、タッチパネルでもよいし、あるいは操作者のモーションデータで操作するデバイスであってもよい。
プログラム記憶部12hは、ライブコンテンツの視聴に必要なコンピュータプログラムを記憶しており、汎用のコンピュータオペレーティングシステム(OS)、インターネット閲覧プログラム(ブラウザ)等を含んでいてもよい。データ記憶部12iは、先に説明をしたデータおよびその他の各種データを記憶する。
コメント投稿部12kは、ライブコンテンツの表示画面にかぶさって、あるいは仮想空間30内のバーチャルオブジェクトの表面に表示されたり、巨大な文字状のバーチャルオブジェクトのようにそれ自体が独立したバーチャルオブジェクトとして表示される文字情報であるコメントを、サーバ2に投稿するための構成である。バスライン12mは視聴者端末12の各構成を、データを相互に交換可能に接続する。
図5は、第1の視聴者端末12をパーソナルコンピュータで実現した場合の外観を模式的に示したもので、各種映像、静止画像、動画像や文字情報を表示する表示パネル12−1は、視聴者が本システム1のサービスを利用するために、あらかじめ知らされているURL(ユニフォームリソースロケータ)を入力してサーバ2に接続を行うと、サーバ2から必要なデータとジャバスクリプト(JavaScript)プログラムが送付されて、動画配信サービスのポータル画面(図示しない)が表示される。
視聴者は、自分がインターネット生放送として視聴をしたいライブコンテンツを表示リスト(図示しない)からあらかじめ選択しており、そのライブコンテンツが表示されている状況を、図5は示している。
図5において、表示パネル12−1内に、ライブコンテンツ動画を表示する動画表示エリア12−1aがあり、そこには、このライブコンテンツの配信者である配信者のアバター12−1b、このライブコンテンツが用いる仮想空間に配置されたバーチャルオブジェクトである樹木12−1n、家屋12−10が表示されている。
また、更に、コンテンツを視聴する視聴者から投稿されたコメント12−1rが表示パネル12−1内に表示されており、「アップしてくれてありがとう!!」、という内容のコメント12−1rが表示パネル12−1の右端から現れて左端にスクロール移動して消えていく。コメント12−1rが表示される範囲はライブコンテンツ動画を表示する動画表示エリア12−1aよりも大きく、そこからはみ出すよう設定されているので、視聴者はこれらコメント12−rが、コンテンツのオリジナルな内容ではなく、コンテンツの配信者とは別な投稿者から投稿されたことが明瞭に理解できる。
同様に、表示パネル12−1内には、動画配信サービスのポータル(入口)ページ(図示しない)に戻るためのホームボタン表示12−1e、視聴するコンテンツが生放送ではなく再生コンテンツである場合に用いる停止ボタン表示12−1f、ポーズボタン表示12−1g、および再生ボタン表示12−1hがそれぞれ表示されている。
表示パネル12−1内のコメント投稿ボタン表示12−1iは、この端末12が視聴者端末である場合に、視聴者が視聴しているコンテンツに対して先に説明をしたコメントを投稿するためのボタンである。
シークバー表示12−1kは、コンテンツが再生コンテンツである場合に、再生開始時刻を左端に、再生終了時刻を右端に対応させ、シークボタン表示12−1mの位置が現在の再生時刻を示しており、このシークボタン表示12−1mの位置をマウスポインタ12−3で動かして再生したい時刻へ移動させることができる。先に説明した操作部12gとして、マウスポインタ12−3、マウスカーソル12−2があり、キーボード12−4も視聴者端末12は備えている。
〔生放送中のコンテンツ視聴〕
次に、配信者端末11から投稿されて配信されているインターネット生放送であるライブコンテンツが、第1の視聴者端末12によって視聴されるまでの動作を、図6のシークエンス・チャート、図7の仮想空間模式図、図8の各視点から見たレンダリング結果の図、をそれぞれ用いて説明する。
ライブコンテンツを主催して配信しようとする配信者は、配信者端末11を用いてサーバ2へコンテンツ配信の申し込みを行う(ステップS101)。サーバ2が配信を許諾すると、許諾する旨がサーバ2から第1の配信者端末11へ通知され(ステップS102)、サーバ2は、視聴が可能なコンテンツとしてこのライブコンテンツを配信サービスサイトの適切なページにリストとして掲示を行ったり、リストをログイン中の各視聴者端末へ配信したりする(ステップS103)。
配信が許諾されたので、第1の配信者端末11は、インターネット生放送用ライブコンテンツとして、図7に示す仮想空間30内の各バーチャルオブジェクトである、配信者のアバター表示12−1bと、その他バーチャルオブジェクトに関する仕様のデータ、およびモーションデータをサーバ2へ送信する(S104)。
先に説明したように、配信者はモーションデータを生成してアバター12−1bの動作を制御するので、仮想空間30内でアバター12−1bは移動をしたり、向きを変えたり、手や足を動かしたり、姿勢を変えるなどの動作を行うことができる。
同じく先に説明をしたように、アバターを含めたバーチャルオブジェクトの外観のみならず音声を含めて表示(本明細書では「表示」を、画像の表示のみならず、スピーカー、振動子などを用いた音声、効果音などの表示をも含む意味で用いることとする。)を行う場合、アバターを含めたバーチャルオブジェクトが発する音声の情報、および音声のキャラクタ情報をバーチャルオブジェクトの仕様情報として、システム1が送受信あるいは記憶するデータの対象に含めるようにしてもよい。
仮想空間30内に配置された仮想的カメラ32は図示のように中央に必ず置く必要はなく設置場所は任意であるし、移動してもよく、複数を設置してもよい。またライブコンテンツの途中からこれら仮想的カメラの追加や削除、移動をしてもよい。これら仮想カメラの運用は本明細書の他の箇所おいても共通であるが、以後の説明では煩雑さを避けるため、仮想カメラは各仮想空間に一つだけとした例示にとどめることにする。
リストにより、放送中のこのライブコンテンツの存在を知った視聴者は、第1の視聴者端末12からサーバ2に対してインターネット生放送であるこのライブコンテンツの視聴を申し込み(ステップS105)、この結果、サーバ2から第1の視聴者端末12に対して、配信者のアバター12−1bのモーションデータ9−2やアバターの外観データ9−1を含む、仮想空間30内にあるバーチャルオブジェクトの仕様のデータおよびモーションデータを送信して(ステップS106)、レンダリング(描画)を第1の視聴者端末12で行う。
レンダリングの結果を、図8(A)(仮想的カメラ32の視点から見た画像)と図8(B)(配信者アバター12−1bの視点から見た画像)として例示する。
また、配信者端末11が配信するライブコンテンツは、第1の視聴者端末12に限らず、第2の視聴者端末22を含めた本動画配信システムを利用する他の利用者もまた、申し込みを行って視聴することができる。
〔生放送中のライブコンテンツへの視聴者アバター追加〕
次に、配信者端末11が先にインターネット生放送中のライブコンテンツを第1の視聴者端末12が視聴している状態で、第1の視聴者端末12を用いる視聴者が、自分の分身であるアバター100をこのライブコンテンツに参加させる動作を、図10乃至図12を用いて説明する。
まず、第1の視聴者端末12からサーバ2に対してアバター参加の申し込みが行われる(ステップS201)。
申し込みを受け付けたサーバ2は、次のいくつかの方法のいずれか、あるいは他の方法によってこの視聴者のアバター100の参加要否を判断する。
第1の方法は、この視聴者の情報(例えばハンドルネーム)などを配信者端末11へ送信して、配信者の判断を求める方法である(ステップS202)。配信者が承諾する場合は配信者端末11の操作によって、承諾の旨の情報がサーバ2へ送信され、更に視聴者端末12へ送信される(ステップS203、S204)。
第2の方法は、あらかじめ配信者がこのライブコンテンツを誰でもアバター参加を認めるか、あるいは放送時刻の内、いつからいつまでを誰でもアバター参加ができる時間として設定する方法である。これら配信者の意向は配信者端末11からコンテンツ配信サーバ2へあらかじめ送信されて登録されているので、視聴者端末11からのアバター参加申し込みに対する可否は、サーバ2が判断をして視聴者端末11へ判断結果を送信する。
第3の方法は、配信者があらかじめ特定の視聴者のみからのアバター参加を認める方法である。この場合も、配信者が承諾する視聴者の情報は、ハンドルネーム、ログインアカウント、IPアドレスなどの情報としてあらかじめ配信者端末11からサーバ2へ送信登録されているので、視聴者端末11からのアバター参加申し込みに対する可否は、サーバ2が判断をして視聴者端末11へ判断結果を送信する。
視聴者は、先に説明をしたように、送信された生放送のライブコンテンツをただ視聴することもできるが、例えばダンスシーンであれば自分もアバターの形でライブに参加し、すでにライブに参加している各アバターの操作者とともに踊ることで連帯感も得たいと感じることもあるであろうし、自分のアバターをライブコンテンツに投入して自分が決めた所望の視点からライブコンテンツを視聴しなおしたい、と思うこともありうる。
そこで視聴者は、生放送のライブコンテンツを視聴しつつ、自分のアバター100を新たにライブコンテンツに投入するべく、サーバ2へ申し込んで、上に記載したようないずれかの方法で承諾された場合、必要なデータであるアバターの外観情報と、モーションデータなどをサーバ2へ送信する(ステップS205)。
これを受けてサーバ2は、視聴者端末21から受信した視聴者アバター100の外観データやモーションデータなどを、このライブコンテンツを配信している配信者端末11へ送信を開始し(ステップS206)、以後、先に説明した手順にて、配信者端末11は、視聴者アバター100を仮想空間内に含めた内容にて、生放送中のライブコンテンツのデータ(アバターを含めた各仮想的オブジェクトの外観データ、モーションデータなど)を生成し、以後のライブコンテンツとしてサーバ2へ送信し(ステップS207)、サーバ2は、視聴者端末11を含めてこのライブコンテンツを視聴している各端末へ、視聴者アバター100が参加しているライブコンテンツを配信する(ステップS208)。
図11は視聴者アバター100が参加している仮想空間の模式図、図12は、この仮想空間30を、視聴者アバター100、仮想的カメラ32、配信者アバター12−1bという各視点から見た際の配信映像を示している。
〔アバター同士が接触するアクションへの対応〕
先に説明をしたように、アバターの形でライブコンテンツに登場し参加する視聴者は、自らのアバターの外観や動きを他の視聴者から視聴されたり、アバターの視点からライブコンテンツの仮想空間を見て楽しんだり、あるいは他のアバターと会話をして楽しむ、といった先に説明した楽しみ方ばかりではなく、他のアバターと握手したり、他のアバターととともにダンスを楽しんだり、といった、アバター同士の接触を伴うアクションを楽しみたい、と望むことが考えられる。なお、本実施形態では、配信者が配信する仮想空間に、この配信コンテンツを視聴している視聴者が自分のアバター100を投入した場合に、アバター同士の接触アクションを実現することを例示しているが、このような配信者アバター、視聴者アバター間の接触に限ることなく、あらゆる種類のアバター間の接触アクションにおいて本発明は実施が可能である。この点は今後も同様であるが、いちいち断らないこととする。
このような、アバター同士の接触を伴うアクションとして、先に挙げた握手、ダンスなどのほかにも、ハイタッチ(手のひらを高く上げて他人の手のひらと合わせる動作の和製英語。片手を合わせる動作を英語表現では「high five」といい、両手を合わせる動作を同じく「high ten」という。)、手をつなぐ、相撲、レスリング、ボクシング、腕相撲などの格闘系スポーツ、かたぐるま、二人三脚、ハグ、肩をたたく、指切り、おしくらまんじゅう、手つなぎ鬼、など枚挙にいとまがない。
図13(A)に、配信者アバター12−1bと視聴者アバター100とが握手をする場面の模式図、同じく図13(B)に、両者が片手のハイタッチを行う場面の模式図を示すが、いずれの場面でも、双方のアバターは手100−h、12−1b−hを互いに接触させて、組んだり、たたいてから離す、などの動作を行うこととなる。
特に手をつなぐことや握手やハイタッチは、日常の実空間で頻繁に行われている慣習であるし、これらの動作は手を組む、あるいは合わせるだけで簡単に行えるので、仮想空間内でアバター同士が行う動作として、今後ニーズが高まるものと予想される。例えば握手をする際には、双方のアバターは自分の手を差し出して、相手のアバターの手のひらとある程度精密に位置合わせを行う必要がある。
ところが従来、仮想空間内の各種オブジェクト、アバターの描画については、特に動きがある場合に、システムの負荷を低減する目的で描画のためのデータ伝送速度は抑制がされており、アバターの動きは、人間が実空間で感じる人体の動きよりも間引かれて、間歇的に描画が行われる。このため、アバター同士の握手など、アバター同士が接触を行うアクションは、不自然さのない、アバターを操作する立場では操作感のよい、アバターの描画を含めたシステムの提供が従来は困難であった。
図14は、アバター同士のアクションとして握手を行う場合の動作の時間推移を、従来技術と本実施形態とで比較して説明する図である。
図14の上下方向は時間の推移を示しており、最上部の0から、時刻T1、T2と、以下T6まで、時間間隔tにて目盛りを記載している。従来技術、本実施形態とも、握手を行う当事者である視聴者アバターの手100−h、配信者アバターの手12−1b−hとが、時刻の推移とともに接近する様子を表している。
本実施形態においては、時間間隔tに応じて毎時刻とも、手100−h、12−1b−hは、そのレンダリング結果として、第2の移動量m2だけ相手方へ移動しており、最後に時刻T5で握手をしている。
一方、従来技術においては、各アバターを描画するのに用いるデータの送信レイト(各単位時間当たりの送信データ量)は、本実施形態の約1/3としており、その結果、時間間隔tで区切られる時刻の3つの時刻は、手100−h、12−1b−hは同じ位置にレンダリングがなされる。その後、第2の移動量m2のおよそ3倍の移動量である第1の移動量だけ前進して、手100−h、12−1b−hのレンダリングがなされ、以後も繰り返される。
このため、従来技術においては、レンダリングされた手100−h、12−1b−hの動きが荒く、すなわち時間的な粒度が大きくなり、時刻T5では双方の手100−h、12−1b−hは握手をするべき位置まで行きついておらず、次の単位時刻T6では握手をするべき位置を行き過ぎてしまっている。
図14図示の説明は、視聴者や配信者が等速度で操作をして、手を動かすべきモーションデータを作成したことを前提としており、もちろん視聴者や配信者はライブコンテンツの表示を見ながら手を動かくす操作の速度を変えて、モーションデータを異なる値とすることは可能であるが、それでも従来技術構成では、本実施形態と比較してアバターレンダリングの時間的粒度が荒く、従って操作性が低下しており、動きもより不自然である。
図15は、本実施形態において握手を行うための動作を、双方の手100−h、12−1b−hが離れた位置にあるときから、握手をする位置まで、時刻推移に従って説明するもので、関連するフローチャート図16とともに、詳細を説明する。
なお、ここに説明する本実施形態の特徴的制御は、配信者端末11、視聴者端末21、あるいはサーバ2のいずれかに備えられた制御部が単独で、あるいは他と協働して行ってもよいが、以下の説明では配信者端末11の制御部が実行を行うこととする。
配信者端末11は、まず、握手を行う動作のための特別な制御を行うべき、双方の手100−h、12−1b−hの距離の閾値Dがあらかじめ決められているので、配信者端末11のメモリから読み出す(ステップS301)。閾値は例えば、実空間における1メートルに相当する距離とする。そして、アバターのレンダリング用データの転送速度を通常通りの値、すなわち相対的に低い値であるLOWとする(ステップS302)。
次に、握手を行うべき手を、配信者アバターの手12−1b−hと視聴者アバターの手100と特定する(S303)。特定は、握手をしようとする視聴者が操作により設定して行ってもよいし、仮想空間30の状況から、一番近いアバターなどの条件でシステムが自動で行ってもよい。次に配信者端末11は特定された手の距離を、幾何学的手法などを用いて計算し、計算結果dが閾値D以上である限り、データ転送速度をLOWのままとする(ステップS304,S305)。
図15において、時刻0からT5までという時間領域p1において、計算された距離dが閾値D以上であるので、手100−h、12−1b−hの移動レンダリングは時間的に粗く、時間tの3倍ごとに、第3の移動量m3で移動する。
そして、計算値dが閾値Dを下回ると、レンダリング用データの転送速度をより高く、およそ3倍としたHIGHに設定し(ステップS306)、この結果、時刻T6からT14までの時間領域p2においては手100−h、12−1b−hは、第3の移動量の約1/3である第4の移動量で時間tごとに移動し、容易に相互の接触動作をさせることができ、最後に時刻T14で接触して握手が行われる(ステップS307)。
本実施形態では以上のように構成したので、握手をしようとする双方のアバターが離れた位置にあるときには、アバターのレンダリングに用いるためのデータの転送速度(単位時間当たりのデータ転送量)は比較的小さく、この結果、システムへの負荷が小さくなる。一方、双方のアバターが接近して握手の実行まで近づくと、データ転送速度を上げて、そのレンダリングが不自然でないようにし、アバターを操作して握手をしようとする操作を容易なものとする。すなわち、システムへの負荷の低減と、自然なレンダリング結果および操作の容易性とを両立させることができる。
〔変形例その1 〜各構成の配置の任意性〕
先の本実施形態の説明では、各アバターを含む仮想的オブジェクトのレンダリングを、視聴者が用いる視聴者端末など、視聴を行うユーザの端末で行うこととした。しかしながらこのように構成をする点は本発明の実施に当たり必須なものでも本質的なものでもない。すなわち、このレンダリングを、配信を行う端末、サーバあるいは他の各種端末で行ってもよい。そのようにレンダリングを行うためには、あらかじめバーチャルオブジェクトの外観を含めた仕様のデータ、およびモーションデータがレンダリングを行おうとするサーバ、あるいは端末もしくはその双方に送信されていればよい。
〔変形例その2 〜 関連する種々の表示の態様〕
以上説明を行った本実施形態における本発明の効果を更に向上させるために、以下のような実施形態としてもよいし、これらを適宜組み合わせてもよい。いずれも本発明に含まれる。
(あ)接触対象アバターをシステムが推奨する・・・視聴者アバターに対しては配信者アバターを握手の対象としてシステムが推奨したり、過去に握手をした経過があるアバターなどを推奨してもよい。図17(A)は、このように推奨されたアバターである配信者アバター12−1bの上に推奨を示すフラグ17−1が示されており、この結果、ライブコンテンツを視聴する視聴者は、他のアバター17−2から容易に、配信者アバター12−1bを区別して認識することができる。
(い)対象アバター接近のアラート・・・握手を行う相手のアバターが何らかの方法で決まっている場合、この対象アバターが先に説明した閾値Dあるいは他の距離より近づいた場合に、アラート17−3を表示して視聴者に準備をさせることができる。
(う)タッピングで接触対象アバターを選択・・・視聴者端末がスマートフォンである場合、握手を行う相手のアバターを視聴者が選択するための操作として、指17−4でタッチセンサー画面に触れて、すなわちタッピングして選択すると操作性がよい。視聴者端末がパーソナルコンピュータである場合には、マウスポインタあるいはキーボードを用いてもよい。
(え)自動で握手・・・握手など他のアバターと接触するアクションは、最終段階で互いの身体を接触させるので細かい操作が必要であり、実空間での握手と比べればアバターを動かすためのモーションデータ作成操作は操作性がよくはない。そこで握手の最終段階では、操作者が操作するのではなく、システムが自動で双方の手が合う位置まで移動をさせたり、あるいは双方のアバターごと移動させることも考えられる。
〔変形例その3 〜 生放送以外のコンテンツでの活用〕
以上の各実施形態では、生放送中のライブコンテンツにおいて、双方のアバターが操作者により操作をされていることを前提として説明を行った。一方、生放送の仮想的空間コンテンツを後で再生したり、あるいは再生専用のライブコンテンツにおいて、あとからアバターとしてコンテンツ中に参加が行えるシステムの提案がなされている。この場合でも、一方のアバターの操作のみであるが握手などが可能であるので、先に説明を行った本発明の構成をそのまま適用することができる。
〔変形例その4 〜 アバター間の距離に応じたデータ配信間隔の増減制御〕
先に説明をした各実施例では、複数のアバター同士が接近して例えば握手という動作を行う場合に、遠方から近傍まで近づく距離に応じて、アバターのレンダリング用データの送信時間間隔を小さくする制御を行う点について説明をした。
一方、握手を実行したり、あるいは握手を行わなかったりした後、これらアバターが離れていく場合には、距離に応じてアバターのレンダリング用データの送信時間間隔を大きくする制御を行うようにしてもよい。すなわち、アバター間の距離に応じて、アバターのレンダリング用データの送信時間隔を変動させる制御、言い換えれば、アバターのレンダリング用データの、単位時間当たりの送信量、すなわち送信速度を変動させる制御を行うこととなる。そのように構成することでシステムの回線負荷が低下してデータ送信破綻のない、リアルタイム性が向上した動画配信が行える。
〔変形性その5 〜 指定をしない複数のアバター相互の距離に応じた制御〕
同様に、先の説明では、例えば握手というアクションを行おうとするアバターがあらかじめ決められていたり、あるいは指定がなされ、この指定などがされたアバター同士の間の距離を計測して、レンダリング用データ配信間隔時間の制御を行う構成とした。
一方、この構成に限らず、例えばバーチャルリアリティ空間内にあるすべてのアバター間の距離を計測継続し、それら間隔のいずれがかが閾値を下回った場合にデータ送信間隔を小さくしたり、あるいは閾値を上回った場合にデータ送信間隔を大きくするよう制御を行ってもよい。
このように構成することで、アバター間の握手は不意に(衝動的に)起きる場合がありその場合にも対処が行えるし、各アバターの操作者としては、あえて接触予定のアバターであるように指定をする操作上のわずらわしさが解消されるメリットがある。
なお、先に説明をした各実施例において、アバターをレンダリングするために送信データ量の制御として、データを送信するタイミングの間隔を小さくする、と説明した点は、換言すれば、単位時間当たりのデータの送信量を大きくする、とも言うことができるし、逆にデータを送信するタイミングの間隔を大きくする、と説明した点は、換言すれば、単位時間当たりのデータの送信量を小さくする、とも言うことができる。言い換えれば、アバターのレンダリング用データの、単位時間当たりの送信量、すなわち送信速度を、アバター間の距離に応じて変動させる制御を行うこととなる。この点は各実施例において共通である。
(発明の効果の説明)
仮想空間を対象とするライブコンテンツにおいて、アバター同士が接触するアクションである、例えば握手をしようとする双方のアバターが離れた位置にあるときには、アバターのレンダリングに用いるためのデータの転送速度(単位時間当たりのデータ転送量)は比較的小さく、この結果、システムへの負荷が小さくなる。
一方、双方のアバターが接近して握手の実行まで近づくと、データ転送速度を上げて、そのレンダリングが不自然でないようにし、アバターを操作して握手をしようとする操作を容易なものとすることができる。すなわち、システムへの負荷の低減と、自然なレンダリング結果および操作の容易性とを両立させることができる。
本発明は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
1 コンテンツ配信受信システム
2 コンテンツ配信サーバ
2a 入出力インターフェース
2b 制御部
2c コンテンツ情報記憶部
2d コンテンツ配信部
2f プログラム記憶部
2g ユーザ管理部
2i バスライン
3 インターネット通信網
9−1 アバターの外観データ
9−2 アバターのモーションデータ(動作のデータ、動作の情報)
9−2a モーションデータの節
9−2b モーションデータの枝
9−3 アバターのレンダリング用データ
11 配信者端末
11a 入出力インターフェース
11b 制御部
11c アバター操作部
11e レンダリング部
11f 表示部
11g 操作部
11h プログラム記憶部
11i データ記憶部
11k コメント投稿部
11m バスライン
12 第1の視聴者端末
12a 入出力インターフェース
12b 制御部
12c アバター操作部
12e アイテム投稿部
12f 表示部
12g 操作部
12h プログラム記憶部
12i データ記憶部
12k コメント投稿部
12m バスライン
12−1 表示パネル
12−1a 動画表示エリア
12−1b 第1の配信者のアバター
12−1c 第1の視聴者のアバター
12−1d リボン型バーチャルオブジェクト
12−1e ホームボタン表示
12−1f 停止ボタン表示
12−1g ポーズボタン表示
12−1h 再生ボタン表示
12−1i コメント投稿ボタン表示
12−1k シークバー表示
12−1m シークボタン表示
12−1n 樹木
12−1o 家屋
12−1r コメント
12−2 マウスカーソル
12−3 マウスポインタ
12−4 キーボード
22 第2の視聴者端末
30 仮想空間
31 背景
32 仮想的カメラ
100 視聴者アバター

Claims (7)

  1. 通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させ、モーションデータを含んだ、前記アバターのレンダリング用データを前記複数の端末それぞれへ配信部から配信することによって、前記複数の端末それぞれの表示画面において前記アバター同士の接触動作を含む前記各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示システムであって、
    前記3次元仮想空間内において、前記各アバター相互の距離情報を生成する距離情報生成部を更に備え、且つ、当該システムが有する制御部が、前記生成された相互の距離情報に応じて前記モーションデータを前記配信部から前記複数の端末へ送信する送信間隔を変動させることにより、前記配信部が行う、前記モーションデータを含んだ前記アバターのレンダリング用データ配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示システム。
  2. 前記複数の端末の少なくともいずれかが、前記相互の距離情報を生成する対象のアバターを選択する選択部を備えたことを特徴とする、請求項1に記載の仮想空間中のアバター表示システム。
  3. 前記制御部は、前記生成されたアバター相互の距離が、あらかじめ決められた閾値を下回った場合に前記配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、諸求項1または2に記載の仮想空間中のアバター表示システム。
  4. 通信回線を介して接続される複数の端末の利用者が3次元仮想空間を共有し、該3次元仮想空間中に個々の利用者を象徴するアバターを出現させるとともに、配信部が、モーションデータを含んだ、前記アバターのレンダリング用データを前記複数の端末それぞれへ配信する配信ステップを備えることによって、前記複数の端末それぞれの表示画面において前記アバター同士の接触動作を含む前記各アバターのコンピュータグラフィック・アニメーション表示を実現する、仮想空間中のアバター表示方法であって、
    距離情報生成部が前記3次元仮想空間内において前記各アバター相互の距離情報を生成するステップを更に備え、且つ、当該システムが有する制御部が、前記生成された相互の距離情報に応じて前記モーションデータを前記配信部から前記複数の端末へ送信する送信間隔を変動させることにより、前記配信ステップで実行される、前記モーションデータを含んだ前記アバターのレンダリング用データ配信の単位時間当たりの情報量を変動させるよう構成されたことを特徴とする、仮想空間中のアバター表示方法。
  5. 前記複数の端末の少なくともいずれかに備えられた選択部が前記相互の距離情報を生成する対象のアバターを選択するステップ、を備えたことを特徴とする、請求項4に記載の仮想空間中のアバター表示方法。
  6. 前記制御部は、前記生成されたアバター相互の距離が、あらかじめ決められた閾値を下回った場合に前記配信の単位時間当たりの情報量を増加させるよう制御することを特徴とする、請求項4または5に記載の仮想空間中のアバター表示方法。
  7. 請求項4乃至6のいずれか1項に記載の仮想空間中のアバター表示方法が備える各ステップをコンピュータに実行させるコンピュータプログラム。
JP2018215065A 2018-10-31 2018-10-31 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム Active JP6724110B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018215065A JP6724110B2 (ja) 2018-10-31 2018-10-31 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
US17/258,277 US11205293B2 (en) 2018-10-31 2019-10-29 Avatar display system in virtual space, avatar display method in virtual space, and computer program
CN201980046970.6A CN112424760A (zh) 2018-10-31 2019-10-29 虚拟空间中的虚拟人物显示***、虚拟空间中的虚拟人物显示方法及计算机程序
PCT/JP2019/042289 WO2020090786A1 (ja) 2018-10-31 2019-10-29 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018215065A JP6724110B2 (ja) 2018-10-31 2018-10-31 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020076750A Division JP2020144887A (ja) 2020-04-23 2020-04-23 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020091504A JP2020091504A (ja) 2020-06-11
JP6724110B2 true JP6724110B2 (ja) 2020-07-15

Family

ID=70463195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018215065A Active JP6724110B2 (ja) 2018-10-31 2018-10-31 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム

Country Status (4)

Country Link
US (1) US11205293B2 (ja)
JP (1) JP6724110B2 (ja)
CN (1) CN112424760A (ja)
WO (1) WO2020090786A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL276511B2 (en) 2018-02-15 2024-01-01 Magic Leap Inc Musical instruments in mixed reality
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
US11736779B2 (en) 2018-11-20 2023-08-22 Gree, Inc. System method and program for distributing video
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
US11337023B2 (en) * 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
WO2021243098A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions
US20220070235A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
WO2022201509A1 (ja) * 2021-03-26 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6995416B1 (ja) 2021-06-09 2022-01-14 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7015597B1 (ja) 2021-06-25 2022-02-03 クラスター株式会社 アバター出力装置、端末装置、アバター出力方法、およびプログラム
JP7324469B2 (ja) 2021-06-28 2023-08-10 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
JP7288990B2 (ja) * 2021-07-29 2023-06-08 グリー株式会社 動画配信システム、動画配信方法及び動画配信プログラム
WO2023079987A1 (ja) 2021-11-04 2023-05-11 ソニーグループ株式会社 配信装置、配信方法、およびプログラム
JP7245890B1 (ja) 2021-11-19 2023-03-24 グリー株式会社 情報処理システム、情報処理方法、情報処理プログラム
CN113965812B (zh) * 2021-12-21 2022-03-25 广州虎牙信息科技有限公司 直播方法、***及直播设备
TWI807860B (zh) * 2022-06-14 2023-07-01 啟雲科技股份有限公司 虛擬實境網路表演者系統及電腦程式產品
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
WO2024020452A1 (en) * 2022-07-20 2024-01-25 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
JP7495558B1 (ja) 2023-06-22 2024-06-04 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3122576B2 (ja) * 1994-04-19 2001-01-09 日本電信電話株式会社 3次元仮想空間共有装置
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
CA2180891C (en) * 1995-07-12 2010-01-12 Junichi Rekimoto Notification of updates in a three-dimensional virtual reality space sharing system
JPH09212679A (ja) * 1996-02-05 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> 利用者参加型システムの映像表示方法
JP4034002B2 (ja) * 1999-04-22 2008-01-16 三菱電機株式会社 分散仮想空間情報管理伝送方法
JP3623415B2 (ja) 1999-12-02 2005-02-23 日本電信電話株式会社 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
JP2002216165A (ja) 2001-01-12 2002-08-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
KR20030035138A (ko) * 2001-10-30 2003-05-09 한국전자통신연구원 클라이언트-서버 기반 네트워크 가상환경에서 상태정보의전송 방법
US8441486B2 (en) * 2009-04-27 2013-05-14 Jagex Ltd. Position tracking in a virtual world
JP6457446B2 (ja) * 2016-08-23 2019-01-23 株式会社コロプラ 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
JP6906929B2 (ja) * 2016-11-10 2021-07-21 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
CN108126344B (zh) * 2018-01-24 2021-04-20 网易(杭州)网络有限公司 游戏中位置的共享方法、存储介质

Also Published As

Publication number Publication date
JP2020091504A (ja) 2020-06-11
CN112424760A (zh) 2021-02-26
WO2020090786A1 (ja) 2020-05-07
US20210248803A1 (en) 2021-08-12
US11205293B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
JP6724110B2 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
US11050977B2 (en) Immersive interactive remote participation in live entertainment
CN112334886B (zh) 内容分发***、内容分发方法、记录介质
JP6707111B2 (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
WO2016014233A1 (en) Real-time immersive mediated reality experiences
EP3573026B1 (en) Information processing apparatus, information processing method, and program
JP2020144887A (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
CN109478342B (zh) 图像显示装置及图像显示***
US20240196025A1 (en) Computer program, server device, terminal device, and method
JP2021099825A (ja) プログラム、方法、および情報処理装置
KR20180054377A (ko) 인터랙티브한 가상현실 시스템
JP2020170519A (ja) コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム
JP7496558B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
JP7225159B2 (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
JP6533022B1 (ja) 端末、サーバおよびプログラム
JP7250721B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
EP4306192A1 (en) Information processing device, information processing terminal, information processing method, and program
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
WO2024034396A1 (ja) 情報処理装置、情報処理方法、プログラム
KR102149608B1 (ko) 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템
US20240114181A1 (en) Information processing device, information processing method, and program
KR20200134190A (ko) 동영상 서비스 제공 방법 및 장치

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200423

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200508

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200624

R150 Certificate of patent or registration of utility model

Ref document number: 6724110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250