JP7280495B2 - 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム - Google Patents

情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム Download PDF

Info

Publication number
JP7280495B2
JP7280495B2 JP2019070141A JP2019070141A JP7280495B2 JP 7280495 B2 JP7280495 B2 JP 7280495B2 JP 2019070141 A JP2019070141 A JP 2019070141A JP 2019070141 A JP2019070141 A JP 2019070141A JP 7280495 B2 JP7280495 B2 JP 7280495B2
Authority
JP
Japan
Prior art keywords
content
information
presentation
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019070141A
Other languages
English (en)
Other versions
JP2020170903A (ja
Inventor
和 宮川
真吾 木下
健也 鈴木
聡 佐久間
龍也 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019070141A priority Critical patent/JP7280495B2/ja
Priority to PCT/JP2020/012447 priority patent/WO2020203368A1/ja
Priority to US17/594,028 priority patent/US11995861B2/en
Publication of JP2020170903A publication Critical patent/JP2020170903A/ja
Application granted granted Critical
Publication of JP7280495B2 publication Critical patent/JP7280495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラムに関する。
バーチャルリアリティ（ＶＲ：Virtual Reality）技術とは、現実あるいは実物に近しい疑似的な環境を提供する技術である。ＶＲ技術を用いることで、例えば、遠隔地にいるプレイヤとの疑似レースゲームを行ったり、様々な景勝地を再現した疑似観光を行ったりすることができる。そのため、ＶＲ技術は、娯楽あるいは教育を始めとした様々な分野で活用されつつある。
非特許文献１には、ヘッドマウンテッドディスプレイを用いた仮想的な三次元映像、音響、扇風機による風および可動式の模擬サーフボードを用いて、現実世界でのサーフィンを模したシミュレータが記載されている。このようなシミュレータによれば、海へ行くことなく、手軽にサーフィンを体験可能な環境を提供することができる。
多くのＶＲ技術は、現実世界に近い環境を提供することを目的としており、そのために用いられる情報は、現実世界をシミュレーションすることにより取得、利用されている。上述した疑似サーフィンの場合、波の動きに関する情報は、サーフィンを行う上での理想的な波の形状をシミュレーションすることで取得される。そして、取得した情報に基づき、表示する映像および疑似サーフボードの動きなどを制御することで、あたかも現実にサーフィンを行っているような疑似体験をユーザに提供することができる。
擬似体験を提供するにあたり、ＶＲ技術では必ずしも、現実に即した情報を用いる必要はない。例えば、娯楽性の観点から「人の波」という比喩表現を考えた場合、「海の波をサーフィンする」のではなく、「人の波をサーフィンする」という、現実にはありえない体験を提供することが可能となる。この場合、例えば、交差点を渡る人々を「人の波」と見立てると、混合ガウスモデルおよび最尤推定法といった従来技術を用いることにより、人の粗密から波のような形状を取得することができる（非特許文献２参照）。
「VR Surfing Simulator Rental NYC-Nj-CT-Philly」、［online］、［２０１９年３月２０日検索］、インターネット＜ＵＲＬ：http://nextgeneventco.com/vr-surfing-simulator-ny-nj-ct-pa/＞ 「混合ガウスモデル(Gaussian Mixture Model, GMM)～クラスタリングするだけでなく、データセットの確率密度分布を得るにも重宝します～」、［online］、［２０１９年３月２０日検索］、インターネット＜ＵＲＬ：https://datachemeng.com/gaussianmixturemodel/＞
上述したように、非特許文献２に記載されている技術を用いることで、人の粗密、すなわち、オブジェクト（人）の位置情報を用いて、波の形状を取得することができる。しかしながら、オブジェクトの位置情報を用いるだけでは、波の形状（起伏）は表現することはできても、波の表情を表現することができない。ここで言う「波の表情」とは、うねりあるいは波しぶきなどの激しい動きを伴う「荒波」、波が穏やかな起伏を繰り返す「凪」、南海に見られる「エメラルドブルー」などの、提示対象（波）の形状だけでは表現できない、提示対象の特性を示す情報を指す。
上記のような問題点に鑑みてなされた本発明の目的は、位置情報に基づき得られる提示対象の形状だけでは表現できない情報を表現することで、より表現豊かな疑似体験用のコンテンツを提示することができる情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラムを提供することにある。
上記課題を解決するため、本発明に係る情報処理システムは、ＶＲ技術を用いてコンテンツの提示に関するコンテンツ情報を生成するコンテンツ生成装置と、ＶＲ技術を用いてコンテンツの提示を制御するコンテンツ提示装置とを備える情報処理システムであって、前記コンテンツ生成装置は、入力映像を取得する映像入力部と、前記映像入力部が取得した入力映像から、第１オブジェクトの位置情報を検出する映像検出部と、前記映像入力部が取得した入力映像から、前記映像検出部が検出した第１オブジェクトの属性情報を抽出する属性抽出部と、前記映像検出部が検出した位置情報と、前記属性抽出部が抽出した属性情報とを用いて、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報を生成する情報生成部と、を備え、前記コンテンツ提示装置は、前記情報生成部により生成されたコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部によるコンテンツの提示を制御する提示制御部を備える。
また、上記課題を解決するため、本発明に係るコンテンツ生成装置は、ＶＲ技術を用いてコンテンツの提示に関するコンテンツ情報を生成するコンテンツ生成装置であって、入力映像を取得する映像入力部と、前記映像入力部が取得した入力映像から、第１オブジェクトの位置情報を検出する映像検出部と、前記映像入力部が取得した入力映像から、前記映像検出部が検出した第１オブジェクトの属性情報を抽出する属性抽出部と、前記映像検出部が検出した位置情報と、前記属性抽出部が抽出した属性情報とを用いて、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報を生成する情報生成部と、を備える。
また、上記課題を解決するため、本発明に係るコンテンツ提示装置は、ＶＲ技術を用いてコンテンツの提示を制御するコンテンツ提示装置であって、入力映像に含まれる第１オブジェクトの位置情報と、前記オブジェクトの属性情報とを用いて生成された、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部によるコンテンツの提示を制御する提示制御部を備える。
また、上記課題を解決するため、本発明に係るコンテンツ生成方法は、ＶＲ技術を用いてコンテンツの提示に関するコンテンツ情報を生成するコンテンツ生成装置におけるコンテンツ生成方法であって、入力映像を取得するステップと、前記取得した入力映像から、第１オブジェクトの位置情報を検出するステップと、前記取得した入力映像から、前記検出した第１オブジェクトの属性情報を抽出するステップと、前記検出した位置情報と、前記抽出した属性情報とを用いて、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報を生成するステップと、を含む。
また、上記課題を解決するため、本発明に係るコンテンツ提示方法は、ＶＲ技術を用いてコンテンツの提示を制御するコンテンツ提示装置におけるコンテンツ提示方法であって、入力映像に含まれるオブジェクトの位置情報と、前記第１オブジェクトの属性情報とを用いて生成された、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部によるコンテンツの提示を制御するステップを含む。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記のコンテンツ生成装置として機能させる。
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記のコンテンツ提示装置として機能させる。
本発明に係る情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラムによれば、位置情報に基づき得られる提示対象の形状だけでは表現できない情報を表現することで、より表現豊かな疑似体験用のコンテンツを提示することができる。
本発明の一実施形態に係る情報処理システムの構成例を示す図である。 図１に示す映像検出部によるオブジェクトの検出結果を模式的に示す図である。 図１に示す映像検出部によるオブジェクトの位置情報の検出結果の一例を示す図である。 図１に示す属性抽出部による属性情報の抽出結果の一例を示す図である。 図１に示す管理サーバの動作の一例を示すフローチャートである。 図１に示すクライアント端末の動作の一例を示すフローチャートである。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る情報処理システム１の構成例を示す図である。以下では、本実施形態に係る情報処理システム１は、ユーザに疑似的にサーフィンをしているような体験を提供するシステムである例を用いて説明する。なお、本発明は、上述した例に限られるものではなく、ＶＲ技術を用いてユーザに疑似的な体験を提供する種々のシステムに適用可能である。
図１に示す情報処理システム１は、サーバクライアント型システムであり、管理サーバ１０と、クライアント端末２０とを備える。管理サーバ１０とクライアント端末２０とは所定のネットワークを介して通信可能である。管理サーバ１０は、コンテンツ生成装置の一例である。クライアント端末２０は、コンテンツ提示装置の一例である。
管理サーバ１０は、コンテンツの提示に関するコンテンツ情報を生成する。管理サーバ１０は、例えば、交差点を撮影するカメラ２により撮影された映像を取得し、取得した映像を解析して、解析結果に応じたコンテンツ情報を生成する。
クライアント端末２０は、管理サーバ１０が生成したコンテンツ情報を取得し、取得したコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部３によるコンテンツの提示を制御する。コンテンツ提示部３は、例えば、ユーザの頭部に装着されるヘッドマウンテッドディスプレイ３ａおよび可動式の疑似サーフボード３ｂなどを含むが、これらに限られるものではない。コンテンツ情報は、ヘッドマウンテッドディスプレイ３ａに表示する映像、ヘッドマウンテッドディスプレイ３ａで出力する音などを示す情報である。また、コンテンツ情報は、疑似サーフボードの動きを示す情報である。クライアント端末２０は、コンテンツ情報に基づき、ヘッドマウンテッドディスプレイ３ａでユーザに視聴させる映像および音を制御する。また、クライアント端末２０は、コンテンツ情報に基づき、疑似サーフボード３ｂの動きを制御する。
次に、管理サーバ１０およびクライアント端末２０の構成について、図１を参照して説明する。まず、管理サーバ１０の構成について説明する。
図１に示す管理サーバ１０は、映像入力部１１と、映像検出部１２と、属性抽出部１３と、情報生成部１４とを備える。映像入力部１１、映像検出部１２、属性抽出部１３および情報生成部１４の各機能は、例えば、管理サーバ１０が有するメモリに記憶されたプログラムを、プロセッサなどで実行することで実現可能である。本実施形態において、「メモリ」は、例えば、半導体メモリ、磁気メモリまたは光メモリなどであるが、これらに限られない。また、本実施形態において、「プロセッサ」は、汎用のプロセッサ、特定の処理に特化したプロセッサなどであるが、これらに限られない。
映像入力部１１は、交差点を撮影するカメラ２により撮影された映像を取得する。映像入力部１１は、例えば、カメラ２により撮影された映像をリアルタイムに取得する。
映像検出部１２は、映像入力部１１により取得された映像（入力映像）から、所定のオブジェクト（本実施形態では、人）の位置情報を検出する。具体的には、映像検出部１２は、入力映像における、オブジェクトが存在する領域を検出する。入力映像におけるオブジェクトの検出には、テンプレートマッチング技術、機械学習を用いた技術など既存の技術を用いることができる。映像検出部１２は、例えば、図２に示すように、入力映像に含まれるオブジェクト（図２では、人）ごとに、そのオブジェクトが存在する領域α，β，γ・・・を矩形の領域として検出する。
映像検出部１２は、検出した領域ごとに位置情報を取得する。例えば、映像検出部１２は、図３に示すように、検出した領域ごとに、入力映像の画面上の座標（ｘ、ｙ）およびサイズ（ｗ、ｈ）を検出する。また、映像検出部１２は、カメラ２の位置と撮影場所との位置関係に基づき、検出した領域ごとに、奥行方向の座標（ｚ）を検出してもよい。
属性抽出部１３は、映像入力部１１により取得された入力映像から、映像検出部１２により検出されたオブジェクトの属性情報を抽出する。属性抽出部１３は、オブジェクトの属性情報として、性別、年齢層、人種、身長、服装および移動ベクトルなど、入力映像における画像の特徴から抽出可能な付加的な情報を抽出する。個々人を識別可能な程度に入力映像の解像度が高く、かつ、個人の氏名、住所などが記録されたデータベースが用意されている場合には、属性抽出部１３は、属性情報として、オブジェクト（人）の氏名および住所などの情報をデータベースから抽出してもよい。属性情報の抽出には、既存の技術を用いることができる。
属性抽出部１３は、図４に示すように、映像検出部１２により検出された領域ごとに、その領域に存在するオブジェクトの属性情報を抽出する。図４では、属性情報として、性別（Ｇ）、年齢層（Ｙ）、身長（Ｔ）、服装（Ｃ）および移動ベクトル（Ｖ）に関する情報を抽出した例を示している。
情報生成部１４は、映像検出部１２が検出した位置情報と、属性抽出部１３が抽出した属性情報とに対応するコンテンツ情報を生成し、クライアント端末２０に送信する。情報生成部１４によるコンテンツ情報の生成の詳細については後述する。
次に、クライアント端末２０の構成について説明する。
図１に示すクライアント端末２０は、映像生成部２１と、音響生成部２２と、機器制御部２３とを備える。映像生成部２１、音響生成部２２および機器制御部２３は、提示制御部２４を構成する。映像生成部２１、音響生成部２２および機器制御部２３の各機能は、例えば、クライアント端末２０が有するメモリに記憶されたプログラムを、プロセッサなどで実行することで実現可能である。
映像生成部２１は、管理サーバ１０から送信されたコンテンツ情報を取得し、取得したコンテンツ情報に応じた映像を生成し、生成した映像をヘッドマウンテッドディスプレイ３ａに表示させる。
音響生成部２２は、管理サーバ１０から送信されたコンテンツ情報を取得し、取得したコンテンツ情報に応じた音を生成し、生成した音をヘッドマウンテッドディスプレイ３ａに出力させる。
機器制御部２３は、管理サーバ１０から送信されたコンテンツ情報を取得し、取得したコンテンツ情報に応じて、疑似サーフボード３ｂの動きを制御する。
上述したように、映像生成部２１、音響生成部２２および機器制御部２３は、提示制御部２４を構成する。したがって、提示制御部２４は、情報生成部１４により生成されたコンテンツ情報に応じて、コンテンツ提示部３によるコンテンツの提示を制御する。
次に、情報生成部１４によるコンテンツ情報の生成について説明する。以下では、情報生成部１４が、提示対象である「人の波」を表現するコンテンツ情報を生成する例を用いて説明する。
情報生成部１４は、映像検出部１２により検出された、オブジェクトが存在する領域ごとの位置情報に基づき、波の形状を生成する。情報生成部１４は、波の形状を生成するために、例えば、混合ガウスモデルと最尤推定法とを用いて、式（１）に示される確率密度関数ｐ（ｘ｜π，μ，Ｍ）を求める。
Figure 0007280495000001
式（１）において、ｘは各領域の位置情報であり、πは混合係数であり、μは平均ベクトルであり、Ｍは共分散行列であり、Ｎは正規分布であり、Ｋはクラスタ数である。クラスタ数Ｋは既知として扱う。そのため、クラスタ数Ｋは、一定数、あるいは、検出された領域の総数に応じて変動する、事前に定義された定数（例えば、領域の数が１０未満なら２、領域の数が２５未満なら３、領域の数が２５以上なら４）とする。確率密度関数ｐは、Ｋ個の正規分布の重なり合いとして表現される。確率密度関数ｐは、波の形状を決定する関数である。以下では、確率密度関数ｐを形状関数ｐと称する。
属性情報に応じたコンテンツ情報の生成には、種々の方法を用いることができる。
情報生成部１４は、例えば、属性情報として性別を用いる場合、男性の総数が女性の総数を超える場合は１、逆の場合は０．５を返す指示関数ｇを用いる。指示関数ｇによれば、女性が多い場合に、起伏が和らいだ穏やかな波が生成される。指示関数ｇは、波の穏やかさという、波の形状だけでは表現できない特性（表情）を決定する関数である。以下では、指示関数ｇを表情関数ｇと称する。
また、情報生成部１４は、例えば、属性情報として年齢層を用いる場合、年齢層を形状に対する係数に置き換える。情報生成部１４は、例えば、年齢層に応じた係数と平滑化関数ｓとを用いる。具体的には、情報生成部１４は、年齢層（０～２０歳、２０～４０歳、４０～６０歳、６０～歳）に対して、係数ａ＝｛１．２，２．０，１．５，１．０｝を割り振る。映像検出部１２により検出された領域ごとに、位置情報（図３）および年齢層（図４）が求められているため、情報生成部１４は、一定の面積を有する２次元ウィンドウを座標軸上でずらしながら、ウィンドウ内の係数平均ａを求める関数ｓａを定義する。関数ｓａによれば、年齢構成が多様になるほど、高低差が際立つ、うねるような波が生成される。関数ｓａは、波のうねりという、波の形状だけでは表現できない特性（表情）を決定する関数である。以下では、関数ｓａを表情関数ｓａと称する。
また、情報生成部１４は、例えば、属性情報として身長を用いる場合、映像検出部１２により検出された領域ごとに抽出された身長の絶対値に対して、表情関数ｓａと同様の関数ｓｔを定義する。関数ｓｔによれば、身長が高い人が多いほど、高い波が生成される。関数ｓｔは、波高という波の形状だけでは表現できない特性（表情）を決定する関数である。以下では、関数ｓｔを表情関数ｓｔと称する。
また、情報生成部１４は、例えば、属性情報として服装を用いる場合、一定範囲内の色平均を求める平滑化関数ｓｃを定義する。平滑化関数ｓｃによれば、暖かい季節には華やかな、寒い季節には穏やかな水面が生成される。
また、情報生成部１４は、例えば、属性情報として移動ベクトルを用いる場合、ウィンドウ内のベクトル長平均を求める平滑化関数ｓｖを定義する。平滑化関数ｓｖによれば、波の勢いを表現することができ、例えば、波しぶきなどの演出に利用することができる。
情報生成部１４は、形状関数ｐ、表情関数ｇ，ｓａ，ｓｔを用いて、以下の式（２）に基づき最終的な波ｗを決定し、コンテンツ情報としてクライアント端末２０に送信する。
ｗ＝ｐｇｓａｓｔ ・・・式（２）
また、情報生成部１４は、平滑化関数ｓｃおよび平滑化関数ｓｖをコンテンツ情報としてクライアント端末２０に送信する。平滑化関数ｓｃは、３次元映像を生成する際のテクスチャとして用いることができる。また、平滑化関数ｓｖは、波しぶき、波音および風などの演出に用いることができる。
次に、管理サーバ１０およびクライアント端末２０の動作について説明する。
図５は、管理サーバ１０の動作を示すフローチャートであり、管理サーバ１０におけるコンテンツ生成方法について説明するための図である。
映像入力部１１は、カメラ２により撮影された入力映像を取得する（ステップＳ１１）。
映像検出部１２は、映像入力部１１が取得した入力映像から、オブジェクトの位置情報を検出する（ステップＳ１２）。
属性抽出部１３は、映像入力部１１が取得した入力映像から、映像検出部１２により検出されたオブジェクトの属性情報を抽出する（ステップＳ１３）。
情報生成部１４は、映像検出部１２により検出された位置情報と、属性抽出部１３により抽出された属性情報とに対応するコンテンツ情報を生成する（ステップＳ１４）。
図６は、クライアント端末２０の動作を示すフローチャートであり、クライアント端末２０におけるコンテンツ提示方法について説明するための図である。
提示制御部２４は、管理サーバ１０により生成されたコンテンツ情報を取得する（ステップＳ２１）。すなわち、映像生成部２１、音響生成部２２および機器制御部２３はぞれぞれ、コンテンツ情報を取得する。
次に、提示制御部２４は、取得したコンテンツ情報に応じて、コンテンツ提示部３によるコンテンツの提示を制御する（ステップＳ２２）。具体的には、映像生成部２１は、コンテンツ情報に応じた映像を生成し、ヘッドマウンテッドディスプレイ３ａに表示させる。また、音響生成部２２は、コンテンツ情報に応じた音を生成し、ヘッドマウンテッドディスプレイ３ａに出力させる。また、機器制御部２３は、コンテンツ情報に応じて疑似サーフボード３ｂの動きを制御する。
このように本実施形態においては、管理サーバ１０は、入力映像を取得する映像入力部１１と、入力映像からオブジェクトの位置情報を検出する映像検出部１２と、入力映像からオブジェクトの属性情報を抽出する属性抽出部１３と、映像検出部１２が検出した位置情報と、属性抽出部１３が抽出した属性情報とに対応するコンテンツ情報を生成する情報生成部１４と、を備える。また、クライアント端末２０は、情報生成部１４により生成されたコンテンツ情報に応じて、コンテンツ提示部３によるコンテンツの提示を制御する提示制御部２４を備える。
オブジェクトの位置情報のみに基づく形状表現では表現することができない、提示対象の特性を示す情報を、オブジェクトの属性情報を用いて表現することができるので、より表現豊かな疑似体験用のコンテンツを提示することができる。
以上、管理サーバ１０（コンテンツ生成装置）およびクライアント端末２０（コンテンツ提示装置）について説明したが、管理サーバ１０（コンテンツ生成装置）およびクライアント端末２０（コンテンツ提示装置）として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、管理サーバ１０（コンテンツ生成装置）およびクライアント端末２０（コンテンツ提示装置）の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで、コンピュータを管理サーバ１０（コンテンツ生成装置）およびクライアント端末２０（コンテンツ提示装置）として動作させることができる。
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭあるいはＤＶＤ－ＲＯＭなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
１ 情報処理システム
１０ 管理サーバ（コンテンツ生成装置）
１１ 映像入力部
１２ 映像検出部
１３ 属性抽出部
１４ 情報生成部
２０ クライアント端末（コンテンツ提示装置）
２１ 映像生成部
２２ 音響生成部
２３ 機器制御部
２４ 提示制御部

Claims (9)

  1. ＶＲ技術を用いてコンテンツの提示に関するコンテンツ情報を生成するコンテンツ生成装置と、ＶＲ技術を用いてコンテンツの提示を制御するコンテンツ提示装置とを備える情報処理システムであって、
    前記コンテンツ生成装置は、
    入力映像を取得する映像入力部と、
    前記映像入力部が取得した入力映像から、第１オブジェクトの位置情報を検出する映像検出部と、
    前記映像入力部が取得した入力映像から、前記映像検出部が検出した第１オブジェクトの属性情報を抽出する属性抽出部と、
    前記映像検出部が検出した位置情報と、前記属性抽出部が抽出した属性情報とを用いて、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報を生成する情報生成部と、を備え、
    前記コンテンツ提示装置は、
    前記情報生成部により生成されたコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部によるコンテンツの提示を制御する提示制御部を備える、情報処理システム。
  2. ＶＲ技術を用いてコンテンツの提示に関するコンテンツ情報を生成するコンテンツ生成装置であって、
    入力映像を取得する映像入力部と、
    前記映像入力部が取得した入力映像から、第１オブジェクトの位置情報を検出する映像検出部と、
    前記映像入力部が取得した入力映像から、前記映像検出部が検出した第１オブジェクトの属性情報を抽出する属性抽出部と、
    前記映像検出部が検出した位置情報と、前記属性抽出部が抽出した属性情報とを用いて、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報を生成する情報生成部と、を備えるコンテンツ生成装置。
  3. 前記コンテンツ情報は、前記位置情報に基づいて決定された形状関数と、前記属性情報に基づいて決定された表情関数とを用いて生成される、請求項２に記載のコンテンツ生成装置。
  4. ＶＲ技術を用いてコンテンツの提示を制御するコンテンツ提示装置であって、
    入力映像に含まれる第１オブジェクトの位置情報と、前記オブジェクトの属性情報とを用いて生成された、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部によるコンテンツの提示を制御する提示制御部を備える、コンテンツ提示装置。
  5. ＶＲ技術を用いてコンテンツの提示に関するコンテンツ情報を生成するコンテンツ生成装置におけるコンテンツ生成方法であって、
    入力映像を取得するステップと、
    前記取得した入力映像から、第１オブジェクトの位置情報を検出するステップと、
    前記取得した入力映像から、前記検出した第１オブジェクトの属性情報を抽出するステップと、
    前記検出した位置情報と、前記抽出した属性情報とを用いて、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報を生成するステップと、を含むコンテンツ生成方法。
  6. 前記コンテンツ情報は、前記位置情報に基づいて決定された形状関数と、前記属性情報に基づいて決定された表情関数とを用いて生成される、請求項５に記載のコンテンツ生成方法。
  7. ＶＲ技術を用いてコンテンツの提示を制御するコンテンツ提示装置におけるコンテンツ提示方法であって、
    入力映像に含まれる第１オブジェクトの位置情報と、前記第１オブジェクトの属性情報とを用いて生成された、前記第１オブジェクトとは異なる第２オブジェクトの動きを示すコンテンツ情報に応じて、コンテンツを提示するコンテンツ提示部によるコンテンツの提示を制御するステップを含む、コンテンツ提示方法。
  8. コンピュータを、請求項２又は３に記載のコンテンツ生成装置として動作させるプログラム。
  9. コンピュータを、請求項４に記載のコンテンツ提示装置として動作させるプログラム。
JP2019070141A 2019-04-01 2019-04-01 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム Active JP7280495B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019070141A JP7280495B2 (ja) 2019-04-01 2019-04-01 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
PCT/JP2020/012447 WO2020203368A1 (ja) 2019-04-01 2020-03-19 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
US17/594,028 US11995861B2 (en) 2019-04-01 2020-03-19 Information processing system, content generation device, content presentation device, content generation method, content presentation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019070141A JP7280495B2 (ja) 2019-04-01 2019-04-01 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020170903A JP2020170903A (ja) 2020-10-15
JP7280495B2 true JP7280495B2 (ja) 2023-05-24

Family

ID=72668866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019070141A Active JP7280495B2 (ja) 2019-04-01 2019-04-01 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム

Country Status (3)

Country Link
US (1) US11995861B2 (ja)
JP (1) JP7280495B2 (ja)
WO (1) WO2020203368A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077394A (ja) 2007-09-05 2009-04-09 Sony United Kingdom Ltd 通信システム及び通信方法
WO2012039404A1 (ja) 2010-09-24 2012-03-29 株式会社Gnzo 映像ビットストリームの伝送システム
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP2015149558A (ja) 2014-02-05 2015-08-20 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2017139628A (ja) 2016-02-03 2017-08-10 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000357286A (ja) * 1999-06-15 2000-12-26 Nippon Telegr & Teleph Corp <Ntt> 車両検出装置、車両検出方法およびプログラムを記録する記録媒体
WO2014164901A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
US9693023B2 (en) * 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method
US10979613B2 (en) * 2016-10-17 2021-04-13 Dolby Laboratories Licensing Corporation Audio capture for aerial devices
US10380763B2 (en) * 2016-11-16 2019-08-13 Seiko Epson Corporation Hybrid corner and edge-based tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077394A (ja) 2007-09-05 2009-04-09 Sony United Kingdom Ltd 通信システム及び通信方法
WO2012039404A1 (ja) 2010-09-24 2012-03-29 株式会社Gnzo 映像ビットストリームの伝送システム
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP2015149558A (ja) 2014-02-05 2015-08-20 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2017139628A (ja) 2016-02-03 2017-08-10 キヤノン株式会社 通信装置、通信システム、通信制御方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US11995861B2 (en) 2024-05-28
WO2020203368A1 (ja) 2020-10-08
US20220148215A1 (en) 2022-05-12
JP2020170903A (ja) 2020-10-15

Similar Documents

Publication Publication Date Title
US11615598B2 (en) Mission driven virtual character for user interaction
Machidon et al. Virtual humans in cultural heritage ICT applications: A review
CN112334953B (zh) 用于设备定位的多重集成模型
US10529137B1 (en) Machine learning systems and methods for augmenting images
US8213680B2 (en) Proxy training data for human body tracking
KR101671900B1 (ko) 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US10354397B2 (en) Methods and apparatus for modeling deformations of an object
CN100534158C (zh) 产生虚拟图像和真实图像的合成图像
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
EP3072033B1 (en) Motion control of a virtual environment
JP2016218999A (ja) ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム
US20110148864A1 (en) Method and apparatus for creating high-quality user-customized 3d avatar
JP2021125258A5 (ja)
US11514638B2 (en) 3D asset generation from 2D images
CN113709543A (zh) 基于虚拟现实的视频处理方法、装置、电子设备和介质
JP2023532285A (ja) アモーダル中心予測のためのオブジェクト認識ニューラルネットワーク
KR102009400B1 (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
JP2024513001A (ja) 顔の表情を取り込んでメッシュデータを生成するための人工知能
KR20090007909A (ko) 캐리커처 비디오 생성 방법 및 장치
JP7280495B2 (ja) 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
JP2005523488A (ja) 自動３ｄモデリングシステム及び方法
Boukhris et al. 360 versus 3D Environments in VR Headsets for an Exploration Task
CN100474341C (zh) 自适应闭群漫画生成
US20220172431A1 (en) Simulated face generation for rendering 3-d models of people that do not exist
KR102568699B1 (ko) 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R150 Certificate of patent or registration of utility model

Ref document number: 7280495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150