JP7139681B2 - 制御プログラム、制御方法、制御装置および制御サーバ - Google Patents

制御プログラム、制御方法、制御装置および制御サーバ Download PDF

Info

Publication number
JP7139681B2
JP7139681B2 JP2018093379A JP2018093379A JP7139681B2 JP 7139681 B2 JP7139681 B2 JP 7139681B2 JP 2018093379 A JP2018093379 A JP 2018093379A JP 2018093379 A JP2018093379 A JP 2018093379A JP 7139681 B2 JP7139681 B2 JP 7139681B2
Authority
JP
Japan
Prior art keywords
information
control
server
devices
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018093379A
Other languages
English (en)
Other versions
JP2019201257A (ja
Inventor
琢馬 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018093379A priority Critical patent/JP7139681B2/ja
Priority to US16/373,982 priority patent/US20190349642A1/en
Priority to EP19167801.0A priority patent/EP3570187A1/en
Publication of JP2019201257A publication Critical patent/JP2019201257A/ja
Application granted granted Critical
Publication of JP7139681B2 publication Critical patent/JP7139681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、制御プログラム、制御方法、制御装置および制御サーバに関する。
映像コンテンツの表示を外部からリモコンで制御する手法が知られている。例えば、所定の単位で分割された映像コンテンツに対応するアイコンを指示して、当該アイコンに対応する映像コンテンツを再生させる手法が知られている。また、制御装置から、インターネットで接続された表示装置およびサーバに制御コマンドを送信し制御を行う手法が知られている。
特開2001-309269号公報 特開2004-357186号公報
しかしながら、従来の手法では、VR(Virtual Reality)デバイスに映像コンテンツを表示する際に、管理者が外部から映像コンテンツの表示状況を把握し、的確な制御を行うことが困難な場合がある。例えば、VRデバイスが利用者によって装着されている場合、管理者がコンテンツの表示状況を把握することは困難である。また、VRデバイスの利用者と管理者が離れている場合、表示状況を把握することはさらに困難である。
一つの側面では、管理者がVRデバイスの映像コンテンツの表示状況を把握し、当該VRデバイスを制御できる制御プログラム、制御方法、制御装置および制御サーバを提供することにある。
一つの態様では、制御プログラムは、1または複数のVR(Virtual Reality)デバイスに出力する映像情報、および前記映像情報に関連する画像情報を取得する処理をコンピュータに実行させる。制御プログラムは、前記VRデバイスへの制御を実行するサーバに対しての指示情報の入力を受け付け可能な画面に前記画像情報を表示する処理をコンピュータに実行させる。制御プログラムは、前記サーバに対しての指示情報を受け付けた場合、前記指示情報をサーバへ送信するとともに、前記指示情報に基づいて前記画像情報を変更する処理をコンピュータに実行させる。
管理者がVRデバイスの映像コンテンツの表示状況を把握し、当該VRデバイスを制御できる。
図1は、実施例の制御システムの構成の一例を示すブロック図である。 図2は、実施例の制御装置の構成の一例を示すブロック図である。 図3は、実施例のVRデバイスの構成の一例を示すブロック図である。 図4は、実施例の制御サーバの構成の一例を示すブロック図である。 図5は、コンテンツテーブルの一例を示す図である。 図6は、管理テーブルの一例を示す図である。 図7は、出力されるVRコンテンツの一例を示す図である。 図8は、制御装置による制御を説明するための図である。 図9は、実施例の制御処理の一例を示すシーケンス図である。 図10は、制御プログラムを実行するコンピュータの一例を示す図である。
以下、図面に基づいて、本願の開示する制御プログラム、制御方法、制御装置および制御サーバの実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。
図1は、実施例の制御システムの構成の一例を示すブロック図である。図1に示す制御システム1は、制御装置10と、VRデバイス20と、制御サーバ30とを有する。なお、制御システム1では、VRデバイス20の数は限定されず、任意の数のVRデバイス20を有するようにしてもよい。また、制御装置10、VRデバイス20および制御サーバ30は、ネットワークNを介して相互に通信可能に接続される。
ネットワークNには、有線または無線を問わず、インターネットを始め、LAN(Local Area Network)やVPN(Virtual Private Network)などの任意の種類の通信網を採用できる。また、ネットワークNを介する制御装置10とVRデバイス20と制御サーバ30との間のそれぞれの通信は、例えば、TLS(Transport Layer Security)/SSL(Secure Sockets Layer)等によって暗号化されてもよい。
制御システム1は、ユーザが装着したVRデバイス20の制御を行うためのシステムである。また、例えば、制御装置10はスマートフォンである。また、以降の説明では、制御装置10を操作し、VRデバイス20を制御するユーザを管理者と呼ぶ。
制御装置10は、1または複数のVRデバイス20の制御を行う。制御装置10は、制御サーバ30を介してVRデバイス20の制御を行うことができる。制御サーバ30は、VRデバイス20にVRコンテンツを提供することができる。例えば、VRコンテンツは画像データ等である。VRデバイス20は、ユーザがVRコンテンツを利用するタイミングで制御サーバ30からVRコンテンツを取得してもよいし、あらかじめ所定のタイミングでVRコンテンツを取得し記憶していてもよい。
ここで、制御装置10の構成について説明する。図2は、実施例の制御装置の構成の一例を示すブロック図である。図2に示すように、制御装置10は、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15とを有する。なお、制御装置10は、図2に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部11は、例えば、第3世代移動通信システム、LTE(Long Term Evolution)等の携帯電話回線および無線LAN等の通信モジュール等によって実現される。通信部11は、ネットワークNを介してVRデバイス20および制御サーバ30と有線または無線で接続され、VRデバイス20および制御サーバ30との間で情報の通信を司る通信インタフェースである。
入力部12は、各種の情報を制御装置10に入力するための入力装置である。入力部12は、キーボードやマウス、タッチパネル等に対応する。表示部13は、各種の情報を表示する表示装置である。表示部13は、制御部15から出力される情報を表示する。表示部13は、液晶ディスプレイやタッチパネル等の表示装置に対応する。
記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部14は、制御部15での処理に用いる情報を記憶する。
制御部15は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部15は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるようにしてもよい。制御部15は、取得部151と、生成部152と、表示制御部153と、変更部154とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
取得部151は、1または複数のVRデバイス20に出力する映像情報、および映像情報に関連する画像情報を取得する。例えば、映像情報はVRコンテンツである。また、例えば、画像情報は、VRコンテンツに対応するサムネイルである。取得部151は、制御サーバ30から映像情報および画像情報を取得することができる。
生成部152は、映像情報に基づいて、映像情報に対応するサムネイルを生成する。このとき、取得部151は、制御サーバ30から画像情報を取得する代わりに、生成部152によって生成されたサムネイルを画像情報として取得することができる。
表示制御部153は、表示部13を制御し、VRデバイス20への制御を実行する制御サーバ30に対しての指示情報の入力を受け付け可能な画面に画像情報を表示させる。表示制御部153は、複数のVRデバイス20のそれぞれに対応する画像情報を、選択可能に一覧表示させることができる。
また、表示制御部153は、画像情報とともに、画像情報に関連する映像情報のVRデバイス20への出力状況を示すステータスおよび出力時刻に関する情報を表示させることができる。また、表示制御部153は、映像情報のうちの、出力済みの映像情報に関する画像情報および出力中の映像情報に関するメニューの一覧を並べて表示させることができる。
変更部154は、制御サーバ30に対しての指示情報を受け付けた場合、指示情報を制御サーバ30へ送信するとともに、指示情報に基づいて画像情報を変更する。
また、変更部154は、画面に表示中の画像情報が変化した場合、当該変化に同期してVRデバイス20に出力中の映像情報を変更する制御を実行させる指示情報を制御サーバ30に送信することができる。変更部154は、さらに、VRデバイス20に出力中の映像情報が変化した場合、当該変化に基づいて画面に表示中の画像情報を変更することができる。
次に、VRデバイス20の構成について説明する。図3は、実施例のVRデバイスの構成の一例を示すブロック図である。図3に示すように、VRデバイス20は、通信部21と、入力部22と、表示部23と、記憶部24と、制御部25とを有する。なお、VRデバイス20は、図3に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部21は、例えば、第3世代移動通信システム、LTE(Long Term Evolution)等の携帯電話回線および無線LAN等の通信モジュール等によって実現される。通信部21は、ネットワークNを介して制御装置10および制御サーバ30と有線または無線で接続され、制御装置10および制御サーバ30との間で情報の通信を司る通信インタフェースである。
入力部22は、各種の情報をVRデバイス20に入力するための入力装置である。入力部22は、ジャイロセンサや近接センサ等を用いた入力デバイスに対応する。表示部23は、各種の情報を表示する表示装置である。表示部23は、制御部25から出力される情報を表示する。表示部23は、ヘッドマウントディスプレイ等の表示装置に対応する。
記憶部24は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部24は、コンテンツ情報241を有する。コンテンツ情報241は、VRコンテンツを提供するためのデータであり、画像やテキスト等が含まれる。
制御部25は、例えば、CPUやMPU等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部25は、例えば、ASICやFPGA等の集積回路により実現されるようにしてもよい。制御部25は、表示制御部251を有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部25の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
表示制御部251、表示部23を制御し、VRコンテンツを表示させる。このとき、表示制御部251は、制御装置10および制御サーバ30から直接的または間接的に指示を受け取り、処理を実行する。
さらに、制御サーバ30の構成について説明する。図4は、実施例の制御サーバの構成の一例を示すブロック図である。図4に示すように、制御サーバ30は、通信部31と、記憶部32と、制御部33とを有する。なお、制御サーバ30は、図4に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。
通信部31は、例えば、NIC等によって実現される。通信部31は、ネットワークNを介して制御装置10およびVRデバイス20と有線または無線で接続され、制御装置10およびVRデバイス20との間で情報の通信を司る通信インタフェースである。
記憶部32は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部32は、コンテンツテーブル321および管理テーブル322を有する。また、記憶部32は、制御部33での処理に用いる情報を記憶する。
コンテンツテーブル321は、VRコンテンツに関する情報を記憶する。図5は、コンテンツテーブルの一例を示す図である。図5に示すように、コンテンツテーブル321は、「種別」、「項目」、「ステージ」、「コンテンツID」といった項目を有する。
ここで、例として、VRコンテンツの各ステージは、種別および項目でまとめられているものとする。図5の例では、「住宅」という種別の「台所」という項目には、「損害箇所特定」、「設問・解答」、「解説」というステージごとのVRコンテンツが含まれる。さらに、各ステージのVRコンテンツには、コンテンツIDが設定されている。
なお、図5の例は、損害保険に関する業務の研修に使用されるVRコンテンツに関するものである。例えば、種別が「住宅」、項目が「台所」、ステージが「損害箇所特定」であるVRコンテンツは、災害等により損害を受けた住宅の台所の映像を表示するものである。また、例えば、種別が「住宅」、項目が「台所」、ステージが「設問・解答」であるVRコンテンツは、住宅の台所の損害に関する設問および設問に対する解答の選択肢等を表示し、解答の選択を受け付けるものである。
管理テーブル322は、ユーザおよびVRデバイス20を管理するための情報を記憶する。図6は、管理テーブルの一例を示す図である。図6に示すように、管理テーブル322は、「ユーザID」、「デバイスID」、「コンテンツID」、「ステータス」、「開始日時」、「終了日時」といった項目を有する。
例えば、図6の1行目は、ユーザ「U101」が、VRデバイス「D101」を使用して、VRコンテンツ「C101」を、「2018/4/16 11:00:00」から「2018/4/16 11:10:00」の間に閲覧したことを示している。
また、例えば、図6の3行目は、ユーザ「U101」が、VRデバイス「D101」を使用して、VRコンテンツ「C112」を、「2018/4/16 11:35:00」から閲覧中であることを示している。
図4の説明に戻って、制御部33は、例えば、CPUやMPU等によって、内部の記憶装置に記憶されているプログラムがRAMを作業領域として実行されることにより実現される。また、制御部33は、例えば、ASICやFPGA等の集積回路により実現されるようにしてもよい。制御部33は、提供部331と、管理部332と、取得部333と、VR制御部334とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部33の内部構成は、図4に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
提供部331は、1または複数のVRデバイス20に出力する映像情報を制御装置10に提供する。また、提供部331は、VRデバイス20に映像情報を提供することができる。
管理部332は、VRデバイス20およびVRデバイス20のユーザの管理を行う。具体的には、管理部332は、ユーザのVRデバイス20およびVRコンテンツの利用状況に応じて管理テーブル322を更新する。
取得部333は、映像情報に関連する画像情報を表示した制御装置10の画面に対して入力された指示情報を取得する。VR制御部334は、指示情報に基づいてVRデバイスへの制御を実行する。
ここで、制御装置10によるVRデバイス20の制御について説明する。まず、図7を用いて、VRデバイス20に出力されるVRコンテンツの遷移について説明する。図7は、出力されるVRコンテンツの一例を示す図である。なお、本実施形態では、例として、図5に示すVRコンテンツのうち、種別が「住宅」であるVRコンテンツが出力されるものとする。
なお、VRデバイス20は、図7で説明する画面の他に、QRコード(登録商標)の読み取り画面を表示することができる。そして、制御装置10は、当該読み取り画面を事前に読み取っておくことで、1または複数のVRデバイス20と紐付けられる。具体的には、制御装置10はQRコードによってVRデバイス20を識別し、識別情報を制御サーバ30の管理テーブル322に登録する。
図7に示すように、まず、VRデバイス20にはスタート画面が表示される。また、VRデバイス20は、スタート画面を表示中に特定の操作を受け付けた場合、チュートリアル画面を表示してもよい。
また、VRデバイス20は、スタート画面から、「台所」、「トイレ」、「浴室」、「和室」、「屋根」といった各項目の「損害箇所特定」ステージのVRコンテンツを表示する。さらに、VRデバイス20は、各項目の「設問・解答」ステージおよび「解説」ステージのVRコンテンツを表示する。
次に、図8を用いて制御装置10からVRデバイス20を制御する方法について説明する。図8は、制御装置による制御を説明するための図である。図8に示すように、制御装置10には、各VRコンテンツに対応するサムネイルが選択可能に一覧表示される。また、制御装置10には、各VRコンテンツの再生を開始した日時が表示される。
また、図8に示すように、制御装置10は、画面の情報に閲覧済みのVRコンテンツに対応するサムネイルを表示し、画面の下方に未閲覧のVRコンテンツに対応するサムネイルを表示することができる。
図8のボタン10aは、VRコンテンツを再生するためのボタンである。制御装置10に表示されているボタン10aが押下されると、VRデバイス20において対応するVRコンテンツの再生が開始される。また、ボタン10cは、再生中のVRコンテンツを停止するためのボタンである。制御装置10に表示されているボタン10cが押下されると、VRデバイス20において再生中のVRコンテンツは停止される。
アイコン10bは、閲覧済みであることを示すものである。また、アイコン10dは、未閲覧であることを示すものである。また、制御装置10に表示される各アイコンは、制御サーバ30の管理テーブル322のステータスと連動している。
また、設問および解答の選択肢が表示され、ユーザが解答を選択するVRコンテンツの場合、ユーザに代わって管理者が制御装置10を介して解答を選択することができる。これにより、管理者は、操作に不慣れなユーザのサポートを行うことができる。
次に、実施例の制御システム1の動作について説明する。図9は、実施例の制御処理の一例を示すシーケンス図である。
図9に示すように、制御サーバ30は、制御装置10にVRコンテンツを提供する(ステップS1)。制御装置10は、制御サーバ30から提供されるVRコンテンツを取得する(ステップS2)。なお、VRコンテンツは、映像情報の一例である。また、制御装置10は、VRデバイス20で出力されるVRコンテンツの一部を取得してもよい。例えば、制御装置10は、VRデバイス20で出力されるVRコンテンツの場面ごとのサムネイルを取得してもよい。
次に、制御装置10は、VRコンテンツに対応するサムネイルを画面に表示する(ステップS3)。そして、制御装置10は、画面を介して指示情報を受け付け(ステップS4)、受け付けた指示情報を制御サーバ30に送信する(ステップS5)。例えば、指示情報は、再生および停止の指示を示す情報である。
制御サーバ30は、指示情報を基にVRデバイス20を制御する(ステップS6)。ここで、VRデバイス20は、制御サーバ30の制御に応じてVRコンテンツの出力を行う(ステップS7)。このとき、制御サーバ30は、VRデバイス20におけるVRコンテンツの閲覧状況を制御装置10に提供する(ステップS8)。
制御装置10は、制御サーバ30から閲覧状況を取得すると(ステップS9)、取得した閲覧状況に応じてサムネイルを画面に表示する。これにより、制御装置10は、VRデバイス20で出力中のVRコンテンツの変化に基づいて、サムネイルを変更することができる。
また、制御装置10は、再生開始を指示した時刻からの経過時間に応じてサムネイルを変化させていってもよい。これにより、閲覧状況を取得することなく、サムネイルをVRデバイス20で出力中のVRコンテンツに同期させることができる。
このように、制御装置10は、1または複数のVRデバイス20に出力する映像情報、および映像情報に関連する画像情報を取得する。また、制御装置10は、VRデバイス20への制御を実行する制御サーバ30に対しての指示情報の入力を受け付け可能な画面に画像情報を表示する。また、制御装置10は、制御サーバ30に対しての指示情報を受け付けた場合、指示情報を制御サーバ30へ送信するとともに、指示情報に基づいて画像情報を変更する。その結果、管理者がVRデバイスの映像コンテンツの表示状況を把握し、当該VRデバイスを制御できる。
例えば、制御装置10は、ステージの選択、再生や停止といったコンテンツ内の制御を行うことができるため、個別のユーザに合わせた的確な制御を行うことができる。例えば、管理者は、研修用のVRコンテンツについて、ユーザの理解度に合わせて再生および停止を行うことができる。また、管理者は、VRコンテンツを閲覧中のユーザが不快感を訴えた場合、VRコンテンツの出力を停止することができる。
また、制御装置10は、映像情報に基づいて映像情報に対応するサムネイルを生成する。また、制御装置10は、サムネイルを画像情報として取得する。その結果、管理者は、閲覧中のVRコンテンツの場面を直感的に把握することができる。
また、制御装置10は、複数のVRデバイス20のそれぞれに対応する画像情報を、選択可能に一覧表示する。その結果、管理者は、直感的な操作でVRデバイス20を制御することができる。
また、制御装置10は、画面に表示中の画像情報が変化した場合、当該変化に同期してVRデバイス20に出力中の映像情報を変更する制御を実行させる指示情報を制御サーバ30に送信する。その結果、管理者は、VRデバイス20を的確に制御することができる。
また、制御装置10は、VRデバイス20に出力中の映像情報が変化した場合、当該変化に基づいて画面に表示中の画像情報を変更する。その結果、管理者は、閲覧中のVRコンテンツの場面を直感的に把握することができる。
また、制御装置10は、画像情報とともに、画像情報に関連する映像情報のVRデバイス20への出力状況を示すステータスおよび出力時刻に関する情報を表示させる。その結果、管理者は、VRコンテンツの閲覧時間を把握することができる。
また、制御装置10は、映像情報のうちの、出力済みの映像情報に関する画像情報および出力中の映像情報に関するメニューの一覧を並べて表示させる。その結果、管理者は、VRコンテンツの閲覧状況を効率的に把握することができる。
なお、上記の実施例では、制御装置10が、制御サーバ30を介してVRデバイス20を制御することとしたが、これに限定されない。例えば、制御装置10は、制御サーバ30が備える各機能を備え、VRデバイス20を直接制御してもよい。
また、上記の実施例では、VRデバイス20がコンテンツ情報241を記憶していることとしたが、これに限定されない。例えば、VRデバイス20は、制御装置10又は制御サーバ30から提供されるVRコンテンツをリアルタイムで出力するようにしてもよい。
図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、制御装置10の取得部151と生成部152とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
さらに、各装置で行われる各種処理機能は、CPU(またはMPU、MCU(Micro Controller Unit)等のマイクロ・コンピュータ)上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、CPU(またはMPU、MCU等のマイクロ・コンピュータ)で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。
ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図10は、制御プログラムを実行するコンピュータの一例を示す図である。
図10に示すように、コンピュータ400は、各種演算処理を実行するCPU401と、データ入力を受け付ける入力装置402と、モニタ403とを有する。また、コンピュータ400は、記憶媒体からプログラム等を読み取る媒体読取装置404と、各種装置と接続するためのインタフェース装置405と、他の情報処理装置等と有線または無線により接続するための通信装置406とを有する。また、コンピュータ400は、各種情報を一時記憶するRAM407と、ハードディスク装置408とを有する。また、各装置401~408は、バス409に接続される。
ハードディスク装置408には、図2に示した取得部151、生成部152、表示制御部153および変更部154の各処理部と同様の機能を有する制御プログラムが記憶される。また、ハードディスク装置408には、記憶部14を実現するための各種データが記憶される。
入力装置402は、例えば、コンピュータ400の管理者から操作情報等の各種情報の入力を受け付ける。モニタ403は、例えば、コンピュータ400の管理者に対して出力画面等の各種画面を表示する。インタフェース装置405は、例えば印刷装置等が接続される。通信装置406は、例えば、図2に示した通信部11と同様の機能を有しネットワークN、VRデバイス20および制御サーバ30と接続され、各種情報をやりとりする。
CPU401は、ハードディスク装置408に記憶された各プログラムを読み出して、RAM407に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ400を図2に示した取得部151、生成部152、表示制御部153および変更部154として機能させることができる。
なお、上記の提供プログラムは、必ずしもハードディスク装置408に記憶されている必要はない。例えば、コンピュータ400が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ400が読み出して実行するようにしてもよい。コンピュータ400が読み取り可能な記憶媒体は、例えば、CD-ROMやDVD(Digital Versatile Disc)、USB(Universal Serial Bus)メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、LAN等に接続された装置にこの提供プログラムを記憶させておき、コンピュータ400がこれらから提供プログラムを読み出して実行するようにしてもよい。
1 制御システム
10 制御装置
20 VRデバイス
30 制御サーバ
11、21、31 通信部
12、22 入力部
13、23 表示部
14、24、32 記憶部
15、25、33 制御部
151 取得部
152 生成部
153、251 表示制御部
154 変更部
241 コンテンツ情報
321 コンテンツテーブル
322 管理テーブル
N ネットワーク

Claims (10)

  1. 1または複数のVR(Virtual Reality)デバイスに出力する映像情報、および前記映像情報に関連する画像情報を取得し、
    前記1または複数のVRデバイスへの制御を実行するサーバに対しての指示情報の入力を受け付け可能な画面に前記画像情報を表示し、
    前記映像情報が、選択肢が表示され、前記1または複数のVRデバイスのユーザが操作により選択するVRコンテンツである場合に、前記サーバに対しての指示情報に含む情報として、前記ユーザによる選択とは別に選択を受け付け、
    け付けた前記選択を含む前記指示情報をサーバへ送信するとともに、前記指示情報に基づく前記サーバの制御に応じた前記1または複数のVRデバイスの出力に対応する画像情報変更する、
    処理をコンピュータに実行させることを特徴とする制御プログラム。
  2. 前記映像情報に基づいて前記映像情報に対応するサムネイルを生成する処理をさらにコンピュータに指示し、
    前記取得する処理は、前記サムネイルを前記画像情報として取得することを特徴とする請求項1に記載の制御プログラム。
  3. 前記表示する処理は、前記複数のVRデバイスのそれぞれに対応する前記画像情報を、選択可能に一覧表示することを特徴とする請求項2に記載の制御プログラム。
  4. 前記変更する処理は、前記画面に表示中の前記画像情報が変化した場合、当該変化に同期して前記VRデバイスに出力中の映像情報を変更する制御を実行させる指示情報を前記サーバに送信することを特徴とする請求項1~3のいずれか1つに記載の制御プログラム。
  5. 前記変更する処理は、さらに、前記VRデバイスに出力中の映像情報が変化した場合、当該変化に基づいて前記画面に表示中の前記画像情報を変更することを特徴とする請求項4に記載の制御プログラム。
  6. 前記表示する処理は、前記画像情報とともに、前記画像情報に関連する前記映像情報の前記VRデバイスへの出力状況を示すステータスおよび出力時刻に関する情報を表示することを特徴とする請求項1~5のいずれか1つに記載の制御プログラム。
  7. 前記表示する処理は、前記映像情報のうちの、出力済みの映像情報に関する画像情報および出力中の映像情報に関するメニューの一覧を並べて表示することを特徴とする請求項1~6のいずれか1つに記載の制御プログラム。
  8. 1または複数のVR(Virtual Reality)デバイスに出力する映像情報、および前記映像情報に関連する画像情報を取得し、
    前記1または複数のVRデバイスへの制御を実行するサーバに対しての指示情報の入力を受け付け可能な画面に前記画像情報を表示し、
    前記映像情報が、選択肢が表示され、前記1または複数のVRデバイスのユーザが操作により選択するVRコンテンツである場合に、前記サーバに対しての指示情報に含む情報として、前記ユーザによる選択とは別に選択を受け付け、
    け付けた前記選択を含む前記指示情報をサーバへ送信するとともに、前記指示情報に基づく前記サーバの制御に応じた前記1または複数のVRデバイスの出力に対応する前記画像情報変更する、
    処理をコンピュータが実行することを特徴とする制御方法。
  9. 1または複数のVR(Virtual Reality)デバイスに出力する映像情報、および前記映像情報に関連する画像情報を取得する取得部と、
    前記1または複数のVRデバイスへの制御を実行するサーバに対しての指示情報の入力を受け付け可能な画面に前記画像情報を表示する表示制御部と、
    前記映像情報が、選択肢が表示され、前記1または複数のVRデバイスのユーザが操作により選択するVRコンテンツである場合に、前記サーバに対しての指示情報に含む情報として、前記ユーザによる選択とは別に選択を受け付ける受付部と、
    け付けた前記選択を含む前記指示情報をサーバへ送信するとともに、前記指示情報に基づく前記サーバの制御に応じた前記1または複数のVRデバイスの出力に対応する前記画像情報変更する変更部と、
    を有することを特徴とする制御装置。
  10. 1または複数のVR(Virtual Reality)デバイスに出力する映像情報を制御装置に提供する提供部と、
    前記映像情報が、選択肢が表示され、前記1または複数のVRデバイスのユーザが操作により選択するVRコンテンツである場合に、前記映像情報に関連する画像情報を表示した前記制御装置の画面に対して入力された、前記ユーザによる選択とは別に受け付けた選択を含む指示情報を取得する取得部と、
    前記指示情報に基づいて前記1または複数のVRデバイスへの制御を実行するVR制御部と、
    を有することを特徴とする制御サーバ。
JP2018093379A 2018-05-14 2018-05-14 制御プログラム、制御方法、制御装置および制御サーバ Active JP7139681B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018093379A JP7139681B2 (ja) 2018-05-14 2018-05-14 制御プログラム、制御方法、制御装置および制御サーバ
US16/373,982 US20190349642A1 (en) 2018-05-14 2019-04-03 Display control apparatus, display control method, and display control server
EP19167801.0A EP3570187A1 (en) 2018-05-14 2019-04-08 Display control apparatus, display control method, and display control server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018093379A JP7139681B2 (ja) 2018-05-14 2018-05-14 制御プログラム、制御方法、制御装置および制御サーバ

Publications (2)

Publication Number Publication Date
JP2019201257A JP2019201257A (ja) 2019-11-21
JP7139681B2 true JP7139681B2 (ja) 2022-09-21

Family

ID=66323660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018093379A Active JP7139681B2 (ja) 2018-05-14 2018-05-14 制御プログラム、制御方法、制御装置および制御サーバ

Country Status (3)

Country Link
US (1) US20190349642A1 (ja)
EP (1) EP3570187A1 (ja)
JP (1) JP7139681B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393171B2 (en) * 2020-07-21 2022-07-19 International Business Machines Corporation Mobile device based VR content control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357186A (ja) 2003-05-30 2004-12-16 Toshiba Corp 情報処理装置、情報処理方法
JP2017041780A (ja) 2015-08-20 2017-02-23 株式会社 ディー・エヌ・エー 動画を特定の視野で表示するシステム、方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4587416B2 (ja) 2000-04-25 2010-11-24 富士通株式会社 デジタル映像コンテンツ閲覧装置及び方法
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
KR101527038B1 (ko) * 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
CN107803022A (zh) * 2017-11-22 2018-03-16 广州中国科学院先进技术研究所 一种vr动感体验平台交互***及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357186A (ja) 2003-05-30 2004-12-16 Toshiba Corp 情報処理装置、情報処理方法
JP2017041780A (ja) 2015-08-20 2017-02-23 株式会社 ディー・エヌ・エー 動画を特定の視野で表示するシステム、方法、及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LiveSYNC [teaser],Finwe Ltd.,2017年03月01日,[令和4年1月25日検索], インターネット<https://www.youtube.com/watch?v=2yfopMgltTc>
LiveSYNC PRESENTATION SOLUTION,Finwe Ltd.,2018年05月13日,[令和4年1月25日検索], インターネット<https://web.archive.org/web/20180513003555/http://orion360.finwe.mobi:80/livesync/>
ビジネスの悩みを解決するNTTグループの最新ソリューションガイド,BUSINESS COMMUNICATION,第55巻 第3号,日本,株式会社ビジネスコミュニケーション社,2018年03月01日,pp.94-95

Also Published As

Publication number Publication date
JP2019201257A (ja) 2019-11-21
US20190349642A1 (en) 2019-11-14
EP3570187A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
US10956008B2 (en) Automatic home screen determination based on display device
CN102033697B (zh) 终端设备、服务器设备、显示控制方法及程序
JP5623111B2 (ja) 携帯情報処理装置
JP5471453B2 (ja) 携帯情報処理装置
WO2012169157A1 (ja) 被サポート装置、サポート装置、機器間ガイドシステム、記録媒体、及び集積回路
JP2009105724A (ja) 画像データサーバ
US9953392B2 (en) Multimedia system and associated methods
US20120170904A1 (en) Operation assistance apparatus and operation assistance method
JP2021535656A (ja) ビデオ処理方法、装置、デバイスおよびコンピュータプログラム
KR20130072247A (ko) 텔레비전 디스플레이의 원격 제어
JP2017192073A (ja) 表示制御方法、端末、及びプログラム
US8898449B2 (en) Closed network presentation
JP7139681B2 (ja) 制御プログラム、制御方法、制御装置および制御サーバ
CN114339123A (zh) 视频会议交互方法和相关设备
JP6922170B2 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2018005893A (ja) 動画を記録するためのプログラム、システム、及び方法
JP2013205773A (ja) 表示システム、画像生成装置及びコンピュータプログラム
EP3639224B1 (en) Method and system for streaming data over a network
JP2011002836A (ja) ディスプレイ装置及びそのディスプレイ方法
JP2016197285A (ja) 会議管理装置、会議管理方法及び会議管理プログラム
JP2020095706A (ja) コンテンツ管理サーバ、情報共用システム、通信方法、及びプログラム
JP2019090848A (ja) 投影装置及びその制御方法、プログラム、並びに投影システム
JP6141495B1 (ja) 動画を記録するためのプログラム、システム、及び方法
JP2006338291A (ja) 電子機器およびアクセス管理用プログラム
JP6463949B2 (ja) ユーザ端末及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R150 Certificate of patent or registration of utility model

Ref document number: 7139681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150