JP2020010318A - 一群のデバイスにより視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法およびシステム - Google Patents
一群のデバイスにより視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法およびシステム Download PDFInfo
- Publication number
- JP2020010318A JP2020010318A JP2019097326A JP2019097326A JP2020010318A JP 2020010318 A JP2020010318 A JP 2020010318A JP 2019097326 A JP2019097326 A JP 2019097326A JP 2019097326 A JP2019097326 A JP 2019097326A JP 2020010318 A JP2020010318 A JP 2020010318A
- Authority
- JP
- Japan
- Prior art keywords
- devices
- group
- content
- visual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2356/00—Detection of the display position w.r.t. other display screens
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Stereophonic System (AREA)
Abstract
Description
(a)位置情報を要求しているモバイルデバイス2、3、4、5が、他の参加しているデバイスと共に1つまたは複数の記録された画像を共有し、それらのデバイスのサブセット上で位置が算出され、位置情報が返送されるか、または、
(b)モバイルデバイス2、3、4、5が、それらに記録されている画像および位置情報を、位置情報を要求しているデバイスと共有し、位置を要求しているモバイルデバイス2、3、4、5上で計算が実行される。
Claims (25)
- デバイスの群(1)によって視覚データ及び又はオーディオデータを同期的に再生するための方法であって、
− 前記群(1)の前記デバイスの各々の空間的位置を決定するステップと、
− 前記視覚コンテンツ及び又はオーディオコンテンツを部分コンテンツに分割するステップであって、部分コンテンツのそれぞれは、前記デバイスの前記空間的位置に基づいて、前記群(1)の1つのデバイスによって再生されるように専用化されたものである、ステップと、
− 前記専用化された部分コンテンツを、タイムスタンプと共に、それらに関連付けられたデバイスに送信するステップと、
− 前記送信された部分をデバイスの前記群(1)によって共通して同期的に再生するステップと含む、
方法。 - デバイスが群(1)に参入するとき又は群(1)から離脱するときに必ず、前記視覚コンテンツ及び又はオーディオコンテンツを分割する前記ステップが繰り返し実行されることを特徴とする、請求項1に記載の方法。
- 前記視覚コンテンツ及び又はオーディオコンテンツは、画像、ビデオ、録音、3次元物体ファイル、または仮想3次元空間のうちの1つであることを特徴とする、請求項1または2に記載の方法。
- 前記群(1)の前記デバイスの各々の前記空間的位置の前記決定は、前記デバイスのカメラによって撮影された画像に基づいて実行されることを特徴とする、請求項1から3のいずれか一項に記載の方法。
- 前記デバイスのカメラによって撮影された前記画像は、既知の位置を持つ1つまたは複数のマーカーを含んでおり、前記空間的位置の前記決定は、前記画像内の前記マーカーに基づいて実行されることを特徴とする、請求項4に記載の方法。
- 位置決定のために画像を撮影する各デバイスは、それらの画像を中央プロセッサに送信し、前記中央プロセッサは、前記デバイスの前記空間的位置を計算して、位置情報を前記デバイスに返送することを特徴とする、請求項4または5に記載の方法。
- 前記空間的位置の前記決定は、既知の位置を持つビーコンノードから放出されるビーコンに基づいて実行されることを特徴とする、請求項1から6のいずれか一項に記載の方法。
- 前記空間的位置の最初の決定が行われた後に、前記デバイスの慣性測定装置(IMU)によって記録されたデータに基づいて前記空間的位置の更新及び又は改良が実行されることを特徴とする、請求項4から7のいずれか一項に記載の方法。
- 1つの専用デバイスが、内蔵カメラによって少なくとも1つの画像を記録して局所座標系を登録し、前記少なくとも1つの画像は、それぞれが自身の内蔵カメラによって撮影した画像を自身で記録する前記群の他のデバイスと共有され、前記他のデバイスの各々は、前記受信された画像、前記受信された局所座標系、および前記自身で記録した画像に基づいてその空間的位置を算出し、その空間的位置を前記専用デバイスへ送信する、ことを特徴とする、請求項1から8のいずれか一項に記載の方法。
- 前記デバイスの内蔵カメラによって撮影された画像に基づく前記デバイスの空間的位置の前記決定は、8点アルゴリズム、5点アルゴリズム、RANSAC、バンドル調整、およびこれらの組み合わせ、のうちの少なくとも1つを適用することによる、基本行列及び又は基礎行列の計算に基づく、ことを特徴とする、請求項4から9のいずれか一項に記載の方法。
- 前記デバイスの内蔵カメラによって撮影された画像に基づく前記デバイスの空間的位置の前記決定は、Structure from Motionアルゴリズムまたは多視点幾何アルゴリズムの計算に基づくことを特徴とする、請求項4から10のいずれか一項に記載の方法。
- 前記群(1)の前記デバイスの分布が解析され、前記視覚コンテンツの前記分割は、再生される前記視覚コンテンツの少なくとも1つの特徴が最適化されるように、前記分布にマッピングされることを特徴とする、請求項1から11のいずれか一項に記載の方法。
- 前記視覚コンテンツの局所構造の周波数、明度、輝度、および色のうちの少なくとも1つに基づいて、前記視覚コンテンツの前記特徴が計算されることを特徴とする、請求項12に記載の方法。
- 前記視覚コンテンツの前記特徴は、前記視覚コンテンツの局所構造の周波数、明度、輝度、または色のうちの1つまたは複数のヒストグラムまたはクラスターモデルに基づいて計算され、前記最適化は、クラスターまたはヒストグラムの類似性について実行されることを特徴とする、請求項12または13に記載の方法。
- 前記クラスターまたはヒストグラムの類似性は、Earth Mover’s Distanceまたはユークリッド距離に基づいて算出されることを特徴とする、請求項14に記載の方法。
- クラスターまたはヒストグラムの類似性の改善をもたらす前記デバイスの空間的位置に向かう方向に関する情報が、前記群の前記デバイスに送信されることを特徴とする、請求項14または15に記載の方法。
- 前記群(1)の前記デバイスにまたがって広がる仮想表示領域(7)が決定され、前記仮想表示領域内(7)の前記デバイスの前記位置および前記デバイスのサイズに基づいて、前記視覚コンテンツが分割されることを特徴とする、請求項1から16のいずれか一項に記載の方法。
- 前記群(1)の前記デバイスにまたがって広がる仮想表示領域(7)が決定され、前記仮想表示領域内(7)の前記デバイスの前記位置に基づいて、前記オーディオコンテンツが分割されることを特徴とする、請求項1から17のいずれか一項に記載の方法。
- 前記オーディオコンテンツは音楽であり、前記オーディオコンテンツの各部分が1つの楽器に対応することを特徴とする、請求項18に記載の方法。
- 前記オーディオコンテンツの部分は、前記群(1)の前記デバイス全体によってオーディオビーム形成または波動場合成が実現されるように、個別に処理されることを特徴とする、請求項1から19のいずれか一項に記載の方法。
- 前記群(1)の前記デバイスにまたがって広がる仮想表示領域(7)は、凸包アルゴリズムを使用して算出される角点によって決定されることを特徴とする、請求項1から20のいずれか一項に記載の方法。
- 前記部分コンテンツは、すべて前記群(1)の前記デバイスの各々に送信され、前記部分コンテンツのそれぞれには、関連付けられたデバイスを識別できるようにするための情報が付加され、各デバイスはその専用化された部分コンテンツを再生する、
ことを特徴とする、請求項1から21のいずれか一項に記載の方法。 - 再生の同期は、ネットワークタイムプロトコルに基づく、
ことを特徴とする、請求項1から22のいずれか一項に記載の方法。 - 視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するためのシステムであって、前記システムは、デバイスの群および前記デバイスによって共通して使用されるプロセッサを備えており、前記デバイスおよびプロセッサは、請求項1から23のいずれか一項の前記方法のステップを実行するように構成されており、前記プロセッサは前記分割を実行するよう構成されている、システム。
- 前記共通して使用されるプロセッサは、前記群(1)の前記デバイスのうちの1つに含まれる、
ことを特徴とする、請求項24に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18174573.8 | 2018-05-28 | ||
EP18174573.8A EP3576417B1 (en) | 2018-05-28 | 2018-05-28 | Method and system for reproducing visual and/or audio content synchronously by a group of devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020010318A true JP2020010318A (ja) | 2020-01-16 |
JP7069085B2 JP7069085B2 (ja) | 2022-05-17 |
Family
ID=62455372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097326A Active JP7069085B2 (ja) | 2018-05-28 | 2019-05-24 | 一群のデバイスにより視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法およびシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10809960B2 (ja) |
EP (1) | EP3576417B1 (ja) |
JP (1) | JP7069085B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11863622B2 (en) * | 2017-02-07 | 2024-01-02 | Drumwave Inc. | Cross-device data distribution with modular architecture |
US11550532B1 (en) * | 2021-08-16 | 2023-01-10 | Honda Motor Co., Ltd | Modular display assembly for vehicles |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001022936A (ja) * | 1999-07-08 | 2001-01-26 | Fujitsu Ltd | 3次元形状生成装置 |
JP2005099064A (ja) * | 2002-09-05 | 2005-04-14 | Sony Computer Entertainment Inc | 表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置 |
JP2010097491A (ja) * | 2008-10-17 | 2010-04-30 | Pfu Ltd | 情報処理装置、方法およびプログラム |
JP2012103888A (ja) * | 2010-11-10 | 2012-05-31 | Nec Casio Mobile Communications Ltd | 仮想空間共有システム、携帯端末、及び仮想空間共有方法 |
JP2012137581A (ja) * | 2010-12-27 | 2012-07-19 | Canon Marketing Japan Inc | 画像表示制御サーバ |
JP2012178064A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム |
JP2012252519A (ja) * | 2011-06-02 | 2012-12-20 | Nippon Telegr & Teleph Corp <Ntt> | 分類システム及び分類方法 |
US20140302773A1 (en) * | 2013-04-05 | 2014-10-09 | Nokia Corporation | Method and apparatus for creating a multi-device media presentation |
JP2015099346A (ja) * | 2013-11-19 | 2015-05-28 | 韓國電子通信研究院Electronics and Telecommunications Research Institute | マルチスクリーンディスプレイシステム及びこのための映像信号補正方法 |
JP2017130146A (ja) * | 2016-01-22 | 2017-07-27 | キヤノン株式会社 | 画像管理装置、画像管理方法及びプログラム |
JP2017212731A (ja) * | 2016-05-24 | 2017-11-30 | 日本放送協会 | 音響処理装置、音響処理方法およびプログラム |
JP2018503165A (ja) * | 2014-12-04 | 2018-02-01 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 複合現実の可視化および方法 |
WO2018055860A1 (ja) * | 2016-09-20 | 2018-03-29 | ソニー株式会社 | 情報処理装置と情報処理方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8160400B2 (en) | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
US9417691B2 (en) | 2010-03-26 | 2016-08-16 | Nokia Technologies Oy | Method and apparatus for ad-hoc peer-to-peer augmented reality environment |
US20120300020A1 (en) | 2011-05-27 | 2012-11-29 | Qualcomm Incorporated | Real-time self-localization from panoramic images |
US9324151B2 (en) | 2011-12-08 | 2016-04-26 | Cornell University | System and methods for world-scale camera pose estimation |
US9600220B2 (en) * | 2013-02-18 | 2017-03-21 | Disney Enterprises, Inc. | Multi-device display configuration |
WO2016155767A1 (en) * | 2015-03-30 | 2016-10-06 | Siemens Aktiengesellschaft | Method and system for determining an orientation of a mobile device |
-
2018
- 2018-05-28 EP EP18174573.8A patent/EP3576417B1/en active Active
-
2019
- 2019-05-24 JP JP2019097326A patent/JP7069085B2/ja active Active
- 2019-05-28 US US16/423,385 patent/US10809960B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001022936A (ja) * | 1999-07-08 | 2001-01-26 | Fujitsu Ltd | 3次元形状生成装置 |
JP2005099064A (ja) * | 2002-09-05 | 2005-04-14 | Sony Computer Entertainment Inc | 表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置 |
JP2010097491A (ja) * | 2008-10-17 | 2010-04-30 | Pfu Ltd | 情報処理装置、方法およびプログラム |
JP2012103888A (ja) * | 2010-11-10 | 2012-05-31 | Nec Casio Mobile Communications Ltd | 仮想空間共有システム、携帯端末、及び仮想空間共有方法 |
JP2012137581A (ja) * | 2010-12-27 | 2012-07-19 | Canon Marketing Japan Inc | 画像表示制御サーバ |
JP2012178064A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 画像処理システム、画像処理方法、画像処理装置、および画像処理用プログラム |
JP2012252519A (ja) * | 2011-06-02 | 2012-12-20 | Nippon Telegr & Teleph Corp <Ntt> | 分類システム及び分類方法 |
US20140302773A1 (en) * | 2013-04-05 | 2014-10-09 | Nokia Corporation | Method and apparatus for creating a multi-device media presentation |
JP2015099346A (ja) * | 2013-11-19 | 2015-05-28 | 韓國電子通信研究院Electronics and Telecommunications Research Institute | マルチスクリーンディスプレイシステム及びこのための映像信号補正方法 |
JP2018503165A (ja) * | 2014-12-04 | 2018-02-01 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 複合現実の可視化および方法 |
JP2017130146A (ja) * | 2016-01-22 | 2017-07-27 | キヤノン株式会社 | 画像管理装置、画像管理方法及びプログラム |
JP2017212731A (ja) * | 2016-05-24 | 2017-11-30 | 日本放送協会 | 音響処理装置、音響処理方法およびプログラム |
WO2018055860A1 (ja) * | 2016-09-20 | 2018-03-29 | ソニー株式会社 | 情報処理装置と情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3576417B1 (en) | 2021-05-26 |
US10809960B2 (en) | 2020-10-20 |
JP7069085B2 (ja) | 2022-05-17 |
EP3576417A1 (en) | 2019-12-04 |
US20190361657A1 (en) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11210858B2 (en) | Systems and methods for enhancing augmented reality experience with dynamic output mapping | |
US11528576B2 (en) | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems | |
US9544706B1 (en) | Customized head-related transfer functions | |
EP3400705B1 (en) | Active speaker location detection | |
US9749738B1 (en) | Synthesizing audio corresponding to a virtual microphone location | |
US9128897B1 (en) | Method and mechanism for performing cloud image display and capture with mobile devices | |
US10438405B2 (en) | Detection of planar surfaces for use in scene modeling of a captured scene | |
JP7069085B2 (ja) | 一群のデバイスにより視覚コンテンツ及び又はオーディオコンテンツを同期的に再生するための方法およびシステム | |
JP6410769B2 (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
JP2019022151A (ja) | 情報処理装置、画像処理システム、制御方法、及び、プログラム | |
US10979806B1 (en) | Audio system having audio and ranging components | |
US11430178B2 (en) | Three-dimensional video processing | |
KR20200143293A (ko) | 실시간 다원 ar 방송을 위한 증강 현실 영상 생성 방법 및 장치 | |
JP2008203991A (ja) | 画像処理装置 | |
JP2019033497A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
JP2022097382A (ja) | 情報処理システム、情報処理方法および情報処理プログラム | |
CN117762374A (zh) | 一种音频播放方法、装置、虚拟现实设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7069085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |