JP2019525628A - 映像表示装置及びその動作方法 - Google Patents

映像表示装置及びその動作方法 Download PDF

Info

Publication number
JP2019525628A
JP2019525628A JP2019506662A JP2019506662A JP2019525628A JP 2019525628 A JP2019525628 A JP 2019525628A JP 2019506662 A JP2019506662 A JP 2019506662A JP 2019506662 A JP2019506662 A JP 2019506662A JP 2019525628 A JP2019525628 A JP 2019525628A
Authority
JP
Japan
Prior art keywords
angle
view
information
video
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019506662A
Other languages
English (en)
Other versions
JP6746772B2 (ja
Inventor
キム，ヨン−イル
ジャン，ジョン−ロク
キム，ジョン−レ
チェー，キル−ス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019525628A publication Critical patent/JP2019525628A/ja
Application granted granted Critical
Publication of JP6746772B2 publication Critical patent/JP6746772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

映像表示装置、及び映像表示装置の動作方法に係り、該映像表示装置は、ディスプレイと、１以上のインストラクションを保存するメモリと、メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、該プロセッサは、１以上のインストラクションを実行することにより、３６０°コンテンツ、及び３６０°コンテンツ再生のために選択された１以上の画角値を含む画角情報を獲得し、獲得された画角情報に含まれた１の画角値により、３６０°コンテンツをディスプレイするように、ディスプレイを制御する。

Description

本発明は、映像表示装置及びその動作方法に係り、さらに詳細には、３６０°映像を表示する映像表示装置及びその動作方法に関する。
映像表示装置は、ユーザが視聴することができる映像を表示する機能を備えた装置である。ユーザは、映像表示装置を介して放送を視聴することができる。映像表示装置は、放送局から送出される放送信号のうち、ユーザが選択した放送をディスプレイに表示する。現在、放送は、全世界的にアナログ放送からデジタル放送に転換されている。
該デジタル放送は、デジタル映像及びデジタル音声信号を送出する放送を意味する。該デジタル放送は、アナログ放送に比べ、外部ノイズに強く、データ損失が少なく、エラー訂正に有利であり、解像度が高く、鮮明な画面を提供する。また、該デジタル放送は、アナログ放送と異なり、双方向サービスが可能である。
また、最近では、デジタル放送機能に加え、多様なコンテンツを提供するスマートＴＶ（television）が提供されている。該スマートＴＶは、ユーザの選択によって受動的に動作するのではなく、ユーザの操作なしにも、ユーザ所望のところと分析して提供することを目標にする。
本発明が解決しようとする課題は、３６０°映像の再生に利用される画角情報を効果的に管理することができる映像表示装置、及び該映像表示装置の動作方法を提供するものである。
一実施形態による映像表示装置は、ディスプレイと、１以上のインストラクションを保存するメモリと、前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、３６０°コンテンツ、及び前記３６０°コンテンツ再生のために選択された複数の画角値を含む画角情報を獲得し、前記獲得された画角情報に含まれた前記複数の画角値により、前記３６０°コンテンツをディスプレイするように、前記ディスプレイを制御し、前記画角情報は、複数のエントリーを含み、各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む。
本発明により、ユーザが３６０°映像を見ながら、画角制御した情報を保存しておくことにより、ユーザは、次回の３６０°映像再生時、さらに画角制御する必要なしに、保存しておいた画角情報を持ってきて利用することにより、３６０°映像を便利に楽しむことができる。
また、本発明により、て画角情報を３６０°映像と別途のファイルにして管理することにより、３６０°映像の活用を増大させることができる。
一実施形態による、３６０°映像を表示する映像表示装置及び制御装置を示す図面である。 ３６０°映像の画角について説明するための図面である。 開示された一実施形態による、３６０°映像を表示する方法を示す図面である。 ３６０°映像に対応する複数の画角情報について説明するための参照図である。 一実施形態による、３６０°映像の画角情報を管理するために、１以上のサーバと、１人以上の端末とを含むシステムについて説明するための概略図である。 一実施形態による、３６０°映像に対応する画角情報を生成して保存する映像表示装置の構成を示すブロック図である。 一実施形態によって、３６０°映像に対応する画角情報を利用し、３６０°映像を再生する映像表示装置の構成を示すブロック図である。 一実施形態による、画角情報を生成し、かつ／または画角情報を利用し、３６０°映像を再生する映像表示装置の構成を示すブロック図である。 一実施形態による映像表示装置において、画角情報を生成する過程を示すフローチャートである。 ３６０°映像再生において、画角を調整する必要性について説明するための例の参照図である。 ３６０°映像の再生時、画角を調整して示す画面を示す図面である。 一実施形態による、３６０°映像を基に、画角メタファイルを生成する方法について説明するための参照図である。 一実施形態による、３６０°映像を基に生成された画角メタ情報を利用し、３６０°映像を再生する方法について説明するための参照図である。 一実施形態により、画角情報の保存位置について説明するための参照図である。 一実施形態により、画角情報の保存位置について説明するための参照図である。 一実施形態による画角情報の一例を示す図面である。 図１４に図示された画角情報の一例を示す図面である。 一実施形態による画角情報の一例を示す図面である。 一実施形態により、オブジェクト情報を含む画角情報の一例を示す図面である。 一実施形態により、画角情報を自動的に生成する例について説明するための参照図である。 一実施形態により、画角情報を手動で生成する例について説明するための参照図である。 一実施形態により、調整エントリーを含む画角情報の一例を示す図面である。 図２０に図示された調整エントリーについて説明するための例を示す図面である。 一実施形態による、生成された画角情報を利用し、３６０°コンテンツを再生する方法の過程を示すフローチャートである。 一実施形態により、画角情報が３６０°コンテンツと別途のファイルで構成される場合、活用の汎用性について説明するための参照図である。 一実施形態による、映像表示装置で３６０°コンテンツの画角情報を表示するためのユーザインターフェースの一例を示す図面である。 一実施形態により、１つの３６０°コンテンツについて生成されて維持される多様な形態の画角情報ファイルについて説明するための参照図である。 一実施形態による、３６０°コンテンツを提供するサーバから、画角情報の選択のために提供することができるユーザインターフェースの一例を示す図面である。 一実施形態により、３６０°コンテンツに複数のオブジェクトがあり、画角情報が複数のオブジェクトのうちいずれか１つのオブジェクトをトラッキングして生成した場合、オブジェクトの位置を画面に表示するための方法について説明するための参照図である。 複数のファイルで構成された３６０°コンテンツについて画角情報を管理するシナリオの概要について説明するための参照図である。 一例により、複数のファイルで構成された３６０°コンテンツについて説明するための参照図である。 図２９に図示されたファイル１，２，３を利用し、画角情報を生成する例について説明するための参照図である。 図３０に図示された動作によって生成された画角情報ファイル構造の一例を示す図面である。 図３１に図示されているような画角情報を利用し、３６０°コンテンツの再生について説明するための参照図である。
一実施形態は、３６０°イメージの再生に利用される画角（angle of view）情報を効果的に管理することができる映像表示装置、及び映像表示装置の動作方法を提供する。
一実施形態による映像表示装置は、ディスプレイと、１以上のインストラクションを保存するメモリと、前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、３６０°コンテンツ、及び前記３６０°コンテンツ再生のために選択された複数の画角値を含む画角情報を獲得し、前記獲得された画角情報に含まれた前記複数の画角値により、前記３６０°コンテンツをディスプレイするように、前記ディスプレイを制御し、前記画角情報は、複数のエントリーを含み、各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む。
一実施形態により、前記各エントリーは、ズームサイズ情報をさらに含んでもよい。
一実施形態により、該映像表示装置は、通信インターフェースをさらに含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、前記画角情報を外部コンピュータから受信するように、前記通信インターフェースを制御することができる。
一実施形態により、該画角情報は、前記３６０°コンテンツに対応する複数の画角情報のうち、既定の基準によって推薦された画角情報でもある。
一実施形態により、該プロセッサは、前記１以上のインストラクションを実行することにより、前記画角情報を、前記３６０°コンテンツのファイルから抽出するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルから獲得することができる。
一実施形態により、該映像表示装置は、ディスプレイと、１以上のインストラクションを保存するメモリと、前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、前記プロセッサは、前記１以上のインストラクションを実行することにより、３６０°コンテンツ再生中、前記３６０°コンテンツ再生のために選択された複数の画角値に対応するユーザ入力を受信し、前記３６０°コンテンツ再生のために選択された前記複数の画角値を含む画角情報を生成し、前記画角情報は、複数のエントリーを含み、各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含んでもよい。
一実施形態により、該プロセッサは、前記１以上のインストラクションを実行することにより、前記画角情報を、前記３６０°コンテンツのファイルに保存するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルに保存することができる。
一実施形態により、該プロセッサは、前記１以上のインストラクションを実行することにより、前記３６０°コンテンツを構成する複数のファイルのうち１以上のファイルに対応する３６０°映像再生のために選択された１以上の画角値に対応するユーザ入力を受信し、前記３６０°映像再生のために選択された、１以上のファイルに対応する１以上の画角値、及び各画角値に対応するファイル識別子を含む画角情報を生成することができる。
一実施形態による、該映像表示装置の動作方法は、３６０°コンテンツ、及び前記３６０°コンテンツ再生のために選択された複数の画角値を含む画角情報を獲得する動作と、前記獲得された画角情報に含まれた前記複数の画角値により、前記３６０°コンテンツをディスプレイする動作と、を含み、前記画角情報は、複数のエントリーを含み、各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む。
一実施形態による、映像表示装置の動作方法は、３６０°コンテンツ再生中、前記３６０°コンテンツ再生のために選択された複数の画角値に対応するユーザ入力を受信する動作と、前記３６０°コンテンツ再生のために選択された前記複数の画角値を含む画角情報を生成する動作と、を含み、前記画角情報は、複数のエントリーを含み、各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む。
一実施形態により、映像表示装置の動作方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が開示される。
本明細書で使用される用語について簡略に説明し、本発明について具体的に説明する。
本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り現在汎用される一般的な用語を選択したが、それは、当分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、あるいはハードウェアとソフトウェアとの結合によっても具現される。
以下では、添付された図面を参照し、実施形態について、本発明が属する技術分野で当業者が、容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまにことなる形態によっても具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて、類似した部分については、類似した図面符号を付した。
本明細書の実施形態において、「ユーザ」という用語は、制御装置を利用し、映像表示装置の機能または動作を制御する者を意味し、視聴者、管理者または設置技師を含んでもよい。
図１は、一実施形態による、３６０°映像を表示する映像表示装置及び制御装置を示す図面である。図１を参照すれば、一実施形態による映像表示装置１００は、３６０°映像を表示することができる。一実施形態による３６０°映像は、３６０°の画角を有する映像でもある。３６０°映像は、静止映像、動画またはパノラマ映像でもある。例えば、該３６０°映像は、少なくとも１台のカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。そのとき、撮影された複数の映像は、球（sphere）にもマッピングされ、マッピングされた映像の接点が連結（stitching）され、球形式の３６０°映像が生成される。また、球形式の３６０°映像は、他のデバイスに伝送したり保存したりするために、図１に図示されているように、平面形式の３６０°映像５０にも変換される。
一実施形態による映像表示装置１００は、平面形式の３６０°映像５０に、グラフィック処理を施し、平面形式の３６０°映像５０を球形式の３６０°映像７０に変換することができる。映像表示装置１００は、変換された球形式の３６０°映像において、ある画角に対応する一部領域８０を選択し、選択された領域８０に対応する映像を、ディスプレイ部に表示することができる。そのとき、映像表示装置１００は、選択された領域８０に対応する映像を、ディスプレイの解像度によってスケーリングして表示することができる。また、一実施形態による映像表示装置１００は、３６０°映像内において、一部領域８０の位置を示す三次元形態のインジケータ２０を表示することができる。３６０°映像の画角に係わる詳細な説明は、図２を参照して説明する。
一方、一実施形態による映像表示装置１００は、ＴＶ（television）でもあるが、それは、一実施形態に過ぎず、ディスプレイを含む電子装置によっても具現される。例えば、映像表示装置１００は、携帯電話、タブレットＰＣ（personal computer）、デジタルカメラ、カムコーダ、ノート型パソコン（laptop computer）、デスクトップ、電子書籍端末機、デジタル放送用端末機、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、ナビゲーション、ＭＰ３プレイヤ、着用型機器（wearable device）のような多様な電子装置によっても具現される。特に、一実施形態は、ＴＶにように、ディスプレイが大型であるディスプレイ装置において、容易に具現されるが、それに限定されるのではない。また、映像表示装置１００は、固定型または移動型でもあり、デジタル放送受信が可能なデジタル放送受信機でもある。
映像表示装置１００は、平面（flat）ディスプレイ装置だけではなく、曲率を有する画面である曲面（curved）ディスプレイ装置、または曲率を調整することができる可変型（flexible）ディスプレイ装置によっても具現される。映像表示装置１００の出力解像度、は例えば、ＨＤ（high definition）、full ＨＤ、ultra ＨＤ、またはultra ＨＤよりさらに鮮明な解像度を含んでもよい。
一方、映像表示装置は、制御装置３０によっても制御され、制御装置３０は、リモコンまたは携帯電話のように、映像表示装置１００を制御するための多様な形態の装置によっても具現される。
また、制御装置３０は、赤外線（infrared）またはブルートゥース（登録商標（Bluetooth））を含む近距離通信を利用し、映像表示装置１００を制御することができる。制御装置３０は、具備されたキー（ボタンを含む）、タッチパッド（touch pad）、ユーザ音声の受信が可能なマイク（図示せず）、及び制御装置３０のモーション認識が可能なセンサ（図示せず）のうち少なくとも一つを利用し、映像表示装置１００の機能を制御することができる。
一実施形態による制御装置３０は、４方向キー（または、４方向ボタン）を含んでもよい。該４方向キーは、３６０°映像内において、ディスプレイ部に表示される一部領域８０の位置を移動させるところにも利用される。
また、制御装置３０は、ポインティング装置でもある。例えば、制御装置３０は、特定キー入力を受信する場合、ポインティング装置として動作することができる。制御装置３０がポインティング装置として動作する場合、映像表示装置１００は、制御装置３０を上下左右に動かしたり、任意の方向に傾けたりするユーザ入力によっても制御される。制御装置３０のセンサを介して感知された制御装置３０の動きについての情報は、映像表示装置１００にも伝送される。映像表示装置１００は、制御装置３０の動きについての情報に基き、３６０°映像内において、ディスプレイ部に表示される一部領域８０を移動させることができる。
または、制御装置３０がタッチパッドを含む場合、該タッチパッド上で動くユーザの指のような被写体の変位値により、３６０°映像内において、ディスプレイ部に表示される一部領域８０の位置を移動させることができる。
図２は、３６０°映像の画角について説明するための図面である。
前述のように、３６０°映像は、少なくとも１台のカメラを利用し、３６０°方向に撮影された複数の映像に基づいて生成された映像でもある。そのとき、撮影された複数の映像は、球にもマッピングされ、マッピングされた映像の接点が連結（stitching）され、球形式の３６０°映像が生成される。
そして、３６０°映像は、３６０°の画角を有する映像を意味する。３６０°映像を球形式の映像２００で表現するとき、３６０°映像の画角は、ｘ軸座標とｙ軸座標とからも構成される。該ｘ軸座標は、球の中心を通る縦平面が、球の表面に沿って回転しながら形成される角度を示すことができる。該ｙ軸座標は、球の中心を通る横平面が、球の表面に沿って回転しながら形成される角度を示すことができる。例えば、該ｘ軸座標は、０°から３６０°の範囲を有することができる。例えば、該ｙ軸座標は、−９０°から９０°、または０°から１８０°の範囲を有することができる。
例えば、図２を参照すれば、球形式の映像２００において、球表面に位置する所定の地点２２１の画角（ｘ，ｙ）を（０°，０°）と設定するとき、地点２２２の画角は、（３０°，３０°）にもなる。
図３Ａは、開示された一実施形態による、３６０°映像を表示する方法を示す図面である。
ユーザは、３６０°映像において、所望角度に対応する映像を見るために、３６０°映像をナビゲーションすることができる。図３Ａを参照すれば、例えば、ユーザが、画角が０°に対応する領域３１１に対応する映像３２０を見ていて、さらに右側方向にある領域の映像を見るとき、ユーザは、制御装置３０を利用し、画角を調整するユーザ入力を選択することができる。例えば、ユーザが、画角を６０°に変更するユーザ入力を選択するとき、映像表示装置１００は、画角が６０°に対応する領域３１２に対応する領域３２１を表示することができる。
一実施形態により、ユーザは、制御装置３０の４方向キーを利用し、３６０°映像の画角を移動させることができる。例えば、４方向キーの左右方向キーを利用し、３６０°映像を左右方向に移動させることができる。例えば、４方向キーの上下方向キーを利用し、３６０°映像を上下方向に移動させることができる。
一実施形態により、ユーザは、加速度センサやジャイロスコープを含む制御装置３０を、上下左右、または任意の方向に動かすことにより、３６０°映像の画角を調整することができる。
一実施形態により、ユーザは、制御装置３０に設けられたタッチパッドに、ユーザの指をタッチさせながら動かす方向により、３６０°映像の画角を調整することができる。
一実施形態により、映像表示装置１００が、タッチセンシティブスクリーンで構成された場合、ユーザは、映像表示装置１００のタッチセンシティブスクリーン上でのユーザの指タッチ動きを利用し、３６０°映像の画角を調整することができる。
一実施形態により、ユーザは、制御装置３０の特定のキーやボタン、または制御装置３０を利用したジェスチャを介して、３６０°映像をズームインしたりズームアウトしたりすることができる。ズームイン入力に応答し、映像表示装置１００は、現在表示される領域を拡大させて表示することができる。ズームアウト入力に応答し、映像表示装置１００は、現在表示される領域を縮小させて表示することができる。一例により、ズームアウト程度が、既定の臨界値を超えれば、映像表示装置１００は、映像を球状に表示することができる。一例として、該ズームは、−４倍から４倍までの範囲を有することができる。
図３Ｂは、３６０°映像に対応する複数の画角情報について説明するための参照図である。
３６０°映像は、言葉そのもの通り、１時点において、３６０°全方位に係わる映像を有しているために、１方向で撮影した映像よりも、さらに多くの情報を有している。すなわち、特定時点において、ユーザが画角０°で見る映像と、画角９０°や画角１８０°で見る映像は、全く異なる。そのように、該３６０°映像は、各画角で提供することができるデータや情報が多いために、ユーザは、３６０°映像において、見ようとする領域を、画角を利用して選択することができる。例えば、何人かの歌手からなるグループのミュージックビデオが、３６０°映像からなる場合、ユーザは、何人かの歌手うち特定の１歌手Ａをフォーカスすることができる画角において、３６０°映像を鑑賞することを願う。従って、ユーザは、何人かの歌手のうち歌手Ａをフォーカスする画角に調整し、３６０°映像を鑑賞することができる。一方、他のユーザは、歌手Ｂをフォーカスする画角に調整し、３６０°映像を鑑賞することができる。
図３Ｂを参照すれば、ユーザは、３６０°ミュージックビデオを視聴するとき、画角を調整し、画角がＡ１において、３６０°映像を鑑賞していて、所定時点後、画角をＡ２に調整して鑑賞することができる。３６０°映像の開始から終了まで、ユーザが選択した画角は、Ａ１−Ａ２−Ａ３−Ａ４−Ａ５−Ａ６−Ａ７−Ａ８と示される。また、ユーザが、次に同一３６０°ミュージックビデオを視聴するときは、画角がＢ１である部分を鑑賞していて、所定時点後、画角をＢ２に調整することにより、結局３６０°映像の開始から終了まで、ユーザが選択した画角は、Ｂ１−Ｂ２−Ｂ３−Ｂ４−Ｂ５−Ｂ６−Ｂ７と示される。そのように、１つの３６０°映像の場合にも、ユーザが選択した画角によって見える映像は、全く異なる映像にもなり、また３６０°映像には、選択することができる画角が無数に多いために、１つの３６０°映像に基いて、画角により、無数に多くの映像が提供される。
ユーザは、自分が前に視聴した形態の画角情報、すなわち、Ａ１−Ａ２−Ａ３−Ａ４−Ａ５−Ａ６−Ａ７−Ａ８により、再び該３６０°ミュージックビデオ鑑賞を願うことができる。従って、本明細書に開示された実施形態は、そのようにユーザが選択した画角を、画角情報として保存して管理するものである。そのように画角情報を管理すれば、ユーザは、３６０°映像を鑑賞するとき、再び自分で画角を調整する必要なしに、保存しておいた画角情報を読み取り、便利に３６０°映像を鑑賞することができる。
また、画角情報を別途に管理するために、ユーザは、１度作っておいた画角情報を編集することもできる。
また、１度生成された画角情報は、必ずしも初めて対象にした当該３６０°映像にのみ利用されるものではなく、他の３６０°映像にも利用される。例えば、５人の歌手からなるグループの３６０°ミュージックビデオ１において、センター位置にいる歌手をトラッキングする画角情報を生成した場合、該センター歌手をトラッキングする画角情報は、該グループの他のミュージックビデオ、すなわち、３６０°ミュージックビデオ２でも利用されることができる。すなわち、例えば、該センター歌手をトラッキングする画角情報は、該グループの全ての他の３６０°ミュージックビデオにも利用し、再生されるのである。
また、ユーザは、該画角情報を、他のユーザやネットワーク上に、伝達または配布することができる。同様に、ユーザは、他のユーザやネットワークを介して、すでに作られた画角情報を得ることができる。
また、３６０°コンテンツを提供するサービス提供者は、３６０°コンテンツと共にまたは別途に、３６０°コンテンツに対応する画角情報を制作し、それをユーザに提供することができる。従って、ユーザは、３６０°コンテンツを検索するだけではなく、３６０°コンテンツに対応して作られた複数の画角情報のうち、所望画角情報も、検索することができる。
前述のように、３６０°映像は、膨大な情報を有しているために、本実施形態による画角情報を別途に管理することにより、３６０°映像の膨大な情報を、体系的そして効果的に管理することができる。
図４は、一実施形態により、３６０°映像の画角情報を管理するために、１以上のサーバと、１人以上の端末とを含むシステム４００について説明するための概略図である。
図４を参照すれば、例えば、システム４００は、サーバ４１０，４２０、端末４３０，４４０，４５０，４６０、端末グループ４７０及びネットワーク４０５を含んでもよい。
サーバ４１０，４２０と、端末４３０，４４０，４５０，４６０、端末グループ４７０は、ネットワーク４０５を介して連結されることができる。
端末４３０，４４０，４５０，４６０、及び端末グループ４７０は、プロセッサとディスプレイとを具備し、３６０°映像を表示することができる、いかなる電子装置またはコンピュータ装置を含んでもよい。
一実施形態により、端末４３０，４４０，４５０，４６０及び端末グループ４７０は、３６０°映像を表示し、３６０°映像の画角を調整するユーザ入力により、１以上の画角値を含む画角情報を生成することができる。また、該端末は、生成された画角情報を保存し、追って、該３６０°映像を再生するとき、該３６０°映像について生成された画角情報を利用し、該３６０°映像を再生することができる。従って、ユーザは、３６０°映像を見ながら、所望の３６０°映像の移動方向を選択し、選択された移動方向をトラッキングする画角情報を生成し、それを保存しておくことにより、ユーザは、後に、３６０°映像を再び鑑賞するとき、手間を掛けて新たに画角を調整する必要なく、すでに作っておいた画角情報を利用し、３６０°映像を再生することにより、自分が願う方向の３６０°映像を便利に鑑賞することができる。
一実施形態により、端末４３０，４４０，４５０，４６０及び端末グループ４７０は、生成された画角情報を、容易に修正または編集することができる。
端末グループ４７０は、ＴＶ ４７１、ＰＣ ４７２、スマートフォン４７３を含んでもよい。例えば、ユーザが、ＰＣ ４７２を利用し、３６０°映像に対応する画角情報を生成して保存しておくことができる。そして、ユーザは、ＴＶ ４７１またはスマートフォン４７３から、該３６０°映像を再生するとき、ＰＣ ４７２を利用し、生成した画角情報を読み取り、該３６０°映像に対応する画角情報を利用し、３６０°映像を再生することができる。
一実施形態により、端末４３０，４４０，４５０，４６０及び端末グループ４７０は、生成された画角情報をネットワーク４０５を介して、他の端末に伝送したり、サーバ４１０，４２０に伝送したりすることができる。
一実施形態により、端末４３０，４４０，４５０，４６０及び端末グループ４７０は、もう作られた画角情報を、サーバ４１０または４２０から受信し、受信した画角情報を利用し、３６０°映像を再生することができる。
一実施形態により、サーバ４１０，４２０は、１以上の端末から、３６０°映像に対応する画角情報を収集することができる。サーバ４１０，４２０は、収集された画角情報を一定基準によって管理し、または順位を付けることができる。例えば、該サーバは、特定の３６０°ミュージックビデオについて作られた１以上の画角情報を収集して管理し、また端末からの要請がある場合、端末に、要請された画角情報を伝送することができる。該サーバは、３６０°映像を提供するサービス提供者のサーバでもある。該サーバは、３６０°映像と共に、画角情報を提供したり、３６０°映像と別途に、画角情報を提供したりすることができる。
そのように、図４に図示された画角情報管理システム４００によれば、今後需要が増大する３６０°映像コンテンツについて、画角情報を別途に生成して管理して流通させることにより、３６０°コンテンツを消費するユーザの多様な欲求を充足させることができる。
図５は、一実施形態による、３６０°映像に対応する画角情報を生成して保存する映像表示装置の構成を示すブロック図である。図５の映像表示装置１００ａは、図１の映像表示装置１００の一実施形態でもある。
図５を参照すれば、一実施形態による映像表示装置１００ａは、感知部１６０、制御部１３０、メモリ１２０及びディスプレイ部１１０を含んでもよい。
ディスプレイ部１１０は、制御部１１０で処理された映像信号、データ信号、ＯＳＤ（on-screen display）信号、制御信号などを変換し、駆動信号を生成する。ディスプレイ部１１０は、ＰＤＰ（plasma display panel）、ＬＣＤ（liquid crystal display）、ＯＬＥＤ（organic light emitting device）、フレキシブルディスプレイ（flexible display）などによっても具現され、また三次元ディスプレイ（３Ｄ display）によっても具現される。また、ディスプレイ部１１０は、タッチスクリーンで構成され、出力装置以外に、入力装置として使用されることも可能である。
一実施形態によるディスプレイ部１１０は、３６０°映像において、所定画角に対応する一部領域に対応する映像を表示することができる。また、該画角を調整するユーザ入力に応答して調整された画角に対応する映像を表示することができる。
感知部１６０は、ユーザ入力を感知し、感知された信号を制御部１３０に伝達することができる。また、感知部１６０は、制御装置３０から、電源オン／オフ、チャネル選択、チャネルアップ／ダウン、画面設定などのユーザ入力を感知することができる。また、一実施形態による感知部１６０は、３６０°映像において、ディスプレイ部１１０に表示される一部領域の位置を移動させるための入力、ディスプレイ部に表示される映像をズームインさせたりズームアウトさせたりするための入力、該３６０°映像において、特定位置の領域に対応する映像を表示させるための入力などを感知することができる。
制御部１３０は、映像信号を処理し、ディスプレイ部１１０に入力することができる。それにより、当該映像信号に対応する映像が、ディスプレイ部１１０に表示される。また、制御部１３０は、感知部１６０を介して感知されたユーザ命令または内部プログラムにより、映像表示装置１００ａを制御することができる。
例えば、一実施形態によれば、制御部１３０は、感知されたユーザ入力に対応し、該３６０°映像において、ディスプレイ部に表示される一部領域の位置を移動させ、移動された領域に対応する映像を表示するように、ディスプレイ部を制御することができる。
また、制御部１３０は、感知されたズームイン入力またはズームアウト入力に対応し、該３６０°映像において、ディスプレイ部１２０に表示される一部領域の範囲を縮小させたり拡大させたりすることができる。
一実施形態により、制御部１３０は、該３６０°映像再生のために、ユーザによって選択された１以上の画角値を含む画角情報を生成し、それをメモリ１２０に保存することができる。各画角値は、画角が適用される時間またはフレームに係わる情報、前記画角を示す方向情報とサイズ情報、及びズームサイズ情報を含んでもよい。
一実施形態により、制御部１３０は、メモリ１２０に保存された画角情報を利用し、画角情報に含まれた１以上の画角値に対応する３６０°映像を再生することができる。
一実施形態により、制御部１３０は、該画角情報を、前記３６０°コンテンツのファイルに保存するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルに保存することができる。
一実施形態により、該画角情報は、前記３６０°コンテンツに含まれたオブジェクトに対応し、前記画角情報は、前記オブジェクトを識別するための情報をさらに含んでもよい。
一実施形態により、制御部１３０は、３６０°コンテンツを構成する複数のファイルのうち１以上のファイルに対応する３６０°映像再生のために選択された１以上の画角値に対応するユーザ入力を受信し、前記３６０°映像再生のために選択された、１以上のファイルに対応する１以上の画角値、及び各画角値に対応するファイル識別子を含む画角情報を生成することができる。
メモリ１２０は、オペレーティングシステム、制御部１３０で処理されるデータ、制御部１３０で実行される１以上のインストラクションを含んでもよい。
特に、一実施形態によるメモリ１２０は、制御部１３０によって生成された、該３６０°映像再生のために選択された１以上の画角値を含む画角情報を保存することができる。
通信部１５０は、映像表示装置１００ａをして、異なる電子装置と通信させる。通信部１５０は、生成された画角情報、またはメモリ１２０に保存された画角情報を、ネットワークを介して外部に伝送することができる。
図６は、一実施形態による、３６０°映像に対応する画角情報を利用し、３６０°映像を再生する映像表示装置の構成を示すブロック図である。図６の映像表示装置１００ｂは、図１の映像表示装置１００の一実施形態でもある。
図６を参照すれば、一実施形態による映像表示装置１００ｂは、ディスプレイ部１１０、メモリ１２０、制御部１３０及び通信部１５０を含んでもよい。
ディスプレイ部１１０とメモリ１２０との機能は、図５と重複するので、説明を省略する。
通信部１５０は、サーバ６００の通信部６２０と通信を行うことができる。通信部１５０は、制御部１３０の制御により、サーバ６００に３６０°映像に対応する画角情報を要請し、そのような画角情報要請に応答し、サーバ６００から画角情報を受信することができる。
通信部１５０は、３６０°映像に対応する画角情報を、３６０°映像と共に受信するか、３６０°映像と別途に受信するか、あるいは３６０°映像は、映像表示装置１００ｂのメモリ１２０にすでに保存されている。
制御部１３０は、３６０°映像、及び前記３６０°映像再生のために選択された１以上の画角値を含む画角情報を獲得し、獲得された画角情報に含まれた前記１の画角値により、前記３６０°映像をディスプレイすることができる。各画角値は、画角が適用される時間またはフレームに係わる情報、前記画角を示す方向情報及び高さ情報、ならびにズームサイズ情報を含んでもよい。
制御部１３０は、画角情報を内部メモリから獲得するか、あるいは通信インターフェースを介してサーバから受信することができる。
制御部１３０は、画角情報を、前記３６０°コンテンツのファイルから抽出するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルから獲得することができる。
サーバ６００は、３６０°映像に対応する画角情報を提供することができる。サーバ６００は、制御部６１０、通信部６２０、メモリ６３０を含んでもよい。
通信部６２０は、映像表示装置１００ｂの画角情報要請に応答し、メモリ６３０に保存された画角情報を伝達することができる。また、通信部５２０は、映像表示装置１００ｂから画角情報を受信するか、あるいは他の端末装置から画角情報を受信することができる。
制御部６１０は、通信部６２０とメモリ６３０とを含み、サーバの構成要素全般を制御する。また、制御部６１０は、３６０°映像に対応する画角情報を管理することができる。
一例により、制御部６１０は、複数個の３６０°映像にそれぞれ対応する１以上の画角情報を管理することができる。１つの３６０°映像についても、複数個の画角情報が生成され、管理される。
一実施形態により、１つの３６０°映像について、複数の編集者または制作者によって生成された複数の画角情報が存在することができる。
一実施形態により、１つの３６０°映像に含まれた複数のオブジェクトそれぞれに対応する画角情報が存在することができる。例えば、５人の歌手からなるグループのミュージックビデオを含む３６０°映像の場合、各歌手をトラッキングするための画角情報がそれぞれ存在することができる。
一実施形態により、制御部６１０は、１つの３６０°映像についても生成される複数の画角情報を管理することができる。すなわち、制御部６１０は、１つの３６０°映像について選択することができる複数の画角情報を管理し、ユーザが複数の画角情報において所望する画角情報を選択するように管理することができる。
また、制御部６１０は、複数の画角情報に対するヒット数または人気度などをモニタリングすることにより、複数の画角情報のうち１以上をユーザに勧めることができる。
また、制御部６１０は、映像表示装置１００ｂから、３６０°映像に係わる画角情報サーチを要請された場合、メモリ６３０に保存されるか、あるいは連結された外部コンピュータに保存されたデータベースから、要請された３６０°映像に対応する画角情報を検索し、それを映像表示装置１００ｂに提供することができる。該画角情報サーチ要請は、３６０°映像の識別子を含み、または３６０°映像の一部キャプチャイメージを含んでもよい。該画角情報サーチ要請が３６０°映像の識別子を含む場合、制御部６１０は、３６０°映像の識別子を利用し、それに対応する画角情報をサーチすることができる。該画角情報サーチ要請が３６０°映像の一部キャプチャイメージを含む場合、制御部６１０は、多様なイメージ分析アルゴリズムを利用し、当該キャプチャイメージが含まれた３６０°映像の識別子を探し出し、該３６０°映像の識別子に対応する画角情報を検索することができる。
図７は、一実施形態により、画角情報を生成し、かつ／または画角情報を利用し、３６０°映像を再生する映像表示装置の構成を示すブロック図である。図７の映像表示装置１００ｃは、図１の映像表示装置１００の一実施形態でもある。
図７を参照すれば、一実施形態による映像表示装置１００ｃは、制御部１３０、ディスプレイ部１２０及び感知部１３０以外に、ビデオ処理部１８０、オーディオ処理部１１５、オーディオ出力部１２５、電源部１６０、チューナ部１４０、通信部１５０、入出力部１７０、保存部１９０をさらに含んでもよい。
制御部１１０、ディスプレイ部１２０及び感知部１３０について、図２で説明した内容と同一内容は、図３で省略する。
ビデオ処理部１８０は、映像表示装置１００ｃが受信したビデオデータに対する処理を行う。ビデオ処理部１８０においては、ビデオデータに対するデコーディング、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換のような多様なイメージ処理を行うことができる。
グラフィック処理部１８１は、演算部（図示せず）及びレンダリング部（図示せず）を利用し、アイコン、イメージ、テキストのような多様な客体を含む画面を生成する。該演算部は、感知部１６０を介して感知されたユーザ入力を利用し、画面のレイアウトにより、各客体が表示される座標値、形態、大きさ、カラーのような属性値を演算する。該レンダリング部は、演算部で演算した属性値に基づいて、客体を含む多様なレイアウトの画面を生成する。該レンダリング部で生成された画面は、ディスプレイ部１１０のディスプレイ領域内に表示される。一実施形態によるグラフィック処理部１８１は、図１で説明したように、平面形式の３６０°映像を球にマッピングし、球形式の３６０°映像を生成することができる。
ディスプレイ部１２０は、制御部１３０の制御により、チューナ部１４０を介して受信された放送信号に含まれたビデオを画面に表示する。また、ディスプレイ部１１０は、通信部１５０または入出力部１７０を介して入力されるコンテンツ（例えば、動画）を表示することができる。ディスプレイ部１１０は、制御部１３０の制御により、メモリ１２０に保存された映像を出力することができる。また、ディスプレイ部１１０は、音声認識に対応する音声認識タスクを遂行するための音声ＵＩ（user interface：例えば、音声命令語ガイドを含む）、またはモーション認識に対応するモーション認識タスクを遂行するためのモーションＵＩ（例えば、モーション認識のためのユーザモーションガイドを含む）を表示することができる。
オーディオ処理部１１５は、オーディオデータに対する処理を行う。オーディオ処理部１１５においては、オーディオデータに対するデコーディング、増幅、ノイズフィルタリングのような多様な処理が行われる。一方、オーディオ処理部１１５は、複数のコンテンツに対応するオーディオを処理するために、複数のオーディオ処理モジュールを具備することができる。
オーディオ出力部１２５は、制御部１３０の制御により、チューナ部１４０を介して受信された放送信号に含まれたオーディオを出力する。オーディオ出力部１２５は、通信部１５０または入出力部１７０を介して入力されるオーディオ（例えば、音声、サウンド）を出力することができる。また、オーディオ出力部１２５は、制御部１１０の制御により、保存部１９０に保存されたオーディオを出力することができる。オーディオ出力部１２５は、スピーカ１２６、ヘッドフォン出力端子１２７またはＳ／ＰＤＩＦ（Sony/Philips digital interface）出力端子１２８のうち少なくとも一つを含んでもよい。オーディオ出力部１２５は、スピーカ１２６、ヘッドフォン出力端子１２７及びＳ／ＰＤＩＦ出力端子１２８の組み合わせを含んでもよい。
チューナ部１４０は、有線または無線で受信される放送信号に対して、増幅（amplification）、混合（mixing）、共振（resonance）などを介して、多くの電波成分のうち、映像表示装置１００ｃで受信しようとするチャネルの周波数のみをチューニングさせて選択することができる。該放送信号は、オーディオ（audio）、ビデオ（video）及び付加情報（例えば、ＥＰＧ（electronic program guide））を含む。
チューナ部１４０は、ユーザ入力（例えば、制御装置３０から受信される制御信号、例えば、チャネル番号入力、チャネルのアップダウン入力、及びＥＰＧ画面におけるチャネル入力）により、チャネル番号（例えば、ケーブル放送５０６番）に対応する周波数帯域で放送信号を受信することができる。
チューナ部１４０は、地上波放送、ケーブル放送、衛星放送、インターネット放送のような多様なソースから放送信号を受信することができる。チューナ部１４０は、アナログ放送またはデジタル放送のようなソースから、放送信号を受信することもできる。チューナ部１４０を介して受信された放送信号は、デコーディング（例えば、オーディオデコーディング、ビデオデコーディングまたは付加情報デコーディング）され、オーディオ、ビデオ及び／または付加情報に分離される。分離されたオーディオ、ビデオ及び／または付加情報は、制御部１３０の制御により、保存部１９０にも保存される。
映像表示装置１００ｃのチューナ部１４０は、１または複数でもある。チューナ部１４０は、映像表示装置１００ｃと一体型（all-in-one）に具現されるか、あるいは映像表示装置１００ｃと電気的に連結されるチューナ部を有する別個の装置（例えば、セットトップボックス（図示せず）、入出力部１７０に連結されるチューナ部（図示せず））によっても具現される。
通信部１５０は、制御部１３０の制御により、映像表示装置１００ｃを外部装置（例えば、オーディオ装置など）と連結することができる。制御部１３０は、通信部１５０を介して連結された外部装置に／からコンテンツを送信／受信したり、外部装置からアプリケーションをダウンロードしたり、ウェブブラウジングを行ったりする。通信部１５０は、ディスプレイ装置１００の性能及び構造に対応し、無線ＬＡＮ（local area network）１５１、ブルートゥース（Bluetooth）１５２及び有線イーサネット（登録商標（Ethernet））１５３のうち一つを含んでもよい。また、通信部１５０は、無線ＬＡＮ１５１、ブルートゥース１５２及び有線イーサネット１５３の組み合わせを含んでもよい。通信部１５０は、制御部１１０の制御により、制御装置３０の制御信号を受信することができる。該制御信号は、ブルートゥースタイプ、ＲＦ（radio frequency）信号タイプまたはＷｉ−Ｆｉ（wireless fidelity）タイプによっても具現される。
通信部１５０は、ブルートゥース以外に、他の近距離通信（例えば、ＮＦＣ（near field communication）（図示せず）、ＢＬＥ（Bluetooth low energy）（図示せず）をさらに含んでもよい。
一実施形態により、通信部１５０は、３６０°映像に対応する画角情報をサーバに要請し、そのような要請に応答し、サーバから画角情報を受信することができる。
感知部１６０は、ユーザの音声、ユーザの映像、またはユーザのインタラクションを感知し、マイク１６１、カメラ部１６２及び光受信部１６３を含んでもよい。
マイク１６１は、ユーザの発話（utterance）された音声を受信する。マイク１６１は受信された音声を電気信号に変換し、制御部１３０に出力することができる。ユーザ音声は、例えば、映像表示装置１００ｃのメニューまたは機能に対応する音声を含んでもよい。一例により、画角を制御するユーザ入力を、マイク１６１を介して受信することができる。
カメラ部１６２は、カメラ認識範囲において、ジェスチャを含むユーザのモーションに対応する映像（例えば、連続するフレーム）を受信することができる。制御部１３０は、受信されたモーションの認識結果を利用し、映像表示装置１００ｃに表示されるメニューを選択したり、モーション認識結果に対応する制御を行ったりする。例えば、チャネル調整、ボリューム調整、指示子移動、カーソル移動、３６０°映像において、ディスプレイ部に表示される一部領域の移動を含んでもよい。
光受信部１６３は、外部の制御装置３０から受信される光信号（制御信号を含む）を、ディスプレイ部１１０のベゼルの光窓（図示せず）などを介して受信する。光受信部１６３は、制御装置３０から、ユーザ入力（例えば、タッチ、押し、タッチジェスチャ、音声またはモーション）に対応する光信号を受信することができる。受信された光信号から、制御部１３０の制御により、制御信号が抽出される。例えば、画角を制御するユーザ入力を、光受信部１６３を介して受信することができる。
入出力部１７０は、制御部１３０の制御により、映像表示装置１００ｃの外部から、ビデオ（例えば、動画など）、オーディオ（例えば、音声、音楽など）及び付加情報（例えば、ＥＰＧなど）などを受信する。入出力部１７０は、ＨＤＭＩ（登録商標）ポート（high-definition multimedia interface port）１７１、コンポーネントジャック（component jack）１７２、ＰＣ（personal computer）ポート１７３及びＵＳＢ（universal serial bus）ポート１７４のうち一つを含んでもよい。入出力部１７０は、ＨＤＭＩポート１７１、コンポーネントジャック１７２、ＰＣポート１７３及びＵＳＢポート１７４の組み合わせを含んでもよい。
制御部１３０は、映像表示装置１００ｃの全般的な動作、及び映像表示装置１００ｃの内部構成要素間の信号フローを制御し、データを処理する機能を遂行する。制御部１３０は、ユーザの入力があったり、既設定の保存された条件を満足したりする場合、メモリ１２０に保存されたＯＳ（operating system）及び多様なアプリケーションを実行することができる。
制御部１３０は、映像表示装置１００ｃの外部から入力される信号またはデータを保存するか、あるいは映像表示装置１００ｃで遂行される多様な作業に対応する保存領域で使用されるＲＡＭ（random access memory）、映像表示装置１００ｃ制御のための制御プログラムが保存されたＲＯＭ（read-only memory）及びプロセッサを含んでもよい。
一実施形態による制御部１３０は、メモリに保存された１以上のインストラクションを実行することにより、３６０°映像を再生する間、画角を制御するユーザ入力に対応する１以上の画角値を含む画角情報を生成することができる。
一実施形態による制御部１３０は、メモリに保存された１以上のインストラクションを実行することにより、メモリに保存された画角情報、またはサーバから受信した画角情報を利用し、３６０°映像を再生するか、あるいは画角情報を編集することができる。
該プロセッサは、ビデオに対応するグラフィック処理のためのグラフィックプロセッサ（図示せず）を含んでもよい。該プロセッサは、コア（図示せず）とＧＰＵ（graphics processing unit）（図示せず）とを統合したＳｏＣ（system on chip）によっても具現される。該プロセッサは、シングルコア、デュアルコア、トリプルコア、クアッドコア、及びその倍数のコアを含んでもよい。
また、該プロセッサは、複数のプロセッサを含んでもよい。例えば、該プロセッサは、メインプロセッサ（図示せず）、及びスリープモードで動作するサブプロセッサ（図示せず）によっても具現される。
保存部１９０は、制御部１３０の制御により、映像表示装置１００ｃを駆動して制御するための多様なデータ、プログラムまたはアプリケーションを保存することができる。保存部１９０は、ビデオ処理部１８０、ディスプレイ部１２０、オーディオ処理部１１５、オーディオ出力部１２５、電源部１３０、チューナ部１４０、通信部１５０、感知部１３０、入出力部１７０の駆動に対応する入力／出力される信号またはデータを保存することができる。保存部１９０は、映像表示装置１００ｃ及び制御部の制御のための制御プログラム、製造社で最初に提供されたり、外部からダウンロードされたりするアプリケーション、該アプリケーションに係わるＧＵＩ（graphic user interface）、該ＧＵＩを提供するためのオブジェクト（例えば、イメージテキスト、アイコン、ボタンなど）、ユーザ情報、文書、データベースまたは関連データを保存することができる。
一実施形態により、保存部１９０は、画角情報を生成する１以上のインストラクション、生成された画角情報を保存する１以上のインストラクション、保存された画角情報を読み取る１以上のインストラクション、読み取った画角情報を編集する１以上のインストラクション、画角情報を利用し、３６０°映像を再生する１以上のインストラクションを含む１以上のアプリケーションを含んでもよい。
一実施形態において、「保存部」という用語は、保存部１９０、制御部のＲＯＭ、ＲＡＭ、あるいは映像表示装置１００ｃに装着されるメモリカード（図示せず）（例えば、micro ＳＤカード、ＵＳＢメモリ）を含む。また、保存部１９０は、不揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）を含んでもよい。
また、ディスプレイ部１２０を有する映像表示装置１００ｃは、チューナ部を有する別途の外部装置（図示せず）（例えば、セットトップボックス）と電気的にも連結される。例えば、映像表示装置１００ｃは、アナログＴＶ、デジタルＴＶ、３Ｄ−ＴＶ、スマートＴＶ、ＬＥＤ ＴＶ、ＯＬＥＤ ＴＶ、プラズマＴＶ、モニタなどによっても具現されるが、それらに限定されるものではないということは、当該技術分野の当業者に容易に理解されるであろう。
一方、図２及び図３に図示された映像表示装置１００ａ，１００ｂのブロック図は、一実施形態のためのブロック図である。該ブロック図の各構成要素は、実際に具現される映像表示装置１００の仕様により、統合、追加または省略されもする。すなわち、必要により、２以上の構成要素が１つの構成要素に合わされるか、あるいは１つの構成要素が、２以上の構成要素に細分されても構成される。また、各ブロックで遂行する機能は、一実施形態について説明するためのものであり、その具体的な動作や装置は、本発明の権利範囲を制限するものではない。
一実施形態により、画角情報を生成する方法について説明する。
図８は、一実施形態により、映像表示装置において、画角情報を生成する過程を示すフローチャートである。図８を参照すれば、Ｓ８１０において、該映像表示装置は、３６０°コンテンツ再生のために選択された１以上の画角値を獲得することができる。
該映像表示装置は、３６０°コンテンツを再生する間、３６０°コンテンツの画角を制御するイベントを含むユーザ入力を受信することができる。例えば、ユーザは、制御装置３０を利用し、画角を制御するか、あるいはタッチセンシティブスクリーンからなる映像表示装置の場合、タッチセンシティブスクリーン上において、指動きにより、画角を制御することができる。該映像表示装置は、そのように、画角を制御するユーザ入力から、１以上の画角値を獲得することができる。
Ｓ８２０において、該映像表示装置は、獲得された１以上の画角値を含む画角情報を生成することができる。
該映像表示装置は、画角情報を３６０°コンテンツのファイルに保存することもでき、３６０°コンテンツファイルと別途のファイルに保存することもできる。
さて、図９ないし図１１を参照し、画角情報を生成する方法について詳細に説明する。
図９は、３６０°映像再生において、画角を調整する必要性について説明するための例の参照図である。図９を参照すれば、９１０は、３６０°映像の１秒時の映像、９２０は、３秒時の映像、９３０は、５秒時の映像を示す。３６０°映像は、ある一時点において、ユーザが３６０°のいずれの画角においても、その画角に対応する映像を示すことができるが、ユーザが操作を行わない場合、３６０°映像の画角は、変化せず、１つの画角でのみ３６０°映像の一部を示す。図９に図示されているような３６０°映像の場合、画角調整がないのであるならば、ユーザは、９２０と９３０とにおいては、オブジェクト、すなわち、人にあまり見えない、大きく意味のない映像を見ることになってしまう。従って、そのような場合、３６０°映像の画角調整が必要になる。
図１０は、３６０°映像の再生時、画角を調整して示す画面を示す。図１０を参照すれば、１０１０は、３６０°映像の１秒時の映像、１０２０は、３秒時の映像、１０３０は、５秒時の映像を示す。１０１０は、図９での９１０のような１秒時の映像であるが、１０２０においてユーザは、３秒時の画角を９０°右側方向に移動させ、従って所望するオブジェクトが映像に表示される。また、１０３０においてユーザは、５秒時の画角を１８０°方向に移動させることにより、後ろ側方向にある映像を表示させる。
本明細書で開示された実施形態により、該映像表示装置は、例えば、３秒時のユーザ入力による画角値、すなわち、９０°、及び５秒時のユーザ入力による画角値、すなわち、１８０°を含む画角情報を生成することができる。
図１１は、一実施形態により、３６０°映像を基に、画角メタファイルを生成する方法について説明するための参照図である。図１１を参照すれば、映像表示装置は、３６０°映像１１００を再生していて、第１時間に、画角を調整するユーザ入力を受信すれば、画角エントリー１１１１０を生成することができる。画角エントリー１１１１０は、画角が調整された時間と画角値とを含んでもよい。同様に、映像表示装置は、第２時間に、画角を調整するユーザ入力により、画角エントリー２１１２０を生成し、第３時間に、画角を調整するユーザ入力により、画角エントリー３１１３０を生成することができる。３６０°動画１１００について生成された全ての画角エントリーが集められれば、該映像表示装置は、画角エントリーで構成された画角メタ情報１１４０を生成することができる。
図１２は、一実施形態により、３６０°映像を基に生成された画角メタ情報を利用し、３６０°映像を再生する方法について説明するための参照図である。図１２を参照すれば、映像表示装置は、３６０°映像１１００を再生するとき、すでに生成された画角メタ情報１１４０を利用し、画角を調整することができる。すなわち、映像表示装置は、３６０°映像を再生するとき、画角メタ情報１１４０に含まれた画角エントリーの時間情報を参照し、画角エントリーに指示された時間になれば、画角エントリーに含まれた画角値に３６０°映像を調整することができる。具体的には、該映像表示装置は、画角エントリー１１１１０に含まれた第１時間になれば、３６０°映像を画角エントリー１に含まれた画角値に調整することができる。同様に、画角エントリー２１１２０に含まれた第２時間になれば、３６０°映像を、画角エントリー２に含まれた画角値に調整し、画角エントリー３１１３０に含まれた第３時間になれば、３６０°映像を、画角エントリー３に含まれた画角値に調整することができる。
そのように、該映像表示装置は、１以上の画角値を含む画角メタ情報を利用し、３６０°映像を再生することにより、３６０°映像を、すでに作られた画角トラッキング情報によって再生することができる。
図１３は、一実施形態により、画角情報の保存位置について説明するための参照図である。図１３の１３００Ａを参照すれば、画角情報１３２０は、３６０°コンテンツファイル１３００の一部に、３６０°コンテンツ１３１０と共に保存される。すなわち、画角情報１３２０は、３６０°コンテンツのファイル１３００を構成することができる。
図１３の１３００Ｂを参照すれば、画角情報１３２０は、３６０°コンテンツファイル１３００と別途に、画角情報メタファイル１３３０に保存される。該画角情報を３６０°コンテンツファイルと別途のファイルで管理することになれば、画角情報の編集が容易になり、該画角情報の流通が便利にもなる。
図１４は、一実施形態による画角情報の一例を示す。図１４を参照すれば、１つの３６０°コンテンツファイルについて、１つの画角情報１４００が生成される。画角情報１４００は、１以上の画角エントリーを含んでもよい。各画角エントリー１４１０は、画角調整が生じた時間についての情報１４１１、画角値１４１２、ズーム値１４１３を含んでもよい。時間情報１４１１は、必ずしも時間で示すことを必要とせず、当該画角制御がなされた時点を示すことされできれば、フレーム番号によっても表示される。画角値１４１２は、例えば、画角のｘ座標とｙ座標とを含んでもよい。ズーム値１４１３は、ズームインまたはズームアウトの程度を示す大きさを示すことができる。
図１５は、図１４に図示された画角情報の一例を示す。図１５を参照すれば、一例による画角情報１５００は、画角エントリー１５１０、画角エントリー１５２０、画角エントリー１５３０を含んでもよい。各画角エントリーは、時間情報、画角値、ズーム値を含んでもよい。例えば、画角エントリー１５１０は、時間情報１５１１として、１，０００ｍｓ、画角値１５１２として、ｘ＝９０、ｙ＝０、ズーム値１５１３として、０であることを示す。
図１６は、一実施形態による画角情報の一例を示す。
３６０°コンテンツは、複数のファイルでも構成される。例えば、ミュージックビデオ制作に、１つの３６０°カメラを利用して撮影するのではなく、複数個の３６０°カメラを利用し、第１カメラは前方に、第２カメラは左側に、第３カメラは右側に配置し、同時に撮影することにより、１つの現場の撮影に、３台の３６０°カメラを利用することにより、３個の３６０°コンテンツファイルを得ることができる。
そのように、３６０°コンテンツが複数のファイルを含む場合、複数のファイルに対応する１つの画角情報を生成することができる。すなわち、ユーザは、第１時間区間においては、第１ファイルを再生しながら画角を調整し、次の第２時間区間においては、第２ファイルを再生しながら、画角を調整するようなことにより、複数のファイルに対する画角調整情報を、１つの画角情報ファイルに盛り込むことができる。
図１６を参照すれば、３６０°コンテンツは、３６０°コンテンツファイル１，２，３で構成されている。そして、この３６０°コンテンツに対応する画角情報１６００は、１つの画角エントリーを含んでもよい。各画角エントリー１６１０は、ファイル識別子１６１１、時間情報１６１２、画角値１６１３、ズーム値１６１４を含んでもよい。時間情報１６１２、画角値１６１３、ズーム値１６１４は、図１４を参照して説明した通りであり、ファイル識別子１６１１は、当該画角値が適用される３６０°コンテンツファイルの識別子を示すことができる。例えば、ある画角エントリーは、３６０°コンテンツファイル１の識別子を示すことができ、ある画角エントリーは、コンテンツファイル２の識別子を示すことができるのである。
図１７は、一実施形態により、オブジェクト情報を含む画角情報の一例を示す。
一実施形態による画角情報は、オブジェクト情報をさらに含んでもよい。図３Ｂで説明したように、ユーザが３６０°コンテンツに含まれた複数のオブジェクトのうちいずれか１つのオブジェクトを、ターゲットとして画角情報を生成した場合、該画角情報は、オブジェクト情報をさらに含んでもよい。例えば、３６０°ミュージックビデオに出現する複数の歌手のうちユーザが歌手Ａをトラッキングし、歌手Ａが出た画角に３６０°映像を調整することによって画角情報を生成する場合、該画角情報は、当該オブジェクトである歌手Ａに係わる情報をオブジェクト情報として含む。
図１７を参照すれば、画角情報１７００は、オブジェクト情報１７１０、画角エントリー１７２０、画角エントリー１７３０、画角エントリー１７４０を含んでもよい。画角エントリーは、図１４ないし図１６を参照して説明した通りである。オブジェクト情報１７１０は、この画角情報１７００に対応するオブジェクトを識別するための情報であり、オブジェクト識別子を含んでもよい。該オブジェクトは、３６０°コンテンツに出現するエンティティであり、画角によってもトラッキングされるいかなるエンティティでもよい。例えば、該オブジェクトは、ミュージックビデオに出現する歌手、スポーツビデオに出現する選手や、または球、多様なビデオに出現する物体、動物にように、いかなるエンティティでもよい。
ユーザは、３６０°コンテンツを再生しながら、自動的にまたは手動で画角情報を生成することができる。
図１８は、一実施形態により、画角情報を自動的に生成する例について説明するための参照図である。図１８を参照すれば、自動モードにおいてユーザは、３６０°コンテンツの再生開始前、または３６０°コンテンツ再生と共に、自動的に画角情報を保存するメニューを選択することができる。例えば、現在の画角情報が自動的に保存される状態であるか否かということを表示するために、映像表示装置１００は、＜自動保存中＞というメッセージ１８４０をディスプレイ部に表示することができる。
自動モードにおいて、映像表示装置は、３６０°コンテンツ再生中、ユーザの画角制御イベントが発生するたびに、該画角制御イベントによって決定される画角値を、画角情報として保存することができる。該画角制御イベントは、ユーザが制御装置や指などを利用し、画角を制御する入力が生じたことを示すイベントでもある。
図１８を参照すれば、ユーザの画角制御イベントが発生する第１時間、第２時間、第３時間において映像表示装置は、自動的に当該イベントなどに対応する画角値を含む画角エントリー１８１０，１８２０，１８３０を生成し、それを画角情報１８００として保存することができる。すなわち、ユーザは、３６０°コンテンツを視聴しながら、所望の画角で制御さえすれば、映像表示装置は、自動的に入力された画角値を、画角情報として生成することができる。
図１９は、一実施形態により、画角情報を手動で生成する例について説明するための参照図である。
手動モードにおいて、ユーザは、３６０°コンテンツを再生しながら視聴していて、所望する時点において画面を一時停止させ、編集モードに進入して画角情報を保存することができる。
図１９を参照すれば、ユーザが画角情報を保存することを所望する時点において、ユーザは、画面再生を一時停止させ、編集モードに進入することができる。該編集モードに進入した場合、映像表示装置は、当該時点近辺にあるいくつのビデオフレーム１９１０，１９２０，１９３０をディスプレイ部に表示することができる。ユーザは、ディスプレイ部に表示されたいくつのビデオフレームのうち、画角を制御しようとするフレームを選択し、当該フレームの画角を制御することができる。該画角を選択した後、ユーザが、ディスプレイ部に表示された＜保存＞メニュー１９５０を選択した場合、映像表示装置は、当該フレームで選択された画角値を利用し、画角エントリー１９６０を生成し、それを画角情報１９００に保存することができる。
一実施形態により、ユーザは、生成された画角情報を編集することができる。該画角情報が３６０°コンテンツと別途の画角情報ファイルによって生成される場合、該画角情報ファイルは、例えば、テキストファイルにも保存され、従って、ユーザは、テキストファイルを開き、容易に画角情報を修正または編集することができる。
一実施形態により、ユーザは、画角情報を含むテキストファイルを開き、画角エントリーに含まれた画角値やズーム値を修正したり編集したりすることができる。
一実施形態により、該映像表示装置は、生成された画角情報を自動的に修正することができる。例えば、ユーザの画角制御によって生成された画角情報は、ユーザの画角制御の習熟度により、再生不便に画角値が含まれてもいる。例えば、ユーザが急にズーム値変更を急激に行ったり、または短時間の区間において、ユーザが画角変更を急激に行ったりする場合、そのような画角情報により、３６０°コンテンツを再生する場合、３６０°コンテンツの再生が自然ではなく、ユーザに不便さを与える場合もある。従って、該映像表示装置は、自動調整モードにおいて、画角情報に含まれた画角エントリーの画角値とズーム値とをスキャンし、不自然に映像が再生される区間を探し出し、該区間において、映像再生が自然になされるようにする調整エントリーを挿入することができる。
図２０は、一実施形態により、調整エントリーを含む画角情報の一例を示す。図２０を参照すれば、画角情報２０００は、画角エントリー１ないし５を含む。該映像表示装置は、画角情報２０００に含まれた画角エントリー１ないし５をスキャンし、映像が不自然に再生される区間を探し出し、当該区間に、調整エントリー２０１０を挿入することができる。該調整エントリーは、画角エントリーと画角エントリーとの間に挿入され、画角値がスムーズに変更されるように、命令語またはズーム値をスムーズに変更させる命令語を含んでもよい。例えば、該映像表示装置は、画角エントリー間の時間区間の間、所定臨界値を超す画角値の変更があれば、調整エントリーを挿入することができる。または、例えば、該映像表示装置は、画角エントリー間の時間区間の間、所定臨界値を超すズーム値の変更があれば、調整エントリーを挿入することができる。
図２１は、図２０に図示された調整エントリーについて説明するための例を示す。図２１を参照すれば、一例による画角情報２１００は、画角エントリー２１１０、画角エントリー２１２０、画角エントリー２１３０を含む。該映像表示装置は、画角エントリー２１２０，２１３０をスキャンし、時間が、３，０００ｍｓと５，０００ｍｓとの間で、画角のｘ座標が、９０°から３７０°に急激に変化したを見い出すことができる。該映像表示装置は、２，０００ｍｓ時間の間、２８０°の画角が変更されたことを確認し、そのような変更は、ユーザに不便を与える画角変更であると判断することができる。そのような場合、映像表示装置は、調整エントリー２１４０を、画角エントリー２１２０と画角エントリー２１３０との間に挿入することができる。調整エントリー２１４０は、命令語Direction＝Smooth（value）を含んでもよい。命令語Direction＝Smooth（value）は、画角エントリー２１２０に含まれた時間値と、画角エントリー２１３０に含まれた時間値との間に、valueほどのフレームを再生せよという意味でもある。例えば、Direction＝Smooth（１００）であれば、画角エントリー２１２０によって示された時間と、画角エントリー２１３０によって示された時間との間に、１００枚のフレームを再生せよという意味でもある。そのように調整エントリーを挿入することにより、３６０°コンテンツの再生がスムーズに行われる。
一実施形態により、ユーザは、画角情報を構成するテキストファイルに、図２０で説明されたような調整エントリーを直接入力することもできるのである。
図２２は、一実施形態により、生成された画角情報を利用し、３６０°コンテンツを再生する方法の過程を示すフローチャートである。図２２を参照すれば、動作ｓ２２１０において、映像表示装置は、３６０°映像及び画角情報を獲得することができる。
一実施形態により、該映像表示装置は、画角情報を３６０°映像を有しているファイルから獲得することもでき、３６０°映像ファイルと別途の独立したファイルから獲得することもできる。
一実施形態により、該映像表示装置は、画角情報を、映像表示装置内部に保存されたメモリから獲得することもでき、または画角情報を提供するサーバから受信して獲得することもできる。
該画角情報は、最初に該３６０°映像に対応して生成された画角情報でもあり、または他の３６０°映像に対応して作られた画角情報でもある。
一実施形態により、３６０°映像は、１つのファイルからもなり、複数個のファイルからもなる。
動作ｓ２２２０において、映像表示装置は、獲得された画角情報を利用し、３６０°映像を再生することができる。
該映像表示装置は、画角情報に含まれた画角エントリーに盛り込まれた時間情報、画角値、ズーム値などを参照し、３６０°映像再生の時画角を決定するか、あるいはズーム程度を決定することができる。具体的には、該映像表示装置は、画角エントリーに盛り込まれた時間になる時点で、当該画角エントリーに盛り込まれた画角値に画角を変更し、変更された画角に対応する領域の映像を表示することができる。また、同様に、当該画角エントリーに盛り込まれたズーム値にズームサイズを調整し、調整されたズームサイズにより、映像を拡大したり縮小したりすることにより、表示することができる。
一実施形態により、該映像表示装置が画角情報を参照し、３６０°映像を再生する間、画角を制御するユーザ入力が受信された場合、該映像表示装置は、多様なシナリオによって動作することができる。
一実施形態により、該映像表示装置が画角情報を参照し、３６０°映像を再生する間、画角を制御するユーザ入力が受信された場合、該映像表示装置は、該画角情報を無視し、画角を制御するユーザ入力により、画角に対応して映像を再生することができる。
一実施形態により、該映像表示装置が画角情報を参照し、３６０°映像を再生する間、画角を制御するユーザ入力が受信された場合、該映像表示装置は、該画角を制御するユーザ入力による画角に対応して映像を再生し、一定時間経過後（例えば、３０秒経過後）、さらに画角情報に基づき、３６０°映像を再生することができる。すなわち、該映像表示装置が画角情報を参照し、３６０°映像を再生しているとき、画角を制御するユーザ入力を受信すれば、ユーザ入力受信時点から一定時間の間、ユーザ入力により、画角を調整して映像を再生し、一定時間経過後には、再び本来の通り、画角情報に基づいて、３６０°映像を再生することができる。
図２３は、一実施形態により、画角情報が３６０°コンテンツと別途のファイルで構成される場合、活用の汎用性について説明するための参照図である。図２３を参照すれば、第１ ３６０°コンテンツ２３１０及び第２ ３６０°コンテンツ２３２０、並びに第１画角情報ファイル２３３０、第２画角情報ファイル２３４０、第３画角情報ファイル２３５０、第４画角情報ファイル２３６０があると仮定する。
第１画角情報ファイル２３３０ないし第４画角情報ファイル２３６０は、第１ ３６０°コンテンツ２３１０の再生にも利用される。また、同様に、第１画角情報ファイル２３３０ないし第４画角情報ファイル２３６０は、第２ ３６０°コンテンツ２３２０の再生にも利用される。
図２３のように、画角情報ファイルが複数のコンテンツに利用される状況は、複数の歌手によって構成されたグループの３６０°ミュージックビデオに頻繁に活用される。例えば、複数の歌手によって構成されたグループの場合、概して特定歌手の位置は、決まっている場合が多い。従って、第１ミュージックビデオにおいて、センター位置にいる歌手Ａをターゲットとして画角情報ファイルを生成した場合、このグループの第２ミュージックビデオにおいても、歌手Ａは、センター位置におり、歌手Ａの動線も、第１ミュージックビデオと類似している可能性が高い。そのような場合、第１ミュージックビデオに対応して作られた画角情報ファイルは、第２ミュージックビデオと共に利用されもする。
図２４は、一実施形態により、該映像表示装置において、３６０°コンテンツの画角情報を表示するためのユーザインターフェースの一例を示す。
図２４を参照すれば、ユーザインターフェース２４００は、複数の３６０°コンテンツに係わる情報を表示することができる。そのうち１つの３６０°コンテンツに係わる情報２４１０は、３６０°コンテンツのサムネイルイメージ２４１１、３６０°コンテンツのファイル識別子２４１２、３６０°コンテンツに対応して保存された画角情報ボタン２４１３、画角情報検索ボタン２４１４、再生ボタン２４１５を含んでもよい。
保存された画角情報ボタン２４１３の選択により、映像表示装置は、この３６０°コンテンツに対応して生成された１以上の画角情報ファイルとして、映像表示装置のローカルストレージに保存されたファイルを示すことができる。
画角情報検索ボタン２４１４の選択により、映像表示装置は、この３６０°コンテンツに対応して生成された画角情報ファイルの検索要請を、ネットワークを介してサーバに伝送し、そのような検索要請に応答して受信された画角情報ファイルリストを受信して示すことができる。
図２５は、一実施形態により、１つの３６０°コンテンツについて生成されて維持される多様な形態の画角情報ファイルについて説明するための参照図である。図２５を参照すれば、１つの３６０°コンテンツファイル２５１０に対応し、１以上の編集者によって作られた画角情報ファイルがある。例えば、図２５には、編集者Ａ、編集者Ｂ、編集者Ｃによってそれぞれ作られた画角情報ファイル２５７０，２５８０，２５９０が保存されている。
また、３６０°コンテンツファイル２５１０に、複数のオブジェクトがあれば、各オブジェクトに対応し、１以上の画角情報ファイルが生成される。図２５を参照すれば、３６０°コンテンツファイル２５１０に出現する歌手Ａについてだけでも、３つの画角情報ファイル２５２０，２５３０，２５４０が生成されている。また、歌手Ｂに対応し、第１画角情報ファイル２５６０が保存されている。そのように、１つの３６０°コンテンツファイルについても、複数個の画角情報ファイルが生成されるために、ユーザは、この３６０°コンテンツファイルの再生時、選択することができる画角情報ファイルの選択幅が広くなる。
図２５に図示されているような画角情報ファイルを保存するデータベースは、３６０°コンテンツを提供するサーバにも保存される。ここで、そのようなデータベースは、端末に存在してもよいということは言うまでもない。
図２６は、一実施形態により、３６０°コンテンツを提供するサーバから、画角情報選択のために提供することができるユーザインターフェースの一例を示す。
例えば、図２４のボタン２４１４を選択した場合、映像表示装置は、サーバに接続し、図２６に図示されているようなユーザインターフェースを表示することができる。
図２６を参照すれば、ユーザインターフェース２６００は、３６０°コンテンツのサムネイルイメージやプレビュー映像２６１０を表示することができる。そして、その下端には、該３６０°コンテンツ再生に利用される画角情報を選択するように、多様なカテゴリーによる画角情報を表示することができる。
ユーザインターフェース２６００には、オブジェクトによって選択することができるメニュー２６２０が表示される。例えば、選択することができるオブジェクトは、歌手Ａ、歌手Ｂ、歌手Ｃを含んでもよい。
ユーザインターフェース２６００には、ヒット数によって選択することができるメニュー２６３０が表示される。該サーバは、画角情報ファイルを照会したりダウンロードしたりする回数により、多数の画角情報ファイルの順位を付けることができ、そのように付けられた順位に係わる情報をユーザに提供することにより、ユーザは、さらに人気ある画角情報ファイルを選択することができる。
ユーザインターフェース２６００には、編集者によって選択することができるメニュー２６４０が表示される。例えば、選択することができる編集者は、編集者Ａ、編集者Ｂ、編集者Ｃを含んでもよい。３６０°コンテンツの使用需要により、該３６０°コンテンツを専門的に編集する専門家が出てくる。または、３６０°コンテンツ制作者は、自分が作った３６０°コンテンツと共に利用される画角情報ファイルを制作することもできる。従って、ユーザは、特定編集者が作ったり、特定制作者が作ったりする画角情報ファイルを所望しもするので、メニュー２６４０の提供が便利に利用される。
図２７は、一実施形態により、３６０°コンテンツに複数オブジェクトがあり、画角情報が、複数のオブジェクトのうちいずれか１つのオブジェクトをトラッキングして生成された場合、オブジェクト位置を画面に表示するための方法について説明するための参照図である。
図２７を参照すれば、映像表示装置は、３６０°映像において、一部領域に対応する映像２７００、及び一部領域の位置を示す三次元形態のインジケータ２７２０を表示することができる。三次元形態のインジケータ２７２０は、球状のインジケータ、及びシリンダ状のインジケータを含んでもよいが、それらに限定されるものではない。また、三次元形態のインジケータ２７２０は、一部領域の位置を示すために領域を表示することができる。そのような球状のインジケータ２７２０は、ボールマップ（ball map）とも呼ばれる。
一実施形態により、映像表示装置が３６０°映像に含まれた複数のオブジェクトのうちいずれか１つのオブジェクトをトラッキングする画角情報を利用し、３６０°映像を再生することができる。このとき、該映像表示装置は、インジケータ２７２０を利用し、現在再生される映像が特定オブジェクトをトラッキングする情報であるか否かということ示すことができる。
図２７を参照すれば、映像表示装置は、インジケータ２７２０に現在表示されている３６０°映像に見える複数のオブジェクトを、既定の記号や文字や多角形などで表示することができる。インジケータ２７２０でオブジェクトを示す記号や文字や多角形などは、３６０°映像において、オブジェクトの動きや移動により、対応して動いたり移動したりすることができる。例えば、図２７には、歌手を示すオブジェクトが、インジケータ２７２０において、円形に表示されている。そして、また該映像表示装置は、現在再生されている３６０°映像が、特定オブジェクトをトラッキングする画角情報によって表示されているということを示すために、インジケータ２７２０に表示された複数の円のうち、当該オブジェクトに対応する円を異なるように表示することができる。例えば、図２７を参照すれば、該映像表示装置は、インジケータ２７２０において、複数のオブジェクトを、中空円２７２１，２７２２，２７２４，２７２５で示し、現在トラッキングしているオブジェクト２７１０を示す円のみ中空が充填された円２７２３で表示することができる。
複数のオブジェクトにおいて、現在、該映像表示装置が、画角情報トラッキングに利用するオブジェクトを、他のオブジェクトと区別されるように表示する方法は、多様に存在することができる。例えば、異なる色を利用したり、異なる形態を利用したり、ターゲットオブジェクトに対応する多角形にだけ矢印表示をしたり、ターゲットオブジェクトに対応する多角形だけ点滅させたりすることにより、多様に方法によって区別させることができる。
複数のファイルで構成された３６０°コンテンツについて画角情報が生成される実施形態について、図２８ないし図３２を参照して説明する。
図２８は、複数のファイルで構成された３６０°コンテンツについて画角情報を管理するシナリオの概要について説明するための参照図である。図２８を参照すれば、該映像表示装置は、ファイル１、ファイル２、ファイル３で構成された３６０°コンテンツ２８００について、１つの画角情報ファイル２８１０を生成することができる。画角情報ファイル２８１０は、ファイル１、ファイル２、ファイル３のいずれにも係わる画角情報を含んでもよい。
その後、該映像表示装置は、ファイル１、ファイル２、ファイル３で構成された３６０°コンテンツ２８００を再生するとき、画角情報ファイル２８１０を参照し、３６０°コンテンツ２８００を再生することができる。画角情報ファイル２８１０は、ファイル１、ファイル２、ファイル３に係わる画角情報を盛り込んでいるために、該映像表示装置は、画角情報ファイル２８１０を参照するとき、ファイル１、ファイル２、ファイル３のそれぞれを交替させながら再生することができる。
図２９は、一例により、複数のファイルで構成された３６０°コンテンツについて説明するための参照図である。
例えば、スポーツゲーム現場を、複数の３６０°カメラで撮影したり、コンサートやミュージックビデオの撮影時、複数の３６０°カメラで撮影したりする場合のように、１つの現場を撮影するために、複数の３６０°カメラが利用される場合、複数のファイルで構成された３６０°コンテンツが作られる。
図２９を参照すれば、ミュージックビデオ撮影のため、またはコンサート現場撮影のために、３台のカメラ、すなわち、カメラ２９１０，２９２０，２９３０を利用して現場２９００を撮影することを示す。舞台左側に設置されたカメラ２９１０を利用して撮影された映像は、ファイル１ ２９４０をしめし、舞台前方に設置されたカメラ２９３０を利用して撮影された映像は、ファイル２ ２９５０を示し、舞台右側に設置されたカメラ２９２０を利用して撮影された映像は、ファイル３ ２９６０を示す。
図３０は、図２９に図示されたファイル１，２，３を利用し、画角情報を生成する例について説明するための参照図である。図３０を参照すれば、映像表示装置は、３６０°コンテンツを構成するファイル１，２，３を同時に再生することができる。ファイル１，２，３は、１つの画面でオーバーラップされて表示されもし、あるいは１つの画面を複数個のサブ画面に分割して表示されもする。ファイル１，２，３が再生される間、ユーザは、ファイル１，２，３に係わる画角制御を行うことができる。
ファイル１，２，３の再生が始まった後、ユーザのファイル１に対する画角制御動作が発生した場合、該映像表示装置は、ファイル１関連画角エントリー３０１０を生成することができる。次の時点において、ユーザのファイル３に対する画角制御動作が発生した場合、該映像表示装置は、ファイル３関連画角エントリー３０２０を生成することができる。そのように、ユーザがいずれか１つのファイルについてだけでなく、いくつかのファイルを交替させながら画角制御動作を行う場合、該映像表示装置は、画角制御動作が遂行されたファイルについての画角エントリーを集め、画角情報ファイル３０００を生成することができる。
図３１は、図３０に図示された動作によって生成された画角情報ファイル構造の一例を示す。図３１を参照すれば、画角情報３０００は、複数のファイルについて、画角エントリーが生成されたために、各画角エントリーがいかなるファイルに係わるものであるかということを表示する必要がある。従って、画角情報３０００の各画角エントリーは、ファイル識別子をさらに含んでもよい。例えば、ファイル１関連画角エントリーの各画角エントリー３１１０は、ファイル識別子として、ファイル１であることを示す情報と共に、時間情報、画角値、ズーム値を含んでもよい。また、ファイル３関連画角エントリーの各画角エントリー３１２０は、ファイル識別子として、ファイル３であることを示す情報と共に、時間情報、画角値、ズーム値を含んでもよい。
図３２は、図３１に図示されているような画角情報を利用し、３６０°コンテンツの再生について説明するための参照図である。図３２を参照すれば、映像表示装置は、ファイル１ ２９４０、ファイル２ ２９５０、ファイル３ ２９６０を利用し、３６０°コンテンツを再生するとき、画角情報３０００を参照することができる。
例えば、映像表示装置は、保存された画角情報３０００を読み取り、画角情報３０００に含まれた画角エントリーにより、３６０°コンテンツを再生することができる。
具体的には、該映像表示装置は、画角情報の最前列の画角エントリーからスキャンを行いながら、３６０°コンテンツを再生することができるが、まず、ファイル１関連画角エントリー３０１０であるので、該映像表示装置は、ファイル１の映像において、当該各画角エントリーに含まれた各画角値に対応する領域の映像を表示することができる。また、次の画角情報３０００は、ファイル３関連画角エントリー３０２０であるので、該映像表示装置は、ファイル３の映像において、当該各画角エントリーに含まれた各画角値に対応する領域の映像を表示することができる。そのような方式で、該映像表示装置は、画角情報に含まれた各画角エントリーの内容、すなわち、＜ファイル識別子、時間情報、画角値、ズーム値＞を参照し、ファイル識別子に対応するファイルの映像において、時間情報が示す時間に、画角値に対応する領域の映像を表示することにより、複数のファイルで構成された３６０°コンテンツを再生することができる。
一実施形態による、映像表示装置の動作方法は、多様なコンピュータ手段を介して遂行されるプログラム命令形態によって具現され、コンピュータ可読媒体にも記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独または組み合わせで含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために、特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。該コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）、フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含む。
以上、一実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義している本発明の基本概念を利用した当業者の多くの変形、及び改良形態も本発明の権利範囲に属する。

Claims (15)

  1. 映像表示装置において、
    ディスプレイと、
    １以上のインストラクションを保存するメモリと、
    前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、
    前記プロセッサは、前記１以上のインストラクションを実行することにより、
    ３６０°コンテンツ、及び前記３６０°コンテンツ再生のために選択された複数の画角値を含む画角情報を獲得し、
    前記獲得された画角情報に含まれた前記複数の画角値により、前記３６０°コンテンツをディスプレイするように、前記ディスプレイを制御し、
    前記画角情報は、前記３６０°コンテンツ再生のために選択された複数の画角値に対応する複数のエントリーを含み、
    各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む映像表示装置。
  2. 前記各エントリーは、ズームサイズ情報をさらに含むことを特徴とする請求項１に記載の映像表示装置。
  3. 通信インターフェースをさらに含み、
    前記プロセッサは、前記１以上のインストラクションを実行することにより、
    前記画角情報を外部コンピュータから受信するように、前記通信インターフェースを制御することを特徴とする請求項１に記載の映像表示装置。
  4. 前記画角情報は、前記３６０°コンテンツに対応する複数の画角情報のうち、既定の基準によって推薦された画角情報であることを特徴とする請求項１に記載の映像表示装置。
  5. 前記プロセッサは、前記１以上のインストラクションを実行することにより、
    前記画角情報を、前記３６０°コンテンツのファイルから抽出するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルから獲得することを特徴とする請求項１に記載の映像表示装置。
  6. 映像表示装置において、
    ディスプレイと、
    １以上のインストラクションを保存するメモリと、
    前記メモリに保存された前記１以上のインストラクションを実行するプロセッサと、を含み、
    前記プロセッサは、前記１以上のインストラクションを実行することにより、
    ３６０°コンテンツ再生中、前記３６０°コンテンツ再生のために選択された複数の画角値に対応するユーザ入力を受信し、
    前記３６０°コンテンツ再生のために選択された前記複数の画角値を含む画角情報を生成し、
    前記画角情報は、複数のエントリーを含み、
    各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む映像表示装置。
  7. 前記各エントリーは、
    ズームサイズ情報をさらに含むことを特徴とする請求項６に記載の映像表示装置。
  8. 前記プロセッサは、前記１以上のインストラクションを実行することにより、
    前記画角情報を、前記３６０°コンテンツのファイルに保存するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルに保存することを特徴とする請求項６に記載の映像表示装置。
  9. 前記画角情報は、前記３６０°コンテンツに含まれたオブジェクトに対応し、
    前記画角情報は、前記オブジェクトを識別するための情報をさらに含むことを特徴とする請求項６に記載の映像表示装置。
  10. 前記プロセッサは、前記１以上のインストラクションを実行することにより、
    前記３６０°コンテンツを構成する複数のファイルのうち１以上のファイルに対応する３６０°映像再生のために選択された１以上の画角値に対応するユーザ入力を受信し、
    前記３６０°映像再生のために選択された、１以上のファイルに対応する１以上の画角値、及び各画角値に対応するファイル識別子を含む画角情報を生成することを特徴とする請求項６に記載の映像表示装置。
  11. 映像表示装置の動作方法において、
    ３６０°コンテンツ、及び前記３６０°コンテンツ再生のために選択された複数の画角値を含む画角情報を獲得する動作と、
    前記獲得された画角情報に含まれた前記複数の画角値により、前記３６０°コンテンツをディスプレイする動作と、を含み、
    前記画角情報は、前記３６０°コンテンツ再生のために選択されたボグッの画角値に対応する複数のエントリーを含み、
    各エントリーは、前記３６０°コンテンツのうちで表示する領域を示す画角値、及び前記画角値が適用される時間またはフレームに係わる情報を含む映像表示装置の動作方法。
  12. 前記各エントリーは、
    ズームサイズ情報を含むことを特徴とする請求項１１に記載の映像表示装置の動作方法。
  13. 前記画角情報を外部コンピュータから受信する動作をさらに含むことを特徴とする請求項１１に記載の映像表示装置の動作方法。
  14. 前記画角情報は、前記３６０°コンテンツに対応する複数の画角情報のうち、既定の基準によって推薦された画角情報であることを特徴とする請求項１１に記載の映像表示装置の動作方法。
  15. 前記画角情報を、前記３６０°コンテンツのファイルから抽出するか、あるいは前記３６０°コンテンツのファイルと別途のメタファイルから獲得する動作をさらに含むことを特徴とする請求項１１に記載の映像表示装置の動作方法。
JP2019506662A 2016-08-16 2017-08-11 映像表示装置及びその動作方法 Active JP6746772B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0103756 2016-08-16
KR1020160103756A KR102567002B1 (ko) 2016-08-16 2016-08-16 영상 표시 장치 및 그 동작방법
PCT/KR2017/008722 WO2018034462A1 (en) 2016-08-16 2017-08-11 Image display apparatus and method of operating the same

Publications (2)

Publication Number Publication Date
JP2019525628A true JP2019525628A (ja) 2019-09-05
JP6746772B2 JP6746772B2 (ja) 2020-08-26

Family

ID=61191896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506662A Active JP6746772B2 (ja) 2016-08-16 2017-08-11 映像表示装置及びその動作方法

Country Status (6)

Country Link
US (1) US11062423B2 (ja)
EP (1) EP3375197B1 (ja)
JP (1) JP6746772B2 (ja)
KR (1) KR102567002B1 (ja)
CN (1) CN107770627B (ja)
WO (1) WO2018034462A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019257B2 (en) 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US10848668B2 (en) * 2016-05-19 2020-11-24 Avago Technologies International Sales Pte. Limited 360 degree video recording and playback with object tracking
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10664127B2 (en) * 2017-12-29 2020-05-26 Facebook, Inc. Connected TV 360-degree media interactions
US10845943B1 (en) 2020-02-14 2020-11-24 Carmax Business Services, Llc Systems and methods for generating a 360-degree viewing experience
US11259081B2 (en) 2020-02-28 2022-02-22 Rovi Guides, Inc. Systems and methods for adaptively modifying presentation of media content
CN113473157B (zh) * 2020-04-28 2022-08-12 海信集团有限公司 一种自由视点视角信息推荐方法以及相关设备
CN113906727A (zh) * 2020-08-13 2022-01-07 深圳市大疆创新科技有限公司 全景回放的方法、装置和***、拍摄设备、可移动平台
EP4064691A1 (en) * 2021-03-23 2022-09-28 Ricoh Company, Ltd. Communication management device, image communication system, communication management method, and carrier means

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
JP2014165839A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置及びプログラム
JP2015015583A (ja) * 2013-07-04 2015-01-22 ブラザー工業株式会社 端末装置、及びプログラム
US20150082364A1 (en) * 2013-09-13 2015-03-19 3D-4U, Inc. Video Production Sharing Apparatus and Method
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
JP2015187797A (ja) * 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US20160080830A1 (en) * 2014-09-12 2016-03-17 Kiswe Mobile Inc. Methods and apparatus for content interaction

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0313866D0 (en) 2003-06-14 2003-07-23 Impressive Ideas Ltd Display system for recorded media
KR100827129B1 (ko) 2006-10-28 2008-05-02 삼성전자주식회사 미디어 컨텐츠의 부가정보 제공 장치 및 방법
US8605133B2 (en) 2007-06-27 2013-12-10 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
KR101397433B1 (ko) 2007-07-18 2014-06-27 삼성전자주식회사 미디어 파일 재생 장치에서 이퀄라이저를 설정하는 방법 및이를 위한 장치
CN101583010A (zh) 2008-05-14 2009-11-18 致伸科技股份有限公司 图像处理方法及图像处理***
CN103703755B (zh) 2011-07-22 2016-02-10 富士胶片株式会社 全景图像产生方法和图像捕获设备
JP6056293B2 (ja) 2012-09-12 2017-01-11 株式会社リコー 照明光源装置及びこの照明光源装置を備えた投射装置及び投射装置の制御方法
CN107509029A (zh) 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
JP6249202B2 (ja) * 2013-05-10 2017-12-20 ソニー株式会社 画像表示装置、画像表示方法、およびプログラム
KR101518814B1 (ko) 2013-09-11 2015-05-28 (주) 메리제이콘텐츠 360도 서라운드 뷰 영상 데이터를 이용한 방송 컨텐츠의 저작방법
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9760768B2 (en) 2014-03-04 2017-09-12 Gopro, Inc. Generation of video from spherical content using edit maps
JP6440747B2 (ja) * 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
CN104199944B (zh) 2014-09-10 2018-01-09 重庆邮电大学 一种实现街景视图展示的方法及装置
US20160234556A1 (en) * 2015-02-11 2016-08-11 Fan Media Network, Inc. System and Method for Organizing, Ranking and Identifying Users as Official Mobile Device Video Correspondents
KR20170055867A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102536945B1 (ko) * 2016-08-30 2023-05-25 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
JP2014165839A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 端末装置及びプログラム
JP2015015583A (ja) * 2013-07-04 2015-01-22 ブラザー工業株式会社 端末装置、及びプログラム
US20150082364A1 (en) * 2013-09-13 2015-03-19 3D-4U, Inc. Video Production Sharing Apparatus and Method
WO2015126144A1 (ko) * 2014-02-18 2015-08-27 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
JP2015187797A (ja) * 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
US20160080830A1 (en) * 2014-09-12 2016-03-17 Kiswe Mobile Inc. Methods and apparatus for content interaction

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP2022075940A (ja) * 2020-01-30 2022-05-18 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
KR20220123061A (ko) * 2020-01-30 2022-09-05 아마텔러스 인크. 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
JP7365076B2 (ja) 2020-01-30 2023-10-19 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
KR102638162B1 (ko) 2020-01-30 2024-02-20 아마텔러스 인크. 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램

Also Published As

Publication number Publication date
EP3375197A4 (en) 2018-12-05
US20180053280A1 (en) 2018-02-22
US11062423B2 (en) 2021-07-13
KR20180019421A (ko) 2018-02-26
EP3375197B1 (en) 2022-10-12
JP6746772B2 (ja) 2020-08-26
KR102567002B1 (ko) 2023-08-14
CN107770627A (zh) 2018-03-06
CN107770627B (zh) 2020-11-06
EP3375197A1 (en) 2018-09-19
WO2018034462A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6746772B2 (ja) 映像表示装置及びその動作方法
US11657783B2 (en) Display device and operating method thereof
US10453246B2 (en) Image display apparatus and method of operating the same
US10203927B2 (en) Display apparatus and display method
JP4892601B2 (ja) 情報処理装置、チューナーおよび情報処理方法
EP2661670A1 (en) Contextual user interface
KR20130132886A (ko) 디스플레이된 컨텐츠에 관련된 추가적인 컨텐츠를 제공하기 위한 방법 및 시스템
US20160373828A1 (en) Display device and operating method thereof
US10645283B2 (en) Display device
JP5436570B2 (ja) 情報処理装置、チューナーおよび情報処理方法
KR20150048961A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
JP5265498B2 (ja) 情報処理装置、チューナーおよび情報処理方法
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치
KR20180040230A (ko) 디스플레이 장치
KR20170138145A (ko) 디스플레이 장치 및 그의 동작 방법
KR100564392B1 (ko) 미디어 전송기의 화면검색 재생방법
KR20220031436A (ko) 전자 장치 및 그 동작 방법
CN116527972A (zh) 显示装置及其操作方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200805

R150 Certificate of patent or registration of utility model

Ref document number: 6746772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250