JP6969572B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents
送信装置、送信方法、受信装置および受信方法 Download PDFInfo
- Publication number
- JP6969572B2 JP6969572B2 JP2018547606A JP2018547606A JP6969572B2 JP 6969572 B2 JP6969572 B2 JP 6969572B2 JP 2018547606 A JP2018547606 A JP 2018547606A JP 2018547606 A JP2018547606 A JP 2018547606A JP 6969572 B2 JP6969572 B2 JP 6969572B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- viewing angle
- wide viewing
- target point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 16
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 238000011161 development Methods 0.000 claims description 3
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
送信装置にある。
広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
受信装置にある。
1.実施の形態
2.変形例
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
図2は、送信装置100の構成例を示している。この送信装置100は、制御部101と、ユーザ操作部101aと、表示部101bと、広視野角カメラ102と、非圧縮データバッファ(dpb:decoded picture buffer)103と、ビデオエンコーダ104と、圧縮データバッファ(cpb:coded picture buffer)105と、TSフォーマッタ106と、送信部107を有している。
A:(0,OA/OS)
B:(90,1(OB/OT=1))
C:(180,OC/OU)
D:(270,1(OD/OW=1))
なお、OA,OB,OC,ODの角度は必ずしも90度刻みである必要はなく、水平軸からの角度として任意に指定できる要素である。
図17は、受信装置200の構成例を示している。この受信装置200は、制御部(Central Processing Unit)201と、ユーザ操作部201aと、受信部202と、TS解析部203と、圧縮データバッファ(cpb:coded picture buffer)204と、ビデオデコーダ205と、非圧縮データバッファ(dpb:decoded picture buffer)206と、コンバータ/セレクタ207と、合成部208と、表示部209を有している。
なお、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
(1)広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
送信装置。
(2)上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
前記(1)に記載の送信装置。
(3)上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの2次元相対位置の情報を含む
前記(1)に記載の送信装置。
(4)上記基準となる点は、上記長方形領域のトップ・レフトの点である
前記(3)に記載の送信装置。
(5)上記基準となる点は、上記長方形領域内に存在する楕円の有効画像領域上に設定された基準点である
前記(3)に記載の送信装置。
(6)上記情報挿入部は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記情報挿入部は、上記ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはGOPの先頭のピクチャの符号化データのみに対応して挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(8)送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
情報挿入部が、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入ステップを有する
送信方法。
(9)広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
受信装置。
(10)複数の上記ターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
上記処理部は、上記ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる
前記(9)に記載の受信装置。
(11)受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
処理部が、上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理ステップをさらに有する
受信方法。
100・・・送信装置
101・・・制御部
101a・・・ユーザ操作部
101b・・・表示部
102・・・広視野角カメラ
103・・・非圧縮データバッファ
104・・・ビデオエンコーダ
105・・・圧縮データバッファ
106・・・TSフォーマッタ
107・・・送信部
200・・・受信装置
201・・・制御部
201a・・・ユーザ操作部
202・・・受信部
203・・・TS解析部
204・・・圧縮データバッファ
205・・・ビデオデコーダ
206・・・非圧縮データバッファ
207・・・コンバータ/セレクタ
208・・・合成部
209・・・表示部
Claims (10)
- 広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備え、
上記情報挿入部は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
送信装置。 - 上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
請求項1に記載の送信装置。 - 上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの2次元相対位置の情報を含む
請求項1に記載の送信装置。 - 上記基準となる点は、上記長方形領域のトップ・レフトの点である
請求項3に記載の送信装置。 - 上記基準となる点は、上記長方形領域内に存在する楕円の有効画像領域上に設定された基準点である
請求項3に記載の送信装置。 - 上記情報挿入部は、上記ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはGOPの先頭のピクチャの符号化データのみに対応して挿入する
請求項1から5のいずれかに記載の送信装置。 - 送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
情報挿入部が、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入ステップを有し、
上記情報挿入ステップでは、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
送信方法。 - 広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および該楕円の有効画像領域上に設定された基準点の情報が挿入されており、
上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を得るように処理すると共に、上記広視野角画像の動画像データに上記有効画像領域の情報と上記基準点の情報に基づいてパノラマ展開の画像処理を施してパノラマ表示用画像データを得るように処理する処理部をさらに備える
受信装置。 - 複数の上記ターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
上記処理部は、上記ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる
請求項8に記載の受信装置。 - 受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および該楕円の有効画像領域上に設定された基準点の情報が挿入されており、
処理部が、上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を得るように処理すると共に、上記広視野角画像の動画像データに上記有効画像領域の情報と上記基準点の情報に基づいてパノラマ展開の画像処理を施してパノラマ表示用画像データを得るように処理する処理ステップをさらに有する
受信方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016208350 | 2016-10-25 | ||
JP2016208350 | 2016-10-25 | ||
PCT/JP2017/037764 WO2018079388A1 (ja) | 2016-10-25 | 2017-10-18 | 送信装置、送信方法、受信装置および受信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018079388A1 JPWO2018079388A1 (ja) | 2019-09-12 |
JP6969572B2 true JP6969572B2 (ja) | 2021-11-24 |
Family
ID=62024910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018547606A Active JP6969572B2 (ja) | 2016-10-25 | 2017-10-18 | 送信装置、送信方法、受信装置および受信方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3534611A1 (ja) |
JP (1) | JP6969572B2 (ja) |
CN (1) | CN109845274B (ja) |
WO (1) | WO2018079388A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6943255B2 (ja) * | 2016-10-26 | 2021-09-29 | ソニーグループ株式会社 | 送信装置、送信方法、受信装置および受信方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2827680B1 (fr) * | 2001-07-20 | 2003-10-10 | Immervision Internat Pte Ltd | Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire |
GB0230328D0 (en) * | 2002-12-31 | 2003-02-05 | British Telecomm | Video streaming |
KR101603791B1 (ko) * | 2009-03-18 | 2016-03-17 | 삼성전자주식회사 | 파노라마의 생성 방법 |
JP5593772B2 (ja) * | 2010-03-29 | 2014-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6192902B2 (ja) * | 2011-11-11 | 2017-09-06 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
JP6267961B2 (ja) * | 2012-08-10 | 2018-01-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 映像提供方法および送信装置 |
CN105264904A (zh) * | 2013-06-19 | 2016-01-20 | Lg电子株式会社 | 信号发送和接收装置及其控制方法 |
CN106031180A (zh) * | 2014-02-18 | 2016-10-12 | Lg电子株式会社 | 收发用于全景服务的广播信号的方法和设备 |
WO2015197815A1 (en) * | 2014-06-27 | 2015-12-30 | Koninklijke Kpn N.V. | Determining a region of interest on the basis of a hevc-tiled video stream |
JP5920897B2 (ja) * | 2014-07-03 | 2016-05-18 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
GB2530751A (en) * | 2014-09-30 | 2016-04-06 | Sony Corp | Video data encoding and decoding |
CN112511833A (zh) * | 2014-10-10 | 2021-03-16 | 索尼公司 | 再现装置 |
KR101844032B1 (ko) * | 2014-12-26 | 2018-05-14 | 주식회사 케이티 | 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스 |
GB201502205D0 (en) * | 2015-02-10 | 2015-03-25 | Canon Kabushiki Kaisha And Telecom Paris Tech | Image data encapsulation |
CN105843541A (zh) * | 2016-03-22 | 2016-08-10 | 乐视网信息技术(北京)股份有限公司 | 全景视频中的目标追踪显示方法和装置 |
-
2017
- 2017-10-18 EP EP17864519.8A patent/EP3534611A1/en not_active Withdrawn
- 2017-10-18 CN CN201780063699.8A patent/CN109845274B/zh not_active Expired - Fee Related
- 2017-10-18 WO PCT/JP2017/037764 patent/WO2018079388A1/ja unknown
- 2017-10-18 JP JP2018547606A patent/JP6969572B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
EP3534611A4 (en) | 2019-09-04 |
CN109845274A (zh) | 2019-06-04 |
WO2018079388A1 (ja) | 2018-05-03 |
EP3534611A1 (en) | 2019-09-04 |
CN109845274B (zh) | 2021-10-12 |
JPWO2018079388A1 (ja) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11049323B2 (en) | Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling | |
US10575062B2 (en) | Reception apparatus, reception method, transmission apparatus, and transmission method | |
CN110999308B (zh) | 发送装置、发送方法、接收装置和接收方法 | |
EP3739889A1 (en) | Transmission device, transmission method, reception device and reception method | |
US11800162B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP2024015131A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP6969572B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP6943255B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
WO2023153472A1 (ja) | メディア処理装置、送信装置及び受信装置 | |
JP7056576B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US10965971B2 (en) | Server device, method of transmission processing of server device, client device, method of reception processing of client device, and server system | |
WO2020039973A1 (ja) | 受信装置、受信方法、送信装置および送信方法 | |
WO2019181493A1 (ja) | 受信装置、受信方法、送信装置および送信方法 | |
JP2023117400A (ja) | メディア処理装置、送信装置及び受信装置 | |
JP2023117157A (ja) | メディア処理装置、送信装置及び受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6969572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |