JP5812028B2 - 映像処理装置および映像処理方法 - Google Patents
映像処理装置および映像処理方法 Download PDFInfo
- Publication number
- JP5812028B2 JP5812028B2 JP2013046836A JP2013046836A JP5812028B2 JP 5812028 B2 JP5812028 B2 JP 5812028B2 JP 2013046836 A JP2013046836 A JP 2013046836A JP 2013046836 A JP2013046836 A JP 2013046836A JP 5812028 B2 JP5812028 B2 JP 5812028B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- stream
- slice
- display area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title description 4
- 238000003780 insertion Methods 0.000 claims description 110
- 230000037431 insertion Effects 0.000 claims description 110
- 230000033001 locomotion Effects 0.000 claims description 95
- 239000013598 vector Substances 0.000 claims description 28
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 description 38
- 238000009826 distribution Methods 0.000 description 33
- 238000003860 storage Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
(マルチ映像再生システムの一実施の形態の構成例)
図3は、本技術を適用したマルチ映像再生システムの一実施の形態の構成例を示している。
図4は、図3の配信サーバ11の構成例を示すブロック図である。
図5は、図4の合成部34によるマルチ映像のフレーム単位の符号化ストリームの生成について説明する図である。
図6は、表示領域が移動した場合のマルチ映像を説明する図である。
図10は、図4の挿入部35による挿入ストリームの挿入を説明する図である。
図11は、図4の合成部34によるマルチ映像のフレーム単位の符号化ストリームの更新を説明する図である。
図12は、図4の配信サーバ11の生成処理を説明するフローチャートである。
上述した配信サーバ11の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成部と、
前記マルチ映像の表示領域が移動した場合、前記合成部により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部と
を備える映像処理装置。
(2)
前記映像内の周囲の1以上の画素の画素値は所定値である
前記(1)に記載の映像処理装置。
(3)
前記挿入部は、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
前記(1)または(2)に記載の映像処理装置。
(4)
前記挿入部は、前記表示領域の移動方向が上下方向であり、かつ、移動量がスライスの整数倍である場合、参照先が前記マルチ映像内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
前記(3)に記載の映像処理装置。
(5)
前記挿入部は、前記挿入ストリームのスライスヘッダを、前記挿入ストリームの直後の前記マルチ映像の符号化ストリームのスライスヘッダに基づいて生成する
前記(1)乃至(4)のいずれかに記載の映像処理装置。
(6)
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内の前記映像のスライスの参照先が、前記挿入ストリームに対応するマルチ映像の画面外に存在する場合、その映像の全ての符号化単位を、動きベクトルが0であるスキップマクロブロックに置換する
前記(1)乃至(5)のいずれかに記載の映像処理装置。
(7)
前記合成部は、前記マルチ映像の符号化ストリームに対応するマルチ映像内に前記映像の全てのスライスが存在しない場合、その映像の全ての符号化単位を、動きベクトルが0であるスキップマクロブロックに置換する
前記(1)乃至(6)のいずれかに記載の映像処理装置。
(8)
映像処理装置が、
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像の符号化ストリームを生成する合成ステップと、
前記マルチ映像の表示領域が移動した場合、前記合成ステップの処理により生成される前記マルチ映像の符号化ストリームの間に、前記マルチ映像の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入ステップと
を含む映像処理方法。
Claims (8)
- 複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像全体の表示領域の符号化ストリームを生成する合成部と、
前記表示領域が前記マルチ映像間で移動した場合、前記合成部により生成される前記マルチ映像の前記表示領域の符号化ストリームの間に、前記マルチ映像の前記表示領域の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入部と
を備える映像処理装置。 - 前記映像内の周囲の1以上の画素の画素値は所定値である
請求項1に記載の映像処理装置。 - 前記挿入部は、復号時の参照先が前記表示領域内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
請求項1に記載の映像処理装置。 - 前記挿入部は、前記表示領域の移動方向が上下方向であり、かつ、移動量がスライスの整数倍である場合、復号時の参照先が前記表示領域内に存在しない前記挿入ストリームのスライスを、そのスライスの表示位置に表示すべき映像のイントラスライスに置換する
請求項3に記載の映像処理装置。 - 前記挿入部は、前記挿入ストリームのスライスヘッダを、前記挿入ストリームの直後の前記マルチ映像の前記表示領域の符号化ストリームのスライスヘッダに基づいて生成する
請求項1に記載の映像処理装置。 - 前記合成部は、前記マルチ映像の前記表示領域の符号化ストリームの前記映像のスライスの復号時の参照先が、前記挿入ストリームに対応するマルチ映像の表示領域外に存在する場合、前記マルチ映像の前記表示領域の符号化ストリームのうちの、その映像の全ての符号化単位を、動きベクトルが0であるスキップマクロブロックに置換する
請求項1に記載の映像処理装置。 - 前記合成部は、前記表示領域に前記映像の全てが含まれない場合、前記マルチ映像の前記表示領域の符号化ストリームのうちの、その映像の全ての符号化単位を、動きベクトルが0であるスキップマクロブロックに置換する
請求項1に記載の映像処理装置。 - 映像処理装置が、
複数の映像それぞれについて、各水平ラインの符号化単位を同一のスライスとして符号化した符号化ストリームを合成し、前記複数の映像からなるマルチ映像全体の表示領域の符号化ストリームを生成する合成ステップと、
前記表示領域が前記マルチ映像間で移動した場合、前記合成ステップの処理により生成される前記マルチ映像の前記表示領域の符号化ストリームの間に、前記マルチ映像の前記表示領域の全ての符号化単位が前記表示領域の移動方向および移動量を表す動きベクトルのスキップマクロブロックである符号化ストリームを挿入ストリームとして挿入する挿入ステップと
を含む映像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013046836A JP5812028B2 (ja) | 2013-03-08 | 2013-03-08 | 映像処理装置および映像処理方法 |
US14/187,647 US8817881B1 (en) | 2013-03-08 | 2014-02-24 | Video processing apparatus and video processing method |
CN201410071948.6A CN104038776B (zh) | 2013-03-08 | 2014-02-28 | 视频处理装置和视频处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013046836A JP5812028B2 (ja) | 2013-03-08 | 2013-03-08 | 映像処理装置および映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014175857A JP2014175857A (ja) | 2014-09-22 |
JP5812028B2 true JP5812028B2 (ja) | 2015-11-11 |
Family
ID=51469347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013046836A Expired - Fee Related JP5812028B2 (ja) | 2013-03-08 | 2013-03-08 | 映像処理装置および映像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8817881B1 (ja) |
JP (1) | JP5812028B2 (ja) |
CN (1) | CN104038776B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6669617B2 (ja) * | 2016-09-12 | 2020-03-18 | ルネサスエレクトロニクス株式会社 | 動画像処理システム |
US11336909B2 (en) * | 2016-12-27 | 2022-05-17 | Sony Corporation | Image processing apparatus and method |
EP4017001A1 (en) * | 2020-12-17 | 2022-06-22 | Axis AB | Method and digital video camera for forming a combined image frame of a combined video stream |
CN116405694A (zh) * | 2022-03-18 | 2023-07-07 | 杭州海康威视数字技术股份有限公司 | 一种编码、解码方法、装置及其设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5414469A (en) * | 1991-10-31 | 1995-05-09 | International Business Machines Corporation | Motion video compression system with multiresolution features |
US5812791A (en) * | 1995-05-10 | 1998-09-22 | Cagent Technologies, Inc. | Multiple sequence MPEG decoder |
US5764277A (en) * | 1995-11-08 | 1998-06-09 | Bell Communications Research, Inc. | Group-of-block based video signal combining for multipoint continuous presence video conferencing |
JP2962348B2 (ja) * | 1996-02-08 | 1999-10-12 | 日本電気株式会社 | 画像符号変換方式 |
US6147695A (en) * | 1996-03-22 | 2000-11-14 | Silicon Graphics, Inc. | System and method for combining multiple video streams |
US5867208A (en) * | 1997-10-28 | 1999-02-02 | Sun Microsystems, Inc. | Encoding system and method for scrolling encoded MPEG stills in an interactive television application |
US6141062A (en) * | 1998-06-01 | 2000-10-31 | Ati Technologies, Inc. | Method and apparatus for combining video streams |
JP2000341587A (ja) * | 1999-05-25 | 2000-12-08 | Sony Corp | 画像処理装置及び方法 |
BRPI0107875B1 (pt) * | 2000-01-28 | 2015-09-08 | Opentv Inc | método, decodificador, interativo e sistemas destinados a combinarem múltiplas correntes de vídeo codificadas em mpeg |
JP4552290B2 (ja) * | 2000-08-21 | 2010-09-29 | ソニー株式会社 | データ伝送装置及び方法、データ処理装置及び方法 |
US7492387B2 (en) * | 2002-08-05 | 2009-02-17 | Chih-Lung Yang | Implementation of MPCP MCU technology for the H.264 video standard |
US8473628B2 (en) * | 2008-08-29 | 2013-06-25 | Adobe Systems Incorporated | Dynamically altering playlists |
-
2013
- 2013-03-08 JP JP2013046836A patent/JP5812028B2/ja not_active Expired - Fee Related
-
2014
- 2014-02-24 US US14/187,647 patent/US8817881B1/en not_active Expired - Fee Related
- 2014-02-28 CN CN201410071948.6A patent/CN104038776B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN104038776A (zh) | 2014-09-10 |
CN104038776B (zh) | 2017-09-08 |
US8817881B1 (en) | 2014-08-26 |
US20140253806A1 (en) | 2014-09-11 |
JP2014175857A (ja) | 2014-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2568709B1 (en) | Image processing apparatus, image processing method, and image processing system | |
KR102090344B1 (ko) | 화상 처리 장치 및 방법, 및 기록 매체 | |
US7899115B2 (en) | Method for scalably encoding and decoding video signal | |
JP6305279B2 (ja) | 映像圧縮装置および映像再生装置 | |
JP6648783B2 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム | |
JP5811097B2 (ja) | 動画像配信システム、動画像配信方法および動画像配信用プログラム | |
JP2018519723A (ja) | ビデオストリーミング装置、ビデオストリーム、ビデオストリーミング方法、及び、コンピュータプログラム | |
US20150103901A1 (en) | Image processing apparatus and image processing method | |
US20120106643A1 (en) | Image processing device, image processing method, and image processing system | |
JP2016092837A (ja) | 映像圧縮装置、映像再生装置および映像配信システム | |
KR102361314B1 (ko) | 360도 가상현실 방송 서비스 제공 방법 및 장치 | |
Omori et al. | A 120 fps high frame rate real-time HEVC video encoder with parallel configuration scalable to 4K | |
JP5979406B2 (ja) | 画像処理装置、画像処理方法、および画像処理システム | |
JP5812028B2 (ja) | 映像処理装置および映像処理方法 | |
TW201143443A (en) | Method and system for 3D video decoding using a tier system framework | |
JP2007266748A (ja) | 符号化方法 | |
KR101295158B1 (ko) | 공간임의접근을 지원하는 영상 코덱 시스템과 이를구성하는 영상 부호화/복호화 장치 및 방법 | |
WO2009136681A1 (en) | Method for encoding and decoding image, and apparatus for displaying image | |
KR20090103414A (ko) | 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치 | |
KR100734141B1 (ko) | 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치 | |
WO2024018905A1 (ja) | 画像処理装置および方法 | |
WO2021199374A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像システムおよびプログラム | |
CN115606187A (zh) | 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质 | |
JP2011250358A (ja) | 映像処理装置 | |
JP2012004660A (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150907 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5812028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |