KR20120127409A - 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램 - Google Patents
수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램 Download PDFInfo
- Publication number
- KR20120127409A KR20120127409A KR1020127018332A KR20127018332A KR20120127409A KR 20120127409 A KR20120127409 A KR 20120127409A KR 1020127018332 A KR1020127018332 A KR 1020127018332A KR 20127018332 A KR20127018332 A KR 20127018332A KR 20120127409 A KR20120127409 A KR 20120127409A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image signal
- frame
- unit
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000005540 biological transmission Effects 0.000 title claims description 25
- 238000004891 communication Methods 0.000 title claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 11
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000004044 response Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101000609957 Homo sapiens PTB-containing, cubilin and LRP1-interacting protein Proteins 0.000 description 1
- 101150036326 PMT2 gene Proteins 0.000 description 1
- 102100039157 PTB-containing, cubilin and LRP1-interacting protein Human genes 0.000 description 1
- 101100241858 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) OAC1 gene Proteins 0.000 description 1
- 101100043108 Schizosaccharomyces pombe (strain 972 / ATCC 24843) spb1 gene Proteins 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 101150092906 pmt1 gene Proteins 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명에 관한 수신 장치는, 제 1의 화상 신호를 복호화하는 제 1의 디코더(206)와, 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 제 2의 디코더(208)와, 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 CPU(202)와, 상기 위치 정보에 의거하여, 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 오브젝트 재생부(210)를 구비한다.
Description
본 발명은, 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램에 관한 것이다.
종래로부터, 입체 영상(3D 영상)을 표시하는 시스템으로서 다양한 것이 알려져 있다. 예를 들면 하기한 특허 문헌 1 내지 3에 기재되어 있는 바와 같이, 시차를 갖는 좌안용 화상 및 우안용 화상을 소정 주기로 교대로 디스플레이에 공급하고, 이 화상을 소정 주기에 동기하여 구동되는 액정 셔터를 구비하는 안경으로 관찰하는 방법이 알려져 있다.
3D 영상을 방송국으로부터 송신하기 위해서는, 좌안용 화상 및 우안용 화상의 쌍방을 송신할 필요가 있기 때문에, 기존의 2D 영상과 동등한 화질을 확보하려고 하면, 2배의 데이터를 보낼 필요가 생기고, 전송 대역도 2D 영상에 대해 2배 필요하게 된다. 그러나, 방송파 또는 네트워크에 의한 배신 데이터의 전송 대역이 한정되어 있기 때문에, 전송 대역을 증대하는 것에는 곤란이 수반한다. 또한, 2배의 데이터를 송신한 경우, 수신 장치측에서의 디코더가 과부하가 되는 문제가 있다.
또한, 3D 영상을 송신한 포맷으로서, 1프레임을 복수의 뷰로 분할하여 송신하는, 사이드 바이 사이드 방식 등의 수법이 알려져 있지만, 1프레임이 복수의 뷰로 분할되기 때문에, 화질의 열화를 피할 수가 없다. 또한, 이와 같은 3D 영상의 포맷으로 영상 데이터를 송신하면, 이미 유저에게 널리 퍼져 있는 2D 영상의 텔레비전 수상기에서는, 올바른 표시를 할 수가 없기 때문에, 유저는 2D 영상, 3D 영상의 어느것도 적정하게 시청할 수가 없다.
그래서, 본 발명은, 상기 문제를 감안하여 이루어진 것이고, 본 발명의 목적으로 하는 바는, 간소한 구성으로 3D 영상을 시청하는 것이 가능하는, 신규이면서 개량된 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램을 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 어느 관점에 의하면, 제 1의 화상 신호를 복호화하는 제 1의 복호화부와, 상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 제 2의 복호화부와, 상기 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 정보 취득부와, 상기 위치 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 영상 합성부를 구비하는, 수신 장치가 제공된다.
또한, 상기 제 1의 화상 프레임에 의한 화상과 상기 제 2의 화상 프레임에 의한 화상을 주기적으로 표시하는 표시부를 구비하는 것이라도 좋다.
또한, 상기 제 1의 화상 프레임은 동화의 프레임이고, 상기 오브젝트 지시 정보는, 상기 제 1의 화상 프레임에 대한 상기 영역의 화상의 시간적인 동기 정보를 포함하고, 상기 영상 합성부는, 상기 위치 정보 및 상기 동기 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하는 것이라도 좋다.
또한, 상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 또는 상기 제 2의 화상 신호에 의한 화상 프레임의 픽처 헤더에 포함되는 것이라도 좋다.
또한, 상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와는 별개의 스트림으로 송신되고, 타임 스탬프에 의해 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와 대응지어지는 것이라도 좋다.
또한, 상기 제 1의 화상 신호에 의한 상기 제 1의 화상 프레임의 사이즈와 상기 제 2의 화상 신호에 의한 화상 프레임의 사이즈가 동일한 경우, 상기 정보 취득부에 의한 상기 오브젝트 지시 정보의 취득을 행하지 않는 것이라도 좋다.
또한, 상기 제 1의 복호화부와 상기 제 2의 복호화부는, 다른 복호화 방식에 의해 각각의 복호화를 행하는 것이라도 좋다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 제 1의 화상 신호를 부호화하는 제 1의 부호화부와, 상기 제 1의 화상 신호에 의한 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 부호화하는 제 2의 부호화부와, 부호화된 상기 제 1의 화상 신호, 상기 제 2의 화상 신호, 및 상기 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 송신하는 송신부를 구비하는, 송신 장치가 제공된다.
또한, 상기 화상 프레임은 동화의 프레임이고, 상기 오브젝트 지시 정보는, 상기 화상 프레임에 대한 상기 영역의 화상의 시간적인 동기 정보를 포함하는 것이라도 좋다.
또한, 상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 또는 상기 제 2의 화상 신호에 의한 화상 프레임의 픽처 헤더에 삽입되는 것이라도 좋다.
또한, 상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와는 별개의 스트림으로 송신되고, 타임 스탬프에 의해 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와 대응지여지는 것이라도 좋다.
또한, 상기 영역의 화상을 상기 화상 프레임으로부터 분리하는 화상 분리부를 구비하고, 상기 제 2의 부호화부는, 상기 화상 분리부에서 분리된 상기 영역의 화상에 대응하는 상기 제 2의 화상 신호를 부호화하는 것이라도 좋다.
또한, 상기 화상 분리부는, 상기 영역에 대응하는 오브젝트의 움직임에 맞추어서, 상기 화상 프레임 내에서의 상기 영역의 위치를 변화시키면서 상기 영역의 화상을 상기 화상 프레임으로부터 분리하는 것이라도 좋다.
또한, 상기 제 1의 화상 신호에 의한 상기 제 1의 화상 프레임의 사이즈와 상기 제 2의 화상 신호에 의한 화상 프레임의 사이즈가 동일한 경우, 상기 송신부는 상기 오브젝트 지시 정보의 송신을 행하지 않는 것이라도 좋다.
또한, 상기 제 1의 부호화부와 상기 제 2의 부호화부는, 다른 부호화 방식에 의해 각각의 부호화를 행하는 것이라도 좋다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 제 1의 화상 신호를 부호화하는 제 1의 부호화부와, 상기 제 1의 화상 신호에 의한 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 부호화하는 제 2의 부호화부와, 부호화된 상기 제 1의 화상 신호, 상기 제 2의 화상 신호, 및 상기 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 송신하는 송신부를 갖는 송신 장치와, 상기 제 1의 화상 신호를 복호화하는 제 1의 복호화부와, 상기 제 2의 화상 신호를 복호화하는 제 2의 복호화부와, 상기 오브젝트 지시 정보를 취득하는 정보 취득부와, 상기 오브젝트 지시 정보에 포함되는 상기 위치 정보에 의거하여, 상기 제 1의 화상 신호에 의한 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 영상 합성부를 갖는, 수신 장치를 구비하는 통신 시스템이 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 제 1의 화상 신호를 복호화하는 스텝과, 상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 스텝과, 상기 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 스텝과,
상기 위치 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 스텝을 구비하는, 수신 장치의 제어 방법이 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 제 1의 화상 신호를 복호화하는 수단, 상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 수단, 상기 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 수단, 상기 위치 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 수단으로서 컴퓨터를 기능시키기 위한 프로그램이 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 제 1의 화상 신호를 복호화하는 제 1의 복호화부와, 상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 공간적인 위치 정보와, 상기 제 1의 화상 프레임에 대한 상기 영역의 오프셋량(量)을 포함하는 오브젝트 지시 정보를 취득하는 정보 취득부와, 상기 오브젝트 지시 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 영상 합성부를 구비하는, 수신 장치가 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 정지화의 소스 화상으로부터 절출(切出)된 제 1의 화상에 대응하는 제 1의 화상 신호를 복호화하는 제 1의 복호화부와, 정지화의 소스 화상으로부터 절출된 제 2의 화상에 대응하는 제 2의 화상 신호를 복호화하는 제 2의 복호화부와, 상기 제 1의 화상과 상기 제 2의 화상과의 공간적인 위치 정보를 취득하는 위치 정보 취득부와, 상기 위치 정보에 의거하여, 상기 제 1의 화상과 상기 제 2의 화상을 상대적으로 오프셋시킨 상태에서 주기적으로 표시하는 표시부를 구비하는, 수신 장치가 제공된다.
본 발명에 의하면, 간소한 구성으로 3D 영상을 시청하는 것이 가능한 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램을 제공할 수 있다.
도 1은 본 발명의 한 실시 형태에 관한 입체 화상 표시 관찰 시스템의 구성을 도시하는 모식도.
도 2는 본 발명의 한 실시 형태에 관한 송신 장치의 구성례를 도시하는 모식도.
도 3은 타겟 분리부의 구성을 상세히 도시하는 모식도.
도 4는 송신 장치에서의 인코드의 처리를 설명하기 위한 모식도.
도 5는 송신 장치에서의 인코드의 처리를 설명하기 위한 모식도.
도 6은 송신 장치에서의 인코드의 처리를 설명하기 위한 모식도.
도 7은 3D 오브젝트 표시를 위한 오브젝트 지시 정보를 도시하는 모식도.
도 8은 3D_descriptor의 정의를 도시하는 모식도.
도 9는 도 7에서의 Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position에 의해 지정되는 정보를 도시하는 모식도.
도 10은 영상 데이터의 비트 스트림에 3D 정보를 부가하는 경우에, 프라이머리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도.
도 11은 세컨더리 영상이 정지화 등에서 표시 시간이 가변인 경우에, 프라이머리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도.
도 12는 세컨더리의 영상에 3D 정보를 부가하는 예를 도시하는 도면으로, 동화의 화상 단위로 프라이머리의 영상과 세컨더리 영상을 동기시키는 예를 도시하는 모식도.
도 13은 세컨더리 영상이 정지화 등에서 표시 시간이 가변인 경우에, 세컨더리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도.
도 14는 수신 장치의 구성례를 도시하는 모식도.
도 15는 오브젝트 재생부에서의 처리를 도시하는 모식도.
도 2는 본 발명의 한 실시 형태에 관한 송신 장치의 구성례를 도시하는 모식도.
도 3은 타겟 분리부의 구성을 상세히 도시하는 모식도.
도 4는 송신 장치에서의 인코드의 처리를 설명하기 위한 모식도.
도 5는 송신 장치에서의 인코드의 처리를 설명하기 위한 모식도.
도 6은 송신 장치에서의 인코드의 처리를 설명하기 위한 모식도.
도 7은 3D 오브젝트 표시를 위한 오브젝트 지시 정보를 도시하는 모식도.
도 8은 3D_descriptor의 정의를 도시하는 모식도.
도 9는 도 7에서의 Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position에 의해 지정되는 정보를 도시하는 모식도.
도 10은 영상 데이터의 비트 스트림에 3D 정보를 부가하는 경우에, 프라이머리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도.
도 11은 세컨더리 영상이 정지화 등에서 표시 시간이 가변인 경우에, 프라이머리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도.
도 12는 세컨더리의 영상에 3D 정보를 부가하는 예를 도시하는 도면으로, 동화의 화상 단위로 프라이머리의 영상과 세컨더리 영상을 동기시키는 예를 도시하는 모식도.
도 13은 세컨더리 영상이 정지화 등에서 표시 시간이 가변인 경우에, 세컨더리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도.
도 14는 수신 장치의 구성례를 도시하는 모식도.
도 15는 오브젝트 재생부에서의 처리를 도시하는 모식도.
이하에 첨부 도면을 참조하면서, 본 발명의 알맞는 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 시스템 구성례
2. 송신 장치의 구성례
3. 3D 오브젝트 표시를 위한 정보
4. 수신 장치의 구성례
[1. 시스템 구성례]
도 1은, 본 발명의 한 실시 형태에 관한 입체 화상 표시 관찰 시스템의 구성을 도시하는 모식도이다. 본 실시 형태에 관한 시스템은, 영상 콘텐츠 등을 디지털 방송 포맷 등에 의해 송신하는 송신 장치(100)와, 예를 들면 LCD 등으로 구성되는 표시 패널을 구비하는 텔레비전 수상기(수신 장치)(200)와, 표시 화상 감상용 안경(300)을 구비한다. 도 1에서는, 수신 장치(200)와 표시 화상 감상용 안경(300)을 나타내고 있다.
수신 장치(200)는, 지상 디지털 방송 등을 수신하는 텔레비전 수상기이고, 영상 데이터의 비트 스트림을 수신하고, 이것 복호화하여 표시 패널에 표시시키는 것이다. 수신 장치(200)는, 송신 장치로부터 보내진 영상 데이터에 의거하여, 영상을 시분할하여 매우 짧은 주기로 화면 전체에 교대로 디스플레이한다. 또한, 수신 장치(200)는, 좌안용 영상 및 우안용 영상의 디스플레이 주기에 동기하여 좌안 및 우안에 영상을 분리하여 제공할 수 있다. 수신 장치(200)는, 예를 들면, 필드마다 우안용 화상(R)과 좌안용 화상(L)을 교대로 표시한다. 표시 화상 감상용 안경(300)에는, 렌즈에 상당하는 부분에 한 쌍의 액정 셔터(300a, 300b)가 마련되어 있다. 액정 셔터(300a, 300b)는, 수신 장치(200)의 필드마다의 화상 전환에 동기하여 교대로 개폐 동작을 행한다. 즉, 수신 장치(200)에 우안용 화상(R)이 표시되는 필드에서는, 좌안용의 액정 셔터(300b)가 폐쇄 상태가 되고, 우안용의 액정 셔터(300a)가 개방 상태가 된다. 또한, 좌안용 화상(L)이 표시되는 필드에서는, 이와 반대의 동작을 행한다. 이와 같이, 수신 장치(200)는, 좌안용 영상(L) 및 우안용 영상(R)을 매우 짧은 주기로 화면 전체에 교대로 디스플레이하는 동시에, 좌안용 영상(L) 및 우안용 영상(R)의 디스플레이 주기에 동기하여 좌안 및 우안에 영상을 분리하고 제공한다.
이와 같은 동작에 의해, 감상용 안경(300)을 걸고서 수신 장치(200)를 보는 유저의 우안에는 우안용 화상(R)만이, 또한, 좌안에는 좌안용 화상(L)만이 입사된다. 이 때문에, 감상자의 눈의 내부에서 우안용과 좌안용의 화상이 합성되어, 수신 장치(200)에 표시되는 화상이 입체적으로 인식된다. 또한, 수신 장치(200)는, 유저가 감상용 안경(300)을 사용하지 않는 경우는, 통상의 2차원 화상을 표시할 수도 있고, 이 경우, 우안용 화상(R)과 좌안용 화상(L)의 전환은 행하여지지 않는다.
또한, 도 1에서는, 표시 화상 감상용 안경(300)을 구비하는 시스템을 예시하였지만, 본 실시 형태는 이것으로 한정되는 것이 아니고, 편광판 방식 등 안경(300)을 이용하지 않는 입체 화상 표시 관찰 시스템에 적용하는 것도 가능하다.
그런데, 현시점에서 가정 등에 널리 퍼져 있는 텔레비전 수상기(이하, 레거시의 텔레비전 수상기라고 칭하는 경우가 있다)는, 2D에 대응한 디코드를 상정하고 있다. 이 때문에, 3D 영상의 시청을 상정한 텔레비전 수상기가 보급되기 까지의 사이는, 이미 널리 퍼져 있는 텔레비전 수상기에서도, 3D 영상을 시청할 수 있을 것이 요망된다. 이 때문에, 예를 들면 현재 방송파로 보내지고 있는 2D의 영상 데이터를 좌우 영상중의 한쪽의 영상 데이터로 하고, 또한 같은 데이터량의 영상 데이터를 보내여 좌우 영상의 다른쪽의 영상 데이터로 하는 방법이 생각된다. 그러나, 이 경우, 전송 대역이 현재의 2배가 되어 버려, 방송파는 전송 대역이 한정되어 있기 때문에, 부가적인 영상 데이터를 보냄으로써 3D 영상의 시청을 실현하는 것은 곤란하다. 또한, 이 경우, 통상의 텔레비전 수상기에서 수신한 데이터를 디코드하려고 하면, 디코더 부하가 2채널분이 되기 때문에, 디코더에 과부하가 걸려서, 정상적으로 디코드할 수 없는 것이 상정된다. 이 때문에, 부가적인 영상 데이터를 보냈다고 하여도, 통상의 텔레비전 수상기로는, 3D 포맷으로서 취급할 수가 없는 것이 상정된다.
이 때문에, 이미 유저에게 널리 퍼져 있는 텔레비전 수상기를 이용하여 3D 시청을 실현하기 위해서는, 부가적인 영상 데이터를 최소한으로 하여 송신함으로서, 3D 표시를 실현할 필요가 있다. 이에 의해, 3D 텔레비전 수상기가 일반적으로 널리 퍼지기 까지의 도입기에 있어서, 2D 대응의 텔레비전 수상기에서도 3D 시청이 가능해져서, 3D 영상을 널리 일반용으로 제공하는 것이 가능해진다.
한편, 좌안용 화상(L)과 우안용 화상(R)을 전송한 때할의 포맷으로서, 사이드 바이 사이드, 톱 앤드 보텀 등과 같이, 복수의 뷰로 화면을 분할하여 송신하는 수법이 알려져 있다. 그러나, 이미 일반적으로 널리 퍼져 있는 2D 시청용의 텔레비전 수상기는 이와 같은 포맷에는 대응하지 않기 때문, 올바른 3D 표시를 할 수가 없다. 또한, 이 포맷에 대응한 텔레비전 수상기에서도, 1프레임에 좌우 영상의 데이터가 포함되기 때문에, 통상의 2D 화상을 송신하는 경우와 비교하면 화질이 1/2로 저하되어 버린다.
본 실시 형태에서는, 2개 이상의 뷰로 이루어지는 소스 화상에 대해, 3D 표시시키는 영역만을 송신 장치(100)측에서 추출하고, 그 부분을 절출하고, 기본이 되는 뷰에 대한 상대 위치 정보와 함께 인코드하여, 부가적(additional)인 뷰의 영상 데이터로서 수신 장치(200)측에 송신한다. 기본이 되는 뷰에 관해서는 그 영상 데이터가 전부 송신된다. 한편, 부가적인 뷰에서는, 기본이 되는 뷰로부터 절출한 영상의 데이터만을 송신한다. 이 때문에, 기본이 되는 뷰에 대해 시차(視差)가 없는 영상에 관해서는, 부가적인 뷰로는 송신되지 않고, 수신 장치(200)측에서는, 시차가 없는 영상에 관해서는 기본 뷰의 영상을 부가적인 뷰에 카피하여 사용한다. 따라서, 수신 장치(200)측에서는, 부가적인 뷰에 관해서는 기본이 되는 뷰로부터 절출한 영상 데이터만을 디코드하면 좋아, 디코드에 관한 처리를 대폭적으로 저하시키는 것이 가능해진다. 이 때문에, 수신 장치(200)는, CPU에서 잉여가 되는 부하로 디코드하는 것도 가능해지고, 매우 간소한 구성으로 3D의 영상 데이터를 디코드할 수 있다.
또한, 이하에 설명하는 본 실시 형태에서는, 영상 데이터는 동화로 한정되는 것이 아니고, 기본 뷰의 동화에 부가적인 뷰로서 정지화를 부가할 수도 있다. 또한, 기본 뷰와 부가적인 뷰의 각각을 정지화로서 슬라이드 쇼의 표시에 적용할 수도 있다. 그 때, 부호화 방식은, 영상 데이터의 형식에 의존하지 않고, 기본 뷰의 부호화 방식과 부가적인 뷰의 그것은, 같은 방식이라도 좋고, 또는 다른 부호화 방식이라도 상관없다.
[2. 송신 장치의 구성례]
도 2는, 본 발명의 한 실시 형태에 관한 송신 장치(100)의 구성례를 도시하는 모식도이다. 송신 장치(100)는, 예를 들면 텔레비전 방송프로그램 등의 영상 콘텐츠를 제공하는 방송국측의 기기이다. 송신 장치(100)는, 디지털 방송 포맷 등의 데이터 포맷에 의해 텔레비전 수상기에 대해 영상 콘텐츠를 제공한다.
도 2에 도시하는 바와 같이, 송신 장치(100)는, CPU(102), 영상 취득부(Image Capture)(104), 타겟 분리부(Target Separation)(106), 제 1의 인코더(108), 제 2의 인코더(110), 멀티플렉서(Multiplexer)(112), 출력부(114)를 구비한다.
본 실시 형태에서는, 2개 이상의 뷰(view)로 이루어지는 소스 화상에 대해, 3D 표시시키는 영역을 송신측에서 추출하고, 그 부분을 절출하고, 기본이 되는 view에 대한 상대 위치 정보와 함께 그 영역을 별도 인코더에 건네준다.
구체적으로는, 영상 취득부(104)에서 취득된 라이브 영상, 또는 영상 파일의 입력에 대해, 타겟 분리부(106)는, CPU(102)로부터 절취 대상 영역의 지정(오브젝트의 크기)의 지정을 받아서, 기본이 되는 뷰의 영상으로부터 3D 표시시키는 영역의 절출 처리를 행한다. 타겟 분리부(106)는, 절출 영역의 제어 정보(오브젝트 제어 정보)를 CPU(102)에 보내고, CPU(102)로부터 인코더(108, 110)에 절출 영역의 지시 데이터, 표시 기간을 지정하는 데이터(오브젝트 지시 정보)가 보내진다.
도 3은, 타겟 분리부(106)의 구성을 상세히 도시하는 모식도이다. 도 3에 도시하는 바와 같이, 타겟 분리부(106)는, 블록화부(122), 프레임 지연화부(124), 블록 매칭부(126), 포지션 이동부(128), 타겟 오브젝트 블록 분리부(130), 셀렉터(132)를 구비한다. 또한, 도 2 및 도 3에 도시하는 각 기능 블록은, 회로(하드웨어), 또는 CPU(102)와 이것을 기능시키기 위한 소프트웨어(프로그램)에 의해 구성할 수 있다. 이 경우에 있어서, 그 프로그램은, 송신 장치(100)가 구비하는 메모리 등의 기록 매체, 또는 송신 장치(100)의 외부의 기록 매체에 격납될 수 있다.
본 실시 형태에서는, 기본 뷰의 영상을 프라이머리의 영상이라고 칭하고, 프라이머리의 영상으로부터 절출하여 얻어진 다른 뷰의 영상을 세컨더리의 영상이라고 칭하기로 한다. 한 예로서, 기본 뷰인 프라이머리의 영상은, 통상의 2D 영상으로 할 수 있다. 타겟 분리부(106)는, 프라이머리의 영상으로부터 절출하는 영역의 움직임을 검출하고, 움직임에 응하여 절출하는 영역을 변화시킨다. 이에 의해, 예를 들면 기본 뷰로부터 사람의 얼굴만을 절출하는 경우, 얼굴의 움직임에 맞추어서 절출하는 영역을 변경하여 가는 처리가 가능해지고, 수신 장치(200)에서는, 3D 효과에 의해 앞으로 튀여나와 표시되는 얼굴을 화면 방향으로 이동하면서 표시할 수 있다.
도 3의 블록화부(122) 및 프레임 지연부(124)에는, 기본 뷰인 프라이머리의 영상이 입력된다. 블록화부(122)는, 세컨더리 영상의 절출을 위해, CPU(102)로부터 절출의 대상 영역(또는 오브젝트)을 지정하는 정보를 수취한다. 블록화부(122)에서는, CPU(102)로부터의 지령에 의거하여, 절출의 타겟 영역(150)의 현재의 화상을 블록화하는 처리를 행한다. 이에 의해, 타겟 영역(150)의 현재의 화상이 복수의 사각형의 블록으로 분할된다.
프레임 지연화부(124)에서는, 프레임을 지연시켜서, 블록 매칭부(126)에서, 블록화된 현재의 픽처와 지연된 하나 전의 픽처와의 블록 매칭이 행하여져서, 각 블록의 움직임을 나타내는 움직임 벡터를 구한다. 포지션 이동부(128)에서는, 움직임 벡터에 의거하여 대상 영역을 이동시키는 블록이다. 포지션 이동부(128)는, 블록 매칭부(126)의 처리 결과에 응하여, 각 블록에 대응하는 복수의 움직임 벡터중, 대다수의 벡터를 포함하고, 또한 대상 영역의 크기를 초과하지 않는 범위에서, 대상 영역이 하나 전의 픽처로부터 움직인 오프셋량(OFS)을 판정하여, 다음단(次段)에 오프셋량(OFS)을 보낸다. 또한, 포지션 이동부(128)는, 오프셋량(OFS)을 오브젝트 제어 정보로서 CPU(102)에 보낸다.
타겟 오브젝트 블록 분리부(130)에는, 프레임마다의 영상 데이터가 입력된다. 타겟 오브젝트 블록 분리부(130)에서는, 오프셋량(OFS)에 응하여 프레임마다 대상 영역의 절취를 행한 후, 셀렉터(132)에 보낸다. 또한, 셀렉터(132)에는, 기본 뷰인 프라이머리의 영상이 입력된다. 셀렉터(132)는, 타겟 오브젝트 블록 분리부(130)로부터 입력된 영상과, 원래의 프라이머리의 영상을 교대로 전환하여, 제 1 및 제 2의 인코더(108, 110)에 보낸다.
이 때, 제 1의 인코더(108)에는 원래의 프라이머리의 영상이 입력되고, 제 2의 인코더(110)에는 타겟 오브젝트 블록 분리부(130)에서 절출된 영상이 보내진다. 제 1의 인코더(108)는, 원래의 영상인 프라이머리의 영상 데이터의 인코드를 행하고, 제 2의 인코더(110)는, 절출된 세컨더리의 영상 데이터의 인코드를 행한다. 여기에서, 제 2의 인코더(110)에 보내지는 절출 후의 영상은, 타겟 영역(150)의 움직임에 응하여 그 영역이 변화하기 때문에, 3D 표시의 대상 영역, 또는 3D 표시의 대상 오브젝트가 움직임을 수반하는 것이라도, 항상 그 영역, 또는 오브젝트의 움직임에 응한 3D 표시를 행하는 것이 가능하다.
제 1의 인코더(108), 및 제 2의 인코더(110)에서 인코드된 프라이머리, 세컨더리의 영상 데이터는, 멀티플렉서(112)에서 다중화되고, 음성 데이터, 문자 데이터 등과 함께 출력부(114)에 보내진다. 출력부(114)는, 디지털 방송 신호 포맷에 의해 다중화된 영상 데이터, 음성 데이터, 문자 데이터를 수신 장치(200)에 대해 송신한다.
또한, 송신 장치(100)는, 통상의 2D의 영상을 송신하는 경우는, 프라이머리의 영상만을 수신 장치(200)에 보낸다. 이 경우, 세컨더리 영상의 절출은 특히 행하여지지 않는다.
이상과 같이, 본 실시 형태에서는, 프라이머리의 영상(한 예로서, 통상의 2D의 영상)에 대해, 3D 표시가 행하여지는 영역만을 절출하여 수신 장치(200)측에 송신하기 때문에, 3D 표시에 필요한 최소한의 데이터만을 수신 장치(200)에 보낼 수 있다. 따라서, 수신 장치(200)에서의 디코더의 구성을 최소한으로 억제할 수 있고, 수신 장치(200)의 CPU의 잉여분으로 디코드를 행하는 것도 가능해진다. 따라서, 수신 장치(200)를 간소하게 구성하는 것이 가능하다.
다음에, 프라이머리의 영상에 대한 세컨더리의 영상의 상대 위치 정보에 관해 설명한다. 후에 상세히 설명하지만, 프라이머리의 영상과 세컨더리 영상을 수신한 수신 장치(200)는, 1st 뷰로서 프라이머리의 영상을 사용하고, 2nd 뷰로서 프라이머리의 영상에 세컨더리 영상을 합성한 영상을 사용한다. 그리고, 수신 장치(200)는, 1st 뷰와 2nd 뷰를 교대로 표시함으로써 3D 표시를 행한다.
이 때문에, 송신 장치(100)는, 수신 장치(200)에 대해, 프라이머리의 영상 및 세컨더리 영상을 보냄과 함께, 프라이머리의 영상에 대한 세컨더리 영상의 위치를 지정하는 상대 위치 정보를 보낸다. 이에 의해, 수신 장치(200)측에서는, 프라이머리의 영상에 대해 적정한 위치에 세컨더리의 영상을 겹칠 수 있다. 프라이머리의 영상에 대한 세컨더리 영상의 상대 위치 정보는, 예를 들면 부호화 스트림의 픽처(picture) 레이어의 보조 데이터 영역에 삽입한다. 여기서, 보조 데이터 영역에 상대 위치 정보가 존재하지 않는 경우, 수신 장치(200)측에서는, 기본 뷰(view)의 픽처의 톱(top)&레프트(left)의 화상과 같다고 판단한다. 프라이머리의 영상 및 세컨더리 영상의 사이즈가 동일한 경우는, 송신 장치(100)는 상대 위치 정보를 송신을 생략하는 것이 가능하고, 수신 장치(200)는 상대 위치 정보를 수신을 생략할 수 있다.
세컨더리의 영상 데이터의 스트림의 부호화는, 프라이머리의 영상인 기본 뷰(basic view)의 재생 화질에 대해 현저하게 변하지 않도록 한다. 세컨더리 영상의 스트림의 부호화는, 프라이머리의 부호화 방법과 동등하여도 좋고, 또는 다른 동화 코덱, 정지화 코덱 등을 선택하여 인코드하도록 하여도 좋다. 예를 들면, 프라이머리 영상을 MPEG-4 AVC로 부호화하고, 세컨더리 영상을 MPEG2로 부호화하여도 좋다. 이 경우, 세컨더리 영상을 디코드할 때의 부가(附加)를 보다 저감할 수 있다. 또는, 프라이머리의 영상을 MPEG2 비디오로, 세컨더리 영상을 MPEG―4 AVC로 부호화함으로써, 부가적인 뷰에 의한 전송 대역의 증가를 저감하도록 하여도 좋다. 또한, 프라이머리의 영상을 MPEG-4 AVC 또는 MPEG2 비디오로 부호화하고, 세컨더리 영상을 정지화로서 JPEG로 부호화한 등으로 하여도 좋다.
도 4, 도 5 및 도 6은, 송신 장치(100)에서의 인코드의 처리를 설명하기 위한 모식도이다. 여기에서, 도 4는, 2개의 뷰의 화상을 1프레임에 합체하여 인코드하는 예를 나타내고 있다. 이 경우, 1st 뷰와 2nd 뷰는 각각 화면 수평 방향으로 압축 처리가 이루어지고, 1프레임에 합체되어 인코드된다. 이 처리는, 통상의 사이드 바이 사이드(side by side)의 처리와 마찬가지이다.
또한, 도 5는, 본 실시 형태에 있어서, 1st 뷰와, 2nd 뷰의 절출 영역의 코덱을 도시하는 모식도이다. 이 경우, 2nd 뷰는, 인코드 되어 인핸스드 레이어(Enhanced Layer)로서 부가된다. 도 5에 도시하는 컴패터블 레이어(Compatible Layer)는, 통상의 2D 영상 데이터인 프라이머리의 영상 데이터를 나타내고 있다. 컴패터블 레이어는 통상의 2D 영상 데이터와 동등한 화질로 보낼 수 있다. 인핸스드 레이어는 필요 최소한의 절출 영역에 대응하기 때문에, 컴패터블 레이어의 데이터량보다도 적어진다. 도 5에 도시하는 바와 같이, 프라이머리의 영상, 세컨더리 영상은, PID 또는 비디오 트랙(Video Track)의 정보에 의해 지정된다.
도 6은, 본 실시 형태에 의한 절출하고 처리에 의한 인코드의 수법을 도시하는 모식도이다. 도 6의 상단에 도시하는 바와 같이, 2D 영상으로서 1st 뷰의 영상만을 보내는 경우, 1st 뷰의 영상 데이터만이 인코드된다. 이 경우, 제 1의 인코더(108)에서 프라이머리의 영상이 부호화되어, 수신 장치(200)에 송신된다. 도 6의 하단은, 상술한 본 실시 형태의 수법에 의해, 2nd 뷰로서 프라이머리의 영상으로부터 절출한 영역의 영상을 인코드하는 경우를 나타내고 있다.
도 6의 하단에 도시하는 바와 같이. 본 실시 형태에서는, 1st 뷰에 관해서는, 1프레임의 데이터가 그대로 제 1의 인코더(108)에 인코드된다. 한편, 2nd 뷰에 관해서는, 1st 뷰로부터의 절출 영역만이 제 2의 인코더(110)에 인코드된다. 이 때문에, 도 6의 하단에 도시하는 바와 같이, 2nd 뷰에서의, 절출한 영역의 부호화 데이터의 데이터량은, 1st 뷰가 부호화된 데이터(Coded Video Data)의 데이터량에 비하여 대폭적으로 저감할 수 있다. 따라서, 수신 장치(200)측에서는, 디코드의 부하를 최소한으로 억제하는 것이 가능하다.
도 1에 도시하는 멀티플렉서(112)는, 시스템 전체의 다중화 스트림중에서, 기본의 뷰(통상의 2D의 비디오 신호에 상당)의 비디오 스트림, 세컨더리 영상의 스트림으로서 ID를 붙이고, 다중화한다. 이에 의해, 다중화된 스트림중에서, 프라이머리의 영상과 세컨더리 영상을 ID로 연결할 수 있다.
또한, 타임 스탬프는, 기본 뷰의 영상 데이터의 타임 스탬프와 같은 동기 방법을 적용한다. 다중화할 때의 시스템 관리는, CPU(102)에서, 트랜스포트 스트림(TS)의 헤더에 정의되는 PMT(Program Map Table)의 테이블에서 행한다. 그 때는, 프라이머리의 영상을 2D의 비디오 스트림으로 하고, 추가 뷰(세컨더리 영상)의 스트림을, 이하와 같이 PMT의 아래에서 2D의 비디오 스트림에 부가하도록 정의하고, ID를 붙여서 관리한다. 이와 같은 수법에 의하면, 현재의 상태의 트랜스포트 스트림의 구조를 바꾸는 일 없이, 프라이머리의 영상과 세컨더리 영상을 PES의 ID로 연결할 수 있다.
PAT------PMT1-----------Video (2D Basic)
-----------Audio
-----------Video (Secondary enhancement)
------PMT2
PMT에서는, 각 부호화 신호의 PID 지정, ES의 종류나 상태, 프로그램의 PCR의 PID 등을 지정한다. 수신 장치(200)측에서는, 현재 상태의 구조를 이용하여, 프라이머리의 영상과 세컨더리 영상을 연결하고, 상기한 부호화 과정과는 반대의 처리를 행함으로써, 소망하는 표시를 행할 수가 있다.
멀티플렉서(112)에서는, 제 1의 인코더(108)에서 인코드된 데이터와, 제 2의 인코더(110)에서 인코드된 데이터를 다중화한다. 다중화된 데이터는 출력부(114)로부터 수신 장치(200)측에 송신된다.
[3. 3D 오브젝트 표시를 위한 정보]
도 7은, 3D 오브젝트 표시를 위한 오브젝트 지시 정보(이하, 3D 정보라고 칭하는 경우가 있다)를 도시하는 모식도이다. 도 7에 도시하는 오브젝트 지시 정보는, 제 1의 인코더(108), 제 2의 인코더(110), 멀티플렉서(112)에 보내져서, 영상 데이터에 삽입된다. 오브젝트 지시 정보는, 하나의 엘리멘터리 스트림으로서 보낼 수 있다. 이 경우, 프라이머리의 영상, 세컨더리 영상, 및 오브젝트 지시 정보는, 타임 스탬프에 의해 대응지여질 수 있다. 또한, 후술하는 바와 같이, 오브젝트 지시 정보는, 프라이머리의 영상 또는 세컨더리 영상의 픽처 단위(픽처 헤더의 유저 데이터 영역)에 삽입할 수 있다.
도 7에 도시하는 각 정보를 설명하면, Data_Length는, 오브젝트 지시 정보의 데이터량을 나타내는 정보이다. Number_of_VideoViews N은, 하나의 프라이머리의 영상으로부터 절출되는 세컨더리 영상의 수를 나타내는 정보이다. 본 실시 형태에서는, 한 예로서 하나의 프라이머리의 영상으로부터 하나의 세컨더리 영상을 절출하는 예를 나타내지만, 2 이상의 세컨더리 영상을 절출하여도 좋고, N개의 세컨더리 영상을 절출할 수 있다. Target_videoView(i)는, 본 정보가 취급하는 뷰(View)의 Elementary PID를 나타내는 정보이다. 이 정보에 의해, 세컨더리 영상에 대한 프라이머리의 영상이 식별 정보인 ID에 의해 지정되고, 세컨더리 영상에 대한 프라이머리의 영상의 시간적인 프레임마다의 대응지음을 행할 수가 있다.
도 7에서, Target_videoView는, 프라이머리의 영상의 뷰에 대응하고, 대응하는 뷰의 PID를 지정한다. Partner_videoView는, 세컨더리 영상의 뷰에 대응하고, 대응하는 뷰의 PID를 지정한다. 예를 들면, Target_videoView=PID1, Partner_ViewoView=PID0으로 함으로써, 대응하는 뷰를 지정한다. Picture_ID는, 픽처마다에 카운트업되는 값으로, 정지화의 시계열순의 식별자에 이용한다.
또한, 각각의 뷰에는, 프라이머리의 영상에 대한 세컨더리 영상의 공간적인 위치(화면 내의 위치)를 지정하는 위치 정보, 세컨더리 영상의 표시 기간 등을 지정하기 위해, 복수의 플래그 Object_Offset_position_flag, Status_Count_flag가 설정된다.
Object_Offset_position_flag가 "1"인 경우, Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position의 각 데이터에 의해 절출 영역이 지정된다. 이들의 정보는, Target_videoView의 시점(0, 0)에 대한 Partner_ViewoView의 오브젝트(object) 영역의 시작 위치, 종료 위치를 지정하는 데이터이다.
Pixel_ratio는, Target_videoView의 해상도에 대한, Partner_ViewoView의 오브젝트 영역의 해상도비를 지정하는 정보이다. Pixel_ratio=0x0인 경우는, 해상도 변환이 불필요한 것을 나타낸다.
Status_Count_flag가 "1"인 경우, All_VideoView, DurationCounter에 의해, 세컨더리 영상을 사용한 3D 표시 계속 기간이 지정된다. All_VideoView가 "1"인 경우는, Target_VideoView뿐만 아니라, 모든 videoview에 관해 Duration_Counter에 의한 표시 계속 시간 제어를 적용한다. Duration_Counter는, 표시 시작 후, 표시 계속 시간을 프레임 수로 지정한다. 또한, 동화의 경우는, 각 픽처에 오브젝트 지시 정보를 삽입함으로써, 수신 장치(200)측에서는, 세컨더리 영상의 표시 계속 기간을 인식할 수 있다. Duration_Counter는, 특히 정지화를 보내는 경우에, 표시 계속 기간을 지정할 때에 유효하다.
또한, 송신 장치(100)는, 세컨더리의 영상 데이터 자체는 보내지 않고, 프라이머리의 영상으로부터의 절출 영역과, 프라이머리의 영상에 대한 시차량의 정보를 송신하도록 하여 도 좋다. 이 경우, Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position의 각 데이터에 의해 절출 영역을 지정함과 함께, 시차량을 나타내는 정보를 송신한다. 수신 장치(200)는, 프라이머리의 영상으로부터 Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position의 각 데이터로 나타나는 영역을 절출하고, 시차를 붙여서 세컨더리 영상을 생성한다. 절출 영역 이외의 시차가 없는 영역에 관해서는, 프라이머리의 영상을 카피하여 세컨더리 영상을 생성한다. 이에 의해, 수신 장치(200)는, 프라이머리의 영상과 세컨더리 영상으로 이루어지는 3D 영상을 생성할 수 있다.
또한, 도 7에 도시하는 오브젝트 지시 정보의 전송 방법은, 독립 엘리멘터리 스트림으로 전송하여도 좋고, 또는 영상 데이터의 픽처 단위의 유저 데이터로서 전송하여도 좋다.
상술한 바와 같이 MPEG에서는, 전송하는 컨텐츠의 스트림 정보를 기술하는 PSI(Program System Information)로서, PMT(Program map table)가 있다. PMT의 스트림 정보에는, 오디오나 비디오 등의 패킷을 선택하기 위한 PID(Packet ID), stream_type이나 descriptor 등이 포함되고, 비디오의 코덱이나 오디오의 코덱이 무엇을 이용하여 부호화되어 있는지를 알 수 있다. 도 7에 도시하는 3D 정보를 트랜스포트 스트림(Transport Stream) 내에서 다중화하는 경우, 뷰 사이의 링크 정보로서, Program Map Section(TS Table ID=0x02)에서, 3D_descriptor에 의해 지정할 수 있다. 이 경우, 3D_descriptor을 도 8에서 도시하는 바와 같이 정의한다.
도 9는, 도 7에서 Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position에 의해 지정되는 정보를 도시하는 모식도이다.
도 9에서, X는 프라이머리의 영상의 수평 방향의 사이즈(Primary video Picture Horizontal Size)를, Y는 프라이머리의 영상의 수직 방향의 사이즈(Primary video Picture Vertical Size)를 나타내고 있다. HD 사이즈인 경우, X=1920픽셀, Y=1080픽셀이다. 또한, (hs, vs)는, 세컨더리 영상의 시점(P1)의 좌표 위치를, (he, ve)는 세컨더리 영상의 종점(P2)의 좌표 위치를 나타내고 있다. 도 9의 예에서는, 세컨더리 영상(secondary video)으로서 절출되는 영상은, (hs, vs)를 좌상(左上)의 정점(頂点)으로 하고 (he, ve)를 우하(右下)의 정점으로 하는 사각형 영역이다. 또한, (he, ve) 대신에, 오브젝트 영역의 사이즈를 보내여도 좋다. 또한, 3D 정보는, 부호화 스트림 내의 헤더 정보에 의한 전송법으로 보내여도 좋다.
상술의 예에서는, Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position에 의해 지정되는 정보에 의해, 프라이머리의 영상으로부터의 세컨더리 영상의 절출 범위가 지정된다. 한편, 예를 들면 송신 장치(100)로부터 정지화를 송신하는 경우, 일반적으로 정지화상의 화소수는 동화 프레임에 의해 표시되는 표시 패널(풀 HD 사이즈 등)의 화소수보다도 많기 때문에, 정지화의 소스 화상으로부터 소정의 범위를 절출하여 전송하게 된다. 이 때문에, 정지화의 전송에서는, 도 7에 도시하는 각종 정보를, 소스 화상으로부터의 절출 범위를 지정하는 정보로서 이용하여도 좋다. 이 경우, 프라이머리 화상, 세컨더리 화상의 쌍방이 소스 화상으로부터 절출되어, 수신 장치(200)에 보내져서, 수신 장치(200)측에서 프라이머리 화상과 세컨더리 화상을 교대로 표시함으로써, 정지화의 3D 영상의 시청이 가능해진다.
도 10은, 영상 데이터의 비트 스트림에 3D 정보를 부가하는 경우에, 프라이머리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도이다. 도 9는, 동화의 3D 표시의 경우에 화상 단위로 프라이머리의 영상과 세컨더리 영상을 동기시키는 예를 나타내고 있다. 동기는, 타임 스탬프를 이용하여, 프레임 바이 프레임으로 행한다. 이 경우, 제 1의 인코더(108)에서, 프라이머리의 영상의 화상마다 3D 정보가 삽입된다. 한 예로서, 3D 정보를 부호화 비디오의 GOP(Groupe of Picture) 또는 I픽펴에 동기시켜서, 그 헤더에 삽입할 수 있다.
도 11은, 세컨더리 영상이 정지화 등에서 표시 시간이 가변인 경우에, 프라이머리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도이다. 이 경우, 세컨더리 영상은 소정의 표시 시간의 사이는 변화하지 않기 때문에, 화상마다 3D 정보를 삽입할 필요는 없다. 이 때문에, 제 1의 인코더(108)에서, 세컨더리 영상의 표시 시간에 응하여, 소정수의 화상마다 3D 정보를 삽입한다. 세컨더리 영상의 표시 시간은, 도 7로 설명한 Duration Counter에 의해 지정된다.
도 12는, 세컨더리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도이고, 동화의 화상 단위로 프라이머리의 영상과 세컨더리 영상을 동기시키는 예를 나타내고 있다. 이 경우, 제 2의 인코더(110)에서, 세컨더리의 픽처마다 3D 정보가 삽입된다. 한 예로서, 3D 정보를 부호화 비디오의 GOP 또는 I픽처에 동기시켜서 삽입할 수 있다.
도 13은, 세컨더리 영상이 정지화 등에서 표시 시간이 가변인 경우에, 세컨더리의 영상에 3D 정보를 부가하는 예를 도시하는 모식도이다. 이 경우, 세컨더리 영상은 소정의 표시 시간의 사이는 변화하지 않기 때문에, 제 2의 인코더(110)에서, 표시 시간에 응하여, 소정수의 화상마다 3D 정보를 삽입한다. 이 경우에서도, 세컨더리 영상의 표시 시간은, 도 7에서 설명한 Duration Counter에 의해 지정된다.
[4. 수신 장치의 구성례]
다음에, 수신 장치(200)의 구성에 관해 설명한다. 도 14는, 수신 장치(200)의 구성례를 도시하는 모식도이다. 도 14에 도시하는 바와 같이, 수신 장치(200)는, CPU(202), 디멀티플렉서(Demultiplexer)(204), 제 1의 디코더(206), 제 2의 디코더(208), 오브젝트 재생부(Object Reconstruction)(210), 3D 처리부(3D Processing View Interleaving)(212)를 갖고서 구성된다. 또한, 수신 장치(200)는, 액정 표시 패널 등으로 구성되는 표시부를 구비한다. 또한, 도 14에 도시하는 각 기능 블록은, 회로(하드웨어), 또는 CPU(202)와 이것을 기능시키기 위한 소프트웨어(프로그램)에 의해 구성할 수 있다. 이 경우에 있어서, 그 프로그램은, 수신 장치(200)가 구비하는 메모리 등의 기록 매체, 또는 수신 장치(200)의 외부의 기록 매체에 격납될 수 있다.
디멀티플렉서(204)에는, 송신 장치(100)로부터 보내진 비트 스트림, 또는 영상 파일의 출력이 입력된다. 디멀티플렉서(204)는, 입력된 데이터를 영상 데이터, 음성 데이터, 문자 데이터 등으로 분리하고, 영상 데이터를 제 1의 디코더(108), 제 2의 디코더(110)에 보낸다. 또한, 디멀티플렉서(204)는, 오브젝트 지시 정보를 비트 스트림으로부터 추출하고, CPU(202)에 보낸다.
디멀티플렉서(204)는, 프라이머리의 영상의 데이터와 세컨더리 영상의 데이터를 분리하여, 프라이머리의 영상의 데이터에 대해서는 제 1의 디코더(206)에, 세컨더리 영상의 데이터에 대해서는 제 2의 디코더(208)에 보낸다.
제 1 및 제 2의 디코더(206, 208)에 대한 입력의 포맷은, 기존의 2D 영상의 디코드의 경우와 기본적으로 같기 때문에, 현재의 디지털 영상 신호 포맷의 구조를 이용하여, 디코드를 행할 수가 있다. 3D의 영상을 볼 필요가 없는 경우는, 프라이머리의 영상만을 디코드함으로써, 2D 영상의 시청이 가능하다. 세컨더리 영상이 존재하지 않는 경우, 제 1의 디코더(206)에서 통상의 2D 영상 데이터의 디코드가 행하여진다.
CPU(202)는, 디멀티플렉서(204)로부터 보내진 오브젝트 지시 정보에 의거하여, 제 1의 디코더(206) 및 제 2의 디코더(208)를 제어한다. CPU(202)는, 제 2의 디코더(208)에 대해 표시 기간을 지정하는 정보를 보낸다. 이에 의해, 제 2의 디코더(208)는, 지정된 표시 기간의 사이는 세컨더리 영상이 존재하는 것이라고 인식하고, 세컨더리 영상의 디코드를 행한다.
오브젝트 재생부(210)는, 1st 뷰와 2nd 뷰 사이에서 영상 데이터를 카피하여, 오브젝트의 위치에서 영상을 합성한다. 이에 의해, 디코드된 프라이머리의 영상 및 세컨더리 영상을 합성하여 2nd 뷰의 영상이 생성된다. 프라이머리의 영상에 관해서는, 제 1의 디코더(206)에서 디코드된 영상 데이터가 3D 처리부(212)에 입력된다.
도 15는, 오브젝트 재생부(210)에서의 처리를 도시하는 모식도이다. 도 15에 도시하는 바와 같이, 1st 뷰의 프라이머리의 영상의 데이터는 제 1의 디코더(206)에서 디코드되고, 프라이머리의 영상(400)이 얻어진다. 이 처리는, 레거시의 수신 장치(200)에서 처리 가능하다. 한편, 세컨더리 영상의 데이터는 제 2의 디코더에서 디코드되고, 세컨더리 영상(410)이 얻어진다. 오브젝트 재생부(210)에서는, 1st 뷰로서 프라이머리의 영상(400)을 출력한다. 또한, 오브젝트 재생부(210)는, 프라이머리의 영상(400)을 카피하고, 이에 대해 세컨더리 영상(410)을, 오프셋분만큼 비키여서 합성(Overwrtie)하여, 2nd 뷰의 영상 데이터로서 출력한다. 여기서, 오프셋량은 상술한 Vertical_Start_Position, Horizontal_Start_Position, Vertical_End_Position, Horizontal_End_Position에 의해 지정되어, 디멀티플렉서(204)로부터 CPU(202)에 보내진다. 또한, 오브젝트 지시 정보가 픽처 단위로 삽입되어 있는 경우, 제 1 및 제 2의 디코더(206, 208)로부터 취득하여도 좋다. 또한, 오브젝트 재생부(210)는, 엘리멘터리 스트림의 타임 스탬프, 프라이머리의 영상과 세컨더리 영상의 식별 ID(PID)에 의거하여, 프라이머리의 영상(400)과 세컨더리 영상(410)의 시간적인 동기를 행한다.
또한, 상술한 바와 같이, 송신 장치(100)로부터 세컨더리의 영상 데이터 자체는 보내지지 않고, 프라이머리의 영상으로부터의 절출 영역과, 프라이머리의 영상에 대한 시차량의 정보가 송신된 경우, 절출 영역에 의거하여 수신 장치(200)측에서 세컨더리 영상(410)을 생성한다. 그리고, 오브젝트 재생부(210)는, 프라이머리의 영상(400)에 대해, 생성한 세컨더리 영상(410)을 시차량만큼 비켜서 합성하고, 2nd 뷰의 영상으로서 출력한다.
또한, 송신 장치(100)에서의 프라이머리 화상, 세컨더리 화상의 쌍방이 소스 화상으로부터 절출되어서 송신된 경우, 오브젝트 재생부(210)는, 소스 화상으로부터 절출된 프라이머리 화상, 세컨더리 화상을 오프셋분만큼 비켜서 1st 뷰, 2nd 뷰의 영상으로서 출력한다. 이에 의해, 프라이머리 화상과 세컨더리 화상을 교대로 표시함으로써, 정지화의 3D 영상의 시청이 가능해진다.
3D 처리부(212)에는, 오브젝트 재생부(210)로부터 출력된 1st 뷰 및 2nd 뷰의 영상 데이터가 입력되고, 입력된 1st 뷰의 화상 데이터 및 2nd 뷰의 화상 데이터에 대해 하이 프레임 레이트 등의 소정의 처리를 행하여, 표시 패널에 출력한다. 1st 뷰를 좌안용 화상(L), 2nd 뷰를 우안용 화상(R)으로 한 경우, 표시 패널에서는, 좌안용 화상(L)과 우안용 화상(R)이 소정의 프레임 레이트로 교대로 표시된다. 그리고, 관상용 안경(300)의 액정 셔터(300b)가 열리는 타이밍에서 좌안용 화상(L)이 표시되고, 액정 셔터(300a)가 열리는 타이밍에서는 우안용 화상(R)이 표시되기 때문에, 유저의 두 눈에는 시차가 있는 좌안용 화상(L) 및 우안용 화상(R)이 시인되고, 이에 의해 3D 표시가 실현된다.
이상 설명한 바와 같이 본 실시 형태에 의하면, 또한, 3D의 영역을 절출 영역으로 한정하기 때문에, 전송 대역에의 요구를 필요 최소한으로 하는 것이 가능하다. 또한, 수신 장치(200)에서의 디코더의 부하의 증가는, 2D 영상에 추가하는 부가적인 뷰의 입체 표시에 해당하는 영역의 부분으로 한정되기 때문에, 기존의 레거시의 텔레비전 수상기에서의 2D 표시, 3D 표시가 가능해진다. 따라서, 기존의 디지털 영상 신호 포맷의 구조를 이용하여, 기존의 레거시의 텔레비전 수상기와의 후방호환성(後方互換性)을 유지할 수 있다. 또한, 수신 장치(200)측에서는, 부가적인 추가 뷰가 해당하는 영역만을 추가로 디코드하면 좋기 때문에, 기존의 2D 디코드에 대해 추가되는 디코드 부하를 최소한으로 억제하는 것이 가능하다. 이에 의해, 추가의 디코드 부하를 디코더 이외의 CPU 등에서 담당함으로써 시스템 전제에서의 부하 분산을 도모하는 것이 가능해진다.
이상, 첨부 도면을 참조하면서 본 발명의 알맞는 실시 형태에 관해 상세히 설명하였지만, 본 발명은 이러한 예로 한정되지 않는다. 본 발명이 속하는 기술의 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에 있어서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
100 : 송신 장치
108 : 제 1의 인코더
110 : 제 2의 인코더
114 : 출력부
200 : 수신 장치
206 : 제 1의 인코더
208 : 제 2의 인코더
202 : CPU
210 : 오브젝트 재생부
108 : 제 1의 인코더
110 : 제 2의 인코더
114 : 출력부
200 : 수신 장치
206 : 제 1의 인코더
208 : 제 2의 인코더
202 : CPU
210 : 오브젝트 재생부
Claims (20)
- 제 1의 화상 신호를 복호화하는 제 1의 복호화부와,
상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 제 2의 복호화부와,
상기 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 정보 취득부와,
상기 위치 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 영상 합성부를 구비하는 것을 특징으로 하는 수신 장치. - 제 1항에 있어서,
상기 제 1의 화상 프레임에 의한 화상과 상기 제 2의 화상 프레임에 의한 화상을 주기적으로 표시하는 표시부를 구비하는 것을 특징으로 하는 수신 장치. - 제 1항에 있어서,
상기 제 1의 화상 프레임은 동화의 프레임이고, 상기 오브젝트 지시 정보는, 상기 제 1의 화상 프레임에 대한 상기 영역의 화상의 시간적인 동기 정보를 포함하고,
상기 영상 합성부는, 상기 위치 정보 및 상기 동기 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하는 것을 특징으로 하는 수신 장치. - 제 3항에 있어서,
상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 또는 상기 제 2의 화상 신호에 의한 화상 프레임의 픽처 헤더에 포함되는 것을 특징으로 하는 수신 장치. - 제 3항에 있어서,
상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와는 별개의 스트림으로 송신되고, 타임 스탬프에 의해 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와 대응지여지는 것을 특징으로 하는 수신 장치. - 제 1항에 있어서,
상기 제 1의 화상 신호에 의한 상기 제 1의 화상 프레임의 사이즈와 상기 제 2의 화상 신호에 의한 화상 프레임의 사이즈가 동일한 경우, 상기 정보 취득부에 의한 상기 오브젝트 지시 정보의 취득을 행하지 않는 것을 특징으로 하는 수신 장치. - 제 1항에 있어서,
상기 제 1의 복호화부와 상기 제 2의 복호화부는, 다른 복호화 방식에 의해 각각의 복호화를 행하는 것을 특징으로 하는 수신 장치. - 제 1의 화상 신호를 부호화하는 제 1의 부호화부와,
상기 제 1의 화상 신호에 의한 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 부호화하는 제 2의 부호화부와,
부호화된 상기 제 1의 화상 신호, 상기 제 2의 화상 신호, 및 상기 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 송신하는 송신부를 구비하는 것을 특징으로 하는 송신 장치. - 제 8항에 있어서,
상기 화상 프레임은 동화의 프레임이고, 상기 오브젝트 지시 정보는, 상기 화상 프레임에 대한 상기 영역의 화상의 시간적인 동기 정보를 포함하는 것을 특징으로 하는 송신 장치. - 제 8항에 있어서,
상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 또는 상기 제 2의 화상 신호에 의한 화상 프레임의 픽처 헤더에 삽입되는 것을 특징으로 하는 송신 장치. - 제 8항에 있어서,
상기 오브젝트 지시 정보는, 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와는 별개의 스트림으로 송신되고, 타임 스탬프에 의해 상기 제 1의 화상 신호 및 상기 제 2의 화상 신호와 대응지여지는 것을 특징으로 하는 송신 장치. - 제 8항에 있어서,
상기 영역의 화상을 상기 화상 프레임으로부터 분리하는 화상 분리부를 구비하고,
상기 제 2의 부호화부는, 상기 화상 분리부에서 분리된 상기 영역의 화상에 대응하는 상기 제 2의 화상 신호를 부호화하는 것을 특징으로 하는 송신 장치. - 제 12항에 있어서,
상기 화상 분리부는, 상기 영역에 대응하는 오브젝트의 움직임에 맞추어서, 상기 화상 프레임 내에서의 상기 영역의 위치를 변화시키면서 상기 영역의 화상을 상기 화상 프레임으로부터 분리하는 것을 특징으로 하는 송신 장치. - 제 8항에 있어서,
상기 제 1의 화상 신호에 의한 상기 제 1의 화상 프레임의 사이즈와 상기 제 2의 화상 신호에 의한 화상 프레임의 사이즈가 동일한 경우, 상기 송신부는 상기 오브젝트 지시 정보의 송신을 행하지 않는 것을 특징으로 하는 송신 장치. - 제 8항에 있어서,
상기 제 1의 부호화부와 상기 제 2의 부호화부는, 다른 부호화 방식에 의해 각각의 부호화를 행하는 것을 특징으로 하는 송신 장치. - 제 1의 화상 신호를 부호화하는 제 1의 부호화부와, 상기 제 1의 화상 신호에 의한 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 부호화하는 제 2의 부호화부와, 부호화된 상기 제 1의 화상 신호, 상기 제 2의 화상 신호, 및 상기 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 송신하는 송신부를 갖는 송신 장치와,
상기 제 1의 화상 신호를 복호화하는 제 1의 복호화부와, 상기 제 2의 화상 신호를 복호화하는 제 2의 복호화부와, 상기 오브젝트 지시 정보를 취득하는 정보 취득부와, 상기 오브젝트 지시 정보에 포함되는 상기 위치 정보에 의거하여, 상기 제 1의 화상 신호에 의한 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 영상 합성부를 갖는, 수신 장치를 구비하는 것을 특징으로 하는 통신 시스템. - 제 1의 화상 신호를 복호화하는 스텝과,
상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 스텝과,
상기 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 스텝과,
상기 위치 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 스텝을 구비하는 것을 특징으로 하는 수신 장치의 제어 방법. - 제 1의 화상 신호를 복호화하는 수단,
상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 화상에 대응하는 제 2의 화상 신호를 복호화하는 수단,
상기 제 1의 화상 프레임에 대한 상기 영역의 공간적인 위치 정보를 포함하는 오브젝트 지시 정보를 취득하는 수단,
상기 위치 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 수단으로서 컴퓨터를 기능시키기 위한 것을 특징으로 하는 프로그램. - 제 1의 화상 신호를 복호화하는 제 1의 복호화부와,
상기 제 1의 화상 신호에 의한 제 1의 화상 프레임의 적어도 일부의 영역의 공간적인 위치 정보와, 상기 제 1의 화상 프레임에 대한 상기 영역의 오프셋량을 포함하는 오브젝트 지시 정보를 취득하는 정보 취득부와,
상기 오브젝트 지시 정보에 의거하여, 상기 제 1의 화상 프레임에 대해 상기 영역의 화상을 합성하여 제 2의 화상 프레임을 생성하는 영상 합성부를 구비하는 것을 특징으로 하는 수신 장치. - 정지화의 소스 화상으로부터 절출된 제 1의 화상에 대응하는 제 1의 화상 신호를 복호화하는 제 1의 복호화부와,
정지화의 소스 화상으로부터 절출된 제 2의 화상에 대응하는 제 2의 화상 신호를 복호화하는 제 2의 복호화부와,
상기 제 1의 화상과 상기 제 2의 화상과의 공간적인 위치 정보를 취득하는 위치 정보 취득부와,
상기 위치 정보에 의거하여, 상기 제 1의 화상과 상기 제 2의 화상을 상대적으로 오프셋시킨 상태에서 주기적으로 표시하는 표시부를 구비하는 것을 특징으로 하는 수신 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2010-012204 | 2010-01-22 | ||
| JP2010012204 | 2010-01-22 | ||
| PCT/JP2011/050548 WO2011089982A1 (ja) | 2010-01-22 | 2011-01-14 | 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120127409A true KR20120127409A (ko) | 2012-11-21 |
Family
ID=44306785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127018332A KR20120127409A (ko) | 2010-01-22 | 2011-01-14 | 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20120307006A1 (ko) |
| EP (1) | EP2528334A4 (ko) |
| JP (1) | JPWO2011089982A1 (ko) |
| KR (1) | KR20120127409A (ko) |
| CN (1) | CN102804791A (ko) |
| BR (1) | BR112012017469A2 (ko) |
| RU (1) | RU2012130007A (ko) |
| WO (1) | WO2011089982A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200028335A (ko) * | 2017-07-20 | 2020-03-16 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5549476B2 (ja) * | 2010-08-24 | 2014-07-16 | ソニー株式会社 | 画像処理装置と画像処理方法 |
| CN103517062B (zh) * | 2012-06-15 | 2016-05-25 | 晨星软件研发(深圳)有限公司 | 影像的同步方法及其装置 |
| US9183639B2 (en) * | 2013-09-26 | 2015-11-10 | Intel Corporation | Image frame processing including usage of acceleration data in assisting object location |
| CN104851119B (zh) * | 2014-02-13 | 2019-04-12 | 腾讯科技（深圳）有限公司 | 一种动画可移植网络图形图片的生成方法和装置 |
| KR20210046654A (ko) | 2018-08-20 | 2021-04-28 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 화상 처리 장치 및 화상 처리 시스템 |
| JP7327083B2 (ja) * | 2019-10-30 | 2023-08-16 | 富士通株式会社 | 領域切り出し方法および領域切り出しプログラム |
| CN110868600B (zh) * | 2019-11-11 | 2022-04-26 | 腾讯云计算（北京）有限责任公司 | 目标跟踪视频推流方法、显示方法、装置和存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3066298B2 (ja) * | 1995-11-15 | 2000-07-17 | 三洋電機株式会社 | 立体画像観察用眼鏡の制御方法 |
| JPH1139507A (ja) * | 1997-07-23 | 1999-02-12 | Sanyo Electric Co Ltd | 立体画像表示装置 |
| WO2003092305A1 (en) * | 2002-04-25 | 2003-11-06 | Sharp Kabushiki Kaisha | Image encodder, image decoder, record medium, and image recorder |
| JP2004248212A (ja) * | 2003-02-17 | 2004-09-02 | Kazunari Era | 立体視画像表示装置 |
| EP1617684A4 (en) * | 2003-04-17 | 2009-06-03 | Sharp Kk | THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME |
| CN101164341B (zh) * | 2005-03-01 | 2012-05-02 | 高通股份有限公司 | 用于视频电话的质量度量偏移的关注区编码 |
| US9667980B2 (en) * | 2005-03-01 | 2017-05-30 | Qualcomm Incorporated | Content-adaptive background skipping for region-of-interest video coding |
| JP2007228390A (ja) * | 2006-02-24 | 2007-09-06 | Optrex Corp | 画像表示装置及び画像処理方法 |
| US7982733B2 (en) * | 2007-01-05 | 2011-07-19 | Qualcomm Incorporated | Rendering 3D video images on a stereo-enabled display |
| WO2009001255A1 (en) * | 2007-06-26 | 2008-12-31 | Koninklijke Philips Electronics N.V. | Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal |
| CN101453639B (zh) * | 2007-11-29 | 2012-05-30 | 展讯通信（上海）有限公司 | 支持roi区域的多路视频流的编码、解码方法和*** |
| KR20120014250A (ko) * | 2009-04-14 | 2012-02-16 | 파나소닉 주식회사 | 영상 표시 장치, 영상 시청용 안경 및 영상 표시 장치와 영상 시청용 안경을 구비하는 시스템 |
-
2011
- 2011-01-14 JP JP2011550892A patent/JPWO2011089982A1/ja not_active Withdrawn
- 2011-01-14 KR KR1020127018332A patent/KR20120127409A/ko not_active Application Discontinuation
- 2011-01-14 RU RU2012130007/08A patent/RU2012130007A/ru not_active Application Discontinuation
- 2011-01-14 BR BR112012017469A patent/BR112012017469A2/pt not_active IP Right Cessation
- 2011-01-14 CN CN2011800139644A patent/CN102804791A/zh active Pending
- 2011-01-14 WO PCT/JP2011/050548 patent/WO2011089982A1/ja active Application Filing
- 2011-01-14 US US13/521,791 patent/US20120307006A1/en not_active Abandoned
- 2011-01-14 EP EP11734589.2A patent/EP2528334A4/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200028335A (ko) * | 2017-07-20 | 2020-03-16 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
| US11736732B2 (en) | 2017-07-20 | 2023-08-22 | Saturn Licensing Llc | Transmission device, transmission method, reception de-vice, and reception method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011089982A1 (ja) | 2011-07-28 |
| JPWO2011089982A1 (ja) | 2013-05-23 |
| BR112012017469A2 (pt) | 2016-04-19 |
| EP2528334A1 (en) | 2012-11-28 |
| RU2012130007A (ru) | 2014-01-20 |
| CN102804791A (zh) | 2012-11-28 |
| EP2528334A4 (en) | 2014-01-15 |
| US20120307006A1 (en) | 2012-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10341636B2 (en) | Broadcast receiver and video data processing method thereof | |
| JP5482254B2 (ja) | 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造 | |
| US9712803B2 (en) | Receiving system and method of processing data | |
| US9756380B2 (en) | Broadcast receiver and 3D video data processing method thereof | |
| KR20120127409A (ko) | 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램 | |
| US20120106921A1 (en) | Encoding method, display apparatus, and decoding method | |
| KR20110088334A (ko) | 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치 | |
| US9485490B2 (en) | Broadcast receiver and 3D video data processing method thereof | |
| EP2725804A1 (en) | Image data transmission device, image data transmission method, image data reception device, and image data reception method | |
| US20140078256A1 (en) | Playback device, transmission device, playback method and transmission method | |
| US20130250054A1 (en) | Image data transmitting apparatus, image data transmitting method, image data receiving apparatus, and image data receiving method | |
| WO2013073455A1 (ja) | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 | |
| KR20140057242A (ko) | 부호화 장치 및 부호화 방법과 복호 장치 및 복호 방법 | |
| WO2013069608A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP2013106341A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| KR101556149B1 (ko) | 수신 시스템 및 데이터 처리 방법 | |
| JP2013021683A (ja) | 映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システム | |
| WO2010133852A2 (en) | An apparatus and method of transmitting three- dimensional video pictures via a two dimensional monoscopic video channel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |