WO2016190089A1 - 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 - Google Patents
送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 Download PDFInfo
- Publication number
- WO2016190089A1 WO2016190089A1 PCT/JP2016/063922 JP2016063922W WO2016190089A1 WO 2016190089 A1 WO2016190089 A1 WO 2016190089A1 JP 2016063922 W JP2016063922 W JP 2016063922W WO 2016190089 A1 WO2016190089 A1 WO 2016190089A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- frame rate
- image data
- information
- frame
- moving image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims description 57
- 230000005540 biological transmission Effects 0.000 title claims description 55
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 43
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 230000000903 blocking effect Effects 0.000 abstract 1
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 37
- 238000005516 engineering process Methods 0.000 description 23
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 101001073193 Homo sapiens Pescadillo homolog Proteins 0.000 description 1
- 102100035816 Pescadillo homolog Human genes 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
- H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
Definitions
- the present technology relates to a transmission device, a transmission method, an image processing device, an image processing method, a reception device, and a reception method. Specifically, the present technology relates to a transmission device that transmits moving image data at a predetermined frame rate.
- a frame rate is converted to be high on the receiving side for display in order to improve image quality in a display device (for example, see Patent Document 1).
- frame increase processing is required.
- the received video data is frame-interpolated on the receiving side, it may be possible to prevent an accurate reflection of the intention at the time of production.
- the purpose of this technology is to prevent the fact that the intention at the time of production is prevented from being prevented by performing frame interpolation on the receiving side.
- the concept of this technology is A transmission unit that transmits a predetermined container including a video stream obtained by performing encoding processing on moving image data of a predetermined frame rate;
- the transmission apparatus includes an information insertion unit that inserts information for restricting frame interpolation into the container layer and / or the video stream layer.
- the transmission unit transmits a predetermined container including a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate.
- the information insertion unit inserts information for restricting frame interpolation into the container layer and / or the video stream layer.
- information for restricting frame interpolation may include information prohibiting frame interpolation.
- the information for limiting the frame interpolation may include information indicating the number of frame repeats.
- the information insertion unit may insert a descriptor including information for restricting frame interpolation into a container layer.
- the information insertion unit may insert an SEI message including information for limiting frame interpolation into a layer of the video stream.
- An image data acquisition unit for acquiring moving image data at a predetermined frame rate
- An image processing apparatus includes a control unit that controls a frame rate conversion process for converting a frame rate of the moving image data into a display frame rate based on information for limiting frame interpolation.
- moving image data of a predetermined frame rate is acquired by the data acquisition unit.
- the control unit controls the frame rate conversion process for converting the frame rate of the moving image data into the display frame rate based on the information for limiting the frame interpolation and outputting it.
- the image data acquisition unit receives a container in a predetermined format including a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate, and performs decoding processing on the video stream to perform a predetermined frame rate.
- the moving image data may be acquired.
- information for restricting frame interpolation may be inserted into the container layer and / or the video stream layer.
- the image data acquisition unit may acquire moving image data of a predetermined frame from an external device via a digital interface.
- information for limiting frame interpolation may be acquired from an external device via a digital interface.
- the frame rate conversion processing for converting the frame rate of the moving image data into the display frame rate and outputting it is controlled based on the information for limiting the frame interpolation. For this reason, it is possible to avoid that the intentional reflection at the time of production is hindered by performing the frame interpolation.
- a receiving unit that receives a container of a predetermined format including a video stream obtained by performing an encoding process on moving image data of a predetermined frame rate; Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer, A decoding process for decoding the video stream to obtain moving image data at a predetermined frame rate, and a frame rate of the moving image data obtained by the decoding process based on the information for controlling the frame interpolation is displayed.
- a receiving apparatus includes a control unit that controls a frame rate conversion process of converting to a frame rate and outputting the frame rate.
- a container having a predetermined format including a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate is received by the receiving unit.
- Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer.
- the control unit performs decoding processing on the video stream to obtain moving image data at a predetermined frame rate, and determines the frame rate of moving image data obtained by decoding processing based on information for controlling frame interpolation.
- a frame rate conversion process for converting to a display frame rate and outputting it is controlled.
- the frame rate conversion process for converting the frame rate of the moving image data obtained by performing the decoding process on the video stream into the display frame rate and outputting the frame rate conversion process is information for limiting the frame interpolation. It controls based on. For this reason, it is possible to avoid that the intentional reflection at the time of production is hindered by performing the frame interpolation.
- a receiver for receiving moving image data at a predetermined frame rate and information for limiting frame interpolation from an external device via a digital interface
- a receiving apparatus includes a control unit that controls a frame rate conversion process that converts the frame rate of the moving image data into a display frame rate based on information for limiting frame interpolation.
- the receiving unit receives moving image data of a predetermined frame rate and information for limiting frame interpolation from an external device via a digital interface.
- the digital interface may be HDMI (High-Definition Multimedia Interface).
- the control unit controls the frame rate conversion process for converting the frame rate of the moving image data into the display frame rate based on the information for limiting the frame interpolation.
- the frame rate conversion processing for converting the frame rate of the moving image data into the display frame rate and outputting it is controlled based on the information for limiting the frame interpolation. For this reason, it is possible to avoid that the intentional reflection at the time of production is hindered by performing the frame interpolation.
- a receiving unit that receives a container of a predetermined format including a video stream obtained by performing an encoding process on moving image data of a predetermined frame rate; Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer, A digital interface that decodes the video stream to obtain moving image data of a predetermined frame rate, and obtains moving image data of the predetermined frame rate obtained by the decoding processing and information for restricting the frame interpolation.
- There is a receiving apparatus including a control unit that controls transmission processing to be transmitted to an external device via the communication device.
- a container having a predetermined format including a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate is received by the receiving unit.
- Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer.
- the control unit decodes the video stream to obtain moving image data having a predetermined frame rate, and obtains moving image data having a predetermined frame rate obtained by the decoding processing and information for restricting frame interpolation. Transmission processing to be transmitted to an external device via the digital interface is controlled.
- frame interpolation for moving image data can be restricted based on information for restricting frame interpolation related to this moving image data, and it is possible to avoid preventing accurate reflection of intentions at the time of production. .
- FIG. 1 It is a figure which shows the structural example of transport stream TS. It is a block diagram which shows the structural example of a receiver. It is a figure which shows the structural example of a picture * timing * SEI message. It is a figure which shows the display sequence of "pic_struct" of the picture * timing * SEI message currently defined. It is a figure which shows the example (1) of frame rate conversion in the case of not restrict
- FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
- the transmission / reception system 10 includes a transmission device 100 and a reception device 200.
- the transmission device 100 transmits a transport stream TS as a container on a broadcast wave.
- the transport stream TS includes a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate such as 24 Hz, 30 Hz, 60 Hz, and 120 Hz.
- a predetermined frame rate such as 24 Hz, 30 Hz, 60 Hz, and 120 Hz.
- H.264 / AVC H.H. Encoding such as H.265 / HEVC is performed.
- Information for limiting frame interpolation is inserted into the transport stream TS layer and / or the video stream layer as a container. On the receiving side, information for restricting frame interpolation can be easily obtained from the layer of the transport stream TS or the layer of the video stream.
- the transmitting apparatus 100 inserts a descriptor including information for limiting frame interpolation into the layer of the transport stream TS. In this embodiment, transmitting apparatus 100 inserts an SEI message including information for limiting frame interpolation into a layer of a video stream.
- the receiving device 200 receives the transport stream TS transmitted from the transmitting device 100 on a broadcast wave.
- the transport stream TS includes a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate.
- Information for limiting frame interpolation is inserted in the layer of the transport stream TS and / or the layer of the video stream.
- the receiving device 200 performs decoding processing on the video stream to obtain moving image data at a predetermined frame rate, and further performs frame rate conversion processing for converting the frame rate of the moving image data into a display frame rate.
- the moving image data for display is obtained.
- the receiving apparatus 200 prohibits frame interpolation from being performed by controlling the frame rate conversion process based on the information.
- FIG. 2 shows a configuration example of the transmission device 100.
- the transmission apparatus 100 includes a CPU (Central Processing Unit) 101, an encoder 102, a multiplexer 103, and a transmission unit 104.
- the CPU 101 is a control unit and controls the operation of each unit of the transmission device 100.
- Encoder 102 inputs moving image data VD having a predetermined frame rate constituting a distribution image sequence.
- the encoder 102 adds, for example, H.264 to the moving image data VD.
- An encoding process such as H.265 / HEVC is performed to generate a video stream.
- the encoder 102 inserts information for restricting frame interpolation into the layer of the video stream. That is, the encoder 102 inserts a newly defined frame, interpolation, restriction, SEI message (frame_interpolation_restriction SEI message) into the “SEIs” portion of the access unit (AU).
- FIG. 3 shows the top access unit of GOP (Group Of Pictures) when the encoding method is HEVC.
- FIG. 4 shows an access unit other than the head of the GOP when the encoding method is HEVC.
- a decoding SEI message group “Prefix_SEIs” is arranged before a slice (slices) in which pixel data is encoded, and a display SEI message group “ “Suffix_SEIs” is arranged.
- the frame / interpolation / restriction / SEI message is arranged, for example, as an SEI message group “Suffix_SEIs”.
- FIG. 5A shows a structure example (Syntax) of a frame, an interpolation, a restriction, and an SEI message.
- FIG. 5B shows the contents (Semantics) of main information in the structural example.
- a 1-bit field of “frame_interpolation_prohibited_flag” indicates flag information indicating whether or not frame interpolation is prohibited. For example, “1” indicates that frame interpolation is prohibited, and “0” indicates that frame interpolation is not prohibited.
- frame_repeat_type indicates the frame repeat type. For example, “000” indicates unlimited frame repeat. This is based on the assumption that the number of repeats is not specified and the reception display side determines the number of repeats so as to match the display frame rate. “001” indicates 1 frame repeat, “010” indicates 2 frame repeat, “011” indicates 3 frame repeat, “100” indicates 4 frame repeat, and “101” indicates 5 frame repeat.
- the multiplexer 103 converts the video stream generated by the encoder 102 into a PES (Packetized Elementary Stream) packet, further multiplexes it into a transport packet, and obtains a transport stream TS as a multiplexed stream.
- PES Packetized Elementary Stream
- the multiplexer 103 inserts a frame interpolation list descriptor (frame_interpolation_restriction descriptor) into a video elementary stream loop arranged corresponding to the video stream under the program map table.
- FIG. 6 shows a structural example (Syntax) of the frame interpolation restriction descriptor.
- FIG. 7 shows the contents (Semantics) of main information in the structural example.
- An 8-bit field of “descriptor_tag” indicates a descriptor type. Here, it indicates a frame, interpolation, restriction descriptor.
- the 8-bit field of “descriptor length” indicates the length (size) of the descriptor, and indicates the number of subsequent bytes as the length of the descriptor. Here, 3 bytes are shown.
- 1-bit field of “frame_interpolation_prohibited_flag” indicates flag information indicating whether or not frame interpolation is prohibited. For example, “1” indicates that frame interpolation is prohibited, and “0” indicates that frame interpolation is not prohibited.
- the 3-bit field of “frame_rate” indicates the frame rate. For example, “001” indicates 24 Hz, “010” indicates 30 Hz, “011” indicates 60 Hz, and “100” indicates 120 Hz.
- frame_repeat_type indicates the frame repeat type. For example, “000” indicates unlimited frame repeat. This is based on the assumption that the number of repeats is not specified and the reception display side determines the number of repeats so as to match the display frame rate. Further, “001” indicates 1 frame repeat, “010” indicates 2 frame repeat, “011” indicates 3-frame repeat, “100” indicates 4 frame repeat, and “101” indicates 5 frame repeat.
- the transmission unit 104 transmits the transport stream TS obtained by the multiplexer 103 to the reception device 200 on a broadcast wave.
- FIG. 8 shows a configuration example of the transport stream TS.
- PES packet “videoSPES1” of the video stream.
- the encoded image data of each picture included in the PES payload is determined by NAL units such as “AUD”, “VPS”, “SPS”, “PPS”, “PSEI”, “SLICE”, “SSEI”, “EOS”, etc. It is configured.
- NAL units such as “AUD”, “VPS”, “SPS”, “PPS”, “PSEI”, “SLICE”, “SSEI”, “EOS”, etc. It is configured.
- SEI message the above-mentioned frame / interpolation / restriction / SEI message (see FIG. 5A) is inserted.
- the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
- PSI Program Specific Information
- the PMT has a program loop (Program ⁇ ⁇ ⁇ loop) that describes information related to the entire program.
- the PMT includes an elementary stream loop having information related to each elementary stream. In this configuration example, there is a video elementary stream loop (video ES1 loop).
- HEVC_descriptor HEVC_descriptor
- HEVC_descriptor HEVC_descriptor
- the encoder 102 receives moving image data VD having a predetermined frame rate that constitutes a distribution image sequence.
- VD moving image data
- H.H a predetermined frame rate that constitutes a distribution image sequence.
- An encoding process such as H.265 / HEVC is performed to generate a video stream.
- the encoder 102 information for restricting frame interpolation is inserted in the layer of the video stream. That is, the encoder 102 inserts a newly defined frame / interpolation / restriction / SEI message (see FIG. 5A) in the "SEIs" portion of the access unit (AU).
- the video stream generated by the encoder 102 is supplied to the multiplexer 103.
- the multiplexer 103 performs PES packetization of the video stream and further transport packetization to multiplex, thereby obtaining a transport stream TS as a multiplexed stream.
- information for restricting frame interpolation is inserted in the layer of the transport stream TS as a container. That is, a frame interpolation list descriptor (see FIG. 6) is inserted into a video elementary stream loop arranged corresponding to the video stream under the program map table.
- the transport stream TS generated by the multiplexer 103 is sent to the transmission unit 104.
- the transport stream TS is modulated by a modulation method suitable for broadcasting such as QPSK / OFDM, and an RF modulation signal is transmitted from the transmission antenna.
- FIG. 9 shows a configuration example of the receiving device 200.
- the receiving apparatus 200 includes a CPU (Central Processing Unit) 201, a receiving unit 202, a demultiplexer 203, a decoder 204, a display processing unit 205, and a display unit 206.
- the CPU 201 constitutes a control unit and controls the operation of each unit of the receiving device 200.
- the receiving unit 202 receives the transport stream TS transmitted from the transmitting device 100 on broadcast waves or net packets.
- the transport stream TS includes a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate.
- the demultiplexer 203 extracts a video stream from the transport stream TS by PID filtering and supplies it to the decoder 204. Further, the demultiplexer 203 extracts section information included in the layer of the transport stream TS and sends it to the CPU 201. In this case, a frame interpolation restriction descriptor (see FIG. 6) including information for limiting frame interpolation is also extracted.
- the decoder 204 performs a decoding process on the video stream supplied from the demultiplexer 203 and outputs moving image data at a predetermined frame rate.
- the decoder 204 extracts a parameter set and SEI message inserted in each access unit constituting the video stream, and sends the parameter set and SEI message to the CPU 201.
- a frame / interpolation / restriction / SEI message (see FIG. 5A) including information for limiting frame interpolation is also extracted.
- the decoder 204 includes an output buffer, and it is possible to output the moving image data obtained by the decoding process by performing frame repeat.
- the CPU 201 controls the frame repeat in the decoder 204 based on, for example, information on a field of “pic_struct” of a picture timing / SEI message (Picture_timing SEI message) or information for limiting frame interpolation.
- FIG. 10 shows a structural example (Syntax) of a picture, timing, and SEI message.
- FIG. 11 shows a display sequence of “pic_struct” currently defined.
- the display processing unit 205 converts the frame rate of the moving image data obtained by the decoder 204 into a display frame rate and outputs it.
- the frame rate of the moving image data obtained by the decoder 204 is set to be the same as or lower than the display frame rate.
- the display processing unit 205 performs a frame rate conversion process by frame interpolation or frame repeat.
- the display processing unit 205 performs the moving image data obtained by the decoder 204 without performing the frame rate conversion process. Is output as is.
- the CPU 201 executes the decoder 204 and the display processing unit 205 based on information for limiting frame interpolation included in the frame interpolation restriction descriptor or the frame interpolation restriction SEI message. To control the operation. Details of the control will be described later.
- the display unit 206 displays a moving image based on the moving image data obtained by the display processing unit 205.
- the display unit 206 includes, for example, an LCD (Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like.
- the display unit 206 may be an external device connected to the receiving device 200.
- the RF modulation signal received by the reception antenna is demodulated, and the transport stream TS is acquired.
- This transport stream TS is sent to the demultiplexer 203.
- the demultiplexer 203 extracts a video stream to be decoded from the transport stream TS by PID filtering.
- section information included in the layer of the transport stream TS is extracted and sent to the CPU 201.
- a frame interpolation restriction descriptor (see FIG. 6) including information for limiting frame interpolation is also extracted.
- the CPU 201 acquires information for restricting frame interpolation from this descriptor.
- the video stream extracted by the demultiplexer 203 is supplied to the decoder 204.
- the decoder 204 performs a decoding process on the video stream to obtain moving image data having a predetermined frame rate. Further, the decoder 204 extracts the parameter set and SEI message inserted in each access unit constituting the video stream, and sends them to the CPU 201. In this case, a frame / interpolation / restriction / SEI message (see FIG. 5A) including information for limiting frame interpolation is also extracted. As a result, the CPU 201 acquires information for limiting frame interpolation from the SEI message.
- the moving image data having a predetermined frame rate obtained by the decoder 204 is supplied to the display processing unit 205.
- the frame rate of the moving image data obtained by the decoder 204 is converted into a display frame rate and output.
- the frame rate conversion process is not performed and the moving image data obtained by the decoder 204 is output as it is.
- the moving image data output from the display processing unit 205 is supplied to the display unit 206.
- a moving image based on moving image data is displayed on the display unit 206.
- Control by information to limit frame interpolation The operations of the decoder 204 and the display processing unit 205 are information for restricting frame interpolation included in the frame / interpolation / restriction / descriptor or the frame / interpolation / restriction / SEI message. Controlled based on
- the information of “frame_repeat_type” indicates a limited number of repeats such as “001” to “101”, and it may be used in combination with information of “frame_repeat_type” and information of “frame_interpolation_prohibited_flag”.
- the frame rate of the moving image data (received moving image data) obtained by the decoding process is 30 Hz
- “frame_repeat_type” is “011”, indicating 3 frame repeats
- “frame_interpolation_prohibited_flag” is “1”. A case where frame interpolation prohibition is indicated will be described.
- the operation of the decoder 204 is controlled based on the information of “frame_repeat_type”, and reading is performed four times at a quadruple speed from the output buffer of the decoder 204 to obtain moving image data having a frame rate of 120 Hz.
- the display frame rate is 120 Hz
- the moving image data having a frame rate of 120 Hz output from the decoder 204 is output as it is from the display processing unit 205.
- the operation of the display processing unit 205 is controlled based on the information of “frame_interpolation_prohibited_flag”, and each frame is repeated once by the display processing unit 205, and a video with a frame rate of 240 Hz Image data is output from the display processing unit 205.
- the operation of the decoder 204 is controlled based on the information of “frame_repeat_type” and the information of “frame_interpolation_prohibited_flag”, and 8 times of readout is performed from the output buffer of the decoder 204 at a frame rate of 240 Hz.
- Moving image data may be obtained.
- moving image data having a frame rate of 240 Hz is output from the display processing unit 205 as it is.
- the decoder 204 has been described as performing frame repeats independently, but all frame repeats may be performed by the display processing unit 205.
- the operation of the decoder 204 is controlled based on the information of “frame_repeat_type”.
- the display frame rate is 120 Hz
- reading is performed four times from the output buffer of the decoder 204 at quadruple speed, and moving image data having a frame rate of 120 Hz is obtained.
- the moving image data is output from the display processing unit 205 as it is.
- the display frame rate is 240 Hz
- reading is performed eight times from the output buffer of the decoder 204 at 8 ⁇ speed, and moving image data having a frame rate of 240 Hz is obtained.
- the moving image data is output from the display processing unit 205 as it is.
- the frame repeat is performed by the decoder 204, but the frame repeat may be performed by the display processing unit 205.
- the operation of the decoder 204 is controlled based on the information of “frame_repeat_type”.
- the display frame rate is 120 Hz
- reading is performed four times from the output buffer of the decoder 204 at quadruple speed, and moving image data having a frame rate of 120 Hz is obtained.
- the moving image data is output from the display processing unit 205 as it is.
- the display frame rate is 240 Hz
- reading is performed eight times from the output buffer of the decoder 204 at 8 ⁇ speed, and moving image data having a frame rate of 240 Hz is obtained.
- the moving image data is output from the display processing unit 205 as it is.
- the frame repeat is performed by the decoder 204, but the frame repeat may be performed by the display processing unit 205.
- FIG. 12 shows an example (1) of frame rate conversion when frame interpolation is not limited.
- the frame rate of moving image data (received moving image data) obtained by the decoding process is 24 Hz and the display frame rate is 120 Hz will be described as an example.
- FIG. 12A shows moving image data (received moving image data) having a frame rate of 24 Hz obtained by the decoding process.
- FIG. 12B shows moving image data with a frame rate of 60 Hz obtained by subjecting the received moving image data to 3/2 pull-down processing by frame repeat by reading from the output buffer of the decoder.
- FIG. 12C shows moving image data having a frame rate of 120 Hz obtained by performing frame interpolation on the moving image data output from the decoder by the display processing unit.
- FIG. 13 shows an example (2) of frame rate conversion when frame interpolation is not limited.
- FIG. 13A shows moving image data (received moving image data) having a frame rate of 24 Hz obtained by the decoding process.
- FIG. 13B shows moving image data having a frame rate of 120 Hz obtained by performing frame interpolation on the moving image data output from the decoder having a frame rate of 24 Hz by the display processing unit.
- FIG. 14 shows an example of frame rate conversion when frame interpolation is limited based on information for limiting frame interpolation in the present technology.
- FIG. 14A shows moving image data (received moving image data) having a frame rate of 24 Hz obtained by the decoding processing of the decoder 204.
- FIG. 14B is obtained by performing frame repeat on the decoder 204 or the display processing unit 205 or both the decoder 204 and the display processing unit 205 with respect to the moving image data output from the decoder having a frame rate of 24 Hz.
- moving image data having a frame rate of 120 Hz is shown.
- a frame interpolation restriction descriptor having information for restricting frame interpolation is inserted into the transport stream TS layer as a container, and the frame is inserted into the video stream layer.
- a frame, interpolation, restriction, and SEI message having information for limiting interpolation is inserted.
- it is not always necessary to insert both the descriptor and the SEI message, and a configuration in which only one of them is inserted is also conceivable.
- each of the frame interpolation restriction descriptor and the frame interpolation restriction SEI message includes “frame_interpolation_prohibited_flag” as information prohibiting frame interpolation. Both “frame_repeat_type” as information indicating the number of frame repeats are included.
- picture timing / SEI message (see FIG. 10).
- a new display sequence is defined in “pic_struct”. For example, “13” indicates 3 frame repeat for “frame quadrupling”. Further, “14” indicates 4-frame repeat for “frametquintupling”. “15” indicates unlimited frame repeat. This is based on the assumption that the number of repeats is not specified and the reception display side determines the number of repeats so as to match the display frame rate.
- the transmission / reception system 10 including the transmission device 100 and the reception device 200 has been described.
- the configuration of the transmission / reception system to which the present technology can be applied is not limited thereto.
- a receiving apparatus 200 is connected to a digital interface, for example, a set-top box (STB) 200A and a monitor 200B connected via a digital interface such as HDMI (High-Definition Multimedia Interface).
- STB set-top box
- monitor 200B connected via a digital interface such as HDMI (High-Definition Multimedia Interface).
- HDMI High-Definition Multimedia Interface
- HDMI High-Definition Multimedia Interface
- the decoder 204 of the set-top box 200A is prevented from performing frame rate conversion.
- the decoder 204 of the set top box 200A outputs the moving image data at the frame rate with the received moving image data as it is, and the set top box 200A converts the moving image data (uncompressed moving image data) into the HDMI.
- the monitor 200 via the digital interface.
- the set top box 200A transmits information for limiting frame interpolation to the monitor 200 via the HDMI digital interface.
- the set top box 200A transmits, for example, information for limiting frame interpolation by inserting it in the blanking period of the moving image data.
- information for limiting frame interpolation is sent to the monitor 200B using a packet of “Video displaying InfoFrame”.
- FIG. 17A shows an example of the structure (Syntax) of a packet of “Video display” InfoFrame sent from the set top box 200A to the monitor 200B.
- FIG. 17B shows the contents of main information in the structural example.
- 1 bit information of “frame_interpolation_prohibited_flag” is arranged in the seventh bit of the fourth byte.
- This 1-bit information indicates flag information indicating whether or not frame interpolation is prohibited. For example, “1” indicates that frame interpolation is prohibited, and “0” indicates that frame interpolation is not prohibited.
- 3-bit information of “frame_repeat_type” is arranged from the 6th bit to the 4th bit of the 4th byte.
- This 3-bit information indicates the type of frame repeat. For example, “000” indicates unlimited frame repeat. This is based on the assumption that the number of repeats is not specified and the reception display side determines the number of repeats so as to match the display frame rate. Further, “001” indicates 1 frame repeat, “010” indicates 2 frame repeat, “011” indicates 3-frame repeat, “100” indicates 4 frame repeat, and “101” indicates 5 frame repeat.
- the CPU of the monitor 200B controls the operation of the display processing unit 205 based on information for limiting frame interpolation transmitted from the set top box 200A. Although details of this control are omitted, the control is performed in the same manner as the control in the receiving apparatus 200 of the transmission / reception system 10 described above.
- the transmission of information for restricting frame interpolation from the set-top box 200A to the monitor 200B is performed by using other “InfoFrame” packets such as “Vender Specific InfoFrame” instead of using the “Video” displaying “InfoFrame” packet. It is also possible to use packets. It is also conceivable to transmit information for limiting frame interpolation via a CEC line or an HEC communication line.
- the container is a transport stream (MPEG-2 TS)
- MPEG-2 TS transport stream
- the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
- the Internet distribution it is often distributed in a container of MP4 or other formats.
- containers of various formats such as transport stream (MPEG-2 TS) or MMT (MPEG Media Transport) adopted in the digital broadcasting standard, MP4 used in Internet distribution, and the like are applicable.
- this technique can also take the following structures.
- a transmission unit that transmits a predetermined container including a video stream obtained by performing encoding processing on moving image data at a predetermined frame rate;
- a transmission apparatus comprising: an information insertion unit that inserts information for restricting frame interpolation into the container layer and / or the video stream layer.
- the information for restricting frame interpolation includes information prohibiting frame interpolation.
- the information for limiting the frame interpolation includes information indicating the number of frame repeats.
- the information insertion unit inserts a descriptor including information for limiting the frame interpolation into a layer of the container.
- the transmission device according to any one of (1) to (4), wherein the information insertion unit inserts an SEI message including information for limiting the frame interpolation into a layer of the video stream.
- an image data acquisition unit that acquires moving image data at a predetermined frame rate
- a frame rate conversion processing unit that converts the frame rate of the moving image data into a display frame rate and outputs the frame rate
- An image processing apparatus comprising a control unit that controls the operation of the frame rate conversion processing unit based on information for limiting frame interpolation.
- the image data acquisition unit receives a container of a predetermined format including a video stream obtained by performing encoding processing on the moving image data having the predetermined frame rate, and performs decoding processing on the video stream.
- the image processing device according to (7), wherein moving image data having the predetermined frame rate is acquired.
- the image processing device (9) The image processing device according to (8), wherein the information for limiting the frame interpolation is inserted in the layer of the container and / or the layer of the video stream. (10) The image processing device according to (7), wherein the image data acquisition unit acquires the moving image data of the predetermined frame from an external device via a digital interface. (11) The image processing device according to (10), wherein the information for limiting the frame interpolation is acquired from the external device via the digital interface.
- An image processing method comprising: a control step for controlling an operation of the frame rate conversion processing step based on information for limiting frame interpolation by a control unit.
- a receiving unit that receives a container of a predetermined format including a video stream obtained by performing encoding processing on moving image data of a predetermined frame rate, Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer,
- a decoding unit that performs decoding processing on the video stream to obtain moving image data at a predetermined frame rate;
- a frame rate conversion processing unit that converts the frame rate of the moving image data obtained by the decoding unit into a display frame rate and outputs the frame rate;
- a receiving apparatus comprising: a control unit that controls the operation of the frame rate conversion processing unit based on information for controlling the frame interpolation.
- the receiving unit includes a receiving step of receiving a container of a predetermined format including a video stream obtained by performing encoding processing on moving image data of a predetermined frame rate, Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer, A decoding step of performing a decoding process on the video stream to obtain moving image data of a predetermined frame rate; A frame rate conversion processing step of converting the frame rate of the moving image data obtained in the decoding step into a display frame rate and outputting the display frame rate; A receiving method comprising: a control step for controlling an operation of the frame rate conversion processing step based on information for controlling the frame interpolation.
- an image data receiving unit that receives moving image data of a predetermined frame rate from an external device via a digital interface;
- a frame rate conversion processing unit that converts the frame rate of the moving image data into a display frame rate and outputs the frame rate;
- a receiving apparatus comprising: a control unit that controls the operation of the frame rate conversion processing unit based on information for limiting frame interpolation.
- a receiving unit that receives a container of a predetermined format including a video stream obtained by performing encoding processing on moving image data of a predetermined frame rate, Information for restricting frame interpolation is inserted in the container layer and / or the video stream layer, A decoding unit that performs decoding processing on the video stream to obtain moving image data at a predetermined frame rate;
- a receiving apparatus comprising: a transmitting unit that transmits moving image data of a predetermined frame rate obtained by the decoding unit and information for limiting the frame interpolation to an external device via a digital interface.
- the reception unit includes a reception step of receiving a container having a predetermined format including a video stream obtained by performing encoding processing on moving image data having a predetermined frame rate.
- a receiving method comprising: a transmitting step of transmitting moving image data having a predetermined frame rate obtained in the decoding step and information for limiting the frame interpolation to an external device via a digital interface.
- the main feature of this technology is that information for restricting frame interpolation is inserted into the container layer and the video stream layer, so that the frame interpolation for moving image data is restricted on the receiving side based on the information.
- information for restricting frame interpolation is inserted into the container layer and the video stream layer, so that the frame interpolation for moving image data is restricted on the receiving side based on the information.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
受信側でフレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避可能とする。 所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する。コンテナのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する。例えば、フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる。また、例えば、フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる。
Description
本技術は、送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法に関する。詳しくは、本技術は、所定フレームレートの動画像データを送信する送信装置等に関する。
従来、表示装置における画質向上のために受信側でフレームレートを高く変換して表示することが知られている(例えば、特許文献1参照)。フレームレートを高くするためにはフレームの増加処理が必要となるが、そのための処理として、同一のフレームを繰り返すフレームリピートと、前後のフレームを用いて新たなフレームを作成するフレーム補間がある。
コンテンツの種類によっては、配信される動画像データに対して受信側でフレーム補間をした場合、制作時の意図の的確な反映が妨げられることも考えられる。
本技術の目的は、受信側でフレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避可能とすることにある。
本技術の概念は、
所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置にある。
所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナが送信される。情報挿入部により、コンテナのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。
例えば、フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる、ようにされてもよい。また、例えば、フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる、ようにされてもよい。また、例えば、情報挿入部は、フレーム補間を制限するための情報を含むデスクリプタをコンテナのレイヤに挿入する、ようにされてもよい。また、例えば、情報挿入部は、フレーム補間を制限するための情報を含むSEIメッセージをビデオストリームのレイヤに挿入する、ようにされてもよい。
このように本技術においては、コンテナのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入するものである。そのため、受信側では、送られてくる動画像データに対するフレーム補間を当該情報に基づいて制限でき、制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の他の概念は、
所定フレームレートの動画像データを取得する画像データ取得部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
画像処理装置にある。
所定フレームレートの動画像データを取得する画像データ取得部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
画像処理装置にある。
本技術において、データ取得部により、所定フレームレートの動画像データが取得される。制御部により、フレーム補間を制限するための情報に基づいて動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理が制御される。
例えば、画像データ取得部は、所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、このビデオストリームに復号化処理を施して所定フレームレートの動画像データを取得する、ようにされてもよい。この場合、例えば、フレーム補間を制限するための情報は、コンテナのレイヤおよび/またはビデオストリームのレイヤに挿入されている、ようにされてもよい。
また、例えば、画像データ取得部は、所定フレームの動画像データを、外部機器からデジタルインタフェースを介して取得する、ようにされてもよい。この場合、例えば、フレーム補間を制限するための情報は、外部機器からデジタルインタフェースを介して取得される、ようにされてもよい。
このように本技術においては、動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を、フレーム補間を制限するための情報に基づいて制御するものである。そのため、フレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の他の概念は、
所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記フレーム補間を制御するための情報に基づいて上記デコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置にある。
所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記フレーム補間を制御するための情報に基づいて上記デコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナが受信される。コンテナのレイヤおよび/またはビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されている。
制御部により、ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、フレーム補間を制御するための情報に基づいてデコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理が制御される。
このように本技術においては、ビデオストリームに復号化処理を施して得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を、フレーム補間を制限するための情報に基づいて制御するものである。そのため、フレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の他の概念は、
外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報を受信する受信部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置にある。
外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報を受信する受信部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報が受信される。例えば、デジタルインタフェースは、HDMI(High-Definition Multimedia Interface)である、ようにされてもよい。
制御部により、フレーム補間を制限するための情報に基づいて動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理が制御される。
このように本技術においては、動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を、フレーム補間を制限するための情報に基づいて制御するものである。そのため、フレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の概念は、
所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記デコード処理で得られた所定フレームレートの動画像データと上記フレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理を制御する制御部を備える
受信装置にある。
所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記デコード処理で得られた所定フレームレートの動画像データと上記フレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナが受信される。コンテナのレイヤおよび/またはビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されている。
制御部により、ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、このデコード処理で得られた所定フレームレートの動画像データとフレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理が制御される。
このように本技術においては、所定フレームレートの動画像データと共に、この動画像データに関連したフレーム補間を制限するための情報を、デジタルインタフェースを介して、外部機器に送るものである。そのため、受信側では、動画像データに対するフレーム補間を、この動画像データに関連したフレーム補間を制限するための情報に基づいて制限でき、制作時の意図の的確な反映が妨げられることを回避できる。
本技術によれば、受信側でフレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。このトランスポートストリームTSには、24Hz、30Hz、60Hz、120Hzなどの所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームが含まれる。この場合、例えば、H.264/AVC、H.265/HEVCなどの符号化が施される。
コンテナとしてのトランスポートストリームTSのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。受信側においては、トランスポートストリームTSのレイヤやビデオストリームのレイヤから、フレーム補間を制限するための情報を容易に取得可能となる。
この実施の形態において、送信装置100は、フレーム補間を制限するための情報を含むデスクリプタをトランスポートストリームTSのレイヤに挿入する。また、この実施の形態において、送信装置100は、フレーム補間を制限するための情報を含むSEIメッセージをビデオストリームのレイヤに挿入する。
受信装置200は、送信装置100から放送波に載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームが含まれている。トランスポートストリームTSのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入されている。
受信装置200は、ビデオストリームに復号化処理を施して所定フレームレートの動画像データを取得するデコード処理と、さらにこの動画像データのフレームレートを表示フレームレートに変換するフレームレート変換処理を行って、表示用の動画像データを得る。受信装置200は、フレーム補間を制限するための情報が存在するとき、その情報に基づいてフレームレート変換処理を制御してフレーム補間が行われることを禁止する。
「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、マルチプレクサ103と、送信部104を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
図2は、送信装置100の構成例を示している。この送信装置100は、CPU(Central Processing Unit)101と、エンコーダ102と、マルチプレクサ103と、送信部104を有している。CPU101は、制御部であり、送信装置100の各部の動作を制御する。
エンコーダ102は、配信用画像シーケンスを構成する所定フレームレートの動画像データVDを入力する。エンコーダ102は、この動画像データVDに、例えば、H.264/AVC、H.265/HEVCなどの符号化処理を施し、ビデオストリームを生成する。
この際、エンコーダ102は、ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する。すなわち、エンコーダ102は、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、フレーム・インタポレーション・リストリクション・SEIメッセージ(frame_interpolation_restriction SEI message)を挿入する。
図3は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、図4は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。図3、図4に示すように、フレーム・インタポレーション・リストリクション・SEIメッセージは、例えば、SEIメッセージ群「Suffix_SEIs」として配置される。
図5(a)は、フレーム・インタポレーション・リストリクション・SEIメッセージの構造例(Syntax)を示している。図5(b)は、その構造例における主要な情報の内容(Semantics)を示している。「frame_interpolation_prohibited_flag」の1ビットフィールドは、フレーム補間を禁止するか否かを示すフラグ情報を示している。例えば、“1”はフレーム補間が禁止されることを示し、“0”はフレーム補間が禁止されないことを示す。
「frame_repeat_type」のフィールドは、フレームリピートのタイプを示す。例えば、“000”は無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。また、“001”は1フレームリピート、“010”は2フレームリピート、“011”は3フレームリピート、“100”は4フレームリピートを示し、“101”は5フレームリピートを示す。
図2に戻って、マルチプレクサ103は、エンコーダ102で生成されたビデオストリームを、PES(Packetized Elementary Stream)パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームTSを得る。
この際、コンテナとしてのトランスポートストリームTSのレイヤに、フレーム補間を制限するための情報を挿入する。すなわち、マルチプレクサ103は、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中に、フレーム・インタポレーション・リストリクション・デスクリプタ(frame_interpolation_restriction descriptor)を挿入する。
図6は、フレーム・インタポレーション・リストリクション・デスクリプタの構造例(Syntax)を示している。図7は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示す。ここでは、フレーム・インタポレーション・リストリクション・デスクリプタであることを示す。「descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、3バイトを示す。
「frame_interpolation_prohibited_flag」の1ビットフィールドは、フレーム補間を禁止するか否かを示すフラグ情報を示している。例えば、“1”はフレーム補間が禁止されることを示し、“0”はフレーム補間が禁止されないことを示す。
「frame_rate」の3ビットフィールドは、フレームレートを示す。例えば、“001”は24Hzを示し、“010”は30Hzを示し“011”は60Hzを示し、“100”は120Hzを示す。
「frame_repeat_type」のフィールドは、フレームリピートのタイプを示す。例えば、“000”は無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。また、“001”は1フレームリピート、“010”は2フレームリピート、“011”は3付フレームリピート、“100”は4フレームリピートを示し、“101”は5フレームリピートを示す。
図2に戻って、送信部104は、マルチプレクサ103で得られたトランスポートストリームTSを、放送波に載せて、受信装置200に送信する。
図8は、トランスポートストリームTSの構成例を示している。この構成例では、ビデオストリームのPESパケット「video PES1」が存在する。PESペイロードに含まれる各ピクチャの符号化画像データは、「AUD」、「VPS」、「SPS」、「PPS」、「PSEI」、「SLICE」、「SSEI」、「EOS」などのNALユニットにより構成されている。SEIメッセージとして、上述したフレーム・インタポレーション・リストリクション・SEIメッセージ(図5(a)参照)が挿入される。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオエレメンタリストリームループ(video ES1 loop)が存在する。
ビデオエレメンタリストリームループには、ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、HEVCデスクリプタ(HEVC_descriptor)、上述したフレーム・インタポレーション・リストリクション・デスクリプタ(図6参照)が挿入される。
図2に示す送信装置100の動作を簡単に説明する。エンコーダ102には、配信用画像シーケンスを構成する所定フレームレートの動画像データVDが入力される。エンコーダ102では、この動画像データVDに、例えば、H.264/AVC、H.265/HEVCなどの符号化処理が施され、ビデオストリームが生成される。
また、エンコーダ102では、ビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。すなわち、エンコーダ102では、アクセスユニット(AU)の“SEIs”の部分に、新規定義する、フレーム・インタポレーション・リストリクション・SEIメッセージ(図5(a)参照)が挿入される。
エンコーダ102で生成されたビデオストリームは、マルチプレクサ103に供給される。マルチプレクサ103では、ビデオストリームのPESパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームTSが得られる。
また、マルチプレクサ103では、コンテナとしてのトランスポートストリームTSのレイヤに、フレーム補間を制限するための情報が挿入される。すなわち、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にフレーム・インタポレーション・リストリクション・デスクリプタ(図6参照)が挿入される。
マルチプレクサ103で生成されたトランスポートストリームTSは、送信部104に送られる。送信部104では、このトランスポートストリームTSが、例えば、QPSK/OFDM等の放送に適した変調方式で変調され、RF変調信号が送信アンテナから送信される。
「受信装置の構成」
図9は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、デコーダ204と、表示処理部205と、表示部206を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
図9は、受信装置200の構成例を示している。この受信装置200は、CPU(Central Processing Unit)201と、受信部202と、デマルチプレクサ203と、デコーダ204と、表示処理部205と、表示部206を有している。CPU201は、制御部を構成し、受信装置200の各部の動作を制御する。
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSには、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームが含まれている。
デマルチプレクサ203は、トランスポートストリームTSから、PIDのフィルタリングによってビデオストリームを取り出し、デコーダ204に供給する。また、デマルチプレクサ203は、トランスポートストリームTSのレイヤに含まれるセクション情報を抽出し、CPU201に送る。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・デスクリプタ(図6参照)も抽出される。
デコーダ204は、デマルチプレクサ203から供給されるビデオストリームに復号化処理を施して、所定フレームレートの動画像データを出力する。また、デコーダ204は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、CPU201に送る。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・SEIメッセージ(図5(a)参照)も抽出される。
なお、図示は省略するが、デコーダ204は、出力バッファを備えており、復号化処理で得られた動画像データに対して、フレームリピートを行って出力することも可能とされている。CPU201は、デコーダ204におけるフレームリピートを、例えば、ピクチャ・タイミング・SEIメッセージ(Picture_timing SEI message)の「pic_struct」のフィールドの情報、あるいはフレーム補間を制限するための情報などに基づいて制御する。
図10は、ピクチャ・タイミング・SEIメッセージの構造例(Syntax)を示している。図11は、現状で定義されている「pic_struct」の表示シーケンスを示している。
表示処理部205は、デコーダ204で得られた動画像データのフレームレートを表示フレームレートに変換して出力する。ここで、デコーダ204で得られた動画像データのフレームレートは表示フレームレートと同じか、それより低くなるように設定されている。表示処理部205は、デコーダ204で得られた動画像データのフレームレートが表示フレームレートより低いときは、フレーム補間あるいはフレームリピートによってフレームレートの変換処理を行う。なお、表示処理部205は、デコーダ204で得られた動画像データのフレームレートが表示フレームレートと同じであるときは、フレームレートの変換処理を行うことなく、デコーダ204で得られた動画像データをそのまま出力する。
CPU201は、フレーム・インタポレーション・リストリクション・デスクリプタ、あるいはフレーム・インタポレーション・リストリクション・SEIメッセージに含まれるフレーム補間を制限するための情報に基づいて、デコーダ204および表示処理部205の動作を制御する。制御の詳細については後述する。
表示部206は、表示処理部205で得られた動画像データによる動画像を表示する。この表示部206は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。なお、この表示部206は、受信装置200に接続される外部機器であってもよい。
図9に示す受信装置200の動作を簡単に説明する。受信部202では、受信アンテナで受信されたRF変調信号が復調され、トランスポートストリームTSが取得される。このトランスポートストリームTSは、デマルチプレクサ203に送られる。デマルチプレクサ203では、トランスポートストリームTSから、PIDのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。
また、デマルチプレクサ203では、トランスポートストリームTSのレイヤに含まれるセクション情報が抽出され、CPU201に送られる。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・デスクリプタ(図6参照)も抽出される。これにより、CPU201では、このデスクリプタからフレーム補間を制限するための情報が取得される。
デマルチプレクサ203で取り出されたビデオストリームは、デコーダ204に供給される。デコーダ204では、ビデオストリームに復号化処理が施されて、所定フレームレートの動画像データが得られる。また、デコーダ204では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、CPU201に送られる。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・SEIメッセージ(図5(a)参照)も抽出される。これにより、CPU201では、このSEIメッセージからフレーム補間を制限するための情報が取得される。
デコーダ204で得られた所定フレームレートの動画像データは、表示処理部205に供給される。表示処理部205では、デコーダ204で得られた動画像データのフレームレートが表示フレームレートに変換されて出力される。なお、デコーダ204で得られた動画像データのフレームレートが表示フレームレートと同じであるときは、フレームレートの変換処理は行われず、デコーダ204で得られた動画像データがそのまま出力される。
表示処理部205から出力された動画像データは、表示部206に供給される。この表示部206に、動画像データによる動画像が表示される。
「フレーム補間を制限するための情報による制御」
デコーダ204および表示処理部205の動作は、CPU201により、フレーム・インタポレーション・リストリクション・デスクリプタ、あるいはフレーム・インタポレーション・リストリクション・SEIメッセージに含まれるフレーム補間を制限するための情報に基づいて制御される。
デコーダ204および表示処理部205の動作は、CPU201により、フレーム・インタポレーション・リストリクション・デスクリプタ、あるいはフレーム・インタポレーション・リストリクション・SEIメッセージに含まれるフレーム補間を制限するための情報に基づいて制御される。
(1)例えば、「frame_repeat_type」の情報が“001”から“101”のように制限されたリピート回数を示し、「frame_repeat_type」の情報と「frame_interpolation_prohibited_flag」の情報の組み合わせで用いる場合が考えられる。
ここで、復号化処理で得られた動画像データ(受信動画像データ)のフレームレートが30Hzで、「frame_repeat_type」が“011”で3フレームリピートを示し、さらに、「frame_interpolation_prohibited_flag」が“1”でフレーム補間禁止を示している場合について説明する。
この場合、「frame_repeat_type」の情報に基づいてデコーダ204の動作が制御され、デコーダ204の出力バッファから4倍速で4回の読み出しが行われ、120Hzのフレームレートの動画像データが得られる。そして、表示フレームレートが120Hzであるときは、デコーダ204から出力される120Hzのフレームレートの動画像データがそのまま表示処理部205から出力される。
また、表示フレームレートが240Hzであるときは、「frame_interpolation_prohibited_flag」の情報に基づいて表示処理部205の動作が制御され、表示処理部205で各フレームが1回ずつリピートされ、240Hzのフレームレートの動画像データが表示処理部205から出力される。
なお、このときは、「frame_repeat_type」の情報および「frame_interpolation_prohibited_flag」の情報に基づいてデコーダ204の動作が制御され、デコーダ204の出力バッファから8倍速で8回の読み出しが行われ、240Hzのフレームレートの動画像データが得られるようにされてもよい。この場合、240Hzのフレームレートの動画像データがそのまま表示処理部205から出力される。
また、上述ではデコーダ204で主体的にフレームリピートが行われるように説明したが、全てのフレームリピートが表示処理部205で行われるようにされてもよい。
(2)また、例えば、「frame_repeat_type」の情報が“000”のように無制限のリピート回数を示し、「frame_repeat_type」のフィールドの情報のみを用いる場合が考えられる。
ここで、復号化処理で得られた動画像データ(受信動画像データ)のフレームレートが30Hzで、「frame_repeat_type」が“000”で無制限のリピート回数を示している場合について説明する。
この場合、「frame_repeat_type」の情報に基づいてデコーダ204の動作が制御される。表示フレームレートが120Hzであるときは、デコーダ204の出力バッファから4倍速で4回の読み出しが行われ、120Hzのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部205から出力される。
また、表示フレームレートが240Hzであるときは、デコーダ204の出力バッファから8倍速で8回の読み出しが行われ、240Hzのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部205から出力される。
なお、上述ではデコーダ204でフレームリピートが行われるように説明したが、フレームリピートは表示処理部205で行われるようにされてもよい。
(3)また、例えば、「frame_interpolation_prohibited_flag」の情報のみを用いる場合が考えられる。
ここで、復号化処理で得られた動画像データ(受信動画像データ)のフレームレートが30Hzで、「frame_interpolation_prohibited_flag」が“1”でフレーム補間禁止を示している場合について説明する。
この場合、「frame_repeat_type」の情報に基づいてデコーダ204の動作が制御される。表示フレームレートが120Hzであるときは、デコーダ204の出力バッファから4倍速で4回の読み出しが行われ、120Hzのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部205から出力される。
また、表示フレームレートが240Hzであるときは、デコーダ204の出力バッファから8倍速で8回の読み出しが行われ、240Hzのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部205から出力される。
なお、上述ではデコーダ204でフレームリピートが行われるように説明したが、フレームリピートは表示処理部205で行われるようにされてもよい。
以上説明したように、図1に示す送受信システム10において、送信装置100では、コンテナとしてのトランスポートストリームTSのレイヤおよびビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。そのため、受信側では、送られてくる動画像データに対するフレーム補間を当該情報に基づいて制限でき、制作時の意図の的確な反映が妨げられることを回避できる。
例えば、図12は、フレーム補間を制限しない場合におけるフレームレート変換の例(1)を示している。ここでは、復号化処理で得られた動画像データ(受信動画像データ)のフレームレートが24Hzで、表示フレームレートが120Hzである場合を例にとって説明する。なお、以下の図13、図14に示す例においても同様である。
図12(a)は、復号化処理で得られた24Hzのフレームレートの動画像データ(受信動画像データ)を示している。図12(b)は、受信動画像データに対してデコーダの出力バッファからの読み出しによるフレームリピートで3/2プルダウン処理がされて得られた60Hzのフレームレートの動画像データを示している。図12(c)は、デコーダ出力の動画像データに対して表示処理部でフレーム補間を行って得られた120Hzのフレームレートの動画像データを示している
この例の場合、3/2プルダウン処理で60Hzのフレームレートにする際に、元の24Hzの時間グリッドからの表示タイミングのずれが発生する。その結果、動きのぎこちなさが生じオリジナルの動きとは違った表示になる。また、この例の場合、フレーム補間で120Hのフレームレートにする際、元の24Hzの時間グリッドから表示タイミングがずれたまま、元には存在しない補間フレームが挿入される。したがって、この例の場合、制作時の意図の的確な反映が妨げられる可能性がある。
また、例えば、図13は、フレーム補間を制限しない場合におけるフレームレート変換の例(2)を示している。図13(a)は、復号化処理で得られた24Hzのフレームレートの動画像データ(受信動画像データ)を示している。図13(b)は、24Hzのフレームレートのデコーダ出力の動画像データに対して表示処理部でフレーム補間を行って得られた120Hzのフレームレートの動画像データを示している。
この例の場合、元の24Hzの時間グリッドからの表示タイミングのずれは発生しないが、元には存在しない補間フレームが挿入される。したがって、この例の場合、制作時の意図の的確な反映が妨げられる可能性がある。
図14は、本技術において、フレーム補間を制限するための情報に基づいてフレーム補間を制限した場合におけるフレームレート変換の例を示している。図14(a)は、デコーダ204の復号化処理で得られた24Hzのフレームレートの動画像データ(受信動画像データ)を示している。図14(b)は、24Hzのフレームレートのデコーダ出力の動画像データに対してデコーダ204、あるいは表示処理部205、あるいはデコーダ204および表示処理部205の双方でフレームリピートがされることで得られた120Hzのフレームレートの動画像データを示している。
この例の場合、元の24Hzの時間グリッドからの表示タイミングのずれは発生せず、しかもフレーム補間を行わないので、オリジナルの画質が維持され、制作時の意図の的確な反映が妨げられることを回避できる。
<2.変形例>
なお、上述実施の形態においては、コンテナとしてのトランスポートストリームTSのレイヤにフレーム補間を制限するための情報を持つフレーム・インタポレーション・リストリクション・デスクリプタを挿入し、ビデオストリームのレイヤにフレーム補間を制限するための情報を持つフレーム・インタポレーション・リストリクション・SEIメッセージを挿入している。しかし、これらのデスクリプタおよびSEIメッセージの双方を必ずしも挿入する必要はなく、一方のみを挿入する構成も考えられる。
なお、上述実施の形態においては、コンテナとしてのトランスポートストリームTSのレイヤにフレーム補間を制限するための情報を持つフレーム・インタポレーション・リストリクション・デスクリプタを挿入し、ビデオストリームのレイヤにフレーム補間を制限するための情報を持つフレーム・インタポレーション・リストリクション・SEIメッセージを挿入している。しかし、これらのデスクリプタおよびSEIメッセージの双方を必ずしも挿入する必要はなく、一方のみを挿入する構成も考えられる。
また、上述実施の形態においては、フレーム・インタポレーション・リストリクション・デスクリプタおよびフレーム・インタポレーション・リストリクション・SEIメッセージのそれぞれには、フレーム補間を禁止する情報としての「frame_interpolation_prohibited_flag」と、フレームリピート回数を示す情報としての「frame_repeat_type」の双方が含まれている。
フレームリピート回数を示す情報を、ピクチャ・タイミング・SEIメッセージ(図10参照)に持たせることも考えられる。この場合、例えば、図15に示すように、「pic_struct」に新たな表示シーケンスを定義する。例えば、“13”は、「frame quadrupling」のための3フレームリピートを示す。また、“14”は、「frame quintupling」のための4フレームリピートを示す。また、“15”は、無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。
また、上述実施の形態においては、送信装置100および受信装置200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図16に示す送受信システム10Aのように、受信装置200の部分がデジタルインタフェース、例えば、HDMI(High-Definition Multimedia Interface)のデジタルインタフェースで接続されたセットトップボックス(STB)200Aおよびモニタ200Bからなる構成であってもよい。なお、「HDMI」は、登録商標である。
この場合、例えば、デコーダ204までがセットトップボックス200Aに含まれ、表示処理部205以降がモニタ200Bに含まれる。この場合、HDMIのデジタルインタフェースにおける伝送レートを考慮して、例えば、セットトップボックス200Aのデコーダ204ではフレームレート変換が行われないようにされる。つまり、セットトップボックス200Aのデコーダ204は、受信された動画像データがそのままのフレームレートの動画像データを出力し、セットトップボックス200Aは、この動画像データ(非圧縮の動画像データ)をHDMIのデジタルインタフェースを介してモニタ200に送信する。
また、セットトップボックス200Aは、フレーム補間を制限するための情報を、HDMIのデジタルインタフェースを介してモニタ200に送信する。セットトップボックス200Aは、例えば、フレーム補間を制限するための情報を、動画像データのブランキング期間に挿入することで送信する。例えば、“Video displaying InfoFrame”のパケットを用いて、フレーム補間を制限するための情報を、モニタ200Bに送る。
図17(a)は、セットトップボックス200Aからモニタ200Bに送る“Video displaying InfoFrame”のパケットの構造例(Syntax)を示している。また、図17(b)は、その構造例における主要な情報の内容を示している。
第4バイトの第7ビットには、「frame_interpolation_prohibited_flag」の1ビット情報が配置される。この1ビット情報は、フレーム補間を禁止するか否かを示すフラグ情報を示している。例えば、“1”はフレーム補間が禁止されることを示し、“0”はフレーム補間が禁止されないことを示す。
また、第4バイトの第6ビットから第4ビットには、「frame_repeat_type」の3ビット情報が配置される。この3ビット情報は、フレームリピートのタイプを示す。例えば、“000”は無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。また、“001”は1フレームリピート、“010”は2フレームリピート、“011”は3付フレームリピート、“100”は4フレームリピートを示し、“101”は5フレームリピートを示す。
モニタ200BのCPUは、セットトップボックス200Aから送信されてくるフレーム補間を制限するための情報に基づいて、表示処理部205の動作を制御する。この制御の詳細については省略するが、上述した送受信システム10の受信装置200における制御と同様に行われる。
なお、セットトップボックス200Aからモニタ200Bへのフレーム補間を制限するための情報の送信を、“Video displaying InfoFrame”のパケットを用いる代わりに、その他の”InfoFrame”のパケット、例えば“Vender Specific InfoFrame”のパケットなどを用いることも考えられる。また、フレーム補間を制限するための情報の送信を、CECラインやHECの通信ラインを介して送信することも考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)あるいはMMT(MPEG Media Transport)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置。
(2)上記フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる
前記(1)に記載の送信装置。
(3)上記フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる
前記(1)または(2)に記載の送信装置。
(4)上記情報挿入部は、上記フレーム補間を制限するための情報を含むデスクリプタを上記コンテナのレイヤに挿入する
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記情報挿入部は、上記フレーム補間を制限するための情報を含むSEIメッセージを上記ビデオストリームのレイヤに挿入する
前記(1)から(4)のいずれかに記載の送信装置。
(6)送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信ステップと、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入ステップを有する
送信方法。
(7)所定フレームレートの動画像データを取得する画像データ取得部と、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
画像処理装置。
(8)上記画像データ取得部は、上記所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記所定フレームレートの動画像データを取得する
前記(7)に記載の画像処理装置。
(9)上記フレーム補間を制限するための情報は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている
前記(8)に記載の画像処理装置。
(10)上記画像データ取得部は、上記所定フレームの動画像データを、外部機器からデジタルインタフェースを介して取得する
前記(7)に記載の画像処理装置。
(11)上記フレーム補間を制限するための情報は、上記外部機器から上記デジタルインタフェースを介して取得される
前記(10)に記載の画像処理装置。
(12)所定フレームレートの動画像データを取得する画像データ取得ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
制御部により、フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
画像処理方法。
(13)所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード部と、
上記デコード部で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
受信装置。
(14)受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。
(15)外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信部と、
上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信部と、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
受信装置。
(16)画像データ受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信ステップと、
情報受信部により、上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。
(17)所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード部と、
上記デコード部で得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信部を備える
受信装置。
(18)受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信ステップを有する
受信方法。
(1)所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置。
(2)上記フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる
前記(1)に記載の送信装置。
(3)上記フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる
前記(1)または(2)に記載の送信装置。
(4)上記情報挿入部は、上記フレーム補間を制限するための情報を含むデスクリプタを上記コンテナのレイヤに挿入する
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記情報挿入部は、上記フレーム補間を制限するための情報を含むSEIメッセージを上記ビデオストリームのレイヤに挿入する
前記(1)から(4)のいずれかに記載の送信装置。
(6)送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信ステップと、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入ステップを有する
送信方法。
(7)所定フレームレートの動画像データを取得する画像データ取得部と、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
画像処理装置。
(8)上記画像データ取得部は、上記所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記所定フレームレートの動画像データを取得する
前記(7)に記載の画像処理装置。
(9)上記フレーム補間を制限するための情報は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている
前記(8)に記載の画像処理装置。
(10)上記画像データ取得部は、上記所定フレームの動画像データを、外部機器からデジタルインタフェースを介して取得する
前記(7)に記載の画像処理装置。
(11)上記フレーム補間を制限するための情報は、上記外部機器から上記デジタルインタフェースを介して取得される
前記(10)に記載の画像処理装置。
(12)所定フレームレートの動画像データを取得する画像データ取得ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
制御部により、フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
画像処理方法。
(13)所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード部と、
上記デコード部で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
受信装置。
(14)受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。
(15)外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信部と、
上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信部と、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
受信装置。
(16)画像データ受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信ステップと、
情報受信部により、上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。
(17)所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード部と、
上記デコード部で得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信部を備える
受信装置。
(18)受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信ステップを有する
受信方法。
本技術の主な特徴は、コンテナのレイヤおよびビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入することで、受信側において、動画像データに対するフレーム補間を当該情報に基づいて制限して、制作時の意図の的確な反映が妨げられることを回避可能としたことである(図8参照)。
10,10A・・・送受信システム
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・マルチプレクサ
104・・・送信部
200・・・受信装置
200A・・・セットトップボックス
200B・・・モニタ
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・デコーダ
205・・・表示処理部
206・・・表示部
100・・・送信装置
101・・・CPU
102・・・エンコーダ
103・・・マルチプレクサ
104・・・送信部
200・・・受信装置
200A・・・セットトップボックス
200B・・・モニタ
201・・・CPU
202・・・受信部
203・・・デマルチプレクサ
204・・・デコーダ
205・・・表示処理部
206・・・表示部
Claims (18)
- 所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置。 - 上記フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる
請求項1に記載の送信装置。 - 上記フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる
請求項1に記載の送信装置。 - 上記情報挿入部は、上記フレーム補間を制限するための情報を含むデスクリプタを上記コンテナのレイヤに挿入する
請求項1に記載の送信装置。 - 上記情報挿入部は、上記フレーム補間を制限するための情報を含むSEIメッセージを上記ビデオストリームのレイヤに挿入する
請求項1に記載の送信装置。 - 送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信ステップと、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入ステップを有する
送信方法。 - 所定フレームレートの動画像データを取得する画像データ取得部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
画像処理装置。 - 上記画像データ取得部は、上記所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記所定フレームレートの動画像データを取得する
請求項7に記載の画像処理装置。 - 上記フレーム補間を制限するための情報は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている
請求項8に記載の画像処理装置。 - 上記画像データ取得部は、上記所定フレームの動画像データを、外部機器からデジタルインタフェースを介して取得する
請求項7に記載の画像処理装置。 - 上記フレーム補間を制限するための情報は、上記外部機器から上記デジタルインタフェースを介して取得される
請求項10に記載の画像処理装置。 - 所定フレームレートの動画像データを取得する画像データ取得ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
制御部により、フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
画像処理方法。 - 所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記フレーム補間を制御するための情報に基づいて上記デコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置。 - 受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。 - 外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報を受信する受信部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置。 - 画像データ受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信ステップと、
情報受信部により、上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。 - 所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記デコード処理で得られた所定フレームレートの動画像データと上記フレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理を制御する制御部を備える
受信装置。 - 受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信ステップを有する
受信方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16799797.2A EP3300374B1 (en) | 2015-05-22 | 2016-05-10 | Transmission device, transmission method, image processing device, image processing method, receiving device, and receiving method |
US15/571,555 US10904592B2 (en) | 2015-05-22 | 2016-05-10 | Transmission apparatus, transmission method, image processing apparatus, image processing method, reception apparatus, and reception method |
CN201680027991.XA CN107534786B (zh) | 2015-05-22 | 2016-05-10 | 传输装置、传输方法、图像处理装置、图像处理方法、接收装置、及接收方法 |
JP2017520604A JP6930420B2 (ja) | 2015-05-22 | 2016-05-10 | 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015104216 | 2015-05-22 | ||
JP2015-104216 | 2015-05-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016190089A1 true WO2016190089A1 (ja) | 2016-12-01 |
Family
ID=57392728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/063922 WO2016190089A1 (ja) | 2015-05-22 | 2016-05-10 | 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10904592B2 (ja) |
EP (1) | EP3300374B1 (ja) |
JP (1) | JP6930420B2 (ja) |
CN (1) | CN107534786B (ja) |
WO (1) | WO2016190089A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110521211A (zh) * | 2017-04-17 | 2019-11-29 | 索尼公司 | 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112584076B (zh) * | 2020-12-11 | 2022-12-06 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013030907A (ja) * | 2011-07-27 | 2013-02-07 | Sony Corp | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
WO2013057938A1 (ja) * | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | システム層処理装置、符号化装置、システム層処理方法、および符号化方法 |
WO2013088589A1 (ja) * | 2011-12-14 | 2013-06-20 | パナソニック株式会社 | 映像信号処理装置、映像信号出力装置、及び映像信号処理方法 |
WO2015053157A1 (ja) * | 2013-10-11 | 2015-04-16 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0683441B2 (ja) * | 1989-06-26 | 1994-10-19 | 松下電器産業株式会社 | 画像信号のフレーム間内挿符号化方法とその装置 |
DE602005005640T2 (de) * | 2004-03-01 | 2009-05-14 | Dolby Laboratories Licensing Corp., San Francisco | Mehrkanalige audiocodierung |
WO2007040045A1 (ja) * | 2005-09-30 | 2007-04-12 | Sharp Kabushiki Kaisha | 画像表示装置及び方法 |
US8848793B2 (en) * | 2007-10-31 | 2014-09-30 | Broadcom Corporation | Method and system for video compression with integrated picture rate up-conversion |
US8953685B2 (en) * | 2007-12-10 | 2015-02-10 | Qualcomm Incorporated | Resource-adaptive video interpolation or extrapolation with motion level analysis |
US9204086B2 (en) * | 2008-07-17 | 2015-12-01 | Broadcom Corporation | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor |
JP2013143646A (ja) | 2012-01-10 | 2013-07-22 | Sony Corp | 表示装置、フレームレート変換装置、および表示方法 |
WO2016129851A1 (ko) * | 2015-02-13 | 2016-08-18 | 엘지전자(주) | 비균등 위상 보간을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치 |
-
2016
- 2016-05-10 WO PCT/JP2016/063922 patent/WO2016190089A1/ja active Application Filing
- 2016-05-10 EP EP16799797.2A patent/EP3300374B1/en active Active
- 2016-05-10 US US15/571,555 patent/US10904592B2/en active Active
- 2016-05-10 CN CN201680027991.XA patent/CN107534786B/zh not_active Expired - Fee Related
- 2016-05-10 JP JP2017520604A patent/JP6930420B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013030907A (ja) * | 2011-07-27 | 2013-02-07 | Sony Corp | 符号化装置および符号化方法、並びに、復号装置および復号方法 |
WO2013057938A1 (ja) * | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | システム層処理装置、符号化装置、システム層処理方法、および符号化方法 |
WO2013088589A1 (ja) * | 2011-12-14 | 2013-06-20 | パナソニック株式会社 | 映像信号処理装置、映像信号出力装置、及び映像信号処理方法 |
WO2015053157A1 (ja) * | 2013-10-11 | 2015-04-16 | ソニー株式会社 | 送信装置、送信方法および受信装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3300374A4 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110521211A (zh) * | 2017-04-17 | 2019-11-29 | 索尼公司 | 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法 |
KR20190137802A (ko) * | 2017-04-17 | 2019-12-11 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법 |
JPWO2018194040A1 (ja) * | 2017-04-17 | 2020-02-27 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法、記録装置および記録方法 |
EP3614680A4 (en) * | 2017-04-17 | 2020-04-29 | Sony Corporation | TRANSMITTER, TRANSMITTER, RECEIVER, RECEIVER, RECORDING DEVICE, AND RECORDING METHOD |
US11523120B2 (en) | 2017-04-17 | 2022-12-06 | Saturn Licensing Llc | Transmission apparatus, transmission method, reception apparatus, reception method, recording apparatus, and recording method |
JP7300985B2 (ja) | 2017-04-17 | 2023-06-30 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
KR102551759B1 (ko) * | 2017-04-17 | 2023-07-06 | 소니그룹주식회사 | 송신 장치, 송신 방법, 수신 장치, 수신 방법, 기록 장치 및 기록 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP3300374A1 (en) | 2018-03-28 |
CN107534786A (zh) | 2018-01-02 |
US10904592B2 (en) | 2021-01-26 |
US20180146219A1 (en) | 2018-05-24 |
CN107534786B (zh) | 2020-10-27 |
JP6930420B2 (ja) | 2021-09-01 |
JPWO2016190089A1 (ja) | 2018-03-08 |
EP3300374B1 (en) | 2022-07-06 |
EP3300374A4 (en) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105981391B (zh) | 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法 | |
JP6888717B2 (ja) | 送信方法および送信装置 | |
JP6614156B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
EP3261352B1 (en) | Transmission device, transmission method, reception device, and reception method | |
WO2016185947A1 (ja) | 画像処理装置、画像処理方法、受信装置および送信装置 | |
US20140327740A1 (en) | Transmission apparatus, transmisson method, receiver and receiving method | |
JP6930420B2 (ja) | 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 | |
JP5886341B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US10812838B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP5976189B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP5976188B2 (ja) | 送信装置、送信方法、受信装置および受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16799797 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017520604 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15571555 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |