WO2021187292A1 - 送信装置、送信方法および受信装置 - Google Patents
送信装置、送信方法および受信装置 Download PDFInfo
- Publication number
- WO2021187292A1 WO2021187292A1 PCT/JP2021/009717 JP2021009717W WO2021187292A1 WO 2021187292 A1 WO2021187292 A1 WO 2021187292A1 JP 2021009717 W JP2021009717 W JP 2021009717W WO 2021187292 A1 WO2021187292 A1 WO 2021187292A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- raw data
- uncompressed
- uncompressed raw
- transmission
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims description 37
- 238000012546 transfer Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 10
- 230000011664 signaling Effects 0.000 claims description 9
- 230000006837 decompression Effects 0.000 description 53
- 238000003384 imaging method Methods 0.000 description 53
- 238000013144 data compression Methods 0.000 description 49
- 238000011161 development Methods 0.000 description 35
- 238000004519 manufacturing process Methods 0.000 description 19
- 230000003068 static effect Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 238000007906 compression Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000012856 packing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006854 communication Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/10—Adaptations for transmission by electrical cable
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
- H04N21/43635—HDMI
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
Definitions
- the present technology relates to a transmitting device, a transmitting method and a receiving device, and more particularly to a transmitting device for transmitting uncompressed RAW data to an external device.
- YC data as image data for example, YcbCr 4: 2: 2 system image data is transmitted from a source device to a sink device via an HDMI (High-Definition Multimedia Interface) transmission line. It is disclosed that it is transmitted in compression.
- HDMI High-Definition Multimedia Interface
- the RAW data when transmitting image data from an imaging device as a source device to a receiving device as a sink device, considering that processing such as editing and image quality adjustment is performed on the receiving device side, the RAW data is not in the YC data format. It is desirable to send it in a format and save it in the format of its RAW data.
- RAW data the image data output from the imager that has not been converted into YC data.
- This RAW data may be the output image data of the imager itself as long as the arrangement relationship of the color filter of the imager such as the Bayer array is maintained, and the output image data includes noise reduction, defect correction, and auto. It may be processed such as white balance.
- the purpose of this technology is to enable good transmission of uncompressed RAW data between devices.
- the concept of this technology is it is in a transmission device including a transmission unit that transmits uncompressed RAW data to an external device via an HDMI transmission line.
- the transmission unit transmits uncompressed RAW data to an external device via the HDMI transmission line.
- the uncompressed RAW data may be uncompressed RAW data of a Bayer array.
- the number of bits for each pixel of the uncompressed RAW data is 16 bits, and the transmission unit may transmit the uncompressed RAW data using the YC 12-bit transfer mode.
- the transmission unit may transmit the metadata related to the uncompressed RAW data together with the uncompressed RAW data.
- This metadata includes information such as image size, parameters for development (brightness at the time of imaging, gain, etc.).
- the transmission unit may add metadata to each frame of uncompressed RAW data and transmit it.
- the transmission unit stores the uncompressed RAW data in the active video section of the TMDS (Transition Minimized Differential Signaling) transmission data including the active video section and the vertical blanking section, and stores the uncompressed RAW data in the vertical blanking section.
- the metadata may be stored in the payload part of the inserted data packet and transmitted.
- the data packet may be a VSIF (VendorSpecificInfoFrame) packet.
- the metadata is composed of a high update frequency metadata having a first update frequency and a low update frequency metadata having a second update frequency lower than the first update frequency.
- the payload unit may have a first area for storing high update frequency metadata and a second area for storing low update frequency metadata.
- the second area may include a page number area for storing page number information, and metadata corresponding to this page number may be stored.
- the second area may further include a total number of pages area for storing information on the total number of pages. Further, in that case, for example, the transmission frequency of the metadata corresponding to each page stored and transmitted in the second area may be changed according to the priority of each metadata.
- the transmission unit stores uncompressed RAW data in the active video section of the TMDS (Transition Minimized Differential Signaling) transmission data including the active video section, and stores the uncompressed RAW data in the active video section. Metadata may be stored and transmitted in an area that is not available.
- TMDS Transition Minimized Differential Signaling
- the transmission unit may transmit the identification information indicating that the uncompressed RAW data is transmitted together with the uncompressed RAW data.
- the identification information indicating that the uncompressed RAW data is transmitted together with the uncompressed RAW data in this way, the receiving side can easily identify that the uncompressed RAW data is transmitted, and perform appropriate processing. It becomes possible to do.
- the transmission unit stores the uncompressed RAW data in the active video section of the TMDS (Transition Minimized Differential Signaling) transmission data including the active video section and the vertical blanking section, and stores the uncompressed RAW data in the vertical blanking section.
- the identification information may be inserted and transmitted.
- the transmission unit may insert a predetermined data packet into the vertical blanking section as identification information.
- the metadata related to the uncompressed RAW data may be stored in the payload portion of the predetermined data packet.
- an imager that outputs uncompressed RAW data may be further provided.
- the transmission unit may further have a function of transmitting the YC data obtained by developing the uncompressed RAW data to an external device via the HDMI transmission line.
- the uncompressed RAW data is transmitted to the external device via the HDMI transmission line, and the uncompressed RAW data can be satisfactorily transmitted between the devices.
- the receiving device includes a processing unit that processes the uncompressed RAW data received by the receiving unit.
- uncompressed RAW data is received from an external device by the receiving unit via the HDMI transmission line. Then, the processing unit processes the uncompressed RAW data received by the receiving unit.
- uncompressed RAW data is received and processed from an external device via the HDMI transmission line, and image data editing processing, image quality adjustment processing, and the like can be performed satisfactorily. ..
- TMDS transmission data When using the YC 12-bit transfer mode to output uncompressed YC data with a resolution of 3840 x 2160 pixels (pixels) as a normal HDMI output, and using the YC 12-bit transfer mode as an HDMI output, a maximum of 4700 x 2600 It is a figure which shows the case which outputs the uncompressed RAW data of the resolution of a pixel (pixel).
- FIG. 1 shows a configuration example of the imaging system 10 as an embodiment.
- the imaging system 10 is configured by connecting an imaging device 100 as a source device and a receiving device 200 as a sink device.
- the imaging device 100 and the receiving device 200 are connected via an HDMI cable 300, which is a digital interface cable.
- the imaging device 100 has an HDMI transmission unit 102 and a control unit 103.
- the control unit 103 controls the entire image pickup apparatus 100.
- the image pickup apparatus 100 is provided with a receptacle 101 as an HDMI connector to which the HDMI transmission unit 102 is connected.
- the receiving device 200 has an HDMI receiving unit 202 and a control unit 203.
- the control unit 203 controls the entire receiving device 200.
- the receiving device 200 is provided with a receptacle 201 as an HDMI connector to which the HDMI receiving unit 202 is connected.
- the HDMI cable 300 constitutes an HDMI transmission line.
- a plug 301 forming an HDMI connector is provided at one end of the HDMI cable 300, and a plug 302 forming an HDMI connector is provided at the other end.
- the plug 301 at one end of the HDMI cable 300 is connected to the receptacle 101 of the imaging device 100, and the plug 302 at the other end of the HDMI cable 300 is connected to the receptacle 201 of the receiving device 200.
- the imaging device 100 supports, for example, uncompressed RAW data when the receiving device 200 corresponds to uncompressed RAW data and it is selected to output uncompressed RAW data.
- the data is transmitted to the receiving device 200 via the HDMI cable 300 by HDMI-compliant communication.
- the imaging device 100 is selected not to output RAW data even if the receiving device 200 supports uncompressed RAW data, and outputs YC data.
- the uncompressed YC data obtained by developing the uncompressed RAW data is transmitted to the receiving device 200 via the HDMI cable 300 by HDMI-compliant communication.
- the imaging device 100 is not used, for example, when the receiving device 200 does not support uncompressed RAW data and it is selected to output YC data.
- the uncompressed YC data obtained by developing the compressed RAW data is transmitted to the receiving device 200 via the HDMI cable 300 by HDMI-compliant communication.
- the imaging device 100 is selected not to output RAW data and does not output YC data even if the receiving device 200 supports uncompressed RAW data, for example. If is selected, or if the receiver 200 does not support uncompressed RAW data and is selected not to output YC data, the receiver 200 will also receive uncompressed RAW data. The uncompressed YC data obtained by developing the uncompressed RAW data is also not transmitted.
- FIG. 2 shows a configuration example of the HDMI transmitting unit 102 of the imaging device 100 and the HDMI receiving unit 202 of the receiving device 200 in the imaging system 10 of FIG.
- the HDMI transmission unit 102 is a valid image section (hereinafter, appropriately, "active video section") which is a section excluding the horizontal blanking section and the vertical blanking section from the section from one vertical synchronization signal to the next vertical synchronization signal.
- active video section a valid image section
- the differential signal corresponding to the pixel data of the image of one uncompressed screen is transmitted in one direction to the HDMI receiving unit 202 by a plurality of channels, and a horizontal blanking section or a vertical blanking section.
- differential signals corresponding to at least audio data, control data, other auxiliary data, etc. associated with the image are transmitted in one direction to the HDMI receiving unit 202 by a plurality of channels.
- the HDMI transmitter 102 has an HDMI transmitter (HDMI Transmitter) 121.
- the HDMI transmitter 121 converts, for example, pixel data of an uncompressed image into a differential signal, and is connected via an HDMI cable 300 with three TMDS channels # 0, # 1, and # 2, which are a plurality of channels. Serial transmission is performed in one direction to the HDMI receiving unit 202.
- the HDMI transmitter 121 converts audio data accompanying the uncompressed image, necessary control data and other auxiliary data into differential signals, and uses three TMDS channels # 0, # 1 and # 2. Serial transmission is performed in one direction to the HDMI receiving unit 202 connected via the HDMI cable 300.
- the HDMI transmitter 121 connects the pixel clock synchronized with the pixel data transmitted through the three TMDS channels # 0, # 1 and # 2 via the HDMI cable 300 to the HDMI receiver 202 on the TMDS clock channel. Send to.
- TMDS coding is 8-bit / 10-bit conversion coding that converts 8-bit data into 10-bit data, and suppresses adverse effects such as unnecessary radiation by reducing the number of transition points from comparison with the previous data. It is a coding that maintains the DC balance above. Therefore, since the run length of coding cannot be guaranteed theoretically, DC coupling and separate clock transmission are indispensable.
- the HDMI receiving unit 202 receives the differential signal corresponding to the pixel data transmitted in one direction from the HDMI transmitting unit 102 on a plurality of channels, and also receives a horizontal blanking section or a vertical blanking section.
- a plurality of channels receive differential signals corresponding to voice data and control data transmitted in one direction from the HDMI transmission unit 102.
- the HDMI receiving unit 202 has an HDMI receiver (HDMI Receiver) 221.
- the HDMI receiver 221 is a differential signal corresponding to pixel data transmitted in one direction from the HDMI transmission unit 102 connected via the HDMI cable 300 on TMDS channels # 0, # 1, and # 2.
- the differential signal corresponding to the voice data and the control data is received in synchronization with the pixel clock transmitted from the HDMI transmission unit 102 via the TMDS clock channel.
- the transmission channel of the HDMI system including the HDMI transmission unit 102 and the HDMI reception unit 202 also includes a transmission channel called DDC (Display Data Channel).
- DDC Display Data Channel
- This DDC is composed of two signal lines (not shown) included in the HDMI cable 300, and performs IIC (Inter-Integrated Circuit) communication between the HDMI transmitting unit 102 and the HDMI receiving unit 202.
- the HDMI transmission unit 102 has an IIC master block (IIC Master Block) 122. Further, the HDMI receiving unit 202 has a memory unit 222.
- the memory unit 222 includes an EDID ROM (Extended Display Identification Data ROM) 231 and an SCDC (Status and Control Data Channel) register unit 232.
- the EDID ROM 231 is realized by a rewritable memory such as an EEPROM (Electrically Erasable Programmable Read-Only Memory) or a flash memory, but may be a RAM (Random access memory) and can be realized by any other storage medium.
- EEPROM Electrically Erasable Programmable Read-Only Memory
- flash memory but may be a RAM (Random access memory) and can be realized by any other storage medium.
- the SCDC register unit 232 includes a register group for storing SCDCS (SCDC Structure).
- the image pickup apparatus 100 can read and write the SCDCS data stored in the SCDC register unit 232 by the IIC master block 122 through the DDC.
- the SCDCS data includes data related to the current link state, data for controlling the operation of the source device, and the like.
- the HDMI system transmission channel includes a transmission channel called a CEC line (Consumer Electronics Control Line) in addition to the above-mentioned TMDS channels # 0 to # 2 and the TMDS clock channel and DDC.
- This CEC line consists of one signal line included in the HDMI cable 300, and is used for bidirectional communication of control data between the HDMI transmitting unit 102 and the HDMI receiving unit 202.
- This CEC line constitutes a control data line.
- the HDMI cable 300 includes an HPD line (Hot Plug Detect Line).
- HPD line Hot Plug Detect Line
- the source device can use this HPD line to detect the connection of the sink device.
- an arrow is attached to the HPD line to indicate one direction from the sink device to the source device.
- this HPD line is also used as a HEAC (HDMI Ethernet and Audio return Channel) -line that constitutes a bidirectional communication path, and in that case, it becomes a bidirectional line.
- HEAC HDMI Ethernet and Audio return Channel
- the HDMI cable 300 includes a power supply line (+ 5V Power Line) used for supplying power from the source device to the sink device. Further, the HDMI cable 300 includes a utility line. The utility line is also used as a HEAC (HDMI Ethernet and Audio return Channel) + line that constitutes a bidirectional communication path.
- HEAC HDMI Ethernet and Audio return Channel
- FIG. 3 shows a structural example of TMDS transmission data.
- FIG. 3 shows various transmission data sections when, for example, image data of 3840 pixels ⁇ 2160 lines in width ⁇ length, so-called 4K resolution image data, is transmitted in TMDS channels # 0 to # 2. ing.
- the video field section is a section from the rising edge of a vertical synchronization signal (active edge) to the rising edge of the next vertical synchronization signal.
- This video field section is divided into a horizontal blanking interval (horizontal blanking interval), a vertical blanking interval (vertical blanking interval), and an active video section (Active Video interval).
- This active video section is a section obtained by excluding the horizontal blanking section and the vertical blanking section from the video field section.
- the video data section is assigned to the active video section. In this video data section, data of 3840 pixels (pixels) ⁇ 2160 lines of active pixels (Active pixels) constituting uncompressed image data for one screen is transmitted.
- the data island section and control section are assigned to the horizontal blanking section and the vertical blanking section.
- Auxiliary data is transmitted in the data island section and the control section. That is, the data island section is assigned to a part of the horizontal blanking section and the vertical blanking section.
- data island section among auxiliary data, data that is not related to control, for example, an audio data packet or the like is transmitted.
- the control section is assigned to the horizontal blanking section and other parts of the vertical blanking section. In this control section, data related to control among auxiliary data, for example, a vertical synchronization signal, a horizontal synchronization signal, a control packet, and the like are transmitted.
- the HDMI transmission unit 102 packs the uncompressed RAW data into each of the TMDS channels # 0 to # 2 and transmits the uncompressed RAW data.
- the uncompressed RAW data is uncompressed RAW data in a Bayer layout, as shown in FIG. 4.
- the uncompressed RAW data is image data in which horizontal ⁇ vertical is “Hsize” pixels ⁇ “Vsize” lines and has a maximum resolution of 4700 ⁇ 2600 pixels. Further, it is assumed that the bit length of the data of each pixel is 16 bits.
- the frame rate of uncompressed RAW data is 59.94 fps, 29.97 fps, 23.98 fps, 50.00 fps, 25.00 fps, and the like.
- the uncompressed RAW data is transmitted using the YC 12-bit transfer mode.
- the left side of FIG. 5 shows a case where uncompressed YC data having a resolution of 3840 ⁇ 2160 pixels (pixels) is output as a normal HDMI output using the YC 12-bit transfer mode.
- the uncompressed YC data is YCbCr 4: 2: 2 system image data.
- each line is a series of pixels of "Y: 12 bits + Cb: 12 bits” and pixels of "Y: 12 bits + Cr: 12 bits” alternately.
- 24-bit (Y: 12 bits + C: 12 bits) data of 1 pixel of YC data is packed for 1 pixel clock.
- the data of each pixel of the uncompressed YC data is sequentially mapped to the memory, and then the data of each pixel is sequentially read from the memory.
- the packing format is packed in each of the TMDS channels # 0 to # 2 to obtain an HDMI output.
- the lower 4 bits of the C data are the upper 4 bit data of the TMDS channel
- the upper 8 bits of the C data are the 8 bit data of the TMDS channel 2
- the lower 4 bits of the Y data Is the lower 4 bit data of the TMDS channel 0
- the upper 8 bits of the Y data is the 8 bit data of the TMDS channel 1.
- the right side of FIG. 5 shows a case where uncompressed RAW data having a maximum resolution of 4700 ⁇ 2600 pixels (pixels) is output as HDMI output using the YC 12-bit transfer mode.
- the uncompressed RAW data is in a Bayer array as described above, and the bit length of the data of each pixel is 16 bits.
- For output coding for odd lines (R / Gr lines), pixels of "R: 16 bits” and pixels of "Gr: 16 bits” are alternately continuous, and even lines (B / Gb).
- the pixels of "Gb: 16 bits” and the pixels of "B: 16 bits” are alternately continuous.
- data packing 48-bit data of 3 pixels of uncompressed RAW data is packed with a 2 pixel clock.
- FIG. 7A shows a continuous 2-pixel clock
- the data of each pixel of the uncompressed RAW data is sequentially written to the memory, and then the data of each pixel is sequentially read from the memory.
- FIGS. 7 (b1) and 7 (b2) each of the TMDS channels # 0 to # 2 is packed to obtain an HDMI output.
- FIG. 7 (b1) shows a packing format for odd-numbered lines (R / Gr lines)
- FIG. 7 (b2) shows a packing format for even-numbered lines (B / Gb lines).
- a continuous 2-pixel clock is the packing cycle.
- the odd line (R / Gr line) in the first 2 pixel clock, it is packed as follows. That is, in the first pixel clock, the lower 4 bits of the R0 data are the upper 4 bits of the TMDS channel 0, the middle 8 bits of the R0 data are the 8 bits of the TMDS channel 2, and the upper 4 bits of the R0 data. The 4 bits are the lower 4 bit data of the TMDS channel 0, and the lower 8 bits of the Gr0 data are the 8 bit data of the TMDS channel 1.
- the middle 4 bits of the Gr0 data are the upper 4 bits of the TMDS channel 0
- the upper 4 bits of the Gr0 data are the lower 4 bits of the TMDS channel 2
- the R1 data are the lower 4 bits of the data.
- the lower 4 bits of the data are the upper 4 bits of the TMDS channel 2
- the middle 4 bits of the R1 data are the lower 4 bits of the TMDS channel 0
- the upper 8 bits of the R1 data are the 8 bit data of the TMDS channel 1. It is said that.
- the even line (B / Gb line) in the first 2 pixel clock it is packed as follows. That is, in the first pixel clock, the lower 4 bits of the Gb0 data are the upper 4 bits of the TMDS channel 0, the middle 8 bits of the Gb0 data are the 8 bit data of the TMDS channel 2, and the upper 4 bits of the Gb0 data. The 4 bits are the lower 4 bit data of the TMDS channel 0, and the lower 8 bits of the B0 data are the 8 bit data of the TMDS channel 1.
- the middle 4 bits of the B0 data are the upper 4 bits of the TMDS channel 0
- the upper 4 bits of the B0 data are the lower 4 bits of the TMDS channel 2
- the Gb1 data are the lower 4 bits of the data.
- the lower 4 bits of the data are the upper 4 bits of the TMDS channel 2
- the middle 4 bits of the Gb1 data are the lower 4 bits of the TMDS channel 0
- the upper 8 bits of the Gb1 data are the 8 bit data of the TMDS channel 1. It is said that.
- FIG. 8 shows an active video section (see FIG. 3) of TMDS transmission data in the case of transmitting uncompressed YC 12-bit image data of 3840 pixels ⁇ 2160 lines in width ⁇ length.
- the uncompressed RAW data has a maximum resolution of 4700 ⁇ 2600 pixels, and the maximum data size of one frame of the uncompressed RAW data is smaller than the data size of the active video section, 24300 [Kbyte].
- the maximum data size of one frame of the uncompressed RAW data is smaller than the data size of the active video section, 24300 [Kbyte].
- the metadata related to the uncompressed RAW data is transmitted together with the uncompressed RAW data.
- metadata is added to each frame of uncompressed RAW data and transmitted.
- the metadata is stored in the payload portion of the data packet inserted in the vertical blanking section of the TMDS transmission data, and is transmitted in a state of being added to each frame of the uncompressed RAW data.
- the data packet is a VSIF (Vendor Specific Infoframe) packet.
- the data packet is a VSIF packet.
- FIG. 9 shows an example of the data structure of the VSIF packet.
- the 3 bytes of HB0 to HB2 constitute a packet header which is a header part of the VSIF packet.
- a PacketType (0x81) indicating a VSIF packet is defined in the 0th byte (HB0).
- the VSIF packet version (0x01) is defined in the first byte (HB1).
- the data length Length (L) of the payload portion of the VSIF packet is defined in the 4th to 0th bits of the second byte (HB2). In the illustrated example, the data length Length (L) shows 27 [Byte].
- PB0 to PB26 constitute the packet content which is the payload part of the VSIF packet.
- a data checksum is defined in the 0th byte (PB0).
- the 24-bit IEEE OUI (Organizationally Unique Identifier) of the product vendor is arranged in the first byte (PB1) to the third byte (PB3).
- the fourth byte (PB4) defines a version (eg, 0x02) indicating that it is a new VSIF packet for transmitting metadata related to uncompressed RAW data.
- the 12 bytes of the 5th byte (PB5) to the 16th byte (PB16) are regarded as the real-time (RT) metadata area. Since this real-time metadata area can be updated every frame, real-time metadata that is frequently updated, such as time code, Rec trigger, brightness information, and color conversion matrix, is stored.
- the 17th byte (PB17) constitutes a total number of pages area, and information "ST Metadata Number of Pages" of the total number of pages is stored. In this case, a value from 0 to 255 indicates the total number of pages from 1 to 256.
- the 18th byte (PB18) constitutes a page number area, and page number information "ST Metadata Page #" is stored.
- the 8 bytes from the 19th byte (PB19) to the 26th byte (PB26) constitute a static (ST) metadata area, which is static that corresponds to the page number and is updated less frequently than the above-mentioned real-time metadata. Metadata such as camera model name, lens brightness, image size, data bit length, etc. are stored.
- the maximum number of static metadata that can be transmitted per page is 8 [Byte]
- FIG. 10 shows another example of the data structure of the VSIF packet.
- the size ratio of the real-time (RT) metadata area and the static (ST) metadata area is changed with respect to the example of the data structure of the VSIF packet shown in FIG.
- 4 bytes from the 5th byte (PB5) to the 8th byte (PB8) are used as the real-time (RT) metadata area
- 16 bytes from the 11th byte (PB11) to the 26th byte (PB26) are static (PB26).
- ST) It is a metadata area.
- the maximum number of static metadata that can be transmitted per page is 16 [Byte]
- the transmission frequency of pages 0 to 1 is high. May be higher than the transmission frequency of pages 2-9.
- the metadata of each page is always transmitted in the order of 0, 1, 0, 1, ..., And by chance, the metadata of each page is transmitted in the order of 0, 1, ..., 9. Will be sent.
- the receiving side can appropriately and easily associate the metadata related to the uncompressed RAW data with the uncompressed RAW data. It can be obtained.
- Transmission identification information of uncompressed RAW data When the uncompressed RAW data is transmitted from the imaging device 100 to the receiving device 200, the identification information indicating that the uncompressed RAW data is transmitted is transmitted together with the uncompressed RAW data.
- the VSIF packet in which the uncompressed RAW data is stored in the payload portion also has a function of identification information indicating that the uncompressed RAW data is transmitted. The presence of this VSIF packet allows the receiving side to easily identify that the transmission is uncompressed RAW data, and enables appropriate processing.
- the control unit 103 of the imaging device 100 transmits uncompressed RAW data to the receiving device 200 or uncompressed YC data to the receiving device 200 based on information such as whether the receiving device 200 supports uncompressed RAW data. Controls whether to send or nothing.
- the HDMI receiving unit 202 of the receiving device 200 has a memory unit 222 as described above, and the memory unit 222 includes an EDID ROM 231 in which information regarding the configuration and possible functions of the receiving device 200 is set (FIG. FIG. 2).
- the receiving device 200 corresponds to the uncompressed RAW data in the VSVDB (Vendor-Specific Video Data Block) recorded in the EDID ROM 231. It contains identification information indicating that it is present.
- FIG. 11A shows the basic structure of EDID.
- This EDID consists of a 128-byte basic block (Base block) and a 128-byte extension block (CTA Extension).
- Base block basic block
- CTA Extension 128-byte extension block
- FIG. 11B there are several types of data blocks in the expansion block, and a data block called VSVDB is defined in the expansion block.
- FIG. 11C shows an example of the structure of VSVDB including identification information indicating that it corresponds to uncompressed RAW data.
- “Vendor-Special tag code (0x7)” is defined in the 7th to 5th bits of the 1st byte, and the subsequent data length Length (0x06) is defined in the 4th to 0th bits of the 1st byte. Is defined. Further, “Extended tag code (0x01)” is defined in the second byte.
- the 24-bit IEEE OUI (Organizationally Unique Identifier) of the product vendor is arranged in the 3rd byte (PB1) to the 5th byte (PB3).
- This information constitutes identification information indicating that the receiving device 200 corresponds to uncompressed RAW data.
- the sequence diagram of FIG. 12 shows an example of the output processing of the imaging device 100 based on the EDID read from the EDID ROM 231 of the receiving device 200 at the initial stage of connection.
- EDID Read access is sent from the image pickup device 100 to the receiver device 200.
- the EDID is read from the EDID ROM 231 and the EDID is sent to the image pickup apparatus 100.
- the imaging device 100 receives the EDID sent from the receiving device 200, performs output determination processing based on this EDID, and determines whether to output RAW data, YC data, or nothing. decide. Then, when the imaging device 100 decides to output the RAW data, it transmits the uncompressed RAW data to the receiving device 200, and when it decides to output the YC data, the uncompressed YC data is sent to the receiving device 200. If it is determined to transmit and further output nothing, nothing is output to the receiving device 200.
- the flowchart of FIG. 13 shows an example of the output determination process in the control unit 103 of the image pickup apparatus 100.
- the control unit 103 analyzes the EDID in step ST1.
- the control unit 103 determines whether the receiving device 200 supports RAW reception, that is, whether the receiving device 200 supports uncompressed RAW data.
- the EDID includes VSVDB including identification information indicating that the receiving device 200 corresponds to the uncompressed RAW data
- the control unit 103 determines that the receiving device 200 supports RAW reception.
- step ST2 When it is determined in step ST2 that RAW reception is supported, the control unit 103 puts the inside of the system into a RAW output permitted state in step ST3. Then, in step ST4, the control unit 103 displays the HDMI output selection menu on the display unit as shown in FIG. 14A.
- the HDMI output selection menu the user can select whether or not to output RAW. In the illustrated example, RAW output is selected.
- the selection of whether to output YC is invalid.
- control unit 103 determines whether or not RAW output is selected in step ST5. When it is determined that RAW output is selected, the control unit 103 decides to output RAW in step ST6.
- step ST5 When it is determined in step ST5 that the user does not output RAW, the control unit 103 puts the inside of the system into a RAW output disallowed state in step ST7.
- step ST8 the control unit 103 displays the HDMI output selection menu on the display unit as shown in FIG. 14B.
- this HDMI output selection menu the user can select whether or not to output YC. In the illustrated example, "No YC output" is selected.
- step ST10 the control unit 103 displays the HDMI output selection menu on the display unit as shown in FIG. 14 (c).
- this HDMI output selection menu the user can select whether or not to output YC.
- YC output is selected.
- the selection of whether or not to output RAW is invalid.
- step ST8 the control unit 103 determines whether or not YC output is selected in step ST11.
- the control unit 103 decides to output YC in step ST12.
- the control unit 103 determines in step ST13 that nothing is output.
- identification information indicating that the receiving device 200 is compatible with uncompressed RAW data included in the VSVDB recorded in the EDID ROM 231 is shown.
- the identification information written in the manufacturing area of the SCDC register unit 232, that is, the manufacturing specific registers, indicating that the receiving device 200 corresponds to the uncompressed RAW data is provided. It is also possible to use it.
- FIG. 15 shows an example of a data structure in a manufacturing specific register.
- the company code "Manufacture_OUI” issued by applying to the IEEE is arranged in the three bytes of the offsets "0xD0" to "0xD2".
- a character string "Device_ID_Sting” indicating the name of the device is arranged in 8 bytes of the offsets "0xD3" to "0xDA”.
- Hardware_Major_Rev A major hardware revision "Hardware_Major_Rev” is arranged in the 4th bit of the 7th to 4th bits of the offset "0xDB”, and a minor revision of the hardware “Hardware_Major_Rev” is arranged in the 4th bit of the 3rd to 0th bits. "Hardware_Minor_Rev” is arranged.
- a "Sink Vendor ID (for example, 0x01)" is arranged in one byte of the offset "0xDE", and a “Function Code (for example, 0x01)” is arranged in one byte of the offset "0xDF”.
- This information constitutes identification information indicating that the receiving device 200 corresponds to uncompressed RAW data.
- One byte of offset "0xE0" is, for example, an information area of status 1.
- signal stop request information is arranged in the 7th bit, "1" indicates that the receiving device requests signal stop, and "0" means that the receiving device can receive the signal. Show that.
- RAW reception request information is arranged in the 0th bit, "1" indicates that the receiving device requests RAW data, and "0” indicates that the receiving device requests YC data. Indicates that you are requesting.
- one byte of the offset "0xE1" is set as, for example, the information area of the status 2.
- the REC status information is arranged in the 0th bit, "1" indicates that the data received by the receiving device is being processed, that is, recording, and "0" is received by the receiving device. Indicates that the data is not being processed.
- the sequence diagram of FIG. 16 shows an example of the output processing of the imaging device 100 based on the manufacturing area data read from the SCDC register unit 232 of the receiving device 200 at the initial stage of connection.
- the SCDC Read access (Read access in the manufacturing area) from the image pickup device 100 to the receiver device 200. ) Is sent.
- the manufacturing area data of the SCDC register unit 232 is read out, and the manufacturing area data is sent to the image pickup apparatus 100.
- the imaging device 100 receives the manufacturing area data sent from the receiving device 200, performs output determination processing based on the manufacturing area data, and outputs RAW data or YC data. Or decide whether to output anything.
- This output determination process is performed by determining that the receiving device 200 is compatible with RAW reception by including the identification information indicating that the receiving device 200 is compatible with uncompressed RAW data in the manufacturing area data. Except for this, it is the same as the output determination process (see FIG. 13) of the image pickup apparatus 100 in the sequence diagram of FIG.
- the imaging device 100 determines to output RAW data, it transmits uncompressed RAW data to the receiving device 200, and when it determines to output YC data, it transmits uncompressed YC data to the receiving device 200. If it is determined that nothing is output, nothing is output to the receiving device 200.
- the sequence diagram of FIG. 17 is an example of output processing of the imaging device 100 when the user performs a recording stop operation in the receiving device 200 while the imaging device 100 is transmitting uncompressed RAW data to the receiving device 200. Is shown.
- the control unit 203 of the receiving device 200 sets the REC status information of the 0th bit of the offset “0xE1” of the manufacturing area of the SCDC register unit 232 to “1”. To "0". Then, a Read request is issued from the receiving device 200 to the imaging device 100.
- SCDC Read access (Read access in the manufacturing area) is sent from the imaging device 100 to the receiving device 200.
- the manufacturing area data of the SCDC register unit 232 is read out, and the manufacturing area data is sent to the image pickup apparatus 100.
- the control unit 103 of the image pickup apparatus 100 analyzes the manufacturing region data in step ST21.
- the control unit 103 grasps that the receiving device 200 has stopped recording because the REC status information of the 0th bit of the offset “0xE1” has been changed to “0”.
- the control unit 103 decides to switch from the RAW output to the YC output in step ST23. Based on this determination, the image pickup apparatus 100 transmits uncompressed YC data instead of uncompressed RAW data.
- the imaging device 100 can transmit the uncompressed RAW data to the receiving device 200.
- the imaging device 100 transmits the uncompressed RAW data to the receiving device 200. May be made possible. In that case, the imaging device 100 determines whether or not the receiving device 200 requests the reception of uncompressed RAW data based on the RAW reception request information of the 0th bit of the offset "0xE0" of the manufacturing area data. It is possible to do.
- the image pickup device 100 tells the receiving device 200 only when the receiving device 200 is in a signal receiving state. It may be possible to transmit uncompressed RAW data or uncompressed YC data. In that case, the imaging device 100 may determine whether or not the receiving device 200 is in a signal receivable state based on the signal stop request information of the 7th bit of the offset "0xE0" of the manufacturing area data. It is possible.
- FIG. 18 shows a configuration example of the image pickup apparatus 100.
- the image pickup device 100 includes a receptacle 101 as an HDMI connector, an HDMI transmission unit 102, a control unit 103, a user operation unit 104, an imager 105, a RAW data processing unit 106, a RAW data memory 107, and RAW data compression. It has a / decompression unit 108, a development processing unit 109, a YC data memory 110, a YC data compression / decompression unit 111, a recording / playback unit 112, and a display unit 113.
- the control unit 103 includes a CPU (Central Processing Unit) and controls the entire image pickup apparatus 100.
- the user operation unit 104 is connected to the control unit 103 and constitutes a user interface for the user to perform various operations.
- the imager 105 is composed of, for example, a C-MOS image sensor or a CCD image sensor, and outputs uncompressed RAW data as captured image data.
- This uncompressed RAW data is, for example, uncompressed RAW data of a Bayer array (see FIG. 4).
- the RAW data processing unit 106 performs processing such as noise reduction, defect correction, and auto white balance on the uncompressed RAW data output from the imager 105.
- the RAW data processing unit 106 may be omitted.
- the RAW data memory 107 is, for example, a memory composed of a DRAM (Dynamic Random Access Memory) and temporarily storing uncompressed RAW data and compressed RAW data.
- the RAW data compression / decompression unit 108 performs a process of compressing uncompressed RAW data to obtain compressed RAW data, or a process of decompressing compressed RAW data to obtain uncompressed RAW data.
- the RAW data compression / decompression section 108 may be omitted.
- the development processing unit 109 develops the uncompressed RAW data to obtain the uncompressed YC data.
- the YC data memory 110 is, for example, a memory composed of DRAM and temporarily storing uncompressed YC data and compressed YC data.
- the YC data compression / decompression unit 111 performs a process of compressing uncompressed YC data to obtain compressed YC data, or a process of decompressing compressed YC data to obtain uncompressed YC data.
- the recording / reproducing unit 112 records and reproduces compressed RAW data and compressed YC data on a recording medium (not shown).
- the recording medium is, for example, an optical disk, a hard disk, a semiconductor memory, or the like.
- the display unit 113 is composed of, for example, a liquid crystal display, an organic EL display, or the like, and displays an image or a UI screen.
- the HDMI transmission unit 102 transmits uncompressed RAW data or uncompressed YC data to the receiving device 200 via the receptacle 101 and the HDMI cable 300 via the HDMI cable 300 by HDMI-compliant communication.
- the imager 105 outputs uncompressed RAW data of a Bayer array in which the bit length of each pixel is 16 bits.
- This uncompressed RAW data is temporarily written to the RAW data memory 107 after being subjected to processing such as noise reduction, defect correction, and auto white balance by the RAW data processing unit 106.
- the data of each pixel of the uncompressed RAW data is sequentially written to the RAW data memory 107 (see FIG. 7A).
- the uncompressed RAW data sequentially written in the RAW data memory 107 is sequentially read from the RAW data memory 107 and supplied to the HDMI transmission unit 102.
- the HDMI transmission unit 102 generates TMDS transmission data (see FIG. 3) in which uncompressed RAW data is stored in the active video section, and the TMDS transmission data is transmitted to the receiving device 200 through the receptacle 101 as an HDMI connector. ..
- the HDMI transmission unit 102 uses the YC 12-bit transfer mode, and the uncompressed RAW data is packed in each of the TMDS channels # 0 to # 2 (see FIGS. 7 (b1) and 7 (b2)). .. Further, in the HDMI transmission unit 102, a VSIF packet (see FIGS. 9 and 10) is inserted into the vertical blanking section of the TMDS transmission data. Metadata related to uncompressed RAW data is stored in the payload part of this VSIF packet.
- the recording / playback unit 112 converts the captured image data into compressed RAW data or compressed YC data according to the user operation. Recording is done in the format of.
- the uncompressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the RAW data compression / decompression unit 108.
- the RAW data compression / decompression unit 108 the uncompressed RAW data is subjected to a compression process to obtain compressed RAW data. Then, the compressed RAW data thus obtained by the RAW data compression / decompression unit 108 is supplied to the recording / reproduction unit 112 and recorded.
- the uncompressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the development processing unit 109.
- the development processing unit 109 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- the uncompressed YC data thus obtained by the developing processing unit 109 is temporarily written in the YC data memory 110.
- the uncompressed YC data written in the YC data memory 110 is sequentially read from the YC data memory 110 and supplied to the YC data compression / decompression unit 111.
- the YC data compression / decompression unit 111 the uncompressed YC data is subjected to a compression process to obtain the compressed YC data. Then, the compressed YC data thus obtained by the YC data compression / decompression unit 111 is supplied to the recording / reproduction unit 112 and recorded.
- the uncompressed RAW data obtained by imaging with the imager 105 is transmitted to the receiving device 200, the captured image is displayed on the display unit 113.
- the uncompressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the development processing unit 109.
- uncompressed RAW data is subjected to development processing to obtain uncompressed YC data.
- the uncompressed YC data thus obtained by the developing processing unit 109 is temporarily written in the YC data memory 110. Then, the uncompressed YC data written in the YC data memory 110 is supplied to the display unit 113 to display the captured image.
- the imager 105 outputs uncompressed RAW data of a Bayer array in which the bit length of each pixel is 16 bits.
- This uncompressed RAW data is subjected to processing such as noise reduction, defect correction, and auto white balance by the RAW data processing unit 106, and further compressed by the RAW data compression / decompression unit 108, and then stored in the RAW data memory 107. It is written temporarily.
- the compressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the RAW data compression / decompression unit 108.
- the compressed RAW data is decompressed to obtain uncompressed RAW data. This uncompressed RAW data is supplied to the development processing unit 109.
- uncompressed RAW data is subjected to development processing, and uncompressed YC data, for example, YCbCr 4: 2: 2 system image data is obtained.
- uncompressed YC data each line is a series of pixels of "Y: 12 bits + Cb: 12 bits” and pixels of "Y: 12 bits + Cr: 12 bits" alternately.
- the uncompressed YC data thus obtained by the developing processing unit 109 is temporarily written in the YC data memory 110.
- the data of each pixel of the uncompressed YC data is sequentially written to the YC data memory 110 (see FIG. 6A).
- the uncompressed YC data sequentially written in the YC data memory 110 is sequentially read from the YC data memory 110 and supplied to the HDMI transmission unit 102.
- the HDMI transmission unit 102 generates TMDS transmission data (see FIG. 3) in which YC data is stored in the active video section, and the TMDS transmission data is transmitted to the receiving device 200 through the receptacle 101 as an HDMI connector.
- the HDMI transmission unit 102 uses the YC 12-bit transfer mode, and the YC data is packed in each of the TMDS channels # 0 to # 2 (see FIG. 6B).
- the recording / playback unit 112 converts the captured image data into a compressed RAW according to the user operation. Recording is done in the form of data or compressed YC data.
- the compressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the recording / playback unit 112 for recording.
- the compressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the RAW data compression / decompression unit 108.
- the compressed RAW data is decompressed to obtain uncompressed RAW data.
- This uncompressed RAW data is supplied to the development processing unit 109.
- the development processing unit 109 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- the uncompressed YC data thus obtained by the developing processing unit 109 is temporarily written in the YC data memory 110.
- the uncompressed YC data written in the YC data memory 110 is read from the YC data memory 110 and supplied to the YC data compression / decompression unit 111.
- the YC data compression / decompression unit 111 the uncompressed YC data is subjected to a compression process to obtain the compressed YC data. Then, the compressed YC data thus obtained by the YC data compression / decompression unit 111 is supplied to the recording / reproduction unit 112 and recorded.
- the captured image is displayed on the display unit 113.
- the compressed RAW data written in the RAW data memory 107 is read from the RAW data memory 107 and supplied to the RAW data compression / decompression unit 108.
- the compressed RAW data is decompressed to obtain uncompressed RAW data.
- This uncompressed RAW data is supplied to the developing processing unit 109.
- the development processing unit 109 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- the uncompressed YC data thus obtained by the developing processing unit 109 is temporarily written in the YC data memory 110.
- the uncompressed YC data written in the YC data memory 110 is supplied to the display unit 113 to display the captured image.
- the compressed RAW data reproduced by the recording / reproducing unit 112 is supplied to the RAW data compression / decompression unit 108.
- the compressed RAW data is decompressed to obtain uncompressed RAW data.
- This uncompressed RAW data is temporarily written to the RAW data memory 107.
- the data of each pixel of the uncompressed RAW data is sequentially written to the RAW data memory 107 (see FIG. 7A).
- the uncompressed RAW data sequentially written in the RAW data memory 107 is sequentially read from the RAW data memory 107 and supplied to the HDMI transmission unit 102.
- the HDMI transmission unit 102 generates TMDS transmission data (see FIG. 3) in which uncompressed RAW data is stored in the active video section, and the TMDS transmission data is transmitted to the receiving device 200 through the receptacle 101 as an HDMI connector. ..
- the HDMI transmission unit 102 uses the YC 12-bit transfer mode, and the uncompressed RAW data is packed in each of the TMDS channels # 0 to # 2 (see FIGS. 7 (b1) and 7 (b2)). .. Further, in the HDMI transmission unit 102, a VSIF packet (see FIGS. 9 and 10) is inserted into the vertical blanking section of the TMDS transmission data. Metadata related to uncompressed RAW data is stored in the payload part of this VSIF packet.
- the compressed RAW data reproduced by the recording / reproducing unit 112 is supplied to the RAW data compression / decompression unit 108.
- the compressed RAW data is decompressed to obtain uncompressed RAW data.
- This uncompressed RAW data is supplied to the developing processing unit 109.
- the development processing unit 109 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- each line is a series of pixels of "Y: 12 bits + Cb: 12 bits” and pixels of "Y: 12 bits + Cr: 12 bits” alternately.
- the uncompressed YC data thus obtained by the developing processing unit 109 is temporarily written in the YC data memory 110.
- the data of each pixel of the uncompressed YC data is sequentially written to the YC data memory 110 (see FIG. 6A).
- the uncompressed YC data sequentially written in the YC data memory 110 is sequentially read from the YC data memory 110 and supplied to the HDMI transmission unit 102.
- the HDMI transmission unit 102 generates TMDS transmission data (see FIG. 3) in which YC data is stored in the active video section, and the TMDS transmission data is transmitted to the receiving device 200 through the receptacle 101 as an HDMI connector.
- the HDMI transmission unit 102 uses the YC 12-bit transfer mode, and the YC data is packed in each of the TMDS channels # 0 to # 2 (see FIG. 6B).
- the compressed YC data reproduced by the recording / reproducing unit 112 is supplied to the YC data compression / decompression unit 111.
- the compressed YC data is decompressed to obtain uncompressed YC data, for example, YCbCr 4: 2: 2 system image data.
- each line is a series of pixels of "Y: 12 bits + Cb: 12 bits” and pixels of "Y: 12 bits + Cr: 12 bits" alternately.
- the uncompressed YC data obtained by the YC data compression / decompression unit 111 in this way is temporarily written to the YC data memory 110.
- the data of each pixel of the uncompressed YC data is sequentially written to the YC data memory 110 (see FIG. 6A).
- the uncompressed YC data sequentially written in the YC data memory 110 is sequentially read from the YC data memory 110 and supplied to the HDMI transmission unit 102.
- the HDMI transmission unit 102 generates TMDS transmission data (see FIG. 3) in which YC data is stored in the active video section, and the TMDS transmission data is transmitted to the receiving device 200 through the receptacle 101 as an HDMI connector.
- the HDMI transmission unit 102 uses the YC 12-bit transfer mode, and the YC data is packed in each of the TMDS channels # 0 to # 2 (see FIG. 6B).
- the compressed RAW data reproduced by the recording / reproducing unit 112 is supplied to the RAW data compression / decompression unit 108.
- the compressed RAW data is decompressed to obtain uncompressed RAW data.
- This uncompressed RAW data is supplied to the developing processing unit 109.
- the development processing unit 109 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- This uncompressed YC data is temporarily written to the YC data memory 110. Then, the uncompressed YC data written in the YC data memory 110 is supplied to the display unit 113, and the reproduced image is displayed.
- the compressed YC data reproduced by the recording / reproducing unit 112 is supplied to the YC compression / decompression unit 111.
- the compressed YC data is decompressed to obtain uncompressed YC data.
- This uncompressed YC data is temporarily stored in the YC data memory 110.
- the uncompressed YC data written in the YC data memory 110 is supplied to the display unit 113, and the reproduced image is displayed.
- FIG. 19 shows a configuration example of the receiving device 200.
- the receiving device 200 includes a receptacle 201 as an HDMI connector, an HDMI receiving unit 202, a control unit 203, a user operation unit 204, a RAW data memory 205, a RAW data compression / decompression unit 206, and a development processing unit 207. , YC data memory 208, YC data compression / decompression unit 209, recording / playback unit 210, and display unit 211.
- the control unit 203 includes a CPU (Central Processing Unit) and controls the entire receiving device 200.
- the user operation unit 204 is connected to the control unit 203, and constitutes a user interface for the user to perform various operations.
- the HDMI receiving unit 202 receives uncompressed RAW data or uncompressed YC data from the image pickup apparatus 100 through the HDMI cable 300 and the receptacle 201 by HDMI-compliant communication.
- the RAW data memory 205 is, for example, a memory configured by a DRAM (Dynamic Random Access Memory) and temporarily stores uncompressed RAW data and compressed RAW data.
- the RAW data compression / decompression unit 206 performs a process of compressing uncompressed RAW data to obtain compressed RAW data, or a process of decompressing compressed RAW data to obtain uncompressed RAW data.
- the development processing unit 207 develops the uncompressed RAW data to obtain the uncompressed YC data.
- the YC data memory 208 is, for example, a memory composed of DRAM and temporarily storing uncompressed YC data and compressed YC data.
- the YC data compression / decompression unit 209 performs a process of compressing uncompressed YC data to obtain compressed YC data, or a process of decompressing compressed YC data to obtain uncompressed YC data.
- the recording / playback unit 210 records and reproduces compressed RAW data and compressed YC data on a recording medium (not shown).
- the recording medium is, for example, an optical disk, a hard disk, a semiconductor memory, or the like.
- the display unit 211 comprises, for example, a liquid crystal display, an organic EL display, or the like, and displays an image or a UI screen.
- the HDMI receiving unit 202 receives the TMDS transmission data (see FIG. 3) in which the uncompressed RAW data is stored in the active video section, and the uncompressed RAW data is obtained.
- a VSIF packet (see FIGS. 9 and 10) is inserted in the vertical blanking section of the TMDS transmission data, and metadata related to the uncompressed RAW data is stored in the payload portion of the VSIF packet.
- the HDMI receiving unit 202 extracts the VSIF packet, and this VSIF packet is sent to the control unit 203.
- the control unit 203 recognizes that the transmission of uncompressed RAW data is due to the transmission of this VSIF packet. Further, the control unit 203 acquires metadata related to the uncompressed RAW data from the payload unit of the VSIF packet, and controls processing of each part related to the uncompressed RAW data, for example, development processing, based on the metadata. ..
- the uncompressed RAW data obtained by the HDMI receiving unit 202 is temporarily written to the RAW data memory 205.
- the data of each pixel of the uncompressed RAW data is sequentially written to the RAW data memory 205 (see FIG. 7A).
- the uncompressed RAW data sequentially written in the RAW data memory 205 is sequentially read from the RAW data memory 205 and supplied to the RAW data compression / decompression unit 206.
- RAW data compression / decompression unit 206 uncompressed RAW data is subjected to compression processing to obtain compressed RAW data. Then, the compressed RAW data thus obtained by the RAW data compression / decompression unit 206 is supplied to the recording / reproduction unit 210 and recorded.
- the uncompressed RAW data obtained by the HDMI receiving unit 202 is temporarily written to the RAW data memory 205.
- the data of each pixel of the uncompressed RAW data is sequentially written to the RAW data memory 205 (see FIG. 7A).
- the uncompressed RAW data sequentially written in the RAW data memory 205 is sequentially read from the RAW data memory 205 and supplied to the development processing unit 207.
- the development processing unit 207 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- the uncompressed YC data thus obtained by the development processing unit 207 is temporarily written in the YC data memory 208.
- the uncompressed YC data written in the YC data memory 208 is read from the YC data memory 208 and supplied to the YC data compression / decompression unit 209.
- YC data compression / decompression unit 209 uncompressed YC data is subjected to compression processing to obtain compressed YC data.
- the compressed YC data thus obtained by the YC data compression / decompression unit 209 is supplied to the recording / reproduction unit 210 and recorded.
- the image is displayed on the display unit 113.
- the uncompressed RAW data written in the RAW data memory 205 is read from the RAW data memory 205 and supplied to the development processing unit 207.
- this development processing unit 207 uncompressed RAW data is subjected to development processing, and uncompressed YC data is obtained.
- the uncompressed YC data thus obtained by the development processing unit 207 is temporarily written in the YC data memory 208. Then, the uncompressed YC data written in the YC data memory 208 is supplied to the display unit 211 to display the captured image.
- the HDMI receiving unit 202 receives the TMDS transmission data (see FIG. 3) in which the uncompressed YC data is stored in the active video section, and the uncompressed YC data, for example, the image data of the YCbCr 4: 2: 2 method. can get.
- This uncompressed YC data is temporarily written to the YC data memory 208.
- the uncompressed YC data written in the YC data memory 208 is read from the YC data memory 208 and supplied to the YC data compression / decompression unit 209.
- YC data compression / decompression unit 209 uncompressed YC data is subjected to compression processing to obtain compressed YC data. Then, the compressed YC data thus obtained by the YC data compression / decompression unit 209 is supplied to the recording / reproduction unit 210 and recorded.
- the compressed RAW data reproduced by the recording / reproducing unit 210 is supplied to the RAW data compression / decompression unit 206.
- the compressed RAW data is decompressed to obtain uncompressed RAW data.
- This uncompressed RAW data is supplied to the developing processing unit 207.
- the development processing unit 207 performs development processing on the uncompressed RAW data to obtain uncompressed YC data, for example, image data of the YCbCr 4: 2: 2 method.
- This uncompressed YC data is temporarily written to the YC data memory 208. Then, the uncompressed YC data written in the YC data memory 208 is supplied to the display unit 211, and the reproduced image is displayed.
- the compressed YC data reproduced by the recording / reproducing unit 210 is supplied to the YC compression / decompression unit 209.
- the compressed YC data is decompressed to obtain uncompressed YC data.
- This uncompressed YC data is temporarily stored in the YC data memory 208.
- the uncompressed YC data written in the YC data memory 208 is supplied to the display unit 211, and the reproduced image is displayed.
- the imaging device 100 can transmit uncompressed RAW data to the receiving device 200 via the HDMI cable 300. Therefore, uncompressed RAW data can be satisfactorily transmitted between devices.
- the processing unit is not shown in FIG. 19, the image data editing process and the image quality adjusting process can be performed satisfactorily.
- the imaging device 100 transmits metadata related to the uncompressed RAW data to the receiving device 200 together with the uncompressed RAW data. Therefore, the receiving device 200 can appropriately and easily acquire the metadata related to the uncompressed RAW data in association with the uncompressed RAW data, and satisfactorily performs various processes on the uncompressed RAW data based on the metadata. be able to.
- the imaging device 100 transmits uncompressed RAW data of the Bayer array having a bit length of 16 bits for each pixel via the HDMI cable 300 using the YC 12-bit transfer mode. It is transmitted to the receiving device 200. Therefore, the uncompressed RAW data of the Bayer array in which the bit length of each pixel is 16 bits can be satisfactorily transmitted by effectively utilizing the conventional HDMI transmission / reception system of the YC 12-bit transfer mode.
- the uncompressed RAW data is the uncompressed RAW data of the Bayer sequence.
- the uncompressed RAW data is not limited to the uncompressed RAW data of the Bayer sequence. No.
- an example in which the bit length of each pixel of the uncompressed RAW data is 16 bits has been shown, but the bit length of each pixel is not limited to 16 bits in the present technology.
- the metadata related to the uncompressed RAW data is stored in the payload part of the VSIF packet inserted in the vertical blanking section of the TMDS transmission data and transmitted.
- the method of transmitting the metadata related to the uncompressed RAW data together with the uncompressed RAW data is not limited to this.
- it may be transmitted using another data packet inserted in the vertical blanking section of the TMDS transmission data, and an area in which the uncompressed RAW data of the active video section is not stored (dummy data area in FIG. 8). It may be stored in and sent.
- identification information indicating that the uncompressed RAW data is transmitted is inserted into the blanking section of the TMDS transmission data and transmitted.
- a VSIF packet in which metadata related to uncompressed RAW data is stored in a payload unit also has a function of identification information indicating that the uncompressed RAW data is transmitted.
- the identification information indicating that the uncompressed RAW data is transmitted may be transmitted by another method. For example, it is possible to notify the receiving device 200 from the imaging device 100 by communication using the CEC line.
- the present technology can have the following configurations.
- a transmission device including a transmission unit that transmits uncompressed RAW data to an external device via an HDMI transmission line.
- the uncompressed RAW data is uncompressed RAW data of a Bayer array.
- the bit length of each pixel of the uncompressed RAW data is 16 bits.
- the transmission unit transmits the uncompressed RAW data using the YC 12-bit transfer mode.
- the transmission unit transmits metadata related to the uncompressed RAW data together with the uncompressed RAW data.
- the transmission device adds the metadata to each frame of the uncompressed RAW data and transmits the metadata.
- the transmitter is The uncompressed RAW data is stored in the active video section of the TMDS (Transition Minimized Differential Signaling) transmission data including the active video section and the vertical blanking section.
- the transmission device according to (5) above, wherein the metadata is stored in a payload portion of a data packet inserted in the vertical blanking section and transmitted.
- the metadata includes a high update frequency metadata having a first update frequency and a low update frequency metadata having a second update frequency lower than the first update frequency.
- the transmission device wherein the payload portion of the data packet has a first area for storing the high update frequency metadata and a second area for storing the low update frequency metadata.
- the second area includes a page number area for storing page number information and stores metadata corresponding to the page number.
- the second area further includes a total number of pages area for storing information on the total number of pages.
- the transmission frequency of the metadata corresponding to each page stored and transmitted in the second area is changed according to the priority of each metadata according to the above (8) or (9). Transmitter.
- the transmitting device according to any one of (6) to (10) above, wherein the data packet is a VSIF (Vendor Specific InfoFrame) packet.
- the transmitter is The uncompressed RAW data is stored in the active video section of the TMDS (Transition Minimized Differential Signaling) transmission data including the active video section.
- the transmission device according to (5) above, wherein the metadata is stored and transmitted in an area of the active video section in which the uncompressed RAW data is not stored.
- the transmission unit transmits identification information indicating that the uncompressed RAW data is transmitted together with the uncompressed RAW data.
- the transmitter is The uncompressed RAW data is stored in the active video section of the TMDS (Transition Minimized Differential Signaling) transmission data including the active video section and the vertical blanking section.
- the transmission device according to (15) wherein metadata related to the uncompressed RAW data is stored in the payload portion of the predetermined data packet.
- the transmission unit further includes a function of transmitting YC data obtained by developing the uncompressed RAW data to the external device via the HDMI transmission path (1) to (17).
- the transmitter according to any of the above.
- a transmission method including a procedure for transmitting uncompressed RAW data to an external device via an HDMI transmission line.
- a receiving unit that receives uncompressed RAW data from an external device via an HDMI transmission line.
- a receiving device including a processing unit that processes the uncompressed RAW data received by the receiving unit.
- Imaging system 100 Imaging device 101 ... Receptacle (HDMI connector) 102: HDMI transmission unit 103: Control unit 104: User operation unit 105: Imager 106: RAW data processing unit 107: RAW data memory 108: RAW data compression / decompression unit 109 ⁇ ⁇ ⁇ Development processing unit 110 ⁇ ⁇ ⁇ YC data memory 111 ⁇ ⁇ ⁇ YC data compression / decompression unit 112 ⁇ ⁇ ⁇ Recording / playback unit 113 ⁇ ⁇ ⁇ Display unit 121 ⁇ ⁇ ⁇ HDMI transmitter 122 ⁇ ⁇ ⁇ IIC master Block 200 ... Receiver 201 ...
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
機器間における非圧縮RAWデータの伝送を良好に行い得るようにする。 送信部により、非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する。例えば、非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである。また、例えば、非圧縮RAWデータの画素毎のビット数は16ビットであり、送信部は、非圧縮RAWデータを、YC12ビット転送モードを用いて送信する。例えば、送信部は、非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信する。
Description
本技術は、送信装置、送信方法および受信装置に関し、詳しくは、非圧縮RAWデータを外部機器に送信する送信装置等に関する。
例えば、特許文献1には、ソース機器からシンク機器に、画像データとしてのYCデータ、例えばYcbCr 4:2:2方式の画像データを、HDMI(High-Definition Multimedia Interface)伝送路を介して、非圧縮で送信することが開示されている。なお、「HDMI」は、登録商標である。
例えば、ソース機器としての撮像装置からシンク機器としての受信装置に画像データを送信する場合、受信装置側で編集や画質調整等の処理をすることを考慮すると、YCデータの形式ではなくRAWデータの形式で送り、そのRAWデータの形式で保存しておくことが望まれる。
ここで、イメージャから出力された画像データに対してYCデータに変換していないものをRAWデータと呼ぶ。このRAWデータは、ベイヤー配列などのイメージャのカラーフィルタの配置関係が維持されていればよく、イメージャの出力画像データそのものであってもよく、また、その出力画像データにノイズリダクション、欠陥補正、オートホワイトバランス等の処理がされたものであってもよい。
本技術の目的は、機器間における非圧縮RAWデータの伝送を良好に行い得るようにすることにある。
本技術の概念は、
非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置にある。
非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置にある。
本技術において、送信部により、非圧縮RAWデータが、HDMI伝送路を介して、外部機器に送信される。例えば、非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータであってもよい。この場合、例えば、非圧縮RAWデータの画素毎のビット数は16ビットであり、送信部は、非圧縮RAWデータを、YC12ビット転送モードを用いて送信してもよい。
また、例えば、送信部は、非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信してもよい。このメタデータには、画像のサイズ、現像のためのパラメータ(撮像時における明るさ、ゲインなど)、などの情報が含まれる。このように非圧縮RAWデータに関連したメタデータを非圧縮RAWデータと共に送信することで、受信側では、非圧縮RAWデータに関連したメタデータを、非圧縮RAWデータに対応付けて適切かつ容易に取得可能となる。
この場合、例えば、送信部は、非圧縮RAWデータの各フレームにメタデータを付加して送信してもよい。その場合、例えば、送信部は、アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの、アクティブビデオ区間に非圧縮RAWデータを格納し、垂直ブランキング区間に挿入されるデータパケットのペイロード部にメタデータを格納して送信してもよい。例えば、データパケットは、VSIF(Vendor Specific InfoFrame)パケットであってもよい。
その場合、例えば、メタデータは、第1の更新頻度の高更新頻度メタデータと、第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、データパケットのペイロード部は、高更新頻度メタデータを格納する第1の領域と、低更新頻度メタデータを格納する第2の領域を有していてもよい。その場合、例えば、第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、このページ番号に対応したメタデータが格納されてもよい。
その場合、例えば、第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれていてもよい。また、その場合、例えば、第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更されてもよい。
また、例えば、送信部は、アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの、アクティブビデオ区間に非圧縮RAWデータを格納し、そのアクティブビデオ区間の非圧縮RAWデータが格納されていない領域にメタデータを格納して送信してもよい。
また、例えば、送信部は、非圧縮RAWデータと共に、この非圧縮RAWデータの送信であることを示す識別情報を送信してもよい。このように非圧縮RAWデータの送信であることを示す識別情報を非圧縮RAWデータと共に送信することで、受信側では、非圧縮RAWデータの送信であることを容易に識別でき、適切な処理を行うことが可能となる。
その場合、例えば、送信部は、アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの、アクティブビデオ区間に非圧縮RAWデータを格納し、垂直ブランキング区間に識別情報を挿入して送信してもよい。その場合、例えば、送信部は、識別情報として、垂直ブランキング区間に所定データパケットを挿入してもよい。そして、その場合、例えば、その所定データパケットのペイロード部には非圧縮RAWデータに関連するメタデータが格納されてもよい。
また、例えば、非圧縮RAWデータを出力するイメージャをさらに備えてもよい。また、例えば、送信部は、非圧縮RAWデータを現像して得られたYCデータを、HDMI伝送路を介して、外部機器に送信する機能をさらに備えていてもよい。
このように本技術においては、非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信するものであり、機器間における非圧縮RAWデータの伝送を良好に行うことができる。
また、本技術の他の概念は、
外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置にある。
外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置にある。
本技術において、受信部により、外部機器から、HDMI伝送路を介して、非圧縮RAWデータが受信される。そして、処理部により、受信部で受信された非圧縮RAWデータが処理される。
このように本技術においては、外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信して処理するものであり、画像データの編集処理や画質調整処理などを良好に行うことができる。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[撮像システムの構成例]
図1は、実施の形態としての撮像システム10の構成例を示している。撮像システム10は、ソース機器としての撮像装置100とシンク機器としての受信装置200が接続されて構成されている。撮像装置100および受信装置200は、デジタルインタフェースケーブルであるHDMIケーブル300を介して接続されている。
[撮像システムの構成例]
図1は、実施の形態としての撮像システム10の構成例を示している。撮像システム10は、ソース機器としての撮像装置100とシンク機器としての受信装置200が接続されて構成されている。撮像装置100および受信装置200は、デジタルインタフェースケーブルであるHDMIケーブル300を介して接続されている。
撮像装置100は、HDMI送信部102と、制御部103を有している。制御部103は、撮像装置100の全体を制御する。また、この撮像装置100には、HDMI送信部102が接続された、HDMIコネクタとしてのレセプタクル101が設けられている。受信装置200は、HDMI受信部202と、制御部203を有している。制御部203は、受信装置200の全体を制御する。また、この受信装置200には、HDMI受信部202が接続された、HDMIコネクタとしてのレセプタクル201が設けられている。
HDMIケーブル300は、HDMI伝送路を構成している。このHDMIケーブル300の一端にはHDMIコネクタを構成するプラグ301が設けられ、その他端にはHDMIコネクタを構成するプラグ302が設けられている。HDMIケーブル300の一端のプラグ301は撮像装置100のレセプタクル101に接続され、このHDMIケーブル300の他端のプラグ302は受信装置200のレセプタクル201に接続されている。
図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応しており、非圧縮RAWデータを出力することが選択されている場合には、非圧縮RAWデータを、HDMIに準拠した通信により、HDMIケーブル300を介して、受信装置200に送信する。
また、図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応していても、RAWデータを出力しないことが選択され、かつYCデータを出力することが選択されている場合には、非圧縮RAWデータが現像されて得られた非圧縮YCデータを、HDMIに準拠した通信により、HDMIケーブル300を介して、受信装置200に送信する。
また、図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応しておらず、かつYCデータを出力することが選択されている場合には、非圧縮RAWデータが現像されて得られた非圧縮YCデータを、HDMIに準拠した通信により、HDMIケーブル300を介して、受信装置200に送信する。
また、図1に示す撮像システム10において、撮像装置100は、例えば、受信装置200が非圧縮RAWデータに対応していても、RAWデータを出力しないことが選択され、かつYCデータを出力しないことが選択されている場合、あるいは受信装置200が非圧縮RAWデータに対応しておらず、かつYCデータを出力しないことが選択されている場合には、受信装置200に、非圧縮RAWデータも、その非圧縮RAWデータが現像されて得られた非圧縮YCデータも送信しない。
「HDMI送信部とHDMI受信部の構成例」
図2は、図1の撮像システム10における、撮像装置100のHDMI送信部102と、受信装置200のHDMI受信部202の構成例を示している。
図2は、図1の撮像システム10における、撮像装置100のHDMI送信部102と、受信装置200のHDMI受信部202の構成例を示している。
HDMI送信部102は、一の垂直同期信号から次の垂直同期信号までの区間から、水平ブランキング区間および垂直ブランキング区間を除いた区間である有効画像区間(以下、適宜、「アクティブビデオ区間」ともいう)において、非圧縮の1画面分の画像の画素データに対応する差動信号を、複数のチャネルで、HDMI受信部202に一方向に送信するとともに、水平ブランキング区間または垂直ブランキング区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部202に一方向に送信する。
すなわち、HDMI送信部102は、HDMIトランスミッタ(HDMI Transmitter)121を有する。HDMIトランスミッタ121は、例えば、非圧縮の画像の画素データを差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部202に、一方向にシリアル伝送する。
また、HDMIトランスミッタ121は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を差動信号に変換し、3つのTMDSチャネル#0,#1,#2でHDMIケーブル300を介して接続されているHDMI受信部202に、一方向にシリアル伝送する。
さらに、HDMIトランスミッタ121は、3つのTMDSチャネル#0,#1,#2で送信する画素データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル300を介して接続されているHDMI受信部202に送信する。ここで、1つのTMDSチャネル#i(i=0,1,2)では、ピクセルクロックの1クロックの間に、10ビットの画素データが送信される。
ここで、TMDSコーディングは、8ビットのデータを10ビットのデータに変換する8ビット/10ビット変換コーディングであり、前データとの比較から遷移点を少なくすることによって不要輻射等の悪影響を抑えた上でDCバランスを維持するコーディングとなっている。そのため、理論上コーディングのランレングスの保証ができないため、DC結合およびクロックの別送が必須となる。
HDMI受信部202は、アクティブビデオ区間において、複数のチャネルで、HDMI送信部102から一方向に送信されてくる、画素データに対応する差動信号を受信するとともに、水平ブランキング区間または垂直ブランキング区間において、複数のチャネルで、HDMI送信部102から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
すなわち、HDMI受信部202は、HDMIレシーバ(HDMI Receiver)221を有する。HDMIレシーバ221は、TMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI送信部102から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を、同じくHDMI送信部102からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
HDMI送信部102とHDMI受信部202とからなるHDMIシステムの伝送チャネルには、DDC(Display Data Channel)と呼ばれる伝送チャネルもある。このDDCは、HDMIケーブル300に含まれる図示しない2本の信号線からなり、HDMI送信部102とHDMI受信部202との間でIIC(Inter-Integrated Circuit)通信をする。
すなわち、HDMI送信部102は、IICマスターブロック(IIC Master Block)122を有している。また、HDMI受信部202は、メモリ部222を有している。メモリ部222には、EDID ROM(Extended Display Identification Data ROM)231、SCDC(Status and Control Data Channel)レジスタ部232などが含まれている。
EDID ROM231には、受信装置200の構成および可能な機能(Configuration/capability)に関する情報であるEDIDが設定され、DDCを通じて、IICマスターブロック122によって、撮像装置100側に読み込まれる。これにより、撮像装置100は、受信装置200の構成および可能な機能を認識する。なお、EDID ROM231は、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリ等の書き換え可能なメモリで実現されるが、RAM(Random access memory)でもよく、その他のいかなる記憶媒体でも実現できる。
SCDCは、ソース機器とシンク機器とがデータを交換するポイント・ツー・ポイント(Point to Point)通信プロトコルに該当する。なお、このSCDCは、HDMI2.0以降に定義されている。SCDCレジスタ部232は、SCDCS(SCDC Structure)を格納するレジスタ群からなる。撮像装置100(HDMI送信部102)は、SCDCレジスタ部232に格納されるSCDCSのデータの読み取りや書き込みを、DDCを通じて、IICマスターブロック122によって行うことができる。SCDCSのデータには、現在のリンク状態に関するデータ、およびソース機器の動作を制御するデータ等がある。
HDMIシステムの伝送チャネルには、上述のTMDSチャネル#0乃至#2およびTMDSクロックチャネルやDDCの他に、CECライン(Consumer Electronics Control Line)と呼ばれる伝送チャネルがある。このCECラインは、HDMIケーブル300に含まれる1本の信号線からなり、HDMI送信部102とHDMI受信部202との間で、制御データの双方向通信を行うために用いられる。このCECラインは、制御データラインを構成している。
また、HDMIケーブル300には、HPDライン(Hot Plug Detect Line)が含まれている。ソース機器は、このHPDラインを利用して、シンク機器の接続を検出することができる。なお、図2において、HPDラインにはシンク機器からソース機器への一方向を示すように矢印を付している。しかし、このHPDラインは双方向通信路を構成するHEAC(HDMI Ethernet and Audio return Channel)-ラインとしても使用され、その場合には双方向ラインとなる。
また、HDMIケーブル300には、ソース機器からシンク機器に電源を供給するために用いられる電源ライン(+5V Power Line)が含まれている。さらに、HDMIケーブル300には、ユーティリティライン(Utility Line)が含まれている。ユーティリティラインは双方向通信路を構成するHEAC(HDMI Ethernet and Audio return Channel)+ラインとしても使用される。
図3は、TMDS伝送データの構造例を示している。この図3は、TMDSチャネル#0~#2において、例えば、横×縦が3840ピクセル×2160ラインの画像データ、いわゆる4K解像度の画像データが伝送される場合における、各種の伝送データの区間を示している。TMDSチャネルで伝送データが伝送されるビデオフィールド区間(Video Field interval)には、伝送データの種類に応じて、3種類の区間が存在する。この3種類の区間は、ビデオデータ区間(Video Data period)、データアイランド区間(Data Island period)、およびコントロール区間(Control period)である。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(active edge)から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング区間(horizontal blanking interval)、垂直ブランキング区間(vertical blanking interval)、並びに、アクティブビデオ区間(Active Video interval)に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング区間および垂直ブランキング区間を除いた区間である。ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の1画面分の画像データを構成する3840ピクセル(画素)×2160ライン分の有効画素(Active pixel)のデータが伝送される。
データアイランド区間およびコントロール区間は、水平ブランキング区間および垂直ブランキング区間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ(Auxiliary data)が伝送される。すなわち、データアイランド区間は、水平ブランキング区間と垂直ブランキング区間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、オーディオデータのパケット等が伝送される。コントロール区間は、水平ブランキング区間と垂直ブランキング区間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
「RAWデータのパッキング方法」
撮像装置100が非圧縮RAWデータを受信装置200に送信する場合、HDMI送信部102は、非圧縮RAWデータをTMDSチャネル#0乃至#2の各チャネルにパッキングして送信する。この実施の形態において、非圧縮RAWデータは、図4にイメージフォーマット(Image format)を示すように、ベイヤー配列(Bayer layout)の非圧縮RAWデータである。
撮像装置100が非圧縮RAWデータを受信装置200に送信する場合、HDMI送信部102は、非圧縮RAWデータをTMDSチャネル#0乃至#2の各チャネルにパッキングして送信する。この実施の形態において、非圧縮RAWデータは、図4にイメージフォーマット(Image format)を示すように、ベイヤー配列(Bayer layout)の非圧縮RAWデータである。
この実施の形態において、非圧縮RAWデータは、横×縦が「Hsize」ピクセル×「Vsize」ラインの画像データであって、最大4700×2600ピクセルの解像度であるとする。また、各ピクセル(画素)のデータのビット長は16ビットであるとする。また、非圧縮RAWデータのフレームレートは、59.94fps、29.97fps、23.98fps、50.00fps、25.00fpsなどである。
この実施の形態において、非圧縮RAWデータは、YC12ビット転送モードを用いて送信される。図5の左側は、YC12ビット転送モードを用いて、通常のHDMI出力として、3840×2160ピクセル(画素)の解像度の非圧縮YCデータを出力する場合について示している。ここで、非圧縮YCデータは、YCbCr 4:2:2方式の画像データである。出力コーディング(Output cording)は、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものとなる。データパッキングに関しては、1ピクセルクロックに対してYCデータの1ピクセルの24ビット(Y:12ビット+C:12ビット)データがパッキングされる状態となる。
この場合、図6(a)にメモリマップの一例を示すように、非圧縮YCデータの各ピクセルのデータがメモリに順次マッピングされ、その後、当該メモリから各ピクセルのデータが順次読み出されて、図6(b)にパッキングフォーマットを示すように、TMDSチャネル#0乃至#2の各チャネルにパッキングされてHDMI出力となる。ここで、各ピクセルクロックにおいて、Cデータの下位4ビットがTMDSチャネル0の上位4ビットデータとされ、そのCデータの上位8ビットがTMDSチャネル2の8ビットデータとされ、Yデータの下位4ビットがTMDSチャネル0の下位4ビットデータとされ、そのYデータの上位8ビットがTMDSチャネル1の8ビットデータとされる。
図5の右側は、YC12ビット転送モードを用いて、HDMI出力として、最大4700×2600ピクセル(画素)の解像度の非圧縮RAWデータを出力する場合について示している。ここで、非圧縮RAWデータは、上述したようにベイヤー配列のものであり、各ピクセル(画素)のデータのビット長は16ビットである。出力コーディング(Output cording)は、奇数ライン(R/Grライン)については、「R:16ビット」のピクセルと「Gr:16ビット」のピクセルが交互に連続したものとなり、偶数ライン(B/Gbライン)については、「Gb:16ビット」のピクセルと「B:16ビット」のピクセルが交互に連続したものとなる。データパッキングに関しては、2ピクセルクロックに対して非圧縮RAWデータの3ピクセルの48ビットデータがパッキングされる状態となる。
この場合、図7(a)にメモリマップの一例を示すように、非圧縮RAWデータの各ピクセルのデータがメモリに順次書き込まれ、その後、当該メモリから各ピクセルのデータが順次読み出されて、図7(b1),(b2)にパッキングフォーマットを示すように、TMDSチャネル#0乃至#2の各チャネルにパッキングされてHDMI出力となる。ここで、図7(b1)は奇数ライン(R/Grライン)のパッキングフォーマットを示し、図7(b2)は偶数ライン(B/Gbライン)のパッキングフォーマットを示している。この場合、連続する2ピクセルクロックが、パッキングの周期となる。
奇数ライン(R/Grライン)に関し、最初の2ピクセルクロックでは、以下のようにパッキングされる。つまり、第1のピクセルクロックにおいては、R0データの下位4ビットがTMDSチャネル0の上位4ビットデータとされ、R0データの中位8ビットがTMDSチャネル2の8ビットデータとされ、R0データの上位4ビットがTMDSチャネル0の下位4ビットデータとされ、Gr0データの下位8ビットがTMDSチャネル1の8ビットデータとされる。
また、第2のピクセルクロックにおいては、Gr0データの中位4ビットがTMDSチャネル0の上位4ビットデータとされ、Gr0データの上位4ビットがTMDSチャネル2の下位4ビットのデータとされ、R1データの下位4ビットがTMDSチャネル2の上位4ビットのデータとされ、R1データの中位4ビットがTMDSチャネル0の下位4ビットデータとされ、R1データの上位8ビットがTMDSチャネル1の8ビットデータとされる。
また、偶数ライン(B/Gbライン)に関し、最初の2ピクセルクロックでは、以下のようにパッキングされる。つまり、第1のピクセルクロックにおいては、Gb0データの下位4ビットがTMDSチャネル0の上位4ビットデータとされ、Gb0データの中位8ビットがTMDSチャネル2の8ビットデータとされ、Gb0データの上位4ビットがTMDSチャネル0の下位4ビットデータとされ、B0データの下位8ビットがTMDSチャネル1の8ビットデータとされる。
また、第2のピクセルクロックにおいては、B0データの中位4ビットがTMDSチャネル0の上位4ビットデータとされ、B0データの上位4ビットがTMDSチャネル2の下位4ビットのデータとされ、Gb1データの下位4ビットがTMDSチャネル2の上位4ビットのデータとされ、Gb1データの中位4ビットがTMDSチャネル0の下位4ビットデータとされ、Gb1データの上位8ビットがTMDSチャネル1の8ビットデータとされる。
図8は、横×縦が3840ピクセル×2160ラインの非圧縮YC12ビットの画像データを伝送する場合におけるTMDS伝送データのアクティブビデオ区間(図3参照)を示している。この場合、アクティブビデオ区間のデータサイズは、24300[Kbyte](=3840×2160×(12+12)[bit])である。
非圧縮RAWデータは上述したように最大4700×2600ピクセルの解像度を持つものであり、非圧縮RAWデータの1フレームの最大データサイズはアクティブビデオ区間のデータサイズである24300[Kbyte]よりは小さい。非圧縮RAWデータを送信する場合、上述したようにパッキングされることで、各フレームにおいて、1フレーム分の非圧縮RAWデータがアクティブビデオ区間に格納されて送信される。この場合、各フレームにおいて、アクティブビデオ区間の最初から1フレーム分の非圧縮RAWデータが詰め込まれていくが、この1フレーム分の非圧縮RAWデータが全部詰め込まれた後は、残りの区間にダミーデータが詰め込まれていく。
「メタデータの転送方法」
撮像装置100から受信装置200に非圧縮RAWデータを送信する場合、この非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信する。この場合、例えば、非圧縮RAWデータの各フレームにメタデータを付加して送信する。例えば、メタデータは、TMDS伝送データの垂直ブランキング区間に挿入されるデータパケットのペイロード部に格納されることで、非圧縮RAWデータの各フレームに付加された状態で送信される。この実施の形態においては、データパケットは、VSIF(Vendor Specific Infoframe)パケットとされる。なお、本技術において、データパケットはVSIFパケットとされる。
撮像装置100から受信装置200に非圧縮RAWデータを送信する場合、この非圧縮RAWデータと共に、この非圧縮RAWデータに関連したメタデータを送信する。この場合、例えば、非圧縮RAWデータの各フレームにメタデータを付加して送信する。例えば、メタデータは、TMDS伝送データの垂直ブランキング区間に挿入されるデータパケットのペイロード部に格納されることで、非圧縮RAWデータの各フレームに付加された状態で送信される。この実施の形態においては、データパケットは、VSIF(Vendor Specific Infoframe)パケットとされる。なお、本技術において、データパケットはVSIFパケットとされる。
図9は、VSIFパケットのデータ構造の一例を示している。HB0~HB2の3バイトは、VSIFパケットのヘッダ部であるパケットヘッダを構成している。第0バイト(HB0)には、VSIFパケットを示すPacketType(0x81)が定義されている。第1バイト(HB1)には、VSIFパケットのバージョン(0x01)が定義されている。第2バイト(HB2)の第4ビットから第0ビットには、VSIFパケットのペイロード部のデータ長Length(L)が定義されている。図示の例では、データ長Length(L)は27[Byte]を示す。
PB0~PB26の27バイトは、VSIFパケットのペイロード部であるパケットコンテンツを構成している。第0バイト(PB0)には、データのチェックサムが定義されている。第1バイト(PB1)~第3バイト(PB3)には、製品ベンダーの24ビットのIEEE OUI(Organizationally Unique Identifier)が配置される。第4バイト(PB4)には、非圧縮RAWデータに関連したメタデータを伝送するための新規なVSIFパケットであることを示すバージョン(例えば、0x02)が定義されている。
第5バイト(PB5)~第16バイト(PB16)の12バイトは、リアルタイム(RT)メタデータ領域とされる。このリアルタイムメタデータ領域は、毎フレーム更新が可能であるので、更新頻度の高いメタデータであるリアルタイムメタデータ、例えばタイムコード、Recトリガ、明るさ情報、色変換マトリクスなど、が格納される。
第17バイト(PB17)~第26バイト(PB26)の10バイトは、スタティック(ST)メタデータに係る領域とされる。第17バイト(PB17)は、総ページ数領域を構成し、総ページ数の情報“ST Metadata Number of Pages”が格納される。この場合、0~255の値によって1~256の総ページ数が示される。第18バイト(PB18)は、ページ番号領域を構成し、ページ番号の情報“ST Metadata Page #”が格納される。
第19バイト(PB19)~第26バイト(PB26)までの8バイトはスタティック(ST)メタデータ領域を構成し、ページ番号に対応した、上述のリアルタイムメタデータより更新頻度の低いメタデータであるスタティックメタデータ、例えばカメラの機種名、レンズの明るさ、画像の大きさ、データビット長など、が格納される。
この場合、1ページあたりで伝送し得るスタティックメタデータの最大は8[Byte]であり、総ページ数の最大は256ページであるので、このVSIFパケットにより伝送し得るスタティックメタデータの最大は、2048(=256×8)[Byte]となる。
図10は、VSIFパケットのデータ構造の他の一例を示している。この例は、図9に示すVSIFパケットのデータ構造の例に対して、リアルタイム(RT)メタデータ領域とスタティック(ST)メタデータ領域のサイズ比率が変更されたものである。この例において、第5バイト(PB5)~第8バイト(PB8)の4バイトがリアルタイム(RT)メタデータ領域とされ、第11バイト(PB11)~第26バイト(PB26)の16バイトがスタティック(ST)メタデータ領域とされている。
この場合、1ページあたりで伝送し得るスタティックメタデータの最大は16[Byte]であり、総ページ数の最大は256ページであるので、このVSIFパケットにより伝送し得るスタティックメタデータの最大は、4096(=256×16)[Byte]となる。
なお、上述のVSIFパケットでスタティックメタデータを送信する場合、フレーム毎に、ページ番号を0,1,2,・・・と規則的にインクリメントして送信することが想定されるが、各ページに対応したメタデータの送信頻度を、それぞれのメタデータの優先度に応じて変更することも考えられる。
例えば、0~9ページまであるが、そのうちの2~9ページのメタデータの更新はほとんどなく、残りの0~1ページのメタデータの更新頻度が高い場合には、0~1ページの送信頻度は2~9ページの送信頻度に比べて高くされてもよい。この場合、例えば、常時は0,1,0,1,・・・の順に各ページのメタデータを送信しており、偶に、0,1,・・・,9の順に各ページのメタデータを送信するようにされる。
このように非圧縮RAWデータに関連したメタデータを非圧縮RAWデータと共に送信することで、受信側では、非圧縮RAWデータに関連したメタデータを、非圧縮RAWデータに対応付けて適切かつ容易に取得可能となる。
「非圧縮RAWデータの送信識別情報」
撮像装置100から受信装置200に非圧縮RAWデータを送信する場合、この非圧縮RAWデータと共に、非圧縮RAWデータの送信であることを示す識別情報を送信する。この実施の形態においては、上述したようにペイロード部に非圧縮RAWデータが格納されたVSIFパケットは、非圧縮RAWデータの送信であることを示す識別情報の機能を合わせ持つ。受信側は、このVSIFパケットが存在することで、非圧縮RAWデータの送信であることを容易に識別でき、適切な処理を行うことが可能となる。
撮像装置100から受信装置200に非圧縮RAWデータを送信する場合、この非圧縮RAWデータと共に、非圧縮RAWデータの送信であることを示す識別情報を送信する。この実施の形態においては、上述したようにペイロード部に非圧縮RAWデータが格納されたVSIFパケットは、非圧縮RAWデータの送信であることを示す識別情報の機能を合わせ持つ。受信側は、このVSIFパケットが存在することで、非圧縮RAWデータの送信であることを容易に識別でき、適切な処理を行うことが可能となる。
「出力制御処理」
撮像装置100の制御部103は、受信装置200が非圧縮RAWデータに対応しているか等の情報に基づいて、受信装置200に非圧縮RAWデータを送信するか、受信装置200に非圧縮YCデータを送信するか、何も送信しないかを、制御する。
撮像装置100の制御部103は、受信装置200が非圧縮RAWデータに対応しているか等の情報に基づいて、受信装置200に非圧縮RAWデータを送信するか、受信装置200に非圧縮YCデータを送信するか、何も送信しないかを、制御する。
受信装置200のHDMI受信部202は上述したようにメモリ部222を有し、そのメモリ部222には受信装置200の構成および可能な機能に関する情報が設定されたEDID ROM231が含まれている(図2参照)。この実施の形態において、受信装置200が非圧縮RAWデータに対応している場合、EDID ROM231に記録されたVSVDB(Vendor-Specific Video Data Block)に、受信装置200が非圧縮RAWデータに対応していることを示す識別情報が含まれる。
図11(a)は、EDIDの基本構造を示している。このEDIDは、128バイトの基本ブロック(Base block)と128バイトの拡張ブロック(CTA Extension)からなっている。拡張ブロックには、図11(b)に示すように、いくつかの種類のデータブロックが存在し、その中にVSVDBというデータブロックが定義されている。
図11(c)は、非圧縮RAWデータに対応していることを示す識別情報を含むVSVDBの構造の一例を示している。第1バイトの第7ビットから第5ビットには、“Vendor-Specific tag code(0x7)”が定義され、第1バイトの第4ビットから第0ビットには、以降のデータ長Length(0x06)が定義されている。また、第2バイトには、“Extended tag code(0x01)”が定義されている。第3バイト(PB1)~第5バイト(PB3)には、製品ベンダーの24ビットのIEEE OUI(Organizationally Unique Identifier)が配置される。
そして、第6バイトには、“Sink Vendor ID(例えば0x01)”が配置され、第7バイトには、“Function Code(例えば0x01)”が配置される。この情報が、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を構成している。
図12のシーケンス図は、接続当初における、受信装置200のEDID ROM231から読み出されるEDIDに基づく、撮像装置100の出力処理の一例を示している。
撮像装置100と受信装置200のそれぞれの電源がオンとされた状態で、それぞれがHDMIケーブル300で接続されると、撮像装置100から受信装置200に、EDID Readアクセスが送られる。これに対して、EDID ROM231からEDIDが読み出され、そのEDIDは撮像装置100に送られる。
撮像装置100は、受信装置200から送られてきたEDIDを受信し、このEDIDに基づき、出力判断処理を行って、RAWデータを出力するか、YCデータを出力するか、何も出力しないかを決定する。そして、撮像装置100は、RAWデータを出力すると決定した場合には、受信装置200に非圧縮RAWデータを送信し、YCデータを出力すると決定した場合には、受信装置200に非圧縮YCデータを送信し、さらには何も出力しないと決定した場合には、受信装置200に何も出力しない。
図13のフローチャートは、撮像装置100の制御部103における出力判断処理の一例を示している。まず、制御部103は、ステップST1において、EDIDを解析する。次に、制御部103は、ステップST2において、受信装置200がRAW受信対応であるか、つまり受信装置200が非圧縮RAWデータに対応しているか否かを判断する。制御部103は、EDIDに、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を含むVSVDBが存在するときは、受信装置200がRAW受信対応であると判断する。
ステップST2でRAW受信対応であると判断するとき、制御部103は、ステップST3において、システム内部をRAW出力許可状態にする。そして、制御部103は、ステップST4において、図14(a)に示すように、HDMI出力選択メニューを、表示部に表示する。このHDMI出力選択メニューでは、ユーザはRAW出力をする/しないの選択が可能となっている。図示の例では、RAW出力をする、が選択された状態を示している。なお、ここでは、YC出力をする/しないの選択は無効とされている。
次に、制御部103は、ステップST5において、RAW出力する、が選択されたか否かを判断する。RAW出力する、が選択されたと判断するとき、制御部103は、ステップST6において、RAW出力をすることに決定する。
ステップST5でユーザがRAW出力しない、が選択されたと判断するとき、制御部103は、ステップST7において、システム内部をRAW出力非許可状態にする。次に、制御部103は、ステップST8において、図14(b)に示すように、HDMI出力選択メニューを、表示部に表示する。このHDMI出力選択メニューでは、ユーザはYC出力をする/しないの選択が可能となっている。図示の例では、YC出力をしない、が選択された状態を示している。
ステップST2でRAW受信対応でないと判断するとき、制御部103は、ステップST9において、システム内部をRAW出力非許可状態にする。次に、制御部103は、ステップST10において、図14(c)に示すように、HDMI出力選択メニューを、表示部に表示する。このHDMI出力選択メニューでは、ユーザはYC出力をする/しないの選択が可能となっている。図示の例では、YC出力をする、が選択された状態を示している。なお、ここでは、RAW出力をする/しないの選択は無効とされている。
ステップST8の処理の後、あるいはステップST10の処理の後、制御部103は、ステップST11において、YC出力する、が選択されたか否かを判断する。YC出力する、が選択されたと判断するとき、制御部103は、ステップST12において、YC出力をすることに決定する。一方、YC出力しない、が選択されたと判断するとき、制御部103は、ステップST13において、何も出力しないことに決定する。
なお、上述では、EDID ROM231に記録されたVSVDBに含まれる、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を利用した例を示した。しかし、SCDCレジスタ部232のマニュファクチャ領域、つまりマニュファクチャ・スペシフィック・レジスタ(Manufacturer Specific Registers)に書き込まれている、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を利用することも考えられる。
図15は、マニュファクチャ・スペシフィック・レジスタにおけるデータ構造の一例を示している。オフセット“0xD0”~“0xD2”の3バイトには、IEEEに申請して発行された会社コードである「Manufacture_OUI」が配置される。オフセット“0xD3”~“0xDA”の8バイトには、機器の名称を示す文字列「Device_ID_String」が配置される。
オフセット“0xDB”の第7ビットから第4ビットの4ビットには、ハードウェアのメジャーリビジョン「Hardware_Major_Rev」が配置され、その第3ビットから第0ビットの4ビットには、ハードウェアのマイナーリビジョン「Hardware_Minor_Rev」が配置される。
オフセット“0xDC”の1バイトには、ソフトウェアのメジャーリビジョン「Software_Major_Rev」が配置される。オフセット“0xDD”の1バイトには、ソフトウェアのマイナーリビジョン「Software_Minor_Rev」が配置される。
オフセット“0xDE”の1バイトには、“Sink Vendor ID(例えば0x01)”が配置され、オフセット“0xDF”の1バイトには、“Function Code(例えば0x01)”が配置される。この情報が、受信装置200が非圧縮RAWデータに対応していることを示す識別情報を構成している。
オフセット“0xE0”の1バイトは、例えばステータス1の情報領域とされる。図示の例では、第7ビットには、信号停止要求情報が配置され、“1”は受信機器が信号停止を要求していることを示し、“0”は受信機器が受信可能な状態にあることを示す。また、図示の例では、その第0ビットには、RAW受信要求情報が配置され、“1”は受信機器がRAWデータを要求していることを示し、“0”は受信機器がYCデータを要求していることを示す。また、オフセット“0xE1” の1バイトは、例えばステータス2の情報領域とされる。図示の例では、第0ビットには、RECステータス情報が配置され、“1”は受信機器が受信したデータを処理中、つまり記録中であることを示し、“0”は受信機器が受信したデータを処理していないことを示す。
図16のシーケンス図は、接続当初における、受信装置200のSCDCレジスタ部232から読み出されるマニュファクチャ領域データに基づく、撮像装置100の出力処理の一例を示している。
撮像装置100と受信装置200のそれぞれの電源がオンとされた状態で、それぞれがHDMIケーブル300で接続されると、撮像装置100から受信装置200に、SCDC Readアクセス(マニュファクチャ領域のReadアクセス)が送られる。これに対して、SCDCレジスタ部232のマニュファクチャ領域データが読み出され、そのマニュファクチャ領域データは撮像装置100に送られる。
撮像装置100は、受信装置200から送られてきたマニュファクチャ領域データを受信し、このマニュファクチャ領域データに基づき、出力判断処理を行って、RAWデータを出力するか、YCデータを出力するか、何も出力しないかを決定する。この出力判断処理は、受信装置200がRAW受信対応であるとの判断を、受信装置200が非圧縮RAWデータに対応していることを示す識別情報がマニュファクチャ領域データに含まれることで行うことを除き、図12のシーケンス図における撮像装置100の出力判断処理(図13参照)と同様である。
撮像装置100は、RAWデータを出力すると決定した場合には、受信装置200に非圧縮RAWデータを送信し、YCデータを出力すると決定した場合には、受信装置200に非圧縮YCデータを送信し、さらには何も出力しないと決定した場合には、受信装置200に何も出力しない。
図17のシーケンス図は、撮像装置100が受信装置200に非圧縮RAWデータを送信している状態で、ユーザが受信装置200における記録停止操作を行った場合における、撮像装置100の出力処理の一例を示している。
受信装置200側でユーザが記録停止操作を行った場合、受信装置200の制御部203は、SCDCレジスタ部232のマニュファクチャ領域のオフセット“0xE1”の第0ビットのRECステータス情報を“1”から“0”に変更する。そして、受信装置200から撮像装置100にReadリクエストが発行される。
このReadリクエストの発行があると、撮像装置100から受信装置200に、SCDC Readアクセス(マニュファクチャ領域のReadアクセス)が送られる。これに対して、SCDCレジスタ部232のマニュファクチャ領域データが読み出され、そのマニュファクチャ領域データは撮像装置100に送られる。
撮像装置100の制御部103は、ステップST21において、マニュファクチャ領域データを解析する。次に、制御部103は、ステップST22において、オフセット“0xE1”の第0ビットのRECステータス情報が“0”に変更されていることから、受信装置200側が記録停止したことを把握する。次に制御部103は、ステップST23において、RAW出力からYC出力に切り替えることを決定する。この決定に基づいて、撮像装置100は、非圧縮RAWデータに代えて、非圧縮YCデータを送信する。
なお、上述では、受信装置200が非圧縮RAWデータに対応している場合に、撮像装置100は、非圧縮RAWデータを受信装置200に送信することが可能となるように説明した。しかし、受信装置200が非圧縮RAWデータに対応しており、かつ受信装置200が非圧縮RAWデータの受信を要求している場合に、撮像装置100が受信装置200に非圧縮RAWデータを送信することが可能となるようにされてもよい。その場合、撮像装置100は、マニュファクチャ領域データのオフセット“0xE0”の第0ビットのRAW受信要求情報に基づいて、受信装置200が非圧縮RAWデータの受信を要求しているか否かを判断することが可能である。
また、上述では、受信装置200が信号受信可能な状態にあるか否かについて言及していないが、受信装置200が信号受信可能な状態にある場合のみ、撮像装置100は、受信装置200に、非圧縮RAWデータや非圧縮YCデータを送信することが可能となるようにされてもよい。その場合、撮像装置100は、マニュファクチャ領域データのオフセット“0xE0”の第7ビットの信号停止要求情報に基づいて、受信装置200が信号受信可能な状態にあるか否かを判断することが可能である。
「撮像装置の構成例」
図18は、撮像装置100の構成例を示している。撮像装置100は、HDMIコネクタとしてのレセプタクル101と、HDMI送信部102と、制御部103と、ユーザ操作部104と、イメージャ105と、RAWデータ処理部106と、RAWデータメモリ107と、RAWデータ圧縮/伸長部108と、現像処理部109と、YCデータメモリ110と、YCデータ圧縮/伸長部111と、記録/再生部112と、表示部113を有している。
図18は、撮像装置100の構成例を示している。撮像装置100は、HDMIコネクタとしてのレセプタクル101と、HDMI送信部102と、制御部103と、ユーザ操作部104と、イメージャ105と、RAWデータ処理部106と、RAWデータメモリ107と、RAWデータ圧縮/伸長部108と、現像処理部109と、YCデータメモリ110と、YCデータ圧縮/伸長部111と、記録/再生部112と、表示部113を有している。
制御部103は、CPU(Central Processing Unit)を備えており、撮像装置100の全体を制御する。ユーザ操作部104は、制御部103に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成している。
イメージャ105は、例えば、C-MOS撮像素子、あるいはCCD撮像素子により構成され、撮像画像データとして非圧縮RAWデータを出力する。この非圧縮RAWデータは、例えば、ベイヤー配列の非圧縮RAWデータである(図4参照)。
RAWデータ処理部106は、イメージャ105から出力された非圧縮RAWデータに対して、ノイズリダクション、欠陥補正、オートホワイトバランス等の処理をする。なお、このRAWデータ処理部106は、無くてもよい。RAWデータメモリ107は、例えば、DRAM(Dynamic Random Access Memory)で構成され、非圧縮RAWデータや圧縮RAWデータを一時的に記憶するメモリである。RAWデータ圧縮/伸長部108は、非圧縮RAWデータを圧縮して圧縮RAWデータを得る処理、あるいは圧縮RAWデータを伸長して非圧縮RAWデータを得る処理をする。なお、このRAWデータ圧縮/伸長部108は、無くてもよい。
現像処理部109は、非圧縮RAWデータを現像して非圧縮YCデータを得る処理をする。YCデータメモリ110は、例えば、DRAMで構成され、非圧縮YCデータや圧縮YCデータを一時的に記憶するメモリである。YCデータ圧縮/伸長部111は、非圧縮YCデータを圧縮して圧縮YCデータを得る処理、あるいは圧縮YCデータを伸長して非圧縮YCデータを得る処理をする。
記録/再生部112は、図示しない記録媒体対して、圧縮RAWデータや圧縮YCデータの記録再生をする。記録媒体は、例えば、光ディスク、ハードディスク、半導体メモリなどである。表示部113は、例えば、液晶ディスプレイ、有機ELディスプレイ等からなり、画像やUI画面を表示する。HDMI送信部102は、HDMIに準拠した通信により、HDMIケーブル300を介して、非圧縮RAWデータ、あるいは非圧縮YCデータを、レセプタクル101およびHDMIケーブル300を通じて、受信装置200に送信する。
次に、図18に示す撮像装置100の動作例を説明する。まず、イメージャ105で撮像して得られた非圧縮RAWデータを受信装置200に送信する場合の動作例を説明する。
イメージャ105からは、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータが出力される。この非圧縮RAWデータは、RAWデータ処理部106でノイズリダクション、欠陥補正、オートホワイトバランス等の処理が施された後にRAWデータメモリ107に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ107に順次書き込まれる(図7(a)参照)。
RAWデータメモリ107に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から順次読み出されてHDMI送信部102に供給される。HDMI送信部102では、アクティブビデオ区間に非圧縮RAWデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。
この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、非圧縮RAWデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図7(b1),(b2)参照)。また、HDMI送信部102では、TMDS伝送データの垂直ブランキング区間にVSIFパケット(図9、図10参照)が挿入される。このVSIFパケットのペイロード部には、非圧縮RAWデータに関連したメタデータが格納される。
なお、イメージャ105で撮像して得られた非圧縮RAWデータを受信装置200に送信する場合、ユーザ操作に応じて、記録/再生部112で、撮像画像データを、圧縮RAWデータ、あるいは圧縮YCデータの形式で記録することが行われる。
圧縮RAWデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から読み出されて、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では、非圧縮RAWデータに対して圧縮処理が施されて圧縮RAWデータが得られる。そして、このようにRAWデータ圧縮/伸長部108で得られた圧縮RAWデータは記録/再生部112に供給されて記録される。
圧縮YCデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から読み出されて、現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。YCデータメモリ110に書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてYCデータ圧縮/伸長部111に供給される。このYCデータ圧縮/伸長部111では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部111で得られた圧縮YCデータは記録/再生部112に供給されて記録される。
また、イメージャ105で撮像して得られた非圧縮RAWデータを受信装置200に送信する場合、表示部113に、その撮像画像を表示することが行われる。この場合、RAWデータメモリ107に書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から読み出されて、現像処理部109に供給される。
この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータが得られる。このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて撮像画像が表示される。
次に、イメージャ105からの非圧縮RAWデータを現像して得られた非圧縮YCデータを受信装置200に送信する場合の動作例を説明する。
この場合、イメージャ105からは、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータが出力される。この非圧縮RAWデータは、RAWデータ処理部106でノイズリダクション、欠陥補正、オートホワイトバランス等の処理が施され、さらにRAWデータ圧縮/伸長部108で圧縮処理が施された後にRAWデータメモリ107に一時的に書き込まれる。
RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されてRAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。この非圧縮RAWデータは現像処理部109に供給される。
この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものである。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。この場合、非圧縮YCデータの各ピクセルのデータがYCデータメモリ110に順次書き込まれる(図6(a)参照)。YCデータメモリ110に順次書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてHDMI送信部102に供給される。
HDMI送信部102では、アクティブビデオ区間にYCデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、YCデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図6(b)参照)。
なお、イメージャ105からの非圧縮RAWデータを現像して得られた非圧縮YCデータを受信装置200に送信する場合、ユーザ操作に応じて、記録/再生部112で、撮像画像データを、圧縮RAWデータ、あるいは圧縮YCデータの形式で記録することが行われる。
圧縮RAWデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されて記録/再生部112に供給されて記録される。
次に、圧縮YCデータの形式で記録する場合について説明する。この場合、RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されて、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。YCデータメモリ110に書き込まれた非圧縮YCデータは、このYCデータメモリ110から読み出されてYCデータ圧縮/伸長部111に供給される。このYCデータ圧縮/伸長部111では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部111で得られた圧縮YCデータは記録/再生部112に供給されて記録される。
また、イメージャ105からの非圧縮RAWデータを現像して得られた非圧縮YCデータを受信装置200に送信する場合、表示部113に、その撮像画像を表示することが行われる。この場合、RAWデータメモリ107に書き込まれた圧縮RAWデータは、このRAWデータメモリ107から読み出されて、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて撮像画像が表示される。
次に、記録/再生部112で再生された圧縮RAWデータに係る非圧縮RAWデータあるいは非圧縮YCデータを受信装置200に送信する場合の動作例を説明する。
非圧縮RAWデータを送信する場合について説明する。この場合、記録/再生部112で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。この非圧縮RAWデータは、RAWデータメモリ107に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ107に順次書き込まれる(図7(a)参照)。
RAWデータメモリ107に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ107から順次読み出されてHDMI送信部102に供給される。HDMI送信部102では、アクティブビデオ区間に非圧縮RAWデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。
この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、非圧縮RAWデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図7(b1),(b2)参照)。また、HDMI送信部102では、TMDS伝送データの垂直ブランキング区間にVSIFパケット(図9、図10参照)が挿入される。このVSIFパケットのペイロード部には、非圧縮RAWデータに関連したメタデータが格納される。
次に、非圧縮YCデータを送信する場合について説明する。この場合、記録/再生部112で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものである。
このように現像処理部109で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。この場合、非圧縮YCデータの各ピクセルのデータがYCデータメモリ110に順次書き込まれる(図6(a)参照)。YCデータメモリ110に順次書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてHDMI送信部102に供給される。
HDMI送信部102では、アクティブビデオ区間にYCデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、YCデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図6(b)参照)。
次に、記録/再生部112で再生された圧縮YCデータに係る非圧縮YCデータを受信装置200に送信する場合の動作例を説明する。
この場合、記録/再生部112で再生された圧縮YCデータは、YCデータ圧縮/伸長部111に供給される。このYCデータ圧縮/伸長部111では圧縮YCデータに対して伸長処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、各ラインが、「Y:12ビット+Cb:12ビット」のピクセルと「Y:12ビット+Cr:12ビット」のピクセルが交互に連続したものである。
このようにYCデータ圧縮/伸長部111で得られた非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。この場合、非圧縮YCデータの各ピクセルのデータがYCデータメモリ110に順次書き込まれる(図6(a)参照)。YCデータメモリ110に順次書き込まれた非圧縮YCデータは、このYCデータメモリ110から順次読み出されてHDMI送信部102に供給される。
HDMI送信部102では、アクティブビデオ区間にYCデータが格納されたTMDS伝送データ(図3参照)が生成され、このTMDS伝送データがHDMIコネクタとしてのレセプタクル101を通じて、受信装置200に送信される。この場合、HDMI送信部102では、YC12ビット転送モードが用いられて、YCデータは、TMDSチャネル#0乃至#2の各チャネルにパッキングされる(図6(b)参照)。
次に、記録/再生部112で再生された圧縮RAWデータあるいは圧縮YCデータに係る画像を表示部113に表示する場合の動作例を説明する。
圧縮RAWデータが再生される場合について説明する。この場合、記録/再生部112で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部108に供給される。このRAWデータ圧縮/伸長部108では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部109に供給される。この現像処理部109では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、YCデータメモリ110に一時的に書き込まれる。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて再生画像が表示される。
次に、圧縮YCデータが再生される場合について説明する。この場合、記録/再生部112で再生された圧縮YCデータは、YC圧縮/伸長部111に供給される。このYC圧縮/伸長部111では圧縮YCデータに対して伸長処理が施されて、非圧縮YCデータが得られる。この非圧縮YCデータは、YCデータメモリ110に一時的記憶される。そして、YCデータメモリ110に書き込まれた非圧縮YCデータは表示部113に供給されて再生画像が表示される。
「受信装置の構成例」
図19は、受信装置200の構成例を示している。受信装置200は、HDMIコネクタとしてのレセプタクル201と、HDMI受信部202と、制御部203と、ユーザ操作部204と、RAWデータメモリ205と、RAWデータ圧縮/伸長部206と、現像処理部207と、YCデータメモリ208と、YCデータ圧縮/伸長部209と、記録/再生部210と、表示部211を有している。
図19は、受信装置200の構成例を示している。受信装置200は、HDMIコネクタとしてのレセプタクル201と、HDMI受信部202と、制御部203と、ユーザ操作部204と、RAWデータメモリ205と、RAWデータ圧縮/伸長部206と、現像処理部207と、YCデータメモリ208と、YCデータ圧縮/伸長部209と、記録/再生部210と、表示部211を有している。
制御部203は、CPU(Central Processing Unit)を備えており、受信装置200の全体を制御する。ユーザ操作部204は、制御部203に接続されており、ユーザが種々の操作を行うためのユーザインタフェースを構成している。
HDMI受信部202は、HDMIに準拠した通信により、非圧縮RAWデータ、あるいは非圧縮YCデータを、HDMIケーブル300およびレセプタクル201を通じて、撮像装置100から受信する。RAWデータメモリ205は、例えば、DRAM(Dynamic Random Access Memory)で構成され、非圧縮RAWデータや圧縮RAWデータを一時的に記憶するメモリである。RAWデータ圧縮/伸長部206は、非圧縮RAWデータを圧縮して圧縮RAWデータを得る処理、あるいは圧縮RAWデータを伸長して非圧縮RAWデータを得る処理をする。
現像処理部207は、非圧縮RAWデータを現像して非圧縮YCデータを得る処理をする。YCデータメモリ208は、例えば、DRAMで構成され、非圧縮YCデータや圧縮YCデータを一時的に記憶するメモリである。YCデータ圧縮/伸長部209は、非圧縮YCデータを圧縮して圧縮YCデータを得る処理、あるいは圧縮YCデータを伸長して非圧縮YCデータを得る処理をする。
記録/再生部210は、図示しない記録媒体に対して、圧縮RAWデータや圧縮YCデータの記録再生をする。記録媒体は、例えば、光ディスク、ハードディスク、半導体メモリなどである。表示部211は、例えば、液晶ディスプレイ、有機ELディスプレイ等からなり、画像やUI画面を表示する。
次に、図19に示す受信装置200の動作例を説明する。まず、非圧縮RAWデータを受信し、受信画像データを、圧縮RAWデータあるいは圧縮YCデータの形式で記録する場合の動作例を説明する。
この場合、HDMI受信部202では、アクティブビデオ区間に非圧縮RAWデータが格納されたTMDS伝送データ(図3参照)が受信され、非圧縮RAWデータが得られる。このTMDS伝送データの垂直ブランキング区間にVSIFパケット(図9、図10参照)が挿入されており、このVSIFパケットのペイロード部には、非圧縮RAWデータに関連したメタデータが格納されている。
HDMI受信部202ではVSIFパケットが抽出され、このVSIFパケットは、制御部203に送られる。制御部203では、このVSIFパケットが送られてくることで、非圧縮RAWデータの送信であることを認識する。また、制御部203は、このVSIFパケットのペイロード部から非圧縮RAWデータに関連したメタデータを取得し、非圧縮RAWデータに係る各部の処理、例えば現像処理などをそのメタデータに基づいて制御する。
圧縮RAWデータの形式で記録する場合について説明する。この場合、HDMI受信部202で得られた非圧縮RAWデータは、RAWデータメモリ205に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ205に順次書き込まれる(図7(a)参照)。
RAWデータメモリ205に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ205から順次読み出されて、RAWデータ圧縮/伸長部206に供給される。このRAWデータ圧縮/伸長部206では、非圧縮RAWデータに対して圧縮処理が施されて圧縮RAWデータが得られる。そして、このようにRAWデータ圧縮/伸長部206で得られた圧縮RAWデータは記録/再生部210に供給されて記録される。
次に、圧縮YCデータの形式で記録する場合について説明する。この場合、HDMI受信部202で得られた非圧縮RAWデータは、RAWデータメモリ205に一時的に書き込まれる。この場合、非圧縮RAWデータの各ピクセルのデータがRAWデータメモリ205に順次書き込まれる(図7(a)参照)。
RAWデータメモリ205に順次書き込まれた非圧縮RAWデータは、このRAWデータメモリ205から順次読み出されて、現像処理部207に供給される。この現像処理部207では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。
このように現像処理部207で得られた非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。YCデータメモリ208に書き込まれた非圧縮YCデータは、このYCデータメモリ208から読み出されてYCデータ圧縮/伸長部209に供給される。このYCデータ圧縮/伸長部209では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部209で得られた圧縮YCデータは記録/再生部210に供給されて記録される。
なお、非圧縮RAWデータを受信し、受信画像データを、圧縮RAWデータあるいは圧縮YCデータの形式で記録する場合、表示部113に、画像表示をすることが行われる。この場合、RAWデータメモリ205に書き込まれた非圧縮RAWデータは、このRAWデータメモリ205から読み出されて、現像処理部207に供給される。
この現像処理部207では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータが得られる。このように現像処理部207で得られた非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。そして、YCデータメモリ208に書き込まれた非圧縮YCデータは表示部211に供給されて撮像画像が表示される。
次に、非圧縮YCデータを受信し、受信画像データを、圧縮YCデータの形式で記録する場合の動作例を説明する。
この場合、HDMI受信部202では、アクティブビデオ区間に非圧縮YCデータが格納されたTMDS伝送データ(図3参照)が受信され、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。
YCデータメモリ208に書き込まれた非圧縮YCデータは、このYCデータメモリ208から読み出されてYCデータ圧縮/伸長部209に供給される。このYCデータ圧縮/伸長部209では、非圧縮YCデータに対して圧縮処理が施されて圧縮YCデータが得られる。そして、このようにYCデータ圧縮/伸長部209で得られた圧縮YCデータは記録/再生部210に供給されて記録される。
次に、記録/再生部210で再生された圧縮RAWデータあるいは圧縮YCデータに係る画像を表示部113に表示する場合の動作例を説明する。
圧縮RAWデータが再生される場合について説明する。この場合、記録/再生部210で再生された圧縮RAWデータは、RAWデータ圧縮/伸長部206に供給される。このRAWデータ圧縮/伸長部206では圧縮RAWデータに対して伸長処理が施されて、非圧縮RAWデータが得られる。
この非圧縮RAWデータは現像処理部207に供給される。この現像処理部207では、非圧縮RAWデータに対して現像処理が施されて、非圧縮YCデータ、例えばYCbCr 4:2:2方式の画像データが得られる。この非圧縮YCデータは、YCデータメモリ208に一時的に書き込まれる。そして、YCデータメモリ208に書き込まれた非圧縮YCデータは表示部211に供給されて再生画像が表示される。
次に、圧縮YCデータが再生される場合について説明する。この場合、記録/再生部210で再生された圧縮YCデータは、YC圧縮/伸長部209に供給される。このYC圧縮/伸長部209では圧縮YCデータに対して伸長処理が施されて、非圧縮YCデータが得られる。この非圧縮YCデータは、YCデータメモリ208に一時的記憶される。そして、YCデータメモリ208に書き込まれた非圧縮YCデータは表示部211に供給されて再生画像が表示される。
以上説明したように、図1に示す撮像システム10において、撮像装置100は、非圧縮RAWデータを、HDMIケーブル300を介して、受信装置200に送信できる。そのため、機器間における非圧縮RAWデータの伝送を良好に行うことができる。そして、受信装置200では、図19には処理部の図示は省略しているが、画像データの編集処理や画質調整処理を良好に行うことができる。
また、図1に示す撮像システム10において、撮像装置100は、非圧縮RAWデータと共に非圧縮RAWデータに関連したメタデータを受信装置200に送信する。そのため、受信装置200は、非圧縮RAWデータに関連したメタデータを、非圧縮RAWデータに対応付けて適切かつ容易に取得でき、このメタデータに基づき非圧縮RAWデータに対する種々の処理を良好に行うことができる。
また、図1に示す撮像システム10において、撮像装置100は、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータを、YC12ビット転送モードを用いて、HDMIケーブル300を介して、受信装置200に送信するものである。そのため、画素毎のビット長が16ビットであるベイヤー配列の非圧縮RAWデータを、従来のYC12ビット転送モードのHDMIの送受信系を有効に利用して良好に送信することができる。
<2.変形例>
なお、上述実施の形態においては、非圧縮RAWデータはベイヤー配列の非圧縮RAWデータである例を示したが、本技術において非圧縮RAWデータはベイヤー配列の非圧縮RAWデータに限定されるものではない。また、上述実施の形態においては、非圧縮RAWデータの画素毎のビット長が16ビットである例を示したが、本技術において画素毎のビット長は16ビットに限定されるものではない。
なお、上述実施の形態においては、非圧縮RAWデータはベイヤー配列の非圧縮RAWデータである例を示したが、本技術において非圧縮RAWデータはベイヤー配列の非圧縮RAWデータに限定されるものではない。また、上述実施の形態においては、非圧縮RAWデータの画素毎のビット長が16ビットである例を示したが、本技術において画素毎のビット長は16ビットに限定されるものではない。
また、上述実施の形態においては、非圧縮RAWデータに関連したメタデータを、TMDS伝送データの垂直ブランキング区間に挿入されるVSIFパケットのペイロード部に格納して送信する例を示した。しかし、本技術において、非圧縮RAWデータに関連したメタデータを非圧縮RAWデータと共に送信する方法は、これに限定されるものではない。例えば、TMDS伝送データの垂直ブランキング区間に挿入される他のデータパケットを利用して送信してもよく、アクティブビデオ区間の非圧縮RAWデータが格納されていない領域(図8のダミーデータ領域)に格納して送信してもよい。
また、上述実施の形態においては、非圧縮RAWデータの送信であることを示す識別情報をTMDS伝送データのブランキング区間に挿入して送信する例を示した。具体的には、非圧縮RAWデータに関連したメタデータをペイロード部に格納したVSIFパケットが、非圧縮RAWデータの送信であることを示す識別情報の機能を合わせ持つ例を示した。しかし、本技術において、非圧縮RAWデータの送信であることを示す識別情報を、他の手法で送信してもよい。例えば、CECラインを使用した通信で、撮像装置100から受信装置200に通知することも可能である。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は、以下のような構成もとることができる。
(1)非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置。
(2)前記非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである
前記(1)に記載の送信装置。
(3)前記非圧縮RAWデータの画素毎のビット長は16ビットであり、
前記送信部は、前記非圧縮RAWデータを、YC12ビット転送モードを用いて送信する
前記(2)に記載の送信装置。
(4)前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータに関連したメタデータを送信する
前記(1)から(3)のいずれかに記載の送信装置。
(5)前記送信部は、前記非圧縮RAWデータの各フレームに前記メタデータを付加して送信する
前記(4)に記載の送信装置。
(6)前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に挿入されるデータパケットのペイロード部に前記メタデータを格納して送信する
前記(5)に記載の送信装置。
(7)前記メタデータは、第1の更新頻度の高更新頻度メタデータと、前記第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、
前記データパケットのペイロード部は、前記高更新頻度メタデータを格納する第1の領域と、前記低更新頻度メタデータを格納する第2の領域を有する
前記(6)に記載の送信装置。
(8)前記第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、該ページ番号に対応したメタデータが格納される
前記(7)に記載の送信装置。
(9)前記第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれる
前記(8)に記載の送信装置。
(10)前記第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更される
前記(8)または(9)に記載の送信装置。
(11)前記データパケットは、VSIF(Vendor Specific InfoFrame)パケットである
前記(6)から(10)のいずれかに記載の送信装置。
(12)前記送信部は、
アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記アクティブビデオ区間の前記非圧縮RAWデータが格納されていない領域に前記メタデータを格納して送信する
前記(5)に記載の送信装置。
(13)前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータの送信であることを示す識別情報を送信する
前記(1)から(12)のいずれかに記載の送信装置。
(14)前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に前記識別情報を挿入して送信する
前記(13)に記載の送信装置。
(15)前記送信部は、前記識別情報として、前記垂直ブランキング区間に所定データパケットを挿入する
前記(14)に記載の送信装置。
(16)前記所定データパケットのペイロード部には、前記非圧縮RAWデータに関連するメタデータが格納される
前記(15)に記載の送信装置。
(17)前記非圧縮RAWデータを出力するイメージャをさらに備える
前記(1)から(16)のいずれかに記載の送信装置。
(18)前記送信部は、前記非圧縮RAWデータを現像して得られたYCデータを、前記HDMI伝送路を介して、前記外部機器に送信する機能をさらに備える
前記(1)から(17)のいずれかに記載の送信装置。
(19)非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する手順を有する
送信方法。
(20)外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置。
(1)非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置。
(2)前記非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである
前記(1)に記載の送信装置。
(3)前記非圧縮RAWデータの画素毎のビット長は16ビットであり、
前記送信部は、前記非圧縮RAWデータを、YC12ビット転送モードを用いて送信する
前記(2)に記載の送信装置。
(4)前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータに関連したメタデータを送信する
前記(1)から(3)のいずれかに記載の送信装置。
(5)前記送信部は、前記非圧縮RAWデータの各フレームに前記メタデータを付加して送信する
前記(4)に記載の送信装置。
(6)前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に挿入されるデータパケットのペイロード部に前記メタデータを格納して送信する
前記(5)に記載の送信装置。
(7)前記メタデータは、第1の更新頻度の高更新頻度メタデータと、前記第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、
前記データパケットのペイロード部は、前記高更新頻度メタデータを格納する第1の領域と、前記低更新頻度メタデータを格納する第2の領域を有する
前記(6)に記載の送信装置。
(8)前記第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、該ページ番号に対応したメタデータが格納される
前記(7)に記載の送信装置。
(9)前記第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれる
前記(8)に記載の送信装置。
(10)前記第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更される
前記(8)または(9)に記載の送信装置。
(11)前記データパケットは、VSIF(Vendor Specific InfoFrame)パケットである
前記(6)から(10)のいずれかに記載の送信装置。
(12)前記送信部は、
アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記アクティブビデオ区間の前記非圧縮RAWデータが格納されていない領域に前記メタデータを格納して送信する
前記(5)に記載の送信装置。
(13)前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータの送信であることを示す識別情報を送信する
前記(1)から(12)のいずれかに記載の送信装置。
(14)前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に前記識別情報を挿入して送信する
前記(13)に記載の送信装置。
(15)前記送信部は、前記識別情報として、前記垂直ブランキング区間に所定データパケットを挿入する
前記(14)に記載の送信装置。
(16)前記所定データパケットのペイロード部には、前記非圧縮RAWデータに関連するメタデータが格納される
前記(15)に記載の送信装置。
(17)前記非圧縮RAWデータを出力するイメージャをさらに備える
前記(1)から(16)のいずれかに記載の送信装置。
(18)前記送信部は、前記非圧縮RAWデータを現像して得られたYCデータを、前記HDMI伝送路を介して、前記外部機器に送信する機能をさらに備える
前記(1)から(17)のいずれかに記載の送信装置。
(19)非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する手順を有する
送信方法。
(20)外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置。
10・・・・撮像システム
100・・・撮像装置
101・・・レセプタクル(HDMIコネクタ)
102・・・HDMI送信部
103・・・制御部
104・・・ユーザ操作部
105・・・イメージャ
106・・・RAWデータ処理部
107・・・RAWデータメモリ
108・・・RAWデータ圧縮/伸長部
109・・・現像処理部
110・・・YCデータメモリ
111・・・YCデータ圧縮/伸長部
112・・・記録/再生部
113・・・表示部
121・・・HDMIトランスミッタ
122・・・IICマスターブロック
200・・・受信装置
201・・・レセプタクル(HDMIコネクタ)
202・・・HDMI受信部
203・・・制御部
204・・・ユーザ操作部
205・・・RAWデータメモリ
206・・・RAWデータ圧縮/伸長部
207・・・現像処理部
208・・・YCデータメモリ
209・・・YCデータ圧縮/伸長部
210・・・記録/再生部
211・・・表示部
221・・・HDMIレシーバ
222・・・メモリ部
231・・・EDID ROM
232・・・SCDCレジスタ部
300・・・HDMIケーブル
301,302・・・プラグ(HDMIコネクタ)
100・・・撮像装置
101・・・レセプタクル(HDMIコネクタ)
102・・・HDMI送信部
103・・・制御部
104・・・ユーザ操作部
105・・・イメージャ
106・・・RAWデータ処理部
107・・・RAWデータメモリ
108・・・RAWデータ圧縮/伸長部
109・・・現像処理部
110・・・YCデータメモリ
111・・・YCデータ圧縮/伸長部
112・・・記録/再生部
113・・・表示部
121・・・HDMIトランスミッタ
122・・・IICマスターブロック
200・・・受信装置
201・・・レセプタクル(HDMIコネクタ)
202・・・HDMI受信部
203・・・制御部
204・・・ユーザ操作部
205・・・RAWデータメモリ
206・・・RAWデータ圧縮/伸長部
207・・・現像処理部
208・・・YCデータメモリ
209・・・YCデータ圧縮/伸長部
210・・・記録/再生部
211・・・表示部
221・・・HDMIレシーバ
222・・・メモリ部
231・・・EDID ROM
232・・・SCDCレジスタ部
300・・・HDMIケーブル
301,302・・・プラグ(HDMIコネクタ)
Claims (20)
- 非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する送信部を備える
送信装置。 - 前記非圧縮RAWデータは、ベイヤー配列の非圧縮RAWデータである
請求項1に記載の送信装置。 - 前記非圧縮RAWデータの画素毎のビット長は16ビットであり、
前記送信部は、前記非圧縮RAWデータを、YC12ビット転送モードを用いて送信する
請求項2に記載の送信装置。 - 前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータに関連したメタデータを送信する
請求項1に記載の送信装置。 - 前記送信部は、前記非圧縮RAWデータの各フレームに前記メタデータを付加して送信する
請求項4に記載の送信装置。 - 前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に挿入されるデータパケットのペイロード部に前記メタデータを格納して送信する
請求項5に記載の送信装置。 - 前記メタデータは、第1の更新頻度の高更新頻度メタデータと、前記第1の更新頻度より低い更新頻度の第2の更新頻度の低更新頻度メタデータとからなり、
前記データパケットのペイロード部は、前記高更新頻度メタデータを格納する第1の領域と、前記低更新頻度メタデータを格納する第2の領域を有する
請求項6に記載の送信装置。 - 前記第2の領域には、ページ番号の情報を格納するページ番号領域が含まれ、該ページ番号に対応したメタデータが格納される
請求項7に記載の送信装置。 - 前記第2の領域には、総ページ数の情報を格納する総ページ数領域がさらに含まれる
請求項8に記載の送信装置。 - 前記第2の領域に格納されて送信される各ページに対応したメタデータの送信頻度は、それぞれのメタデータの優先度に応じて変更される
請求項8に記載の送信装置。 - 前記データパケットは、VSIF(Vendor Specific InfoFrame)パケットである
請求項6に記載の送信装置。 - 前記送信部は、
アクティブビデオ区間を含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記アクティブビデオ区間の前記非圧縮RAWデータが格納されていない領域に前記メタデータを格納して送信する
請求項5に記載の送信装置。 - 前記送信部は、前記非圧縮RAWデータと共に、該非圧縮RAWデータの送信であることを示す識別情報を送信する
前記1に記載の送信装置。 - 前記送信部は、
アクティブビデオ区間と垂直ブランキング区間とを含むTMDS(Transition Minimized Differential Signaling)伝送データのうちの
前記アクティブビデオ区間に前記非圧縮RAWデータを格納し、
前記垂直ブランキング区間に前記識別情報を挿入して送信する
請求項13に記載の送信装置。 - 前記送信部は、前記識別情報として、前記垂直ブランキング区間に所定データパケットを挿入する
前記14に記載の送信装置。 - 前記所定データパケットのペイロード部には、前記非圧縮RAWデータに関連するメタデータが格納される
請求項15に記載の送信装置。 - 前記非圧縮RAWデータを出力するイメージャをさらに備える
請求項1に記載の送信装置。 - 前記送信部は、前記非圧縮RAWデータを現像して得られたYCデータを、前記HDMI伝送路を介して、前記外部機器に送信する機能をさらに備える
請求項1に記載の送信装置。 - 非圧縮RAWデータを、HDMI伝送路を介して、外部機器に送信する手順を有する
送信方法。 - 外部機器から、HDMI伝送路を介して、非圧縮RAWデータを受信する受信部と、
前記受信部で受信された前記非圧縮RAWデータを処理する処理部を備える
受信装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/906,168 US20230114790A1 (en) | 2020-03-18 | 2021-03-11 | Transmission device, transmission method, and reception device |
EP21772141.4A EP4106317A4 (en) | 2020-03-18 | 2021-03-11 | Transmitter, transmission method, and receiver |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048240A JP2021150790A (ja) | 2020-03-18 | 2020-03-18 | 送信装置、送信方法および受信装置 |
JP2020-048240 | 2020-03-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021187292A1 true WO2021187292A1 (ja) | 2021-09-23 |
Family
ID=77768241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/009717 WO2021187292A1 (ja) | 2020-03-18 | 2021-03-11 | 送信装置、送信方法および受信装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230114790A1 (ja) |
EP (1) | EP4106317A4 (ja) |
JP (1) | JP2021150790A (ja) |
WO (1) | WO2021187292A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024017125A1 (zh) * | 2022-07-21 | 2024-01-25 | 华为技术有限公司 | 一种信号传输方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221211A (ja) * | 2006-02-14 | 2007-08-30 | Matsushita Electric Ind Co Ltd | 音声処理装置 |
JP2010028261A (ja) | 2008-07-16 | 2010-02-04 | Sony Corp | 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法 |
JP2010122743A (ja) * | 2008-11-17 | 2010-06-03 | Victor Co Of Japan Ltd | Hdmi受信装置 |
JP2011146894A (ja) * | 2010-01-14 | 2011-07-28 | Sony Corp | 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3139620B1 (en) * | 2014-05-01 | 2022-03-30 | Sony Group Corporation | Communication apparatus or communication method, and computer program |
JP6440509B2 (ja) * | 2015-01-28 | 2018-12-19 | 東芝映像ソリューション株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
US10672098B1 (en) * | 2018-04-05 | 2020-06-02 | Xilinx, Inc. | Synchronizing access to buffered data in a shared buffer |
-
2020
- 2020-03-18 JP JP2020048240A patent/JP2021150790A/ja active Pending
-
2021
- 2021-03-11 US US17/906,168 patent/US20230114790A1/en active Pending
- 2021-03-11 WO PCT/JP2021/009717 patent/WO2021187292A1/ja unknown
- 2021-03-11 EP EP21772141.4A patent/EP4106317A4/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221211A (ja) * | 2006-02-14 | 2007-08-30 | Matsushita Electric Ind Co Ltd | 音声処理装置 |
JP2010028261A (ja) | 2008-07-16 | 2010-02-04 | Sony Corp | 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法 |
JP2010122743A (ja) * | 2008-11-17 | 2010-06-03 | Victor Co Of Japan Ltd | Hdmi受信装置 |
JP2011146894A (ja) * | 2010-01-14 | 2011-07-28 | Sony Corp | 映像伝送装置、映像表示装置、映像表示システム、映像伝送方法及びコンピュータプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4106317A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024017125A1 (zh) * | 2022-07-21 | 2024-01-25 | 华为技术有限公司 | 一种信号传输方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230114790A1 (en) | 2023-04-13 |
EP4106317A1 (en) | 2022-12-21 |
EP4106317A4 (en) | 2023-06-28 |
JP2021150790A (ja) | 2021-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10015468B2 (en) | Transmitting apparatus, stereo image data transmitting method, receiving apparatus, and stereo image data receiving method | |
JP6217813B2 (ja) | 受信装置および受信方法 | |
JP6479656B2 (ja) | 送信装置、ハイダイナミックレンジ画像データ送信方法、受信装置、ハイダイナミックレンジ画像データ受信方法およびプログラム | |
JP5593596B2 (ja) | 映像信号送信装置および映像信号送信方法 | |
US9313437B2 (en) | Transmission apparatus, reception apparatus, communication system, transmission method, reception method, and programs thereof | |
JP4844230B2 (ja) | 通信システム、送信装置及び受信装置、通信方法、並びにプログラム | |
WO2021187292A1 (ja) | 送信装置、送信方法および受信装置 | |
JP6307856B2 (ja) | 送信装置、広色域画像データ送信方法、受信装置、広色域画像データ受信方法およびプログラム | |
WO2021187295A1 (ja) | 撮像装置および撮像装置の制御方法 | |
US12051387B2 (en) | Imaging device and method for controlling imaging device | |
JP6304417B2 (ja) | 受信方法および受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21772141 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021772141 Country of ref document: EP Effective date: 20220914 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |