WO2020261815A1 - 送信装置、受信装置及び伝送システム - Google Patents
送信装置、受信装置及び伝送システム Download PDFInfo
- Publication number
- WO2020261815A1 WO2020261815A1 PCT/JP2020/019709 JP2020019709W WO2020261815A1 WO 2020261815 A1 WO2020261815 A1 WO 2020261815A1 JP 2020019709 W JP2020019709 W JP 2020019709W WO 2020261815 A1 WO2020261815 A1 WO 2020261815A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- roi
- information
- unit
- exposure
- pixel
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 326
- 238000004891 communication Methods 0.000 title description 4
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 127
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims description 89
- 238000000034 method Methods 0.000 claims description 79
- 239000000203 mixture Substances 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 65
- 238000000605 extraction Methods 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 description 52
- 238000006243 chemical reaction Methods 0.000 description 42
- 238000001514 detection method Methods 0.000 description 26
- 238000004458 analytical method Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 238000000926 separation method Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 230000010365 information processing Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Definitions
- This disclosure relates to a transmitting device, a receiving device and a transmission system.
- Patent Documents 1 to 4 In order to avoid the transmission system from going down, for example, instead of transmitting all the captured images, the object to be captured is specified and only a part of the image obtained by cutting out the specified object is transmitted. It is known (for example, Patent Documents 1 to 4).
- Japanese Unexamined Patent Publication No. 2016-201756 Japanese Unexamined Patent Publication No. 2014-39219 Japanese Unexamined Patent Publication No. 2013-164834 Japanese Unexamined Patent Publication No. 2012-209831
- An object of the present disclosure is to realize high dynamic range composition of a part of the region of interest (ROI) cut out from a captured image.
- the transmission device includes a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis for ROI (RegionOfInterest) image data, and a payload of the ROI image data. It includes a transmission unit that transmits ROI information as embedded data as well as transmitting data.
- high dynamic range information which is information used for high dynamic range synthesis for ROI (RegionOfInterest) image data
- ROI ROI
- the receiving device includes a receiving unit that includes ROI (Region Of Interest) image data in the payload data and receives a transmission signal that includes ROI information in the embedded data, and a high dynamic with respect to the ROI image data.
- a control unit that controls extraction of high dynamic range information, which is information used for range synthesis, from the transmission signal received by the receiving unit, and the high dynamic range information extracted by the control unit are used to obtain the ROI. It is provided with a processing unit that processes high dynamic range composition of image data.
- the transmission system includes a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis for ROI (Region Of Interest) image data, and a payload of the ROI image data.
- a transmission device having a transmission unit that transmits data and transmits ROI information as embedded data, and a reception unit that includes ROI image data in payload data and receives a transmission signal including ROI information in embedded data.
- a control unit that controls extraction of high dynamic range information, which is information used for high dynamic range synthesis for ROI image data, from the transmission signal received by the receiving unit, and the high dynamic range extracted by the control unit.
- a receiving device including a processing unit that processes high dynamic range synthesis of the ROI image data using information is provided.
- the video transmission system 1 is a system capable of transmitting and receiving signals according to various standards, and can transmit and receive signals according to, for example, the MIPI CSI-2 standard, the MIPI CSI-3 standard, or the MIPI DSI standard. it can.
- FIG. 1 shows an outline of the video transmission system 1 according to the prerequisite technology of the present disclosure.
- the video transmission system 1 is applied to the transmission of data signals, clock signals, and control signals, and includes a video transmission device 100 and a video reception device 200.
- the video transmission system 1 straddles the video transmission device 100 and the video reception device 200 to transmit a data signal such as image data, a data lane DL, a clock lane CL for transmitting a clock signal, and a control signal.
- FIG. 1 shows an example in which one data lane DL is provided, a plurality of data lane DLs may be provided.
- the camera control interface CCI is a bidirectional control interface having an I 2 C (Inter-Integrated Circuit ) standard compatible.
- the video transmission device 100 is a device that transmits a signal according to the MIPI CSI-2 standard, the MIPI CSI-3 standard, or the MIPI DSI standard. It has a CSI transmitter 100A and a CCI slave 100B.
- the video receiving device 200 has a CSI receiver 200A and a CCI master 200B.
- the CSI transmitter 100A and the CSI receiver 200A are connected by a clock signal line.
- the data lane DL the CSI transmitter 100A and the CSI receiver 200A are connected by a clock signal line.
- the CCI slave 100B and the CCI master 200B are connected by a control signal line.
- the CSI transmitter 100A is, for example, a differential signal transmission circuit that generates a differential clock signal as a clock signal and outputs it to a clock signal line.
- the CSI transmitter 100A can be configured to transmit not only differential but also single-ended and three-phase signals.
- the CSI transmitter 100A is also a differential signal transmission circuit that generates a differential data signal as a data signal and outputs it to the data signal line.
- the CSI receiver 200A is a differential signal receiving circuit that receives a differential clock signal as a clock signal via a clock signal line and performs predetermined processing on the received differential clock signal.
- the CSI receiver 200A is also a differential signal receiving circuit that receives a differential data signal as a data signal via a data signal line and performs predetermined processing on the received differential data signal.
- FIG. 2 shows an example of the configuration of the video transmission device 100.
- the video transmitter 100 corresponds to a specific example of the CSI transmitter 100A.
- the video transmission device 100 includes, for example, an image pickup unit 110, an image processing unit 120, 130, and a transmission unit 140.
- the video transmission device 100 transmits the transmission data 147A generated by performing a predetermined process on the captured image 111 obtained by the image pickup unit 110 to the video reception device 200 via the data lane DL.
- FIG. 3 is an example of a procedure for generating transmission data 147A.
- the image pickup unit 110 converts, for example, an optical image signal obtained through an optical lens or the like into image data.
- the imaging unit 110 includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the image pickup unit 110 has an analog-to-digital conversion circuit, and converts analog image data into digital image data.
- the data format after conversion may be the YCbCr format in which the color of each pixel is represented by the luminance component Y and the color difference components Cb, Cr, or the RGB format.
- the imaging unit 110 outputs the captured image 111 (digital image data) obtained by imaging to the image processing unit 120.
- the image processing unit 120 is a circuit that performs predetermined processing on the captured image 111 input from the imaging unit 110.
- the image processing unit 120 refers to the captured image 111 input from the imaging unit 110 when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI.
- the prerequisite technology 1 can also be applied to the case where the video transmitting device 100, that is, the transmitting side specifies the coordinates for cutting out the ROI.
- the transmitting side is configured to receive, for example, information such as a "person" or an "object” to be acquired by the ROI transmitted from the receiving side, and determine and instruct the coordinates of the cutout.
- the image processing unit 120 generates various data (120A, 120B, 120C) and outputs them to the transmitting unit 140.
- the image processing unit 130 is a circuit that performs predetermined processing on the captured image 111 input from the imaging unit 110.
- the image processing unit 130 performs predetermined processing on the captured image 111 input from the imaging unit 110 when the control signal instructing the output of the normal image is input from the video receiving device 200 via the camera control interface CCI. I do.
- the image processing unit 130 generates the image data 130A and outputs it to the transmission unit 140.
- the image processing unit 130 has, for example, an encoding unit 131.
- the encoding unit 131 encodes the captured image 111 to generate the compressed image data 130A.
- the image processing unit 130 compresses the captured image 111 in a compression format compliant with the JPEG (Joint Photographic Experts Group) standard as the format of the compressed image data 130A, for example.
- JPEG Joint Photographic Experts Group
- the image processing unit 120 includes, for example, an ROI cutting unit 121, an ROI analysis unit 122, an overlap detection unit 123, a priority setting unit 124, an encoding unit 125, and an image processing control unit 126.
- the ROI cutting unit 121 identifies one or a plurality of objects to be photographed included in the captured image 111 input from the imaging unit 110, and sets the attention region ROI for each specified object.
- the region of interest ROI is, for example, a rectangular region containing the specified object.
- the ROI cutting unit 121 cuts out an image of each attention region ROI (for example, the ROI image 112 in FIG. 3) from the captured image 111.
- the ROI cutting unit 121 further assigns an area number as an identifier for each set attention area ROI. For example, when two attention region ROIs are set in the captured image 111, the ROI cutting unit 121 assigns the region number 1 to one attention region ROI (for example, the attention region ROI1 in FIG. 3).
- the area number 2 is assigned to the other area of interest ROI (for example, the area of interest ROI2 in FIG. 3).
- the ROI cutting unit 121 stores, for example, the assigned identifier (area number) in the storage unit.
- the ROI cutting unit 121 stores, for example, each ROI image 112 cut out from the captured image 111 in the storage unit.
- the ROI cutting unit 121 further stores, for example, an identifier (area number) assigned to each region of interest ROI in the storage unit in association with the ROI image 112.
- the ROI analysis unit 122 derives the position information 113 of the region of interest ROI in the captured image 111 for each region of interest ROI.
- the position information 113 is composed of, for example, the upper left end coordinates (Xa, Ya) of the attention region ROI, the length of the attention region ROI in the X-axis direction, and the length of the attention region ROI in the Y-axis direction.
- the length of the region of interest ROI in the X-axis direction is, for example, the physical region length XLa of the region of interest ROI in the X-axis direction.
- the length of the region of interest ROI in the Y-axis direction is, for example, the physical region length YLa of the region of interest ROI in the Y-axis direction.
- the physical region length refers to the physical length (data length) of the region of interest ROI.
- the position information 113 the coordinates of a position different from the upper left end of the region of interest ROI may be included.
- the ROI analysis unit 122 stores, for example, the derived position information 113 in the storage unit.
- the ROI analysis unit 122 stores the ROI analysis unit 122 in the storage unit in association with, for example, an identifier (area number) assigned to the region of interest ROI.
- the ROI analysis unit 122 further obtains, for example, the output region length XLc of the attention region ROI in the X-axis direction and the output region length YLc of the attention region ROI in the Y-axis direction as position information 113 for each attention region ROI. It may be derived.
- the output region length is, for example, the physical length (data length) of the region of interest ROI after the resolution has been changed by thinning out processing, pixel addition, or the like.
- the ROI analysis unit 122 derives, for example, sensing information, exposure information, gain information, AD (Analog-Digital) word length, image format, etc. in addition to the position information 113 for each attention region ROI, and stores the storage unit 122. It may be stored in.
- Sensing information refers to the calculation content of the object included in the ROI of interest, supplementary information for subsequent signal processing for the ROI image 112, and the like.
- the exposure information refers to the exposure time of the ROI of interest.
- the gain information refers to the gain information of the ROI of interest.
- the AD word length refers to the word length of data per pixel that has been AD-converted in the region of interest ROI.
- the image format refers to the format of the image of the region of interest ROI.
- the ROI analysis unit 122 may derive, for example, the number of attention region ROIs (number of ROIs) included in the captured image 111 and store them in the storage unit.
- the overlap detection unit 123 overlaps two or more attention region ROIs with each other based on the position information 113 of the plurality of attention region ROIs in the captured image 111. Detects a region (ROO (Region Of Overlap)). That is, the overlap detection unit 123 derives the position information 114 of the overlap region ROO in the captured image 111 for each overlap region ROO.
- the overlap detection unit 123 stores, for example, the derived position information 114 in the storage unit.
- the overlap detection unit 123 stores, for example, the derived position information 114 in the storage unit in association with the overlap area ROO.
- the overlapping region ROO is, for example, a rectangular region having the same size as or smaller than the smallest attention region ROI in two or more attention region ROIs overlapping each other.
- the position information 114 is composed of, for example, the upper left end coordinates (Xb, Yb) of the overlapping region ROO, the length of the overlapping region ROO in the X-axis direction, and the length of the overlapping region ROO in the Y-axis direction.
- the length of the overlapping region ROO in the X-axis direction is, for example, the physical region length XLb.
- the length of the overlapping region ROO in the Y-axis direction is, for example, the physical region length YLb.
- the coordinates of a position different from the upper left end of the region of interest ROI may be included.
- the priority setting unit 124 assigns a priority 115 for each attention region ROI in the captured image 111.
- the priority setting unit 124 stores, for example, the assigned priority 115 in the storage unit.
- the priority setting unit 124 stores, for example, the assigned priority 115 in association with the attention area ROI in the storage unit.
- the priority setting unit 124 may assign a priority 115 for each attention area ROI in addition to the area number assigned for each attention area ROI, or assign an area number assigned for each attention area ROI. , May be an alternative to priority 115.
- the priority setting unit 124 may, for example, associate the priority 115 with the attention area ROI and store it in the storage unit, or store the area number assigned to each attention area ROI in association with the attention area ROI. It may be stored in a unit.
- the priority 115 is an identifier of each attention region ROI, and is discrimination information capable of determining which of the plurality of attention region ROIs in the captured image 111 the overlapping region ROO has been omitted.
- the priority setting unit 124 assigns 1 as a priority 115 to one attention region ROI and gives priority to the other attention region ROI in two attention region ROIs, each of which includes an overlapping region ROO. 2 is given as 115.
- the overlapping region ROO is omitted for the attention region ROI having the larger numerical value of the priority 115.
- the priority setting unit 124 may assign the same number as the area number assigned to each attention area ROI as the priority 115 to the attention area ROI.
- the priority setting unit 124 stores, for example, the priority 115 assigned to each region of interest ROI in the storage unit in association with the ROI image 112.
- the encoding unit 125 encodes each transmission image 116 to generate compressed image data 120A.
- the encoding unit 125 compresses each transmission image 116 in a compression format conforming to the JPEG standard as the format of the compressed image data 120A, for example.
- the encoding unit 125 generates each transmission image 116 before performing the above compression processing.
- the encoding unit 125 captures images 118 from the plurality of ROI images 112 obtained from the captured image 111 so that the images 118 of the overlapping region ROO are not duplicated in the plurality of ROI images 112 obtained from the captured image 111.
- a plurality of transmitted images 116, which are omitted, are generated.
- the encoding unit 125 determines, for example, which of the plurality of ROI images 112 the image 118 is omitted based on the priority 115 assigned to each attention region ROI. In addition, the encoding unit 125 determines which of the plurality of ROI images 112 the image 118 is omitted by using, for example, the area number assigned to each attention area ROI as the priority 115. May be good. In the ROI image 112 specified as described above, the encoding unit 125 omits the image 118 as the transmission image 116 (for example, the transmission image 116a2 in FIG. 3).
- the encoding unit 125 transmits the ROI image 112 itself to the transmission image 116 (for example, the transmission image of FIG. 3). 116a1).
- the image processing control unit 126 generates ROI information 120B and frame information 120C and transmits them to the transmission unit 140.
- the ROI information 120B includes, for example, each position information 113.
- the ROI information 120B further includes, for example, the data type of each attention region ROI, the number of attention region ROIs included in the captured image 111, the region number (or priority 115) of each attention region ROI, and the data length of each attention region ROI. , And at least one of the image formats of each region of interest ROI.
- the frame information 120C includes, for example, a virtual channel number assigned to each frame, a data type of each region of interest ROI, a payload length for each line, and the like. Data types include, for example, YUV data, RGB data, RAW data, and the like.
- the data type further includes, for example, data in ROI format or data in normal format.
- the payload length is, for example, the number of pixels included in the payload of a long packet (LongPacket), for example, the number of pixels for each region of interest ROI.
- the payload refers to the main data (application data) transmitted between the video transmitting device 100 and the video receiving device 200.
- the long packet refers to a packet arranged between the packet header PH and the packet footer PF.
- the transmission unit 140 is a circuit that generates and transmits transmission data 147A based on various data (120A, 120B, 120C, 130A) input from the image processing units 120 and 130.
- the transmission unit 140 transmits ROI information 120B for each region of interest ROI in the captured image 111 as embedded data (embedded data).
- the transmission unit 140 long-packets the image data (compressed image data 120A) of each attention region ROI. It is sent out as the payload data (PayloadData) of.
- the transmission unit 140 transmits the image data (compressed image data 120A) of each attention region ROI through a virtual channel common to each other.
- the transmission unit 140 transmits the image data (compressed image data 120A) of each attention region ROI by the image data frame, and transmits the ROI information 120B for each attention region ROI by the header of the image data frame.
- the transmission unit 140 also uses the normal image data (compressed image data 130A) as a payload of a long packet when a control signal instructing the output of a normal image is input from the video receiving device 200 via the camera control interface CCI. Send as data.
- the transmission unit 140 has, for example, a LINK control unit 141, an ECC generation unit 142, a PH generation unit 143, an EBD buffer 144, an ROI data buffer 145, a normal image data buffer 146, and a synthesis unit 147.
- the LINK control unit 141, ECC generation unit 142, PH generation unit 143, EBD buffer 144, and ROI data buffer 145 are used when a control signal instructing ROI cutout is input from the video receiving device 200 via the camera control interface CCI. Is output to the synthesis unit 147.
- the normal image data buffer 146 outputs the normal image to the compositing unit 147 when the control signal instructing the output of the normal image is input from the video receiving device 200 via the camera control interface CCI.
- the ROI data buffer 145 may also serve as the normal image data buffer 146.
- the transmission unit 140 outputs one of the ROI data buffer 145 and the ROI data buffer 145 between the output ends of the ROI data buffer 145 and the ROI data buffer 145 and the input end of the synthesis unit 147. It may have a selector to select.
- the LINK control unit 141 outputs, for example, the frame information 120C to the ECC generation unit 142 and the PH generation unit 143 for each line.
- the ECC generation unit 142 for example, based on the data of one line in the frame information 120C (for example, the number of the virtual channel, the data type of each attention region ROI, the payload length for each line, etc.), determines the error correction code of the line. Generate.
- the ECC generation unit 142 outputs, for example, the generated error correction code to the PH generation unit 143.
- the PH generation unit 143 generates a packet header PH for each line by using, for example, the frame information 120C and the error correction code generated by the ECC generation unit 142.
- the packet header PH is, for example, a packet header of the payload data of a long packet, as shown in FIG.
- the packet header PH includes, for example, DI, WC and ECC.
- the WC is an area for indicating the end of the packet with the number of words to the video receiving device 200.
- the WC includes, for example, the payload length, for example, the number of pixels per region of interest ROI.
- ECC is an area for storing a value for correcting a bit error.
- ECC includes an error correction code.
- DI is an area for storing a data identifier.
- the DI contains a VC (virtual channel) number and a DataType (data type of each region of interest ROI).
- VC Virtual Channel
- the PH generation unit 143 outputs the generated packet header PH to the synthesis unit 147.
- the EBD buffer 144 temporarily stores the ROI information 120B, and outputs the ROI information 120B as embedded data to the synthesis unit 147 at a predetermined timing.
- Embedded data refers to additional information that can be embedded in the header or footer of an image data frame (see FIG. 5 below).
- the embedded data includes, for example, ROI information 120B.
- the ROI data buffer 145 temporarily stores the compressed image data 120A, and outputs the compressed image data 120A as payload data of a long packet to the synthesis unit 147 at a predetermined timing.
- the ROI data buffer 145 outputs the compressed image data 120A to the compositing unit 147 as the payload data of a long packet when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI. ..
- the normal image data buffer 146 temporarily stores the compressed image data 130A, and outputs the compressed image data 130A as payload data of a long packet to the compositing unit 147 at a predetermined timing.
- the normal image data buffer 146 uses the compressed image data 130A as the payload data of the long packet to the synthesis unit 147. Output.
- the synthesizing unit 147 transmits data 147A based on the input data (compressed image data 130A). To generate.
- the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL.
- the synthesis unit 147 receives various data (packet header PH, ROI information 120B, and compression) input when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI. Transmission data 147A is generated based on the image data 120A).
- the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL. That is, the synthesis unit 147 includes the DataType (data type of each region of interest ROI) in the packet header PH of the payload data of the long packet and sends it out. Further, the synthesis unit 147 transmits the image data (compressed image data 120A) of each attention region ROI through a virtual channel common to each other.
- DataType data type of each region of interest ROI
- the transmission data 147A is composed of, for example, an image data frame as shown in FIG.
- the image data frame usually has a header area, a packet area, and a footer area.
- the description of the footer region is omitted for convenience.
- Embedded data is included in the frame header area R1 of the transmission data 147A.
- the embedded data includes ROI information 120B.
- the packet area R2 of the transmission data 147A includes the payload data of the long packet for each line, and further includes the packet header PH and the packet footer PF at positions where the payload data of the long packet is sandwiched. It has been.
- a low power mode LP is included at a position where the packet header PH and the packet footer PF are sandwiched.
- the packet header PH includes, for example, DI, WC, and ECC.
- the WC includes, for example, the payload length, for example, the number of pixels per region of interest ROI.
- ECC includes an error correction code.
- the DI includes VC (virtual channel number) and DataType (data type of each region of interest ROI).
- the VCs of the respective lines are assigned virtual channel numbers common to each other.
- the packet area R2 of the transmission data 147A includes the compressed image data 147B.
- the compressed image data 147B is composed of one compressed image data 120A or a plurality of compressed image data 120A.
- the packet group closer to the packet header PH includes, for example, the compressed image data 120A (120A1) of the transmission image 116a1 in FIG. 3, and the packet group away from the packet header PH includes the packet group.
- the compressed image data 120A (120A2) of the transmission image 116a2 in FIG. 3 is included.
- the compressed image data 147B is composed of these two compressed image data 120A1 and 120A2.
- the payload data of the long packet of each line includes the pixel data of one line in the compressed image data 147B.
- FIG. 6 shows a configuration example of the transmission data 147A.
- the transmission data 147A includes, for example, a frame header area R1 and a packet area R2. Note that FIG. 6 illustrates in detail the contents of the frame header area R1. Further, in FIG. 6, the low power mode LP is omitted.
- the frame header area R1 includes, for example, the frame number F1 as an identifier of the transmission data 147A.
- the frame header area R1 contains information about the compressed image data 147B included in the packet area R2.
- the frame header area R1 is, for example, information about the number of compressed image data 120A (ROI number) included in the compressed image data 147B and the ROI image 112 corresponding to each compressed image data 120A included in the compressed image data 147B (ROI). Information 120B) and is included.
- the synthesis unit 147 arranges the compressed image data 147B separately for each pixel line of the compressed image data 120A. Therefore, the packet area R2 of the transmission data 147A does not include the compressed image data corresponding to the image 118 of the overlapping area ROO in duplicate. Further, for example, in the packet area R2 of the transmission data 147A, the synthesis unit 147 omits a pixel line that does not correspond to each transmission image 116 in the captured image 111. Therefore, the packet area R2 of the transmission data 147A does not include a pixel line of the captured image 111 that does not correspond to each transmission image 116. In the packet area R2 of FIG. 6, the part surrounded by the broken line corresponds to the compressed image data of the image 118 of the overlapping area ROO.
- the boundary between the packet group near the packet header PH (for example, 1 (n) in FIG. 6) and the packet group away from the packet header PH (for example, 2 (1) in FIG. 6) is the packet near the packet header PH. It is identified by the physical region length XLa1 of the ROI image 112 corresponding to the compressed image data of the group (eg 1 (n) in FIG. 6).
- the packet start position is the packet group away from the packet header PH (for example, For example, it is specified by the physical region length XLa2 of the ROI image 112 corresponding to 2 (1)) in FIG.
- the synthesis unit 147 uses the payload data of the long packet as the payload data of the long packet, for example, one line of the compressed image data 147B.
- ROI information 120B may be included. That is, the synthesis unit 147 may include the ROI information 120B in the payload data of the long packet and send it out.
- the ROI information 120B is, for example, as shown in FIGS. 7 (A) to 7 (K), the number of attention region ROIs (ROI numbers) included in the captured image 111, and the region number of each attention region ROI.
- the ROI information 120B is preferably arranged at the end of the packet header PH side (that is, the beginning of the long packet payload data) in the long packet payload data.
- FIG. 8 shows an example of the configuration of the video receiving device 200.
- FIG. 9 shows an example of the procedure for generating the ROI image 223A in the video receiving device 200.
- the video receiving device 200 is a device that receives signals according to a standard common to the video transmitting device 100 (for example, MIPI CSI-2 standard, MIPI CSI-3 standard, or MIPI IDSI standard).
- the video receiving device 200 has, for example, a receiving unit 210 and an information processing unit 220.
- the receiving unit 210 receives the transmission data 147A output from the video transmission device 100 via the data lane DL, and performs predetermined processing on the received transmission data 147A to perform various data (214A, 215A).
- the information processing unit 220 generates an ROI image 223A based on various data (214A, 215A) received from the receiving unit 210, or generates a normal image 224A based on the data (215B) received from the receiving unit 210. It is a circuit to generate.
- the receiving unit 210 has, for example, a header separation unit 211, a header interpretation unit 212, a payload separation unit 213, an EBD interpretation unit 214, and an ROI data separation unit 215.
- the header separation unit 211 receives the transmission data 147A from the video transmission device 100 via the data lane DL. That is, the header separation unit 211 includes the ROI information 120B for each attention region ROI in the captured image 111 in the embedded data, and transmits the image data (compressed image data 120A) of each attention region ROI in the payload data of the long packet. Receives data 147A.
- the header separation unit 211 separates the received transmission data 147A into a frame header area R1 and a packet area R2.
- the header interpretation unit 212 specifies the position of the payload data of the long packet included in the packet area R2 based on the data (specifically, the embedded data) included in the frame header area R1.
- the payload separation unit 213 separates the payload data of the long packet included in the packet area R2 from the packet area R2 based on the position of the payload data of the long packet specified by the header interpretation unit 212.
- the EBD interpretation unit 214 outputs the embedded data as the EBD data 214A to the information processing unit 220. From the data type included in the embedded data, the EBD interpreter 214 further determines that the image data included in the long packet payload data is the compressed image data 120A of the ROI image data 116, or the compressed image of the normal image data. It is determined whether the data is 130A. The EBD interpretation unit 214 outputs the determination result to the ROI data separation unit 215.
- the ROI data separation unit 215 uses the payload data of the long packet as the payload data 215A and uses the information processing unit 220 (specifically). Is output to the ROI decoding unit 222).
- the ROI data separation unit 215 uses the payload data of the long packet as the payload data 215B and uses the information processing unit 220 (specifically, the normal image decoding). Output to unit 224).
- the payload data of the long packet includes the ROI information 120B
- the payload data 215A includes the ROI information 120B and the pixel data of one line of the compressed image data 147B.
- the information processing unit 220 extracts ROI information 120B from the embedded data included in the EBD data 214A. Based on the ROI information 120B extracted by the information extraction unit 221, the information processing unit 220 uses the long packet payload data included in the transmission data 147A received by the reception unit 210 to obtain an image of each attention region ROI in the captured image 111. The ROI image 112) is extracted.
- the information processing unit 220 includes, for example, an information extraction unit 221, an ROI decoding unit 222, an ROI image generation unit 223, and a normal image decoding unit 224.
- the normal image decoding unit 224 decodes the payload data 215B and generates the normal image 224A.
- the ROI decoding unit 222 decodes the compressed image data 147B included in the payload data 215A and generates the image data 222A.
- the image data 222A is composed of one or a plurality of transmitted images 116.
- the information extraction unit 221 extracts ROI information 120B from the embedded data included in the EBD data 214A. From the embedded data included in the EBD data 214A, for example, the information extraction unit 221 includes, for example, the number of attention region ROIs included in the captured image 111, the region number (or priority 115) of each attention region ROI, and each attention region ROI. The data length of the data and the image format of each region of interest ROI are extracted. That is, the transmission data 147A is used as discrimination information capable of determining which of the plurality of transmission images 116 obtained from the transmission data 147A has the image 118 of the overlapping region ROO omitted. The region number (or priority 115) of the region of interest ROI corresponding to 116 is included.
- the ROI image generation unit 223 detects an overlapping region ROO in which two or more attention region ROIs overlap each other based on the ROI information 120B obtained by the information extraction unit 221.
- the coordinates for example, upper left end coordinates (Xa1, Ya1)
- length for example, physical area length of the region of interest ROI corresponding to the ROI image 112a2 XLa2, YLa1
- the ROI image generation unit 223 derives the position information 114 of the overlapping region ROO based on the extracted information (hereinafter, referred to as “extracted information 221A”).
- the ROI image generation unit 223 uses, for example, the coordinates (for example, upper left edge coordinates (Xb1, Yb1)) and length (for example, physical area lengths XLb1, YLb1) of the overlapping area ROO as the position information 114 of the overlapping area ROO. Derived.
- the ROI image generation unit 223 may acquire the ROI information 120B from the payload data 215A instead of acquiring the ROI information 120B from the embedded data included in the EBD data 214A.
- the ROI image generation unit 223 may detect an overlapping region ROO in which two or more attention region ROIs overlap each other based on the ROI information 120B included in the payload data 215A.
- the ROI image generation unit 223 may extract the extraction information 221A from the ROI information 120B included in the payload data 215A, and based on the extraction information 221A extracted in this way, the position information 114 of the overlapping region ROO May be derived.
- the ROI image generation unit 223 further generates an image (ROI images 112a1, 112a2) of each attention region ROI in the captured image 111 based on the image data 222A, the extraction information 221A, and the position information 114 of the overlapping region ROO. To do.
- the ROI image generation unit 223 outputs the generated image as the ROI image 223A.
- the imaging unit 110 outputs the captured image 111 (digital image data) obtained by imaging to the image processing unit 120.
- the ROI cutting unit 121 identifies two regions of interest ROI1 and ROI2 included in the captured image 111 input from the imaging unit 110.
- the ROI cutting unit 121 cuts out the images (ROI images 112a1, 112a2) of the respective areas of interest ROI1 and ROI2 from the captured image 111.
- the ROI cutting unit 121 assigns the region number 1 as an identifier to the region of interest ROI1 and assigns the region number 2 as an identifier to the region of interest ROI 2.
- the ROI analysis unit 122 derives the position information 113 of the region of interest ROI in the captured image 111 for each region of interest ROI. Based on the attention region ROI1, the ROI analysis unit 122 sets the upper left end coordinates (Xa1, Ya1) of the attention region ROI1, the length of the attention region ROI1 in the X-axis direction (XLa1), and the Y-axis direction of the attention region ROI1. The length (YLa1) is derived. Based on the attention region ROI2, the ROI analysis unit 122 sets the upper left end coordinates (Xa2, Ya2) of the attention region ROI2, the length of the attention region ROI2 in the X-axis direction (XLa2), and the Y-axis direction of the attention region ROI2. The length (YLa2) is derived.
- the overlap detection unit 123 detects an overlapping region ROO in which the two attention regions ROI1 and ROI2 overlap each other based on the position information 113 of the two attention regions ROI1 and ROI2 in the captured image 111. That is, the overlap detection unit 123 derives the position information 114 of the overlap region ROO in the captured image 111.
- the overlap detection unit 123 serves as the position information 114 of the overlap region ROO in the captured image 111, the upper left end coordinates (Xb1, Yb1) of the overlap region ROO, the length of the overlap region ROO in the X-axis direction (XLb1), and the overlap region.
- the length (YLb1) of the ROO in the Y-axis direction is derived.
- the priority setting unit 124 assigns 1 as a priority 115 to one attention area ROI1 and 2 as a priority 115 to the other attention area ROI2.
- the encoding unit 125 omits the image 118 from the two ROI images 112a1 and 112a2 obtained from the captured image 111 so that the image 118 of the overlapping region ROO is not duplicated in the two attention regions ROI1 and ROI2.
- Two transmission images 116a1 and 116a2 are generated.
- the encoding unit 125 determines which of the two ROI images 112a1 and 112a2 the image 118 is omitted based on the area numbers (or priority 115) of the two ROI1 and ROI2 areas of interest. In the two regions of interest ROI1 and ROI2, the encoding unit 125 omits the image 118 for the ROI image 112a2 corresponding to the region of interest ROI2, which is the larger region number (or priority 115), thereby transmitting. Image 116a2 is generated. In the two areas of interest ROI1 and ROI2, the encoding unit 125 uses the ROI image 112a1 itself as the transmission image 116a1 for the ROI image 112a1 corresponding to the area of interest ROI1 which is the smaller area number (or priority 115).
- the image processing control unit 126 generates ROI information 120B and frame information 120C and transmits them to the transmission unit 140.
- the transmission unit 140 generates transmission data 147A based on various data (120A, 120B, 120C, 130A) input from the image processing units 120 and 130.
- the transmission unit 140 transmits the generated transmission data 147A to the video receiving device 200 via the data lane DL.
- the receiving unit 210 receives the transmission data 147A output from the video transmitting device 100 via the data lane DL.
- the receiving unit 210 generates EBD data 214A and payload data 215A by performing predetermined processing on the received transmission data 147A, and outputs the EBD data 214A and the payload data 215A to the information processing unit 220.
- the ROI decoding unit 222 decodes the compressed image data 147B included in the
- the ROI image generation unit 223 derives the position information 114 of the overlapping region ROO based on these extracted information (extracted information 221A).
- the ROI image generation unit 223 uses, for example, the coordinates (for example, upper left edge coordinates (Xb1, Yb1)) and length (for example, physical area lengths XLb1, YLb1) of the overlapping area ROO as the position information 114 of the overlapping area ROO. Derived.
- the ROI image generation unit 223 further generates an image (ROI images 112a1, 112a2) of each attention region ROI in the captured image 111 based on the image data 222A, the extraction information 221A, and the position information 114 of the overlapping region ROO. To do.
- MIPI CSI-2 may be used as a method used for transmission from the image sensor to the application processor.
- MIPI CSI-2 may be used as a method used for transmission from the image sensor to the application processor.
- the ROI information 120B for each attention region ROI in the captured image 111 is transmitted as embedded data, and the image data of each attention region ROI is transmitted as the payload data of the long packet.
- the image data (ROI image 112) of each region of interest ROI can be easily extracted from the transmission data 147A. it can.
- the ROI of interest can be transmitted even under various restrictions.
- the image data (compressed image data 120A) of each attention region ROI is transmitted by a virtual channel common to each other.
- a plurality of ROI images 112 can be transmitted in the same packet, it is not necessary to enter the LP mode while transmitting the plurality of ROI images 112, and high transmission efficiency can be obtained.
- the data type of each region of interest ROI is included in the packet header PH of the payload data of the long packet and transmitted.
- the data type of each region of interest ROI can be obtained simply by accessing the packet header PH of the payload data of the long packet without accessing the embedded data.
- the processing speed of the video receiving device 200 can be increased, so that high transmission efficiency can be obtained.
- the ROI information 120B when the ROI information 120B is included in the payload data of the long packet and transmitted, the ROI information 120B is simply accessed by accessing the payload data of the long packet without accessing the embedded data. Is obtained. As a result, the processing speed of the video receiving device 200 can be increased, so that high transmission efficiency can be obtained.
- the ROI information 120B for each region of interest ROI is extracted from the embedded data included in the transmission data 147A, and the long included in the transmission data 147A based on the extracted ROI information 120B.
- An image of each region of interest ROI is extracted from the payload data of the packet.
- an image of each region of interest ROI can be easily extracted from the transmission data 147A.
- the ROI of interest can be transmitted even under various restrictions.
- FIG. 10 is a diagram schematically showing a region in which an object specified in the captured image 111 is arranged.
- the image pickup image 111 imaged in the image pickup area composed of the image pickup elements of 15 rows ⁇ 23 columns is schematically shown.
- FIG. 11 is a diagram showing an example of the ROI region set for the specified object.
- the prerequisite technology 2 similarly to the prerequisite technology 1, when a control signal instructing the cutting out of the ROI is input from the video receiving device 200 to the video transmitting device 100 via the camera control interface CCI, it is input from the imaging unit 110. A case where a predetermined process is performed on the captured image 111 will be described. However, the prerequisite technique 2 can also be applied to the case where the video transmission device 100, that is, the transmitting side specifies the coordinates for cutting out the ROI. In this case, the transmitting side is configured to receive, for example, information such as a "person" or an "object” to be acquired by the ROI transmitted from the receiving side, and determine and instruct the coordinates of the cutout.
- a control signal instructing the cutting out of the ROI is input from the video receiving device 200 via the camera control interface CCI.
- the ROI cutting unit 121 identifies the four objects 1 to 4 to be photographed included in the captured image 111.
- the object 1 has, for example, a rectangular shape that occupies a part of the upper left region in the captured image 111.
- the object 2 occupies a part of the area on the right side of the object 1 in the captured image 111, and has a shape in which both corners on both sides of the rectangle and a part of the lower side are missing.
- the object 3 occupies a part of the area below the object 2 in the captured image 111, and has a shape in which the four corners of the rectangle are missing.
- the object 4 occupies a part of the lower part of the object 3 in the captured image 111, and has a shape in which both upper side corners of the rectangle are missing.
- a part of the object 3 and the object 4 overlap each other.
- the ROI cutting unit 121 sets the smallest rectangle including each of the specified objects 1 to 4 as the region of interest ROI1 to ROI4.
- the ROI cutting unit 121 sets the region of interest ROI1 for the object 1 and cuts out the ROI image 112a1. Further, the ROI cutting unit 121 sets the region of interest ROI2 for the object 2 and cuts out the ROI image 112a2. Further, the ROI cutting unit 121 sets the region of interest ROI3 for the object 3 and cuts out the ROI image 112a3. Further, the ROI cutting unit 121 sets the region of interest ROI4 for the object 4 and cuts out the ROI image 112a4.
- the ROI cutting unit 121 stores the attention area ROI1 and the area number “1” assigned to the attention area ROI1 in association with each other in the storage unit.
- the ROI cutting unit 121 stores the attention area ROI2 and the area number “2” assigned to the attention area ROI2 in association with each other in the storage unit.
- the ROI cutting unit 121 stores the attention area ROI 3 and the area number “3” assigned to the attention area ROI 3 in association with each other in the storage unit.
- the ROI cutting unit 121 stores the attention area ROI4 and the area number “4” assigned to the attention area ROI4 in association with each other in the storage unit.
- the ROI analysis unit 122 derives the position information of each of the attention areas ROI1 to ROI4.
- the ROI analysis unit 122 derives, for example, the physical region length XLa1 in the X-axis direction and the physical region length YLa1 in the Y-axis direction as the position information of the region of interest ROI1.
- the ROI analysis unit 122 derives, for example, the physical region length XLa2 in the X-axis direction and the physical region length YLa2 in the Y-axis direction as the position information of the region of interest ROI2.
- the ROI analysis unit 122 derives, for example, the physical region length XLa3 in the X-axis direction and the physical region length YLa3 in the Y-axis direction as the position information of the region of interest ROI3.
- the ROI analysis unit 122 derives, for example, the physical region length XLa4 in the X-axis direction and the physical region length YLa4 in the Y-axis direction as the position information of the region of interest ROI4.
- the ROI analysis unit 122 further obtains, for example, the output region length XLc of the attention region ROI in the X-axis direction and the output region length YLc of the attention region ROI in the Y-axis direction as position information 113 for each attention region ROI. It may be derived.
- the ROI analysis unit 122 derives the lengths of the attention region ROIs in the X-axis direction and the Y-axis direction, thereby deriving the respective sizes and total data amounts of the attention regions ROI1 to ROI4 as information to the subsequent stage.
- the video receiving device 200 corresponding to the latter stage can secure a memory area.
- the ROI analysis unit 122 is configured to derive the position information of the ROI images 112a1 to 112a4 instead of the position information of the attention area ROI when the shapes of the object to be photographed and the attention area do not match. ..
- the ROI analysis unit 122 derives the left end coordinates (xn, yn) of each row and the physical region length XLn in the X-axis direction as the position information of the ROI images 112a1 to 112a4. Further, when the ROI images are separated as in the second line of the ROI image 112a2, the ROI analysis unit 122 derives the position information for each of the separated portions.
- the ROI analysis unit 122 stores the area numbers of the regions of interest ROI1 to ROI4 and the position information of the ROI images 112a1 to 112a4 in association with each other in the storage unit.
- the ROI analysis unit 122 derives, for example, sensing information, exposure information, gain information, AD word length, image format, etc. in addition to the position information for each of the attention areas ROI1 to ROI4, and corresponds to the area number. It may be attached and stored in the storage unit.
- the overlap detection unit 123 derives the area where the ROI images overlap as the overlap area, not the area where the areas of interest overlap each other. As shown in FIG. 11, the overlap detection unit 123 derives the overlap region ROO as the region where the ROI image 112a3 and the ROI image 123a4 overlap. The overlap detection unit 123 stores the derived overlap area ROO in the storage unit in association with each of the position information of the attention areas ROI3 and ROI4.
- the priority setting unit 124 assigns the priority "1" to the attention area ROI1 and stores the priority 1 in association with the attention area ROI1 in the storage unit.
- the priority setting unit 124 assigns a priority "2" having a priority lower than the priority "1” to the attention area ROI2, and stores the priority 2 in association with the attention area ROI2 in the storage unit.
- the priority setting unit 124 assigns a priority "3" having a priority lower than the priority "2" to the attention area ROI3, and stores the priority 3 in association with the attention area ROI3 in the storage unit.
- the priority setting unit 124 assigns a priority "4" having a priority lower than the priority "3” to the attention area ROI4, and stores the priority 4 in association with the attention area ROI4 in the storage unit.
- the encoding unit 125 (see FIG. 2) generates a transmission image for each of the ROI images 112a1 to 112a4. Since the region of interest ROI4 has a lower priority than the region of interest ROI3, the encoding unit 125 generates a transmission image by omitting the overlapping region ROO from the ROI image 112a4.
- the image processing control unit 126 (see FIG. 2) generates ROI information and frame information and transmits them to the transmission unit 140 (see FIG. 2).
- the ROI information includes, for example, the respective position information of the ROI images 112a1 to 112a4.
- the same information as in the case where the object to be photographed is rectangular (for example, the data types of the attention areas ROI1 to ROI4, the number of the attention areas ROI1 to ROI4 included in the captured image 111, and the attention area)
- the area numbers and priorities of ROI1 to ROI4 are included.
- the frame information includes the same information as in the case where the object to be photographed is rectangular, such as the data types of the areas of interest ROI1 to ROI4.
- the LINK control unit 141 provided in the transmission unit 140 transmits the frame information and the ROI information input from the image processing control unit 126 for each line to the ECC generation unit 142 and the PH generation unit 143 (both of FIGS. 2). See).
- the ECC generator 142 is based on, for example, the data of one line in the frame information (for example, the number of the virtual channel, the respective data types of the areas of interest ROI1 to ROI4, the payload length of each line, etc.), and the error correction code of that line. To generate.
- the ECC generation unit 142 outputs the generated error correction code to the PH generation unit 143.
- the PH generation unit 143 generates a packet header PH (see FIG. 4) for each line by using, for example, the frame information and the error correction code generated by the ECC generation unit 142.
- the EBD buffer 144 (see FIG. 2) temporarily stores the ROI information, and outputs the ROI information as embedded data to the synthesis unit 147 (see FIG. 2) at a predetermined timing.
- the ROI data buffer 145 (see FIG. 2) temporarily stores the compressed image data input from the encoding unit 125, and for example, a control signal instructing to cut out the ROI is transmitted from the video receiving device 200 via the camera control interface CCI.
- the compressed image data 120A is output to the compositing unit 147 as the payload data of the long packet.
- the synthesis unit 147 When the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI, the synthesis unit 147 inputs various data (packet header PH, ROI information and ROI data buffer 145).
- the transmission data 147A is generated based on the compressed image data input from the encoding unit 125 via the encoding unit 125.
- the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL. That is, the synthesis unit 147 includes each data type of the region of interest ROI1 to ROI4 in the packet header PH of the payload data of the long packet and sends the data.
- the synthesis unit 147 sends out the image data (compressed image data) of the attention regions ROI1 to ROI4 on a virtual channel common to each other.
- the position information of the ROI images 112a1 to 112a4 is included in the packet header PH or the payload data of the long packet.
- the position information of the ROI images 112a1 to 112a4 is included in the packet header PH by the PH generation unit 143.
- the position information of the ROI images 112a1 to 112a4 is included in the payload data of the long packet by the synthesis unit 147.
- FIG. 12 is a diagram showing a configuration example of transmission data 147A in which the position information of the ROI images 112a1 to 112a4 is included in the payload data of the long packet.
- the transmission data 147A includes, for example, a frame header area R1 and a packet area R2. Note that FIG. 12 illustrates in detail the contents of the frame header area R1. Further, in FIG. 12, the low power mode LP is omitted.
- the frame header area R1 includes, for example, the frame number F1 as an identifier of the transmission data 147A.
- the frame header area R1 contains information about the compressed image data included in the packet area R2.
- the frame header area R1 includes, for example, the number of compressed image data (ROI number) and information (ROI information) about each of the ROI images 112a1 to 112a4 corresponding to each compressed image data.
- the ROI information includes the area number, the physical area length, the rectangular output area size, the priority, the exposure information, the gain information, the AD word length, and the image format.
- the physical area length is the maximum length of the ROI image
- the rectangular output area size is the size of the attention area ROI.
- the position information of the ROI images 112a1 to 112a4 is stored in, for example, "info”.
- the position information of the ROI images 112a1 to 112a4 is stored in the head portion of the payload of the long packet.
- the ROI image 112a1 has the same physical region length in the X-axis direction in the consecutive first to fourth pixel rows of all the pixel rows, and the first to fourth rows are the same. Pixel rows do not contain ROI images with different region numbers. Therefore, each long packet including the image data of the pixel rows of the second to fourth rows corresponding to the second and subsequent rows of the continuous pixel rows of the first to fourth rows constituting the ROI image 112a1.
- the area information "info" is not stored in the payload of.
- the ROI image 112a4 has the same physical region length in the X-axis direction in the second and third consecutive pixel rows among all the pixel rows, and the second and third rows have the same physical region length.
- the pixel row of the row does not include ROI images with different region numbers. Therefore, the payload of the long packet including the image data of the pixel row of the third row corresponding to the second and subsequent rows of the pixel rows of the second and third rows that constitute the ROI image 112a4 has an area.
- the information "info" is not stored. Even if the physical area length in the X-axis direction is the same and each pixel row does not contain ROI images with different region numbers, even if the region information "info" is stored in the payload of each row. Good.
- the compositing unit 147 arranges the compressed image data generated by compressing each of the ROI images 112a1 to 112a4 separately for each pixel line.
- “1” shown in FIG. 12 indicates the compressed image data of the ROI image 112a1 stored in the payload of the long packet.
- “2” shown in FIG. 12 indicates the compressed image data of the ROI image 112a2 stored in the payload of the long packet.
- “3” shown in FIG. 12 indicates the compressed image data of the ROI image 112a3.
- “4” shown in FIG. 12 indicates the compressed image data of the ROI image 112a4 stored in the payload of the long packet.
- each compressed image data is shown as being separated for easy understanding, but the data stored in the payload of the long packet is not divided.
- the packet area R2 of the transmission data 147A does not include the compressed image data 112b corresponding to the image of the overlapping area ROO in duplicate. Further, for example, in the packet area R2 of the transmission data 147A, the synthesis unit 147 omits a pixel line that does not correspond to each transmission image in the captured image 111. Therefore, the packet area R2 of the transmission data 147A does not include a pixel line of the captured image 111 that does not correspond to each transmission image.
- the header separation unit 211 provided in the reception unit 210 (see FIG. 8 for both) receives the transmission data 147A from the video transmission device 100 via the data lane DL. That is, the header separation unit 211 includes the ROI information about the attention areas ROI1 to ROI4 in the captured image 111 in the embedded data, and transmits the image data (compressed image data) of the attention areas ROI1 to ROI4 in the payload data of the long packet. Receives data 147A. The header separation unit 211 separates the received transmission data 147A into a frame header area R1 and a packet area R2.
- the header interpretation unit 212 specifies the position of the payload data of the long packet included in the packet area R2 based on the data (specifically, the embedded data) included in the frame header area R1.
- the payload separation unit 213 separates the payload data of the long packet included in the packet area R2 from the packet area R2 based on the position of the payload data of the long packet specified by the header interpretation unit 212.
- the EBD interpretation unit 214 outputs the embedded data as EBD data to the information processing unit 220 (see FIG. 8). From the data type included in the embedded data, the EBD interpreter 214 further determines that the image data included in the payload data of the long packet is the compressed image data of the ROI image data 116, or the compressed image data of the normal image data. Is determined. The EBD interpretation unit 214 outputs the determination result to the ROI data separation unit 215 (see FIG. 8).
- the ROI data separation unit 215 uses the payload data of the long packet as the payload data and uses the information processing unit 220 (specifically, the ROI decoding unit). Output to 222 (see FIG. 8)).
- the payload data of the long packet including the ROI information includes the ROI information and the pixel data of one line of the compressed image data.
- the information extraction unit 221 (see FIG. 8) provided in the information processing unit 220 includes the number of attention regions ROI1 to ROI4 included in the captured image 111 from the embedded data included in the EBD data input from the EBD interpretation unit 214 (see FIG. 8). In this example, 4), the area numbers 1 to 4 and the priorities 1 to 4 of the areas of interest ROI1 to ROI4, the respective data lengths of the areas of interest ROI1 to ROI4, and the respective image formats of the areas of interest ROI1 to ROI4 are extracted. .. Further, the information extraction unit 221 extracts the position information of the ROI images 112a1 to 112a4 from the embedded data.
- the ROI decoding unit 222 decodes the compressed image data 147B included in the payload data, extracts the position information of the ROI images 112a1 to 112a4, and generates image data (composed of transmitted images). For example, when the payload data corresponding to the pixel row of the sixth row is input, the ROI decoding unit 222 extracts one position information of the ROI image 112a1 and two position information of the ROI image 112a2 from the payload data. Then, the image data (transmission image) of the ROI images 112a1 and 112b1 corresponding to the pixel row of the sixth row is generated, respectively.
- the ROI decoding unit 222 extracts one position information of the ROI image 112a3 and one position information of the ROI image 112a4 from the payload data. Then, the image data (transmission image) of the ROI images 112a3 and 112b4 is generated, respectively.
- the ROI image generation unit 223 includes ROI information obtained by the information extraction unit 221, position information of the ROI images 112a1 to 112a4 extracted by the ROI decoding unit 222, and a transmission image generated by the ROI decoding unit 222.
- the ROI images 112a1 to 112a4 of the attention regions ROI1 to ROI4 in the captured image 111 are generated based on the above.
- the ROI image generation unit 223 inputs one position information of the ROI image 112a1 extracted from the payload data corresponding to the pixel row of the sixth row, two position information of the ROI image 112a2, and their transmitted images.
- ROI image 112a1 for 5 pixels extending in the X-axis direction ROI image 112a2 for 4 pixels extending in the X-axis direction at a position 5 pixels separated from the ROI image 112a1, and ROI image 112a2.
- a ROI image 112a2 for two pixels extending in the X-axis direction is generated at a position separated from the image (see FIG. 10).
- the ROI image generation unit 223 detects an overlapping region ROO in which the attention region ROI3 and the attention region ROI4 overlap each other based on the ROI information obtained by the information extraction unit 221.
- the ROI image generation unit 223 is based on the detected overlapping region ROO, the position information of the ROI images 112a3 and 112a4 extracted from the payload data corresponding to the pixel row of the 10th row, and the transmitted image, respectively, in the X-axis direction.
- the ROI image 112a3 for 4 pixels extending in the X-axis direction and the ROI image 112a4 for 3 pixels extending in the X-axis direction with one pixel overlapping the ROI image 112a3 are generated (see FIG. 10).
- the ROI image generation unit 223 outputs the generated image as an ROI image to a subsequent device (not shown).
- the video transmitting device 100 and the video receiving device 200 can transmit and receive as an ROI image even if the object to be photographed has a shape other than a rectangle.
- FIG. 13 is a diagram schematically showing the high dynamic range synthesis process in the present embodiment.
- a plurality of images having different exposure times are combined to generate an HDR image.
- HDR synthesis is performed for each region of interest ROI.
- HDR synthesis is executed when the region of interest ROI obtained by cutting out a part of two captured images captured under different exposure conditions has a predetermined match.
- the execution conditions for HDR synthesis in this embodiment are the following synthesis conditions 1 to 3.
- Synthesis condition 1 The area numbers of the attention region ROI match
- Synthesis condition 2 The coordinates of the reference pixels of the attention region ROI to be compared have a predetermined match
- Synthesis condition 3 Attention to be compared
- the size of the region ROI has a given consistency
- the reference pixel under the synthesis condition 2 is, for example, the pixel at the upper left end of the ROI of interest.
- the predetermined consistency under the synthesis condition 2 is that the difference in the coordinates of the reference pixels of the region of interest ROI to be compared is within the range of the predetermined threshold value.
- the predetermined consistency under the synthesis condition 3 is that the size of the region of interest ROI to be compared (the length of each in the X-axis direction and the Y-axis direction) is within the range of the predetermined threshold value.
- short exposure pixels pixels having a short exposure time (hereinafter, may be referred to as "short exposure") out of two exposure times to be compared.
- the area ROI the area number is "n"
- the coordinates of the reference pixel are "(Xn, Yn)”
- the length in the X-axis direction is "XLn”.
- the length in the Y-axis direction is "YLn”.
- the region number of interest ROI composed of pixels (long exposure pixels) having a long exposure time (hereinafter, may be referred to as “long exposure”) out of the two exposure times to be compared has a region number of “n”.
- the coordinates of the pixel at the upper left end are "(Xn, Yn)"
- the length in the X-axis direction is "XLn”
- the length in the Y-axis direction is "YLn”.
- the length of the attention region ROI in the short exposure in the Y-axis direction and the length of the attention region ROI in the long exposure in the Y-axis direction both coincide with each other in "YLn". Therefore, the difference between these lengths is 0 and is within the predetermined threshold range, so that the synthesis condition 3 is satisfied. Since all of the above synthesis conditions 1 to 3 are satisfied, the HDR synthesis process of the attention region ROI is executed, and an HDR composite image of the attention region ROI is generated as shown on the right side of the thick arrow in FIG.
- a condition for determining the consistency of the attention region ROI with respect to the attention region ROI obtained by cutting out a part of each of a plurality of images continuously taken by changing the exposure conditions.
- the HDR synthesis process of the region of interest ROI is executed.
- FIG. 14 is a block diagram showing a schematic configuration of a video transmission device 3, a video reception device 4, and a video transmission system 10 according to the present embodiment.
- the video transmission system 10 exhibits the functions of a video transmission device (an example of a transmission device) 3 that exerts a function as an image sensor and an image processing (Image Signal Processor: ISP).
- a video receiving device (an example of a receiving device) 4 is provided.
- the video transmission device 3 transmits a signal of MIPI (Mobile Industry Processor Interface) D-PHY standard, MIPI C-PHY standard or MIPI CSI (Camera Serial Interface) -2 standard. It is configured to be transmitted from the unit 322.
- the video receiving device 4 is configured to receive signals of the MIPI ID-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard by the receiving unit 412. Further, the video transmission system 10 transmits / receives signals according to the MIPI CSI-3 standard or the MIPI DSI standard between the video transmission device 3 and the video reception device 4 as in the video transmission system 1 according to the above-mentioned prerequisite technologies 1 and 2. It may be configured to do so.
- the video transmission device 3 provided in the video transmission system 10 is configured to exhibit the same functions as the video transmission device 100 according to the above-mentioned prerequisite technologies 1 and 2. That is, when the control signal instructing the cutout of the ROI is input from the video receiving device 4, the video transmitting device 3 performs the same processing as the video transmitting device 100 on the captured image input from the imaging unit 31. It is configured to be executable. Further, the video transmitting device 3 processes the captured image input from the imaging unit 31 in the same manner as the video transmitting device 100 when the control signal instructing the output of the normal image is input from the video receiving device 4. Is configured to be executable. Further, the video transmission device 3 is configured to acquire the high dynamic range information (HDR information) used in the above-mentioned HDR composition processing and to transmit the HDR information to the video reception device 4.
- HDR information high dynamic range information
- the video receiving device 4 is configured to exhibit the same functions as the video receiving device 200 according to the above-mentioned prerequisite technologies 1 and 2. That is, the video receiving device 4 is configured to be capable of executing the same processing as the video receiving device 200 according to the above-mentioned prerequisite technologies 1 and 2 with respect to the transmission data transmitted from the video transmitting device 3. Further, the video receiving device 4 is configured to be able to execute the HDR composition process using the HDR information transmitted from the video transmitting device 3.
- the video transmitting device 3 and the video receiving device 4 are illustrated mainly in the configuration related to the HDR composition processing.
- the video transmission device 3 includes an imaging unit 31 that images an object.
- the imaging unit 31 has, for example, a photoelectric conversion unit 311 that converts incident light into an electric signal.
- the photoelectric conversion unit 311 is composed of, for example, a CCD image sensor or a CMOS image sensor.
- the imaging unit 31 has a signal conversion unit 312 that converts an analog electric signal input from the photoelectric conversion unit 311 into digital image data.
- the signal conversion unit 312 executes signal amplification (AGC) processing of the analog electric signal input from the photoelectric conversion unit 311 and analog-to-digital conversion (ADC) processing for converting the amplified electric signal into a digital signal. It is configured.
- the imaging unit 31 has an amplification unit 313 that applies digital gain to the image data input from the signal conversion unit 312.
- the amplification unit 313 is configured to output digitally gained image data to the transmission unit 322.
- the video transmission device 3 includes a control unit 32 that controls the imaging unit 31 and controls predetermined signal processing.
- the control unit 32 includes a sensor CPU 321, a transmission unit 322, and a detection unit 323.
- the sensor CPU 321 is configured to exhibit the same functions as the image processing units 120 and 130 (see FIG. 2).
- the transmission unit 322 is configured to exhibit the same function as the transmission unit 140 (see FIG. 2). Further, in the control unit 32, the sensor CPU 321 may be replaced with the image processing units 120 and 130, and the transmission unit 322 may be replaced with the transmission unit 140.
- the detection unit 323 is connected to the signal conversion unit 312 and the amplification unit 313.
- the detection unit 323 acquires digital image data from the signal conversion unit 312. Further, the detection unit 323 acquires the image data after gain adjustment from the amplification unit 313.
- the detection unit 323 is configured to generate detection information including brightness and color information and digital gain information set by the amplification unit 313 based on the acquired image data, and output the detection information to the control unit 32. There is.
- the sensor CPU 321 has an exposure control unit 321a that controls the exposure conditions of the photoelectric conversion unit 311.
- the exposure control unit 321a is configured to control the exposure conditions based on the detection information input from the detection unit 323.
- the sensor CPU 321 has a conversion area control unit (an example of a control unit) 321b that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis of ROI image data.
- the sensor CPU 321 having the conversion area control unit 321b and the control unit 32 each correspond to an example of a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis of image data of the region of interest ROI.
- the exposure control unit 321a instructs the imaging unit 31 to change the exposure conditions for imaging, the exposure conditions (references) determined by automatic exposure are taken in order to capture an image based on the exposure state. It is designed to instruct imaging under (exposure conditions).
- the conversion area control unit 321b is configured to acquire HDR information of the attention area ROI. When a plurality of attention area ROIs are set, the conversion area control unit 321b is configured to acquire HDR information for each attention area ROI. The conversion area control unit 321b is configured to acquire one single piece of information, one of the coordinates, the size, and the exposure information of the end of the attention area ROI, or a combination of two or more of them as HDR information. ing.
- the coordinates of the end of the ROI correspond to the coordinates of the reference pixel described above, and in this embodiment, they are the coordinates of the pixel at the upper left end of the ROI.
- the coordinates of the upper left end portion are acquired as the end portion of the attention region ROI, but any end portion of the four corners can be used as long as the information can specify the position of the attention region ROI. It may be information on other places.
- the information on the size of the region of interest ROI includes information on the respective lengths of the region of interest ROI in the X-axis direction and the Y-axis direction.
- the conversion area control unit 321b is configured to acquire the high dynamic range information of two consecutive frames.
- the conversion area control unit 321b acquires HDR information in association with each of the plurality of areas of interest ROI for each frame.
- the conversion area control unit 321b outputs the acquired HDR information to the transmission unit 322.
- the sensor CPU 321 Similar to the ROI cutting section 121 (see FIG. 2), the sensor CPU 321 sets the smallest rectangle including the object as the ROI of interest even if the object to be cut out is not rectangular. Further, the sensor CPU 321 derives the position information (upper left end portion, length in the X-axis direction, length in the Y-axis direction) of the ROI of interest, and receives video, similarly to the ROI analysis unit 122 (see FIG. 2). It is configured to be sent to the device 4.
- the sensor CPU 321 is configured to input parameters such as a shooting method and exposure conditions output by the Cam CPU 411 (details will be described later) provided in the video receiving device 4.
- the sensor CPU 321 is configured to control the exposure control unit 321a based on the input information.
- the video transmission device 3 includes a control unit 33 and a non-volatile storage unit 34.
- the control unit 33 controls detection of the imaging target, image recognition, and the like when the image transmitting device 3 determines the imaging target.
- the non-volatile storage unit 34 stores initial adjustment data of the video transmitting device 3 and the video receiving device 4, and the like.
- the transmission unit 322 includes transmission data (see FIGS. 6 and 12) including the coordinates (cutout coordinates) and size of the region of interest ROI input from the sensor CPU 321, HDR information, and image data input from the image pickup unit 31. ) Is generated and sent to the video receiving device 4.
- the high dynamic range information is transmitted from the transmission unit 322 included in the ROI information.
- the ROI information is included in the embedded data of the packet area constituting the transmission data and transmitted from the transmission unit 322. Therefore, in the present embodiment, the HDR information is included in the embedded data and transmitted from the transmission unit 322.
- the video transmission device 3 transmits the high dynamic range information included in the embedded data or the payload data from the transmission unit 322. More specifically, the video transmission device 3 transmits information on the coordinates, size, and exposure information of the end portion of the region of interest ROI from the transmission unit 322 as high dynamic range information. Further, the video transmission device 3 transmits high dynamic range information of two consecutive frames from the transmission unit 322.
- the video transmission device 3 includes a transmission unit 322 that transmits the image data of the region of interest ROI as payload data and also transmits information about the region of interest ROI as embedded data.
- the transmission unit 322 includes HDR information as one of the information about the region of interest ROI in the embedded data or the payload data (embedded data in the present embodiment) and transmits the HDR information to the video receiving device 4.
- the transmission unit 322 is configured to transmit transmission data including demosaic information in the MIPI D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard.
- the video receiving device 4 includes a control unit 41 that controls predetermined signal processing using the transmission data transmitted from the video transmitting device 3.
- the control unit 41 has a CamCPU 411, a reception unit 412, a storage unit 413, and an embedded data acquisition unit 414.
- the CamCPU 411 is configured to exhibit the same functions as the information processing unit 220 (see FIG. 8) except for the information extraction unit 221 (see FIG. 8).
- the transmission unit 322 is configured to exhibit the same functions as the reception unit 210 (see FIG. 8) except for the EBD interpretation unit 214 (see FIG. 8).
- the video receiving device 4 is configured such that the embedded data acquisition unit 414 exerts the same functions as the EBD interpretation unit 214 and the information extraction unit 221.
- the reception unit 412 and the embedded data acquisition unit 414 may be replaced with the reception unit 210.
- the function of the information extraction unit 221 exhibited by the embedded data acquisition unit 414 is exhibited by the receiving unit 220.
- the video receiving device 4 includes a receiving unit 412 that includes the image data of the ROI of interest in the payload data and receives the transmission signal including the ROI information in the embedded data.
- the receiving unit 412 is configured to receive the transmission data input from the video transmitting device 3.
- the receiving unit 412 receives the transmission data in the MIPI D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard.
- the receiving unit 412 is configured to generate various data from the input transmission data and output it to the CamCPU 411, the storage unit 413, and the embedded data acquisition unit 414.
- the storage unit 413 is configured to store the image data ROI Raw of the region of interest ROI.
- the image data ROI Raw is raw image data acquired by the photoelectric conversion unit 311 called Raw data, Raw image, undeveloped data, or the like.
- the video receiving device 4 extracts high dynamic range information, which is information used for high dynamic range synthesis for image data of the region of interest ROI, from a transmission signal (transmission data) received by the receiving unit 412. It is provided with an embedded data acquisition unit (an example of a control unit) 414 that controls the above.
- the control unit 41 having the embedded data acquisition unit 414 extracts the high dynamic range information, which is information used for high dynamic range synthesis for the image data of the region of interest ROI, from the transmission signal (transmission data) received by the reception unit 412. It corresponds to an example of a control unit to be controlled.
- the embedded data acquisition unit 414 is configured to extract high dynamic range information from the ROI information included in the transmission signal (transmission data) input from the reception unit 412.
- the embedded data acquisition unit 414 is configured to extract single information of any one of the coordinates, size, and exposure information of the end portion of the region of interest ROI, or combination information obtained by combining any two or more of them as high dynamic range information. Has been done.
- the HDR information received by the receiving unit 412 is the information transmitted from the transmitting unit 322. Therefore, the coordinates of the end of the ROI in the HDR information received by the receiving unit 412 correspond to the coordinates of the reference pixel described above, and in this embodiment, they are the coordinates of the pixel at the upper left end of the ROI.
- the coordinates of the upper left end portion are acquired as the end portion of the attention region ROI, but any end portion of the four corners can be used as long as the information can specify the position of the attention region ROI. It may be information on other places.
- the information on the size of the region of interest ROI includes information on the respective lengths of the region of interest ROI in the X-axis direction and the Y-axis direction.
- the embedded data acquisition unit 414 extracts high dynamic range information of two consecutive frames.
- the embedded data acquisition unit 414 includes information on the coordinates of the pixels at the upper left end of the attention region ROI, for example, the size of the attention region ROI (the length in the X-axis direction and the length in the Y-axis direction), and the attention region.
- the ROI and column information are acquired for each frame and output to CamCPU411.
- the embedded data acquisition unit 414 includes various information contained in the embedded data (for example, the number of attention region ROIs, the region number and priority of the attention region ROI, the data length of the attention region ROI, and the attention region ROI. Get the image format etc.).
- the embedded data acquisition unit 414 also outputs various acquired information to the CamCPU 411.
- the CamCPU 411 is configured to send parameters such as a shooting method and an exposure condition to the sensor CPU 321.
- the CamCPU411 sends information to the sensor CPU 321 instructing shooting for use in, for example, HDR synthesis processing as a shooting method.
- the CamCPU 411 has an ROI match determination unit 411a.
- the ROI match determination unit (an example of the control unit) 411a of the two frames based on the individual information or the combination information of the attention region ROI of each of the two consecutive frames in which the identification information of the attention region ROI matches. It is configured to determine whether or not the respective areas of interest ROIs match.
- the CamCPU411 having the ROI match determination unit 411a and the control unit 41 having the CamCPU411, respectively, have the identification information of the eye region ROI matching and based on the single information or the combination information of the respective attention region ROIs of the two consecutive frames. This corresponds to an example of a control unit that determines whether or not the ROIs of the attention regions of the two frames match.
- the ROI match determination unit 411a is configured to determine the degree of coincidence of the attention region ROIs between different frames based on various information input from the embedded data acquisition unit 414. That is, the ROI match determination unit 411a determines whether or not the two attention region ROIs between different frames satisfy the above-mentioned synthesis conditions 1 to 3 based on various information input from the embedded data acquisition unit 414. .. When information about a plurality of attention area ROIs is input from the embedded data acquisition unit 414 in one frame, the ROI match determination unit 411a determines whether or not there is a match with the attention area ROI in another frame for each attention area ROI. ..
- the ROI match determination unit 411a has an attention region ROI that satisfies the synthesis conditions 1 to 3 in order to determine whether or not to execute HDR synthesis when information about the attention region ROI is input from the embedded data acquisition unit 414. Determine whether or not to do so.
- the ROI match determination unit 411a determines whether or not there is a region of interest ROI that satisfies the synthesis condition 1 between different frames. When the ROI match determination unit 411a determines that there is a region of interest ROI that satisfies the synthesis condition 1, it then determines whether or not the synthesis condition 2 is satisfied for the region of interest ROI.
- the ROI match determination unit 411a satisfies the synthesis condition 1 (that is, the area numbers match) in order to determine whether or not the synthesis condition 2 is satisfied.
- the coordinates of the reference pixels of the two attention region ROIs (an example of single information) Determines if has a given match.
- the X coordinate of the reference pixel of the attention region ROI of the i-1 frame (i is a natural number) is set to "Xr (i-1)"
- the Y coordinate of the reference pixel is set to "Yr (i-1)".
- the X coordinate of the reference pixel of the attention region ROI of the i frame (i is a natural number) is set to "Xr (i)", and the Y coordinate of the reference pixel is set to "Yr (i)".
- the X coordinate threshold value is set to "Xth” as the predetermined threshold value of the X coordinate
- the Y coordinate threshold value is set to "Yth” as the predetermined threshold value of the Y coordinate.
- the ROI match determination unit 411a determines whether or not the coordinates of the reference pixels of the two attention region ROIs satisfying the synthesis condition 1 satisfy both the following equations (1) and (2).
- the ROI match determination unit 411a determines whether or not the synthesis condition 3 is satisfied for the region of interest ROI that satisfies the synthesis condition 2.
- the ROI match determination unit 411a determines whether or not the size of the region of interest ROI satisfying the synthesis condition 2 (an example of single information) has a predetermined consistency in order to determine whether or not the synthesis condition 3 is satisfied. ..
- the length of the attention region ROI of the i-1 frame (i is a natural number) in the X-axis direction (horizontal direction) is defined as "XL (i-1)”
- the Y-axis direction longitudinal direction
- the length of the attention region ROI of the i-frame (i is a natural number) in the X-axis direction (horizontal direction) is defined as "XL (i)”
- the length of the attention region ROI in the Y-axis direction (vertical direction) is defined as "XL (i)”.
- the X-direction threshold value is set to "XLth” as the predetermined threshold value in the X-axis direction (horizontal direction)
- the Y-direction threshold value is set to "YLth” as the predetermined threshold value in the Y-axis direction (longitudinal direction).
- the ROI match determination unit 411a determines whether or not the sizes of the two attention region ROIs satisfying the synthesis condition 2 satisfy both the following equations (3) and (4).
- the X coordinate threshold value, the Y coordinate threshold value, the X direction threshold value, and the Y direction threshold value are set according to the resolution of the imaging region of the imaging unit 31, the use of the video transmitting device 3, the video receiving device 4, and the video transmission system 10. For example, the higher the resolution of the imaging region of the imaging unit 31, the larger the respective threshold values are set. As the resolution of the imaging region of the imaging unit 31 is higher, even if the positions and sizes of the two ROIs of interest are slightly displaced, the effect of the deviation cannot be visually recognized in the image after HDR composition, which is a practical problem. do not become.
- the X coordinate threshold value, the Y coordinate threshold value, the X direction threshold value, and the Y direction threshold value may be set to large values. Further, a part of the X coordinate threshold value, the Y coordinate threshold value, the X direction threshold value, and the Y direction threshold value is set to a large value (small value), and the remainder is set to a smaller value (larger value) than the part. May be done.
- the ROI match determination unit 411a determines whether or not each of the synthesis condition 2 and the synthesis condition 3 satisfies the respective synthesis conditions based on the single information. Therefore, when the ROI match determination unit 411a looks at the synthesis condition 1 to the synthesis condition 3 as a whole, does the ROI of the attention region of each of the two frames match based on the combination information in which the two single pieces of information are combined? Judge whether or not.
- the determination order of the synthesis condition 2 and the synthesis condition 3 is not limited to the above-mentioned order.
- the ROI match determination unit 411a may determine the synthesis condition 3 first, and may determine the synthesis condition 2 when the synthesis condition 3 is satisfied. Further, the ROI match determination unit 411a can reduce the processing load by omitting the determination of the residual composition condition when one synthesis condition is not satisfied.
- the CamCPU411 sets the execution condition of the HDR synthesis process.
- the HDR instruction signal including the filled area number of the region of interest ROI and the instruction information instructing the execution of the HDR composition processing is output to the HDR composition unit 42 (details will be described later).
- the ROI match determination unit 411a determines that the region of interest ROI satisfying the synthesis conditions 1 to 3 does not exist based on the HDR information input from the embedded data acquisition unit 414
- the CamCPU411 performs the HDR composition processing.
- the HDR instruction signal including the instruction information instructing not to execute is output to the HDR synthesis unit 42.
- the video receiving device 4 uses the high dynamic range information extracted by the embedded data acquisition unit 414 to process the high dynamic range composition of the image data of the attention region ROI (processing unit).
- One example) 42 is provided.
- the HDR synthesis unit 42 receives the HDR instruction signal including the instruction information instructing the execution of the HDR synthesis process, the HDR synthesis unit 42 reads out the image data of the area number of the region of interest ROI included in the HDR instruction signal from the storage unit 413. , An HDR composite image is generated using the read image data.
- the HDR composition unit 42 executes high dynamic range composition on the image data of the attention region ROI based on the exposure information of the attention region ROI.
- the HDR composition unit 42 receives the HDR instruction signal including the instruction information instructing not to execute the HDR composition process
- the reference exposure condition of the area number of the region of interest ROI included in the HDR instruction signal is used.
- the image data of the above is read from the storage unit 413, and the read image data is output to the subsequent device as it is. That is, in two consecutive frames in which the area numbers (an example of identification information) of the area of interest ROI match, at least one of the difference in the coordinates of the end of the area of interest ROI and the difference in the size of the area of interest ROI is When it is larger than a predetermined threshold, the HDR compositing unit 42 does not perform high dynamic range compositing on the image data of the region of interest ROI.
- the video receiving device 4 may have an image quality adjusting unit (not shown) after the HDR compositing unit 42.
- the image quality adjustment unit adjusts the image quality by executing RGB processing for adjusting gamma correction and white balance and YC processing for adjusting the shading and brightness of the image quality on the image data input from the HDR composition unit 42. It may be configured to do so.
- the image quality adjusting unit is configured to output the image quality adjusted image to, for example, a display device (not shown). As a result, the display device displays an image in which HDR composition has been performed as necessary at a portion corresponding to the region of interest ROI.
- FIG. 15 is a flowchart showing an example of the flow of high dynamic range synthesis processing in the transmission device, the reception device, and the transmission system according to the present embodiment.
- Step S31 As shown in FIG. 15, the sensor CPU 321 provided in the video transmission device 3 detects the frame start trigger, and when imaging by the high dynamic range is determined, first controls the exposure in the imaging unit 31. Therefore, the exposure conditions are set, and the process proceeds to step S33.
- the sensor CPU 321 sets a plurality of exposure conditions based on the detection information input from the detection unit 323. Further, the sensor CPU 321 sets the exposure conditions including the reference exposure conditions.
- Step S33 The sensor CPU 321 determines a cutout position for cutting out an image from the image pickup area of the image pickup unit 31, and proceeds to the process of step S35.
- the sensor CPU 321 has the cutout position, that is, the coordinates of the reference pixel of the region of interest ROI (coordinates of the upper left end of the region of interest ROI in this embodiment) and the image size (lengths in the X-axis direction and the Y-axis direction).
- the sensor CPU 321 sets in the embedded data as HDR information the information in which the determined coordinates and image size of the region of interest ROI and the exposure conditions and digital gains of the region of interest ROI are associated with the region number of the region of interest ROI. ..
- the sensor CPU 321 acquires HDR information for each frame input from the imaging unit 31 and sets it as embedded data.
- Step S35 The sensor CPU 321 sets the transmission data including the embedded data in which the HDR information and various other information are set in the transmission unit 322, and ends the HDR synthesis process.
- the transmission data set in step S35 is transmitted from the video transmitting device 3 to the video receiving device 4 by communication by hardware (HW) using MIPI.
- the receiving unit 412 provided in the video receiving device 4 extracts the embedded data from the received transmission data and outputs it to the embedded data acquisition unit 414.
- the embedded data acquisition unit 414 decodes the embedded data input from the receiving unit 412 and decodes various information (for example, the number of the region of interest ROI, the region number and priority of the region of interest ROI, the data length of the region of interest ROI, and the region of interest ROI. (Image format, etc.) is acquired, and the acquired various information is output to CamCPU411.
- Step S41 The CamCPU 411 has a priority based on various information acquired and input by the embedded data acquisition unit 414 from the transmission data received by the receiving unit 412, triggered by the timing when the embedded data is decoded by the embedded data acquisition unit 414.
- the coordinates (position and size) of the highest attention region ROI are acquired, and the process proceeds to step S43.
- the CamCPU 411 cuts out the position and size of the attention region ROI having the highest priority (that is, the coordinates of the reference pixel, the length in the X-axis direction, and the Y-axis direction) based on the HDR information included in the various information. Length) is obtained for each frame.
- Step S43 Based on the acquired HDR information of the region of interest ROI, the CamCPU 411 determines whether or not the size matches the cutout position of the region of interest ROI between frames. When the CamCPU 411 determines that all of the synthesis conditions 1 to 3 are satisfied based on whether or not the synthesis conditions 1 to 3 are satisfied in the ROI match determination unit 411a, the process proceeds to the process of step S45. On the other hand, when the CamCPU 411 determines that at least one of the synthesis conditions 1 to 3 is not satisfied, the process proceeds to the process of step S47.
- Step S45 The CamCPU411 outputs an HDR instruction signal including the area number of the region of interest ROI satisfying the execution condition of the HDR synthesis process and the instruction information instructing the execution of the HDR synthesis process to the HDR synthesis unit 42, and performs the process in step S47. Transition.
- the HDR compositing unit 42 reads out the image data of the predetermined region of interest ROI from the storage unit 413 based on the HDR instruction signal input from the CamCPU 411, and executes the HDR compositing process.
- Step S47 The CamCPU411 determines whether or not the processes of steps S41 to S45 have been executed for all the attention region ROIs input from the embedded data acquisition unit 414. When it is determined that the CamCPU411 has executed the process in all the attention area ROIs (Yes), the CamCPU411 ends the HDR synthesis process. On the other hand, when the CamCPU 411 determines that the process is not executed in all the attention area ROIs (No), the process returns to the process of step S41. The CamCPU411 repeats the processes of steps S41 to S47 until the HDR synthesis process for all the regions of interest ROI is completed.
- the transmission device, the reception device, and the transmission system according to the present embodiment can realize high dynamic range composition processing for a part of the attention region (ROI) cut out from the captured image.
- ROI attention region
- the transmitting device, the receiving device, and the transmission system according to the present embodiment can perform high dynamic range composition on a part of the images obtained by cutting out the object specified as the imaging target without transmitting all the captured images. ..
- the transmission device, the reception device, and the transmission system according to the present embodiment can reduce the processing load in high dynamic range synthesis, so that the power consumption can be reduced.
- the long and short exposures in the transmitting device, the receiving device and the transmission system according to the present embodiment can be a countermeasure against flicker.
- the transmission device, the reception device, and the transmission system according to the first modification of the first embodiment will be described with reference to FIG.
- the transmission device, the reception device, and the transmission system according to the present modification are characterized in that the ROI match determination unit 411a in the first embodiment is provided not in the video reception device 4 but in the video transmission device 3. .
- the ROI match determination unit in the present modification will be described with reference to the same reference reference numerals as those of the ROI match determination unit 411a in the first embodiment.
- the ROI match determination unit (an example of the control unit) 411a in this modification is connected to, for example, the conversion area control unit 321b and is provided in the sensor CPU 321.
- the ROI match determination unit 411a receives from the conversion area control unit 321b the single information of any one of the coordinates, size, and exposure information of the end portion of the ROI of interest, or the combination information in which any two or more of them are combined. Entered.
- the ROI match determination unit 411a is configured to exhibit the same function as the ROI match determination unit 411a in the first embodiment.
- the ROI match determination unit 411a is based on the individual information or the combination information of the attention region ROIs of the two consecutive frames in which the identification information of the attention region ROIs match, and the ROI match determination unit 411a of each of the two frames. It is possible to determine whether or not the attention area ROIs match.
- the ROI match determination unit 411a is connected to, for example, the transmission unit 322. Therefore, the ROI match determination unit 411a, the information of the determination result of whether or not the attention area ROIs of the two frames match, and the information in which the identification information of the attention area ROI is associated with the transmission unit 322 Can be output to. As a result, the transmission unit 322 provides information in which the information of the determination result of whether or not the attention area ROIs of the two frames match in the conversion area control unit 321b and the identification information of the attention area ROI are associated with each other. Independent information or combined information including information on defective pixels can be included in the ROI information and transmitted to the receiving unit 412 provided in the video receiving device 4.
- the receiving unit 412 contains information and defective pixels in which the information of the determination result of whether or not the attention region ROIs of the two frames in the video transmission device 3 match and the identification information of the attention region ROI are associated with each other. Receives a transmission signal containing ROI information with single or combined information containing the information.
- the embedded data acquisition unit 414 can acquire the information of the determination result, the identification information of the region of interest ROI, and the information of the defective pixel from the ROI information received by the reception unit 412.
- the HDR composition unit 42 can execute the HDR composition process based on the information of the determination result acquired by the embedded data acquisition unit 414, the identification information of the region of interest ROI, and the information of the defective pixel.
- Modification 2 The transmission device, the reception device, and the transmission system according to the second modification of the first embodiment will be described with reference to FIG.
- the transmission device, the reception device, and the transmission system according to the present modification are characterized in that the HDR compositing unit 42 in the above modification 1 is provided not in the video reception device 4 but in the video transmission device 3.
- the ROI match determination unit and the HDR composition unit 42 in the present modification will be described below using the same reference numerals as the ROI match determination unit 411a and the HDR composition unit 42 in the first embodiment. ..
- the ROI match determination unit 411a is connected not to the transmission unit 322 but to, for example, the HDR synthesis unit (an example of the processing unit) 42. Further, the conversion area control unit 321b is connected to the HDR synthesis unit 42 in addition to the ROI match determination unit 411a.
- the HDR compositing unit 42 the information of the determination result as to whether or not the attention region ROIs of the two frames match and the identification information of the attention region ROI are associated with the information and the defective pixel. Information is entered.
- the HDR composition unit 42 refers to the image data of the attention region ROI based on the exposure information. High dynamic range composition can be processed.
- the HDR composition unit 42 processes high dynamic range composition on the image data of the attention area ROI when it is determined by the ROI match determination unit 411a that the attention area ROIs of the two frames do not match. do not do.
- the HDR synthesis unit 42 is connected to the transmission unit 322. Therefore, when the HDR composition unit 42 executes the high dynamic range composition, the HDR composition unit 42 can output the image data of the high dynamic range composition to the transmission unit 322.
- the transmission unit 322 can transmit the image data synthesized by the HDR synthesis unit 42 in the high dynamic range, including the image data in the ROI information.
- the video receiving device 4 When the HDR composite processed image data is input from the video transmitting device 3, the video receiving device 4 performs RGB processing for adjusting, for example, gamma correction and white balance, and the shading and brightness of the image quality.
- the image quality may be adjusted by executing a YC process for adjusting the image quality.
- the image receiving device 4 is configured to output an image whose image quality has been adjusted to, for example, a display device (not shown). As a result, the display device displays an image in which HDR composition has been performed as necessary at a portion corresponding to the region of interest ROI.
- the transmission device, the receiving device, and the transmission system according to the first modification and the second modification have the same effects as the transmission device, the receiving device, and the transmission system according to the first embodiment, respectively.
- FIG. 16 is a diagram schematically showing the high dynamic range synthesis process in the present embodiment.
- short-exposure images and long-exposure images are alternately arranged in two rows in the region of interest ROI.
- the coordinates of the reference pixels of the region of interest ROI and short exposure and long exposure are used.
- the HDR composition process is executed for each ROI of interest.
- an HDR composite image in the region of interest ROI can be generated.
- FIG. 17 is a diagram showing exposure patterns PA1 to PA4 of the image pickup device cut out from the image pickup region shown on the left side of the thick arrow in FIG.
- array example A an array in which the exposure and color of the imaging region shown on the left side of the thick arrow in FIG. 16 are combined is referred to as "array example A”.
- short-exposure images and long-exposure images are arranged alternately in two rows each. That is, in the imaging region in Arrangement Example 1, two rows of short-exposure pixels and two rows of long-exposure pixels are arranged alternately. Further, the imaging region in the arrangement example 1 has a red pixel (hereinafter, abbreviated as “R pixel”) arranged at the upper left end portion. Further, in the imaging region in Arrangement Example 1, the left end portion is an R pixel, and the odd-numbered rows in which the R pixel and the green pixel (hereinafter, abbreviated as “G pixel”) are alternately arranged, and the left end portion is a G pixel. And has an even number of rows in which G pixels and blue pixels (hereinafter, abbreviated as "B pixels”) are alternately arranged.
- R pixel red pixel
- G pixel green pixel
- B pixels blue pixels
- the color arrangement of the entire pixel in the imaging region in the arrangement example A is fixed. Therefore, when the region of interest ROI is cut out from the imaging region in the arrangement example A, eight exposure patterns PA1 to PA8 are used as a combination of the exposure and the color arrangement included in the region of interest ROI, as shown in FIG. 17, depending on the position of the cutout. is there.
- the upper left end portion in the exposure pattern PA1 corresponds to the short exposure R pixel.
- the coordinates of the upper left end of the exposure pattern PA1 are represented by "2 x m-1" for the X coordinate and "1 + (n-1) x d" for the Y coordinate.
- m and n are natural numbers.
- d is the number of types of array patterns in the Y-axis direction (vertical direction), and is "4" in this example.
- m, n, and d mean the same contents in the sequence pattern in the present embodiment. Further, if the size of the region to be cut out is 5 rows and 5 columns, as shown in FIG.
- the exposure pattern PA1 has "R pixel, G pixel, R pixel, G pixel, R" in which the first row is a short exposure.
- the second line is a short-exposure "G pixel, B pixel, G pixel, B pixel, G pixel”.
- the third line is the long exposure "R pixel, G pixel, R pixel, G pixel, R pixel”
- the fourth line is the long exposure "G pixel, B pixel, G pixel, B”. Pixel, G pixel ".
- the exposure pattern PA1 has the same exposure conditions and color arrangement as those in the first row on the fifth row.
- the upper left end portion of the exposure pattern PA2 corresponds to a short-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PA2 are represented by "2 x m" for the X coordinate and "1 + (n-1) x d" for the Y coordinate.
- the first row is a short exposure “G pixel, R pixel, G pixel, R pixel, G”.
- the second line is a short-exposure "B pixel, G pixel, B pixel, G pixel, B pixel".
- the third line is the long exposure "G pixel, R pixel, G pixel, R pixel, G pixel", and the fourth line is the long exposure "B pixel, G pixel, B pixel, G". Pixel, B pixel ".
- the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PA3 corresponds to a short-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PA3 are represented by "2 x m-1" for the X coordinate and "2 + (n-1) x d" for the Y coordinate.
- the first row is a short exposure “G pixel, B pixel, G pixel, B pixel, G”.
- the second line is the long-exposure "R pixel, G pixel, R pixel, G pixel, R pixel".
- the third line is the long exposure "G pixel, B pixel, G pixel, B pixel, G pixel", and the fourth line is the short exposure "R pixel, G pixel, R pixel, G”. Pixel, R pixel ".
- the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PA4 corresponds to a short-exposure B pixel.
- the coordinates of the upper left end of the exposure pattern PA4 are represented by "2 x m" for the X coordinate and "2 + (n-1) x d" for the Y coordinate.
- the first row is a short exposure “B pixel, G pixel, B pixel, G pixel, B”.
- the second line is the long-exposure "G pixel, R pixel, G pixel, R pixel, G pixel.
- the third line is the long exposure "B pixel, G pixel, B pixel, G pixel, B pixel", and the fourth line is the short exposure "G pixel, R pixel, G pixel, R”. Pixel, G pixel ".
- the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PA5 corresponds to a long-exposure R pixel.
- the coordinates of the upper left end portion of the exposure pattern PA5 are represented by "2 x m-1" for the X coordinate and "3+ (n-1) x d" for the Y coordinate.
- the exposure pattern PA5 has the same color arrangement as the exposure pattern PA1 and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PA6 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PA6 are represented by "2 x m" for the X coordinate and "3 + (n-1) x d" for the Y coordinate.
- the exposure pattern PA6 has the same color arrangement as the exposure pattern PA2, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PA7 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PA7 are represented by "2 x m-1" for the X coordinate and "4+ (n-1) x d" for the Y coordinate.
- the exposure pattern PA7 has the same color arrangement as the exposure pattern PA3, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PA8 corresponds to a long-exposure B pixel.
- the coordinates of the upper left end of the exposure pattern PA8 are represented by "2 x m" for the X coordinate and "4 + (n-1) x d" for the Y coordinate.
- the exposure pattern PA8 has the same color arrangement as the exposure pattern PA4, and the short exposure and the long exposure are reversed. have.
- FIG. 18 is a diagram schematically showing an arrangement example B in which the exposure conditions and the color arrangement of the image pickup element provided in the image pickup region of the image pickup unit are combined.
- FIG. 19 is a diagram showing exposure patterns PB1 to PB16 of the image pickup device cut out from the arrangement example B shown in FIG.
- R pixels and G pixels are arranged alternately in the odd-numbered rows, and G pixels and B pixels are arranged alternately in the even-numbered rows.
- the R pixel is arranged at the left end portion of the odd-numbered rows
- the G pixel is arranged at the left end portion of the even-numbered rows.
- the G pixel and the pixel adjacent to the right side of the G pixel are set as a set, and the exposure conditions of the set are configured so that short exposure and long exposure are alternately repeated.
- the exposure condition of the left end portion of the first row, the fourth row, the fifth row, and the sixth row is short exposure
- the exposure condition of the left end portion of the remaining row is long exposure. ing.
- the color arrangement of the entire pixel in the imaging region in the arrangement example B is fixed. Therefore, when the region of interest ROI is cut out from the imaging region in the arrangement example B, 16 exposure patterns PB1 to PB16 are combined as a combination of the exposure and the color arrangement included in the region of interest ROI, depending on the position of the cutout, as shown in FIG. There is.
- the upper left end portion in the exposure pattern PB1 corresponds to the short exposure R pixel.
- the coordinates of the upper left end of the exposure pattern PB1 are represented by "1+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
- dx is the number of types of array patterns in the X-axis direction (horizontal direction), and is "4" in this example.
- dy is the number of types of array patterns in the Y-axis direction (vertical direction), and is "4" in this example.
- the first row of the exposure pattern PB1 is "short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure”.
- Exposure G pixel, short exposure R pixel and the second line becomes "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel.
- short exposure R pixel means that the exposure condition is a short exposure R pixel
- long exposure R pixel means that the exposure condition is a long exposure R pixel.
- the same notation is given for other exposure conditions and combinations of color pixels.
- the exposure pattern PB1 has the same exposure conditions and color arrangement as those in the first row on the fifth row.
- the upper left end portion of the exposure pattern PB2 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB2 are represented by "2+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
- the first row of the exposure pattern PB2 is "long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure".
- Exposure R pixel, long exposure G pixel and the second line is short exposure "long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel”.
- the third line is "short exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel”
- the fourth line is "short exposure B pixel, short exposure”.
- Exposure G pixel, long exposure B pixel, long exposure G pixel, short exposure B pixel has the same exposure conditions and color arrangement as those in the first row in the fifth row.
- the upper left end portion of the exposure pattern PB3 corresponds to a long-exposure R pixel.
- the coordinates of the upper left end of the exposure pattern PB3 are represented by "3+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
- the first row of the exposure pattern PB3 is "long exposure R pixel, short exposure G pixel, short exposure R pixel, long".
- Exposure G pixel, long exposure R pixel and the second line is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel".
- the third line is "short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel”
- the fourth line is "long exposure G pixel, long”.
- Exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel Further, the exposure pattern PB3 has the same exposure conditions and color arrangement as those in the first row in the fifth row.
- the upper left end portion of the exposure pattern PB4 corresponds to a short-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB4 are represented by "4+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
- the first row of the exposure pattern PB4 is "short exposure G pixel, short exposure R pixel, long exposure G pixel, long".
- Exposure R pixel, short exposure G pixel and the second line becomes "short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel".
- the third line is "long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel
- the fourth line is "long exposure B pixel, short exposure”.
- Exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel Further, in the exposure pattern PB4, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PB5 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB5 are represented by "1+ (m-1) x dx" for the X coordinate and "2+ (n-1) x d" for the Y coordinate.
- the first row of the exposure pattern PB5 is "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure".
- Exposure B pixel, long exposure G pixel and the second line becomes "long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel".
- the third line is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel
- the fourth line is "short exposure R pixel, long”.
- Exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel Further, in the exposure pattern PB5, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PB5 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB5 are represented by "1+ (m-1) x dx" for the X coordinate and "2+ (n-1) x d" for the Y coordinate.
- the first row of the exposure pattern PB5 is "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure".
- Exposure B pixel, long exposure G pixel and the second line becomes "long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel, short exposure R pixel".
- the third line is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel
- the fourth line is "short exposure R pixel, long”.
- Exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel Further, in the exposure pattern PB5, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PB6 corresponds to a long-exposure B pixel.
- the coordinates of the upper left end of the exposure pattern PB6 are represented by "2+ (m-1) x dx" for the X coordinate and "2+ (n-1) x d" for the Y coordinate.
- the first row of the exposure pattern PB6 is "long exposure B pixel, short exposure G pixel, short exposure B pixel, long".
- Exposure G pixel, long exposure B pixel and the second line is "short exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel".
- the third line is "short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel”
- the fourth line is "long exposure G pixel, long”.
- Exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel Further, in the exposure pattern PB6, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PB7 corresponds to a short-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB7 are represented by "3+ (m-1) x dx" for the X coordinate and "2+ (n-1) x dy" for the Y coordinate.
- the first row of the exposure pattern PB7 is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long".
- Exposure B pixel, short exposure G pixel and the second line becomes "short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel".
- the third line is "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel
- the fourth line is "long exposure R pixel, short exposure”.
- Exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel has the same exposure conditions and color arrangement as those in the first row in the fifth row.
- the upper left end portion of the exposure pattern PB8 corresponds to a short-exposure B pixel.
- the coordinates of the upper left end of the exposure pattern PB8 are represented by "4+ (m-1) x dx" for the X coordinate and "2+ (n-1) x dy" for the Y coordinate.
- the first row of the exposure pattern PB8 is "short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure".
- Exposure G pixel, short exposure B pixel and the second line is "long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel.
- the third line is "long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel”
- the fourth line is "short exposure G pixel, short exposure”.
- Exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel Further, in the exposure pattern PB4, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
- the upper left end portion of the exposure pattern PB9 corresponds to a long-exposure R pixel.
- the coordinates of the upper left end of the exposure pattern PB9 are represented by "1+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB9 has the same color arrangement as the exposure pattern PB1 and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB10 corresponds to a short-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB10 are represented by "2+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB10 has the same color arrangement as the exposure pattern PB2, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB11 corresponds to a short-exposure R pixel.
- the coordinates of the upper left end portion of the exposure pattern PB11 are represented by "3+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB11 has the same color arrangement as the exposure pattern PB3, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB12 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end portion of the exposure pattern PB12 are represented by "4+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB12 has the same color arrangement as the exposure pattern PB4, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB13 corresponds to a short-exposure G pixel.
- the coordinates of the upper left end portion of the exposure pattern PB13 are represented by "1+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB13 has the same color arrangement as the exposure pattern PB5, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB14 corresponds to a short-exposure B pixel.
- the coordinates of the upper left end of the exposure pattern PB14 are represented by "2+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB14 has the same color arrangement as the exposure pattern PB6, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB15 corresponds to a long-exposure G pixel.
- the coordinates of the upper left end of the exposure pattern PB15 are represented by "3+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB15 has the same color arrangement as the exposure pattern PB7, and the short exposure and the long exposure are reversed. have.
- the upper left end portion of the exposure pattern PB16 corresponds to a long-exposure B pixel.
- the coordinates of the upper left end of the exposure pattern PB16 are represented by "4+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
- the exposure pattern PB16 has the same color arrangement as the exposure pattern PB8, and the short exposure and the long exposure are reversed. have.
- the exposure conditions of the entire imaging region are known, the exposure conditions, coordinates, and the size of the region to be cut out can be obtained from the attention region ROI, for example, the exposure conditions and coordinates of the pixels at the upper left end.
- the exposure conditions of the included pixels can be determined. Therefore, the video transmission device transmits information on the exposure conditions, coordinates, and size of the pixels for each attention area ROI to the video reception device as HDR information, so that the video reception device performs HDR composition processing for the attention area ROI. Can be executed.
- the video transmission device and the video reception device each store information in the non-volatile storage element in which the image pickup unit has an image pickup region having the color arrangement of the arrangement example A, and the video transmission device sets the exposure pattern PA1. It is assumed that the information on the upper left portion and the information on the size of the ROI of interest are transmitted to the video receiver as HDR information. Based on the HDR information, the video receiving device can determine which of the exposure patterns PA1 to PA8 shown in FIG. 17 is the exposure condition of the region of interest ROI. The video receiving device executes the HDR composition processing based on the exposure conditions of the determined region of interest ROI. As a result, as shown on the right side of the thick arrow in FIG. 16, the HDR composite image after the HDR composite processing is generated.
- FIG. 20 is a block diagram showing a schematic configuration of a video transmission device 5, a video reception device 6, and a video transmission system 20 according to the present embodiment.
- the components having the same functions and functions as the video transmission device 3, the video reception device 4, and the video transmission system 10 according to the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
- the video transmission device 5 has the same configuration as the video transmission device 3 according to the first embodiment, except that the content of the HDR information included in the embedded data is different. ing.
- the conversion area control unit 521b provided in the video transmission device 5 is configured to acquire HDR information of the region of interest ROI. When a plurality of attention area ROIs are set, the conversion area control unit 521b is configured to acquire HDR information for each attention area ROI.
- the conversion area control unit 521b is configured to acquire as HDR information individual information of any one of the coordinates, size, and exposure information of the reference pixel of the area of interest ROI, or combination information of any two or more of them. There is.
- the information on the size of the region of interest ROI includes information on the respective lengths of the region of interest ROI in the X-axis direction and the Y-axis direction.
- the conversion area control unit 521b is configured to acquire the exposure conditions of the reference pixel (the pixel at the upper left end of the attention area ROI in the present embodiment) as the exposure information.
- the coordinates of the upper left end portion of the attention region ROI are acquired as the reference pixels of the attention region ROI, but the position of the attention region ROI and the exposure pattern of the attention region ROI can be specified.
- the reference pixel used as the exposure information may be any pixel that can be associated with the exposure conditions of all the pixels in the imaging region of the imaging unit 31. For example, when the exposure patterns shown in FIGS.
- the pixels at the lower right end portion are the exposure conditions for all the pixels in the imaging region of the imaging unit 31. It becomes a pixel that can be associated with. Therefore, in this case, the conversion area control unit 521b determines that the pixel at the lower right end of the attention area ROI is a reference pixel, and acquires the coordinates and exposure conditions of the pixel.
- the conversion area control unit 321b uses the acquired size of the area of interest ROI, the coordinates of the reference pixel of the area of interest ROI, the exposure conditions, and the value of the digital gain applied to the image data of the coordinates as HDR information of the area of interest ROI. It is output to the transmission unit 322 in association with the area number.
- the conversion area control unit 321b acquires HDR information for each of the plurality of attention area ROIs and outputs the HDR information to the transmission unit 322.
- the transmission unit 322 creates transmission data included in the embedded data together with ROI information including HDR information input from the conversion area control unit 521b and other information, and transmits the transmission data to the video receiving device 6.
- the sensor CPU 521 has the same configuration as the sensor CPU 321 in the first embodiment, except that the function of the conversion area control unit 521b is different, and is configured to exhibit the same function.
- the control unit 52 has the same configuration as the control unit 32 in the first embodiment, except that the functions of the conversion area control unit 521b are different, and is configured to exhibit the same functions. .. Therefore, the description of the sensor CPU 521 and the control unit 52 will be omitted.
- the CamCPU 611 provided in the video receiving device 6 has a reference pixel determination unit 611a.
- the reference pixel determination unit 611a is based on various information input from the embedded data acquisition unit 414, and the coordinates and exposure of the reference pixel of the attention region ROI (in this embodiment, the coordinates of the pixel at the upper left end of the attention region ROI). It is configured to acquire the conditions and the size of the attention region ROI (each length in the X-axis direction and the Y-axis direction) and specify the pixel pattern (that is, the exposure pattern) of the attention region ROI.
- a plurality of exposure patterns as illustrated in FIGS. 17 and 19 are stored.
- the reference pixel determination unit 611a is based on the coordinates and exposure conditions of the reference pixel of the region of interest ROI acquired from various information input from the embedded data acquisition unit 414 and a plurality of exposure patterns stored in the storage area of the CamCPU411. The exposure pattern of the region of interest ROI is specified.
- the plurality of exposure patterns are stored in the storage area of the sensor CPU 521, and the video transmission device 5 may be configured to transmit the plurality of exposure patterns together with the HDR information to the video reception device 6.
- the conversion area control unit 521b may be configured to select an exposure pattern based on the coordinates of the reference pixel of the attention area ROI and the exposure conditions.
- both the sensor CPU 521 and the Cam CPU 611 may have a plurality of exposure patterns in association with the pattern number.
- the video transmitting device 5 may send the pattern number of the exposure pattern selected by the conversion area control unit 521b based on the coordinates of the reference pixel of the region of interest ROI and the exposure conditions to the video receiving device 6.
- the reference pixel determination unit 611a determines the coordinates and exposure conditions of the reference pixel of the attention area ROI based on the HDR information input from the embedded data acquisition unit 414, the exposure pattern, the area number of the attention area ROI, and the HDR composition processing.
- the HDR instruction signal including the instruction information instructing the execution of is output to the HDR synthesis unit 42.
- the CamCPU 411 performs HDR composition processing.
- the HDR instruction signal including the instruction information instructing not to execute is output to the HDR synthesis unit 42.
- the HDR compositing unit 42 When the HDR compositing unit 42 receives the HDR instruction signal including the instruction information instructing the execution of the HDR compositing process, the HDR compositing unit 42 reads the image data of the area number of the region of interest ROI included in the HDR instruction signal from the CamCPU611 and reads it out. An HDR composite image is generated using the obtained image data.
- the CamCPU 611 has the same configuration as the CamCPU 411 according to the first embodiment, except that it has a reference pixel determination unit 611a, and is configured to exhibit the same function. Further, the control unit 61 has the same configuration as the control unit 41 in the first embodiment, except that the CamCPU 411 is provided with the reference pixel determination unit 611a and does not have the storage unit 413. , Is configured to perform similar functions. Therefore, the description of the CamCPU 611 and the control unit 61 will be omitted.
- FIG. 21 is a flowchart showing an example of the flow of high dynamic range synthesis processing in the transmission device, the reception device, and the transmission system according to the present embodiment.
- Step S51 the sensor CPU 521 provided in the video transmission device 5 detects the frame start trigger, and when imaging in the high dynamic range is determined, first controls the exposure in the imaging unit 31.
- the exposure conditions are set for this purpose, and the process proceeds to step S53.
- the sensor CPU 521 sets a plurality of exposure conditions based on the detection information input from the detection unit 323. Further, the sensor CPU 521 sets the exposure conditions including the reference exposure conditions.
- Step S53 The sensor CPU 521 determines a cutout position for cutting out an image from the image pickup area of the image pickup unit 31, and proceeds to the process of step S55.
- the sensor CPU 521 determines the cutout position, that is, the coordinates of the reference pixel of the region of interest ROI (coordinates of the upper left end of the region of interest ROI in this embodiment) and the image size (lengths in the X-axis direction and the Y-axis direction). To determine. Further, the sensor CPU 521 sets the information in which the exposure condition and the digital gain of the reference pixel of the determined region of interest ROI are associated with the region number of the region of interest ROI as HDR information in the embedded data. The sensor CPU 521 acquires HDR information for each frame input from the imaging unit 31 and sets it as embedded data.
- Step S55 The sensor CPU 521 sets the transmission data including the embedded data in which the HDR information and various other information are set in the transmission unit 322, and ends the HDR synthesis process.
- the transmission data set in step S55 is transmitted from the video transmitting device 5 to the video receiving device 6 by communication by hardware (HW) using MIPI.
- the receiving unit 412 provided in the video receiving device 6 extracts the embedded data from the received transmission data and outputs it to the embedded data acquisition unit 414.
- the embedded data acquisition unit 414 decodes the embedded data input from the receiving unit 412 and decodes various information (for example, the number of the region of interest ROI, the region number and priority of the region of interest ROI, the data length of the region of interest ROI, and the region of interest ROI. (Image format, etc.) is acquired, and the acquired various information is output to CamCPU611.
- Step S61 The CamCPU611 uses the timing at which the embedded data is decoded by the embedded data acquisition unit 414 as a trigger, and the priority is set based on various information acquired and input by the embedded data acquisition unit 414 from the transmission data received by the receiving unit 412.
- the coordinates (position and size) of the highest attention region ROI are acquired, and the process proceeds to step S63.
- the CamCPU 611 cuts out the position and size of the attention region ROI having the highest priority (that is, the coordinates of the reference pixel, the length in the X-axis direction, and the Y-axis direction) based on the HDR information included in the various information. Length) to get.
- Step S63 The CamCPU611 determines the pixel pattern (that is, the exposure pattern) of the area of interest ROI based on the coordinates of the acquired reference pixel of the area of interest ROI, and proceeds to the process of step S65.
- Step S65 The CamCPU611 provides an HDR instruction signal including the acquired area number of the area of interest ROI, the coordinates and exposure pattern of the reference pixel of the area of interest ROI, the value of the digital gain, and the instruction information instructing the execution of the HDR composition processing.
- the output is output to the HDR compositing unit 42, and the process proceeds to step S67.
- the HDR compositing unit 42 reads out the image data of the predetermined region of interest ROI from the CamCPU611 based on the HDR instruction signal input from the CamCPU611, and executes the HDR compositing process.
- Step S67 The CamCPU611 determines whether or not the processes of steps S61 to S65 have been executed for all the attention region ROIs input from the embedded data acquisition unit 414. When the CamCPU611 determines that the process has been executed for all the regions of interest ROI (Yes), the CamCPU611 ends the HDR synthesis process. On the other hand, when it is determined that the CamCPU611 has not executed the process in all the attention area ROIs (No), the process returns to the process of step S61. The CamCPU611 repeats the processes of steps S61 to S67 until the HDR synthesis process for all the regions of interest ROI is completed.
- the transmission device, the reception device, and the transmission system according to the present embodiment can realize high dynamic range composition processing for a part of the attention region (ROI) cut out from the captured image.
- ROI attention region
- the transmission device even if different exposure conditions are mixed in the pixels constituting the image pickup area of the image pickup unit, the high dynamic range composition process is executed for each attention area ROI. Can be done.
- the transmitting device, the receiving device, and the transmission system according to the present embodiment can perform high dynamic range composition on a part of the images obtained by cutting out the object specified as the imaging target without transmitting all the captured images. ..
- the transmission device, the reception device, and the transmission system according to the present embodiment can reduce the processing load in high dynamic range synthesis, so that the power consumption can be reduced.
- the long and short exposures in the transmitting device, the receiving device and the transmission system according to the present embodiment can be a countermeasure against flicker.
- the transmission device, the reception device, and the transmission system according to the present embodiment have at least one of the ROI match determination unit 411a and the HDR synthesis unit 42, as in the above-described first and second modifications. Can be done.
- the transmitting device, the receiving device, and the transmission system according to the present embodiment have the same effects as the transmitting device, the receiving device, and the transmission system according to the present embodiment according to the first modification and the second modification.
- the present disclosure is not limited to the above embodiment, and various modifications can be made.
- the video receiving device 4 according to the first embodiment is configured to execute the matching determination of the ROI of interest between frames by the ROI matching determination unit 411a provided in the CamCPU 411, but the present disclosure is limited to this. I can't.
- the ROI match determination unit may be configured by hardware.
- the video receiving device 6 is configured to execute the coordinate determination of the reference pixel of the attention region ROI and the determination process of the exposure pattern by the reference pixel determination unit 611a provided in the CamCPU611. Disclosure is not limited to this.
- the reference pixel determination unit may be configured by hardware.
- the video transmitting devices 3 and 5 are configured to include the position information and HDR information of the target object in the payload data for each pixel line and transmit them to the video receiving devices 4 and 6 as in the prerequisite technology 2. May be good.
- the present disclosure may have the following structure.
- a control unit that controls the acquisition of high dynamic range information, which is information used for high dynamic range composition of ROI (Region Of Interest) image data,
- a transmission device including a transmission unit that transmits the image data of the ROI as payload data and transmits ROI information as embedded data.
- the control unit acquires, as the high dynamic range information, single information of any one of the coordinates, size, and exposure information of the end portion of the ROI, or combination information obtained by combining any two or more of them (1). Or the transmitter according to (2).
- the transmission device includes the image data synthesized by the processing unit in a high dynamic range in the ROI information and transmits the image data.
- the transmitter transmits a signal according to the MIPI (Mobile Industry Processor Interface) D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI (Camera Serial Interface) -2 standard, whichever is (1) to (7) above.
- the transmitter according to paragraph 1.
- a receiver that includes ROI (Region Of Interest) image data in the payload data and receives a transmission signal that includes ROI information in the embedded data.
- a control unit that controls extraction of high dynamic range information, which is information used for high dynamic range synthesis for image data of the ROI, from the transmission signal received by the receiving unit.
- a receiving device including a processing unit that processes high dynamic range composition of the image data of the ROI using the high dynamic range information extracted by the control unit.
- the control unit extracts one single piece of information of the coordinates, size, and exposure information of the end of the ROI, or a combination of two or more of them as the high dynamic range information (9). Or the receiving device according to (10).
- the compositing unit In two frames in which the identification information of the ROIs match and are continuous, when at least one of the difference in the coordinates of the end of the ROI and the difference in the size of the ROI is larger than a predetermined threshold, the compositing unit The receiving device according to (12) or (14) above, which does not perform high dynamic range composition on the image data of the ROI. (16)
- the receiving unit includes the ROI information having information associated with the information of the determination result of whether or not the ROIs of the two frames match and the identification information of the ROIs, and the transmission signal.
- the receiving unit receives a signal according to the MIPI (Mobile Industry Processor Interface) D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI (Camera Serial Interface) -2 standard, whichever is (9) to (16) above.
- the receiving device according to paragraph 1.
- a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range composition for ROI (Region Of Interest) image data, and the ROI image data are transmitted as payload data, and ROI information is embedded.
- a transmitter having a transmitter for transmitting data
- a receiver that includes ROI image data in payload data and receives a transmission signal that includes ROI information in embedded data, and a receiver that receives high dynamic range information that is information used for high dynamic range synthesis on the ROI image data.
- a receiving device having a control unit that controls extraction from the transmission signal received in the above, and a processing unit that processes high dynamic range synthesis of the image data of the ROI using the high dynamic range information extracted by the control unit. Transmission system with.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
撮像画像から切り出した一部の注目領域(ROI)のハイダイナミックレンジ合成を実現することを目的とする。送信装置は、ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを備えている。
Description
本開示は、送信装置、受信装置及び伝送システムに関する。
近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われていることが知られている(例えば特許文献1~4)。
撮像画像から切り出した一部の注目領域(ROI(Region Of Interest))を伝送する場合のハイダイナミックレンジ合成について、何ら検討されていない。
本開示の目的は、撮像画像から切り出した一部の注目領域(ROI)のハイダイナミックレンジ合成を実現することにある。
本開示の目的は、撮像画像から切り出した一部の注目領域(ROI)のハイダイナミックレンジ合成を実現することにある。
本開示の一態様による送信装置は、ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを備える。
本開示の一態様による受信装置は、ROI(Region Of Interest)の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部とを備える。
本開示の一態様による伝送システムは、ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを有する送信装置と、ROIの画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置を備える。
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
以下、本開示による技術を実施するための形態(以下、「実施形態」と称する)について、以下の順序により説明する。
1.本開示の前提技術1(撮像画像から切り出した一部(形状が矩形状)の注目領域(ROI)を伝送する技術)
2.本開示の前提技術2(撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術)
3.本開示の第1実施形態におけるハイダイナミックレンジ合成処理の原理
4.本開示の第1実施形態による送信装置、受信装置及び伝送システム
5.本開示の第2実施形態におけるハイダイナミックレンジ合成処理の原理
6.本開示の第2実施形態による送信装置、受信装置及び伝送システム
1.本開示の前提技術1(撮像画像から切り出した一部(形状が矩形状)の注目領域(ROI)を伝送する技術)
2.本開示の前提技術2(撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術)
3.本開示の第1実施形態におけるハイダイナミックレンジ合成処理の原理
4.本開示の第1実施形態による送信装置、受信装置及び伝送システム
5.本開示の第2実施形態におけるハイダイナミックレンジ合成処理の原理
6.本開示の第2実施形態による送信装置、受信装置及び伝送システム
1.本開示の前提技術1:
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、MIPIアライアンスが策定したC-PHY規格やD-PHY規格といった高速インタフェース規格の標準化が進められている。C-PHY規格やD-PHY規格は、通信プロトコルの物理層(physical layer:PHY)のインタフェース規格である。また、C-PHY規格やD-PHY規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのDSIや、カメラデバイス向けのCSIが存在する。
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、MIPIアライアンスが策定したC-PHY規格やD-PHY規格といった高速インタフェース規格の標準化が進められている。C-PHY規格やD-PHY規格は、通信プロトコルの物理層(physical layer:PHY)のインタフェース規格である。また、C-PHY規格やD-PHY規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのDSIや、カメラデバイス向けのCSIが存在する。
本開示の前提技術に係る映像伝送システム1は、種々の規格で信号を送受信できるシステムであり、例えばMIPI CSI-2規格、MIPI CSI-3規格、又は、MIPI DSI規格で信号を送受信することができる。図1は、本開示の前提技術に係る映像伝送システム1の概要を表したものである。映像伝送システム1は、データ信号、クロック信号及び制御信号の伝送に適用されるものであり、映像送信装置100及び映像受信装置200を備えている。映像伝送システム1は、映像送信装置100と映像受信装置200とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンDLと、クロック信号を伝送するクロックレーンCLと、制御信号を伝送するカメラ制御インタフェースCCIとを備えている。図1には、1つのデータレーンDLが設けられている例が示されているが、複数のデータレーンDLが設けられていてもよい。カメラ制御インタフェースCCIは、I2C(Inter-Integrated Circuit)規格と互換性を有する双方向制御インタフェースである。
映像送信装置100は、MIPI CSI-2規格、MIPI CSI-3規格、又は、MIPI DSI規格で信号を送出する装置である。CSIトランスミッタ100Aと、CCIスレーブ100Bとを有している。映像受信装置200は、CSIレシーバ200Aと、CCIマスター200Bとを有している。クロックレーンCLにおいて、CSIトランスミッタ100AとCSIレシーバ200Aとの間は、クロック信号線で接続されている。データレーンDLにおいて、CSIトランスミッタ100AとCSIレシーバ200Aとの間は、クロック信号線で接続されている。カメラ制御インタフェースCCIにおいて、CCIスレーブ100BとCCIマスター200Bとの間は、制御信号線で接続されている。
CSIトランスミッタ100Aは、例えば、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。CSIトランスミッタ100Aは、差動に限られず、シングルエンドや3相の信号も送信できるように構成可能である。CSIトランスミッタ100Aは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。CSIレシーバ200Aは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。CSIレシーバ200Aは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。
(映像送信装置100)
図2は、映像送信装置100の構成の一例を表したものである。映像送信装置100は、CSIトランスミッタ100Aの一具体例に相当する。映像送信装置100は、例えば、撮像部110、画像処理部120,130及び送信部140を備えている。映像送信装置100は、撮像部110で得られた撮像画像111に対して所定の処理を行うことにより生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送信する。図3は、伝送データ147Aの生成手順の一例したものである。
図2は、映像送信装置100の構成の一例を表したものである。映像送信装置100は、CSIトランスミッタ100Aの一具体例に相当する。映像送信装置100は、例えば、撮像部110、画像処理部120,130及び送信部140を備えている。映像送信装置100は、撮像部110で得られた撮像画像111に対して所定の処理を行うことにより生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送信する。図3は、伝送データ147Aの生成手順の一例したものである。
撮像部110は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部110は、例えば、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含んで構成されている。撮像部110は、アナログ-デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Y及び色差成分Cb,Crで表現するYCbCr形式であってもよいし、RGB形式などであってもよい。撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。
画像処理部120は、撮像部110から入力された撮像画像111に対して所定の処理を行う回路である。前提技術1では、画像処理部120は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う場合について説明する。しかしながら、前提技術1では、映像送信装置100、すなわち送信側がROIの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるROIで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。これにより、画像処理部120は、種々のデータ(120A,120B,120C)を生成し、送信部140に出力する。画像処理部130は、撮像部110から入力された撮像画像111に対して所定の処理を行う回路である。画像処理部130は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う。これにより、画像処理部130は、画像データ130Aを生成し、送信部140に出力する。
画像処理部130は、例えば、エンコード部131を有している。エンコード部131は、撮像画像111をエンコードして圧縮像データ130Aを生成する。画像処理部130は、例えば、圧縮像データ130Aの形式として、JPEG(Joint Photographic Experts Group)規格に準拠した圧縮形式等により撮像画像111を圧縮する。
画像処理部120は、例えば、ROI切り出し部121、ROI解析部122、重なり検出部123、優先度設定部124、エンコード部125及び画像処理制御部126を有している。
ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる撮影対象の1又は複数の物体を特定し、特定した物体ごとに注目領域ROIを設定する。注目領域ROIは、例えば、特定した物体を含む方形状の領域である。ROI切り出し部121は、撮像画像111から、各注目領域ROIの画像(例えば図3中のROI画像112)を切り出す。ROI切り出し部121は、さらに、設定した注目領域ROIごとに、識別子として領域番号を付与する。ROI切り出し部121は、例えば、撮像画像111において、2つの注目領域ROIを設定した場合には、一方の注目領域ROI(例えば図3中の注目領域ROI1)に対して、領域番号1を付与し、他方の注目領域ROI(例えば図3中の注目領域ROI2)に対して、領域番号2を付与する。ROI切り出し部121は、例えば、付与した識別子(領域番号)を記憶部に格納する。ROI切り出し部121は、例えば、撮像画像111から切り出した各ROI画像112を記憶部に格納する。ROI切り出し部121は、さらに、例えば、各注目領域ROIに付与した識別子(領域番号)を、ROI画像112と関連づけて、記憶部に格納する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。位置情報113は、例えば、注目領域ROIの左上端座標(Xa,Ya)と、注目領域ROIのX軸方向の長さと、注目領域ROIのY軸方向の長さとによって構成されている。注目領域ROIのX軸方向の長さは、例えば、注目領域ROIのX軸方向の物理領域長さXLaである。注目領域ROIのY軸方向の長さは、例えば、注目領域ROIのY軸方向の物理領域長さYLaである。物理領域長さとは、注目領域ROIの物理的な長さ(データ長)を指している。位置情報113において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。ROI解析部122は、例えば、導出した位置情報113を記憶部に格納する。ROI解析部122は、例えば、注目領域ROIに対して付与された識別子(領域番号)と関連づけて、記憶部に格納する。
ROI解析部122は、注目領域ROIごとに、位置情報113として、さらに、例えば、注目領域ROIのX軸方向の出力領域長さXLcや、注目領域ROIのY軸方向の出力領域長さYLcを導出してもよい。出力領域長さとは、例えば、注目領域ROIに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ROIの物理的な長さ(データ長)である。ROI解析部122は、例えば、注目領域ROIごとに、位置情報113の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、AD(Analog-Digital)語長、画像フォーマットなどを導出し、記憶部に格納してもよい。
センシングインフォメーションとは、注目領域ROIに含まれる物体についての演算内容や、ROI画像112に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ROIの露光時間を指している。ゲイン情報とは、注目領域ROIのゲイン情報を指している。AD語長とは、注目領域ROI内でAD変換された1画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ROIの画像のフォーマットを指している。ROI解析部122は、例えば、撮像画像111に含まれる注目領域ROIの数(ROI数)を導出し、記憶部に格納してもよい。
重なり検出部123は、撮像画像111において、撮影対象の複数の物体が特定されたときには、撮像画像111における複数の注目領域ROIの位置情報113に基づいて、2以上の注目領域ROI同士が重なり合う重なり領域(ROO(Region Of Overlap))を検出する。つまり、重なり検出部123は、重なり領域ROOごとに、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、例えば、導出した位置情報114を記憶部に格納する。重なり検出部123は、例えば、導出した位置情報114を重なり領域ROOと対応付けて、記憶部に格納する。重なり領域ROOは、例えば、互いに重なり合う2以上の注目領域ROIにおいて最も小さな注目領域ROIと同じ大きさか、それよりも小さな方形状の領域である。位置情報114は、例えば、重なり領域ROOの左上端座標(Xb,Yb)と、重なり領域ROOのX軸方向の長さと、重なり領域ROOのY軸方向の長さとによって構成されている。重なり領域ROOのX軸方向の長さは、例えば、物理領域長さXLbである。重なり領域ROOのY軸方向の長さは、例えば、物理領域長さYLbである。位置情報114において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。
優先度設定部124は、撮像画像111において、注目領域ROIごとに優先度115を付与する。優先度設定部124は、例えば、付与した優先度115を記憶部に格納する。優先度設定部124は、例えば、付与した優先度115を注目領域ROIと対応付けて、記憶部に格納する。優先度設定部124は、注目領域ROIごとに付与されている領域番号とは別に、優先度115を注目領域ROIごとに付与してもよいし、注目領域ROIごとに付与されている領域番号を、優先度115の代わりとしてもよい。優先度設定部124は、例えば、優先度115を注目領域ROIと関連付けて、記憶部に格納してもよいし、注目領域ROIごとに付与されている領域番号を注目領域ROIと関連付けて、記憶部に格納してもよい。
優先度115は、各注目領域ROIの識別子であり、撮像画像111における複数の注目領域ROIのいずれに対して重なり領域ROOの割愛が行われたかを判別することの可能な判別情報である。優先度設定部124は、例えば、それぞれが重なり領域ROOを含む2つの注目領域ROIにおいて、一方の注目領域ROIに対して優先度115として1を付与し、他方の注目領域ROIに対して優先度115として2を付与する。この場合には、後述の伝送画像116の作成に際して、優先度115の数値が大きい方の注目領域ROIに対して、重なり領域ROOの割愛が行われる。なお、優先度設定部124は、注目領域ROIごとに付与されている領域番号と同じ番号を、注目領域ROIに対して優先度115として付与してもよい。優先度設定部124は、例えば、各注目領域ROIに付与した優先度115を、ROI画像112と関連づけて、記憶部に格納する。
エンコード部125は、各伝送画像116を、エンコードして圧縮像データ120Aを生成する。エンコード部125は、例えば、圧縮像データ120Aの形式として、JPEG規格に準拠した圧縮形式等により各伝送画像116を圧縮する。エンコード部125は、上記の圧縮処理を行う前に、各伝送画像116を生成する。エンコード部125は、撮像画像111から得られた複数のROI画像112において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた複数のROI画像112から画像118を割愛したものである複数の伝送画像116を生成する。
エンコード部125は、例えば、注目領域ROIごとに付与されている優先度115に基づいて、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定する。なお、エンコード部125は、例えば、注目領域ROIごとに付与されている領域番号を優先度115として用いることにより、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定してもよい。エンコード部125は、上記のようにして特定されたROI画像112において画像118を割愛したものを、伝送画像116(例えば図3の伝送画像116a2)とする。エンコード部125は、重なり領域ROOを含まないROI画像112や、上記の決定により画像118が割愛されないこととなったROI画像112については、ROI画像112そのものを伝送画像116(例えば図3の伝送画像116a1)とする。
画像処理制御部126は、ROI情報120B及びフレーム情報120Cを生成し、送信部140に送信する。ROI情報120Bは、例えば、各位置情報113を含んでいる。ROI情報120Bは、さらに、例えば、各注目領域ROIのデータタイプ、撮像画像111に含まれる注目領域ROIの数、各注目領域ROIの領域番号(又は優先度115)、各注目領域ROIのデータ長、及び各注目領域ROIの画像フォーマットのうち少なくとも1つを含んでいる。フレーム情報120Cは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ROIのデータタイプ、ラインごとのペイロード(Payload)長などを含んでいる。データタイプには、例えば、YUVデータ、RGBデータ又はRAWデータなどが含まれている。データタイプには、さらに、例えば、ROI形式のデータ又は通常形式のデータなどが含まれている。ペイロード長は、例えば、ロングパケット(LongPacket)のペイロードに含まれるピクセル数であり、例えば、注目領域ROIごとのピクセル数である。ここで、ペイロードとは、映像送信装置100及び映像受信装置200の間で伝送される主要なデータ(アプリケーションデータ)を指している。ロングパケットとは、パケットヘッダPHとパケットフッタPFとの間に配置されるパケットを指している。
送信部140は、画像処理部120,130から入力された種々のデータ(120A,120B,120C,130A)に基づいて伝送データ147Aを生成し、送出する回路である。送信部140は、撮像画像111における各注目領域ROIについてのROI情報120Bをエンベデッドデータ(EmbeddedData)で送出する。送信部140は、さらに、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、各注目領域ROIの画像データ(圧縮像データ120A)をロングパケットのペイロードデータ(PayloadData)で送出する。このとき、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する。また、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を画像データフレームによって送出するとともに、各注目領域ROIについてのROI情報120Bを画像データフレームのヘッダで送出する。送信部140は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、通常の画像データ(圧縮像データ130A)をロングパケットのペイロードデータで送出する。
送信部140は、例えば、LINK制御部141、ECC生成部142、PH生成部143、EBDバッファ144、ROIデータバッファ145、通常画像データバッファ146及び合成部147を有している。LINK制御部141、ECC生成部142、PH生成部143、EBDバッファ144及びROIデータバッファ145は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、合成部147への出力を行う。通常画像データバッファ146は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、合成部147への出力を行う。
なお、ROIデータバッファ145が、通常画像データバッファ146を兼ねていてもよい。この場合、送信部140は、ROIデータバッファ145及びROIデータバッファ145のそれぞれの出力端と、合成部147の入力端との間に、ROIデータバッファ145及びROIデータバッファ145のいずれかの出力を選択するセレクタを有していてもよい。
LINK制御部141は、例えば、フレーム情報120CをラインごとにECC生成部142及びPH生成部143に出力する。ECC生成部142は、例えば、フレーム情報120Cにおける1ラインのデータ(例えば、バーチャルチャネルの番号、各注目領域ROIのデータタイプ、ラインごとのペイロード長など)に基づいて、そのラインの誤り訂正符号を生成する。ECC生成部142は、例えば、生成した誤り訂正符号をPH生成部143に出力する。PH生成部143は、例えば、フレーム情報120Cと、ECC生成部142で生成された誤り訂正符号とを用いて、1ラインごとにパケットヘッダPHを生成する。このとき、パケットヘッダPHは、例えば、図4に示したように、ロングパケットのペイロードデータのパケットヘッダである。このパケットヘッダPHには、例えば、DI、WC及びECCが含まれている。WCは、映像受信装置200に対してパケットの終わりをワード数で示すための領域である。WCには、例えば、ペイロード長が含まれており、例えば、注目領域ROIごとのピクセル数が含まれている。ECCは、ビットエラーを修正するための値を格納する領域である。ECCには、誤り訂正符号が含まれている。DIは、データ識別子を格納する領域である。DIには、VC(バーチャルチャネル)の番号及びDataType(各注目領域ROIのデータタイプ)が含まれている。VC(バーチャルチャネル)は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。PH生成部143は、生成したパケットヘッダPHを合成部147に出力する。
EBDバッファ144は、ROI情報120Bを一次的に格納し、所定のタイミングでROI情報120Bをエンベデッドデータとして合成部147に出力する。エンベデッドデータとは、画像データフレーム(後述の図5参照)のヘッダ又はフッタに埋め込むことの可能な追加情報を指している。エンベデッドデータには、例えば、ROI情報120Bが含まれている。
ROIデータバッファ145は、圧縮像データ120Aを一次的に格納し、所定のタイミングで圧縮像データ120Aをロングパケットのペイロードデータとして合成部147に出力する。ROIデータバッファ145は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ120Aをロングパケットのペイロードデータとして合成部147に出力する。通常画像データバッファ146は、圧縮像データ130Aを一次的に格納し、所定のタイミングで圧縮像データ130Aをロングパケットのペイロードデータとして合成部147に出力する。通常画像データバッファ146は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ130Aをロングパケットのペイロードデータとして合成部147に出力する。
合成部147は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力されたデータ(圧縮像データ130A)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。一方、合成部147は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力された各種データ(パケットヘッダPH、ROI情報120B、及び圧縮像データ120A)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。つまり、合成部147は、DataType(各注目領域ROIのデータタイプ)をロングパケットのペイロードデータのパケットヘッダPHに含めて送出する。また、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する。
伝送データ147Aは、例えば、図5に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、及びフッタ領域を有している。図5では、便宜的に、フッタ領域の記載が省略されている。伝送データ147Aのフレームヘッダ領域R1には、エンベデッドデータが含まれている。このとき、エンベデッドデータには、ROI情報120Bが含まれている。図5において、伝送データ147Aのパケット領域R2には、1ラインごとに、ロングパケットのペイロードデータが含まれており、さらに、ロングパケットのペイロードデータを挟み込む位置にパケットヘッダPH及びパケットフッタPFが含まれている。さらに、パケットヘッダPHとパケットフッタPFを挟み込む位置にローパワーモードLPが含まれている。
このとき、パケットヘッダPHには、例えば、DI、WC及びECCが含まれている。WCには、例えば、ペイロード長が含まれており、例えば、注目領域ROIごとのピクセル数が含まれている。ECCには、誤り訂正符号が含まれている。DIには、VC(バーチャルチャネルの番号)及びDataType(各注目領域ROIのデータタイプ)が含まれている。本実施の形態では、各ラインのVCには、互いに共通のバーチャルチャネルの番号が付与されている。また、図5において、伝送データ147Aのパケット領域R2には、圧縮像データ147Bが含まれている。圧縮像データ147Bは、1つの圧縮像データ120A、又は複数の圧縮像データ120Aによって構成されている。ここで、図5において、パケットヘッダPH寄りのパケット群には、例えば、図3中の伝送画像116a1の圧縮像データ120A(120A1)が含まれており、パケットヘッダPHから離れたパケット群には、例えば、図3中の伝送画像116a2の圧縮像データ120A(120A2)が含まれている。これら2つの圧縮像データ120A1,120A2によって圧縮像データ147Bが構成されている。各ラインのロングパケットのペイロードデータには、圧縮像データ147Bにおける1ライン分のピクセルデータが含まれている。
図6は、伝送データ147Aの構成例を表したものである。伝送データ147Aは、例えば、フレームヘッダ領域R1及びパケット領域R2を含んでいる。なお、図6には、フレームヘッダ領域R1の中身が詳細に例示されている。また、図6では、ローパワーモードLPが省略されている。
フレームヘッダ領域R1には、例えば、伝送データ147Aの識別子としてのフレーム番号F1が含まれている。フレームヘッダ領域R1は、パケット領域R2に含まれる圧縮像データ147Bについての情報を含んでいる。フレームヘッダ領域R1は、例えば、圧縮像データ147Bに含まれる圧縮像データ120Aの数(ROI数)と、圧縮像データ147Bに含まれる各圧縮像データ120Aに対応するROI画像112についての情報(ROI情報120B)とを含んでいる。
合成部147は、例えば、伝送データ147Aのパケット領域R2において、圧縮像データ147Bを、圧縮像データ120Aの画素行ごとに分けて配置する。したがって、伝送データ147Aのパケット領域R2には、重なり領域ROOの画像118に対応する圧縮像データが重複して含まれていない。また、合成部147は、例えば、伝送データ147Aのパケット領域R2において、撮像画像111のうち各伝送画像116と対応しない画素行を割愛している。したがって、伝送データ147Aのパケット領域R2には、撮像画像111のうち各伝送画像116に対応しない画素行は含まれていない。なお、図6のパケット領域R2において、破線で囲んだ箇所が、重なり領域ROOの画像118の圧縮像データに相当する。
パケットヘッダPH寄りのパケット群(例えば図6中の1(n))と、パケットヘッダPHから離れたパケット群(例えば図6中の2(1))との境界は、パケットヘッダPH寄りのパケット群(例えば図6中の1(n))の圧縮像データに対応するROI画像112の物理領域長さXLa1によって特定される。パケットヘッダPH寄りのパケット群(例えば図6中の1(n))に含まれる重なり領域ROOの画像118に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダPHから離れたパケット群(例えば図6中の2(1))に対応するROI画像112の物理領域長さXLa2によって特定される。
合成部147は、例えば、伝送データ147Aのパケット領域R2において、1ラインごとに、ロングパケットのペイロードデータを生成する際に、ロングパケットのペイロードデータに、例えば、圧縮像データ147Bにおける1ライン分のピクセルデータの他に、例えば、図7に示したように、ROI情報120Bを含めてもよい。つまり、合成部147は、ROI情報120Bをロングパケットのペイロードデータに含めて送出してもよい。このとき、ROI情報120Bは、例えば、図7(A)~図7(K)に示したように、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(又は優先度115)、各注目領域ROIのデータ長、及び各注目領域ROIの画像フォーマットのうち少なくとも1つを含んでいる。ROI情報120Bは、ロングパケットのペイロードデータにおいて、パケットヘッダPH側の端部(つまり、ロングパケットのペイロードデータの先頭)に配置されることが好ましい。
(映像受信装置200)
次に、映像受信装置200について説明する。図8は、映像受信装置200の構成の一例を表したものである。図9は、映像受信装置200におけるROI画像223Aの生成手順の一例を表したものである。映像受信装置200は、映像送信装置100と共通の規格(例えば、MIPI CSI-2規格、MIPI CSI-3規格、又は、MIPIDSI規格)で信号を受信する装置である。映像受信装置200は、例えば、受信部210及び情報処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
次に、映像受信装置200について説明する。図8は、映像受信装置200の構成の一例を表したものである。図9は、映像受信装置200におけるROI画像223Aの生成手順の一例を表したものである。映像受信装置200は、映像送信装置100と共通の規格(例えば、MIPI CSI-2規格、MIPI CSI-3規格、又は、MIPIDSI規格)で信号を受信する装置である。映像受信装置200は、例えば、受信部210及び情報処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
受信部210は、例えば、ヘッダ分離部211、ヘッダ解釈部212、ペイロード分離部213、EBD解釈部214及びROIデータ分離部215を有している。
ヘッダ分離部211は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における各注目領域ROIについてのROI情報120Bをエンベデッドデータに含むとともに、各注目領域ROIの画像データ(圧縮像データ120A)をロングパケットのペイロードデータに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。ヘッダ解釈部212は、フレームヘッダ領域R1に含まれるデータ(具体的にはエンベデッドデータ)に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータの位置を特定する。ペイロード分離部213は、ヘッダ解釈部212によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータを、パケット領域R2から分離する。
EBD解釈部214は、エンベデッドデータをEBDデータ214Aとして、情報処理部220に出力する。EBD解釈部214は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがROIの画像データ116の圧縮像データ120Aであるか、又は、通常画像データの圧縮像データ130Aであるか判別する。EBD解釈部214は、判別結果をROIデータ分離部215に出力する。
ロングパケットのペイロードデータに含まれる画像データがROIの画像データ116の圧縮像データ120Aである場合、ROIデータ分離部215は、ロングパケットのペイロードデータをペイロードデータ215Aとして、情報処理部220(具体的にはROIデコード部222)に出力する。ペイロードデータに含まれる画像データが通常画像データの圧縮像データ130Aである場合、ROIデータ分離部215は、ロングパケットのペイロードデータをペイロードデータ215Bとして、情報処理部220(具体的には通常画像デコード部224)に出力する。ロングパケットのペイロードデータにROI情報120Bが含まれている場合には、ペイロードデータ215Aは、ROI情報120Bと、圧縮像データ147Bのうち1ライン分のピクセルデータとを含んでいる。
情報処理部220は、EBDデータ214Aに含まれるエンベデッドデータから、ROI情報120Bを抽出する。情報処理部220は、情報抽出部221で抽出したROI情報120Bに基づいて、受信部210で受信した伝送データ147Aに含まれるロングパケットのペイロードデータから、撮像画像111における各注目領域ROIの画像(ROI画像112)を抽出する。情報処理部220は、例えば、情報抽出部221、ROIデコード部222、ROI画像生成部223及び通常画像デコード部224を有している。
通常画像デコード部224は、ペイロードデータ215Bをデコードし、通常画像224Aを生成する。ROIデコード部222は、ペイロードデータ215Aに含まれる圧縮像データ147Bをデコードし、画像データ222Aを生成する。この画像データ222Aは、1又は複数の伝送画像116によって構成されている。
情報抽出部221は、EBDデータ214Aに含まれるエンベデッドデータから、ROI情報120Bを抽出する。情報抽出部221は、例えば、EBDデータ214Aに含まれるエンベデッドデータから、例えば、撮像画像111に含まれる注目領域ROIの数、各注目領域ROIの領域番号(又は優先度115)、各注目領域ROIのデータ長、及び各注目領域ROIの画像フォーマットを抽出する。つまり、伝送データ147Aは、当該伝送データ147Aから得られる複数の伝送画像116のいずれに対して重なり領域ROOの画像118の割愛が行われたかを判別することの可能な判別情報として、各伝送画像116に対応する注目領域ROIの領域番号(又は優先度115)を含んでいる。
ROI画像生成部223は、情報抽出部221で得られたROI情報120Bに基づいて、2以上の注目領域ROI同士が重なり合う重なり領域ROOを検出する。
情報抽出部221が、例えば、EBDデータ214Aに含まれるエンベデッドデータから、ROI画像112a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)及び領域番号1(又は優先度115(=1))を抽出する。情報抽出部221が、さらに、例えば、EBDデータ214Aに含まれるエンベデッドデータから、ROI画像112a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)及び領域番号2(又は優先度115(=2))を抽出する。
このとき、ROI画像生成部223は、抽出したこれらの情報(以下、「抽出情報221A」と称する。)に基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))及び長さ(例えば物理領域長さXLb1,YLb1)を導出する。
なお、ROI画像生成部223は、EBDデータ214Aに含まれるエンベデッドデータからROI情報120Bを取得する代わりに、ペイロードデータ215AからROI情報120Bを取得してもよい。この場合、ROI画像生成部223は、ペイロードデータ215Aに含まれるROI情報120Bに基づいて、2以上の注目領域ROI同士が重なり合う重なり領域ROOを検出してもよい。また、ROI画像生成部223は、ペイロードデータ215Aに含まれるROI情報120Bから、抽出情報221Aを抽出してもよく、そのようにして抽出した抽出情報221Aに基づいて、重なり領域ROOの位置情報114を導出してもよい。
ROI画像生成部223は、さらに、画像データ222Aと、抽出情報221Aと、重なり領域ROOの位置情報114とに基づいて、撮像画像111における各注目領域ROIの画像(ROI画像112a1,112a2)を生成する。ROI画像生成部223は、生成した画像をROI画像223Aとして出力する。
[手順]
次に、図3、図9を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
次に、図3、図9を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
まず、撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる2つの注目領域ROI1,ROI2を特定する。ROI切り出し部121は、撮像画像111から、各注目領域ROI1,ROI2の画像(ROI画像112a1,112a2)を切り出す。ROI切り出し部121は、注目領域ROI1に対して識別子として領域番号1を付与し、注目領域ROI2に対して識別子として領域番号2を付与する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。ROI解析部122は、注目領域ROI1に基づいて、注目領域ROI1の左上端座標(Xa1,Ya1)と、注目領域ROI1のX軸方向の長さ(XLa1)と、注目領域ROI1のY軸方向の長さ(YLa1)とを導出する。ROI解析部122は、注目領域ROI2に基づいて、注目領域ROI2の左上端座標(Xa2,Ya2)と、注目領域ROI2のX軸方向の長さ(XLa2)と、注目領域ROI2のY軸方向の長さ(YLa2)とを導出する。
重なり検出部123は、撮像画像111における2つの注目領域ROI1,ROI2の位置情報113に基づいて、2つの注目領域ROI1,ROI2同士が重なり合う重なり領域ROOを検出する。つまり、重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114として、重なり領域ROOの左上端座標(Xb1,Yb1)と、重なり領域ROOのX軸方向の長さ(XLb1)と、重なり領域ROOのY軸方向の長さ(YLb1)とを導出する。
優先度設定部124は、2つの注目領域ROI1,ROI2において、一方の注目領域ROI1に対して優先度115として1を付与し、他方の注目領域ROI2に対して優先度115として2を付与する。
エンコード部125は、2つの注目領域ROI1,ROI2において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた2つのROI画像112a1,112a2から画像118を割愛したものである2つの伝送画像116a1,116a2を生成する。
エンコード部125は、2つの注目領域ROI1,ROI2の領域番号(又は優先度115)に基づいて、2つのROI画像112a1,112a2のいずれに対して画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(又は優先度115)の大きい方である注目領域ROI2に対応するROI画像112a2に対して画像118の割愛を行い、これにより、伝送画像116a2を生成する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(又は優先度115)の小さな方である注目領域ROI1に対応するROI画像112a1については、ROI画像112a1そのものを伝送画像116a1とする。
画像処理制御部126は、ROI情報120B及びフレーム情報120Cを生成し、送信部140に送信する。送信部140は、画像処理部120,130から入力された種々のデータ(120A,120B,120C,130A)に基づいて伝送データ147Aを生成する。送信部140は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送出する。
受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信する。受信部210は、受信した伝送データ147Aに対して所定の処理を行うことにより、EBDデータ214A及びペイロードデータ215Aを生成し、情報処理部220に出力する。
情報抽出部221は、EBDデータ214Aに含まれるエンベデッドデータから、ROI情報120Bを抽出する。情報抽出部221は、EBDデータ214Aに含まれるエンベデッドデータから、ROI画像112a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)及び領域番号1(又は優先度115(=1))を抽出する。情報抽出部221は、さらに、ROI画像112a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)及び領域番号2(又は優先度115(=2))を抽出する。ROIデコード部222は、ペイロードデータ215Aに含まれる圧縮像データ147Bをデコードし、画像データ222Aを生成する。
ROI画像生成部223は、抽出したこれらの情報(抽出情報221A)に基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))及び長さ(例えば物理領域長さXLb1,YLb1)を導出する。ROI画像生成部223は、さらに、画像データ222Aと、抽出情報221Aと、重なり領域ROOの位置情報114とに基づいて、撮像画像111における各注目領域ROIの画像(ROI画像112a1,112a2)を生成する。
[効果]
次に、本実施の形態に係る映像伝送システム1の効果について説明する。
次に、本実施の形態に係る映像伝送システム1の効果について説明する。
近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。
ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、MIPI CSI-2が用いられることがある。この方式を用いてROIを伝送しようとした場合、様々な制約により、ROIの伝送が容易ではないことがある。
一方、本実施の形態では、撮像画像111における各注目領域ROIについてのROI情報120Bがエンベデッドデータで送出されるとともに、各注目領域ROIの画像データがロングパケットのペイロードデータで送出される。これにより、映像送信装置100から送出された伝送データ147Aを受信した装置(映像受信装置200)において、伝送データ147Aから、各注目領域ROIの画像データ(ROI画像112)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
また、本実施の形態では、各注目領域ROIの画像データ(圧縮像データ120A)が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のROI画像112を送ることができるので、複数のROI画像112を送る間に、LPモードに入る必要がなく、高い伝送効率を得ることができる。
また、本実施の形態では、各注目領域ROIのデータタイプがロングパケットのペイロードデータのパケットヘッダPHに含めて送出される。これにより、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータのパケットヘッダPHにアクセスするだけで、各注目領域ROIのデータタイプが得られる。これにより、映像受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
また、本実施の形態において、ROI情報120Bがロングパケットのペイロードデータに含めて送出される場合には、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータにアクセスするだけで、ROI情報120Bが得られる。これにより、映像受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
また、本実施の形態では、伝送データ147Aに含まれるエンベデッドデータから、各注目領域ROIについてのROI情報120Bが抽出されるとともに、抽出されたROI情報120Bに基づいて、伝送データ147Aに含まれるロングパケットのペイロードデータから、各注目領域ROIの画像(ROI画像112)が抽出される。これにより、伝送データ147Aから、各注目領域ROIの画像(ROI画像112)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
2.本開示の前提技術2:
撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術について、図1から図9を参照しつつ図10から図12を用いて説明する。すなわち、方形状(矩形状)以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図10は、撮像画像111において特定された物体が配置された領域を模式的に示す図である。なお、図10では、理解を容易にするため、15行×23列の撮像素子で構成された撮像領域で撮像された撮像画像111が模式的に図示されている。図11は、特定された物体に対して設定されたROI領域の一例を示す図である。
撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術について、図1から図9を参照しつつ図10から図12を用いて説明する。すなわち、方形状(矩形状)以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図10は、撮像画像111において特定された物体が配置された領域を模式的に示す図である。なお、図10では、理解を容易にするため、15行×23列の撮像素子で構成された撮像領域で撮像された撮像画像111が模式的に図示されている。図11は、特定された物体に対して設定されたROI領域の一例を示す図である。
前提技術2では、前提技術1と同様に、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から映像送信装置100に入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う場合について説明する。しかしながら、前提技術2では、映像送信装置100、すなわち送信側がROIの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるROIで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。
ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力される。これにより、図10に示すように、ROI切り出し部121は、撮像画像111に含まれる撮影対象の4つの物体1~4を特定する。物体1は例えば、撮像画像111内の左上領域の一部を占める矩形状を有している。物体2は例えば、撮像画像111内で物体1の右側の一部の領域を占め、矩形の上側の両側角部及び下辺の一部が欠落した形状を有している。物体3は例えば、撮像画像111内で物体2の下方の一部の領域を占め、矩形の四隅が欠落した形状を有している。物体4は例えば、撮像画像111内で物体3の下方の一部の領域を占め、矩形の上側の両側角部が欠落した形状を有している。物体3及び物体4は一部が重なり合っている。
図11に示すように、ROI切り出し部121(図2参照)は、特定した物体1~4をそれぞれ含む最小の矩形を注目領域ROI1~ROI4として設定する。ROI切り出し部121は、物体1に対して注目領域ROI1を設定し、ROI画像112a1を切り出す。また、ROI切り出し部121は、物体2に対して注目領域ROI2を設定し、ROI画像112a2を切り出す。また、ROI切り出し部121は、物体3に対して注目領域ROI3を設定し、ROI画像112a3を切り出す。さらに、ROI切り出し部121は、物体4に対して注目領域ROI4を設定し、ROI画像112a4を切り出す。
ROI切り出し部121は、注目領域ROI1と、注目領域ROI1に付与した領域番号「1」とを関連付けて記憶部に格納する。ROI切り出し部121は、注目領域ROI2と、注目領域ROI2に付与した領域番号「2」とを関連付けて記憶部に格納する。ROI切り出し部121は、注目領域ROI3と、注目領域ROI3に付与した領域番号「3」とを関連付けて記憶部に格納する。ROI切り出し部121は、注目領域ROI4と、注目領域ROI4に付与した領域番号「4」とを関連付けて記憶部に格納する。
ROI解析部122(図2参照)は、注目領域ROI1~ROI4のそれぞれの位置情報を導出する。ROI解析部122は、注目領域ROI1の位置情報として例えば、X軸方向の物理領域長さXLa1及びY軸方向の物理領域長さYLa1を導出する。ROI解析部122は、注目領域ROI2の位置情報として例えば、X軸方向の物理領域長さXLa2及びY軸方向の物理領域長さYLa2を導出する。ROI解析部122は、注目領域ROI3の位置情報として例えば、X軸方向の物理領域長さXLa3及びY軸方向の物理領域長さYLa3を導出する。ROI解析部122は、注目領域ROI4の位置情報として例えば、X軸方向の物理領域長さXLa4及びY軸方向の物理領域長さYLa4を導出する。ROI解析部122は、注目領域ROIごとに、位置情報113として、さらに、例えば、注目領域ROIのX軸方向の出力領域長さXLcや、注目領域ROIのY軸方向の出力領域長さYLcを導出してもよい。
ROI解析部122は、注目領域ROIのそれぞれのX軸方向及びY軸方向の長さを導出することによって、後段への情報として注目領域ROI1~ROI4のそれぞれの大きさや総データ量を導出する。これにより、後段に相当する映像受信装置200はメモリ領域を確保できる。
ROI解析部122は、撮影対象の物体及び注目領域の形状が一致していない場合には、注目領域ROIの位置情報ではなく、ROI画像112a1~112a4の位置情報を導出するように構成されている。ROI解析部122は、ROI画像112a1~112a4の位置情報として、各行の左端座標(xn,yn)及びX軸方向の物理領域長さXLnを導出する。また、ROI画像112a2の2行目のようにROI画像が分離している場合には、ROI解析部122は、分離している部分のそれぞれについて位置情報を導出する。ROI解析部122は、注目領域ROI1~ROI4の領域番号と、ROI画像112a1~112a4の位置情報とを対応付けて記憶部に格納する。
また、ROI解析部122は、例えば、注目領域ROI1~ROI4ごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、AD語長、画像フォーマットなどを導出し、領域番号と対応付けて記憶部に格納してもよい。
重なり検出部123(図2参照)は、撮影対象の物体が矩形状の場合には、注目領域同士が重なり合う領域ではなく、ROI画像同士が重なり合う領域を重なり領域として導出する。図11に示すように、重なり検出部123は、ROI画像112a3及びROI画像123a4が重なり合う領域として重なり領域ROOを導出する。重なり検出部123は、導出した重なり領域ROOを注目領域ROI3,ROI4の位置情報のそれぞれに対応付けて記憶部に格納する。
優先度設定部124(図2参照)は、優先度「1」を注目領域ROI1に付与し、優先度1を注目領域ROI1に対応付けて記憶部に格納する。優先度設定部124は、優先度「1」よりも優先度が低い優先度「2」を注目領域ROI2に付与し、優先度2を注目領域ROI2に対応付けて記憶部に格納する。優先度設定部124は、優先度「2」よりも優先度が低い優先度「3」を注目領域ROI3に付与し、優先度3を注目領域ROI3に対応付けて記憶部に格納する。優先度設定部124は、優先度「3」よりも優先度が低い優先度「4」を注目領域ROI4に付与し、優先度4を注目領域ROI4に対応付けて記憶部に格納する。
エンコード部125(図2参照)は、ROI画像112a1~112a4のそれぞれについて伝送画像を生成する。注目領域ROI4は注目領域ROI3よりも優先度が低いので、エンコード部125は、ROI画像112a4から重なり領域ROOを割愛して伝送画像を生成する。
画像処理制御部126(図2参照)は、ROI情報及びフレーム情報を生成し、送信部140(図2参照)に送信する。ROI情報には例えば、ROI画像112a1~112a4のそれぞれの位置情報が含まれる。ROI情報にはその他に、上述の撮影対象の物体が矩形状の場合と同様の情報(例えば注目領域ROI1~ROI4のそれぞれデータタイプ、撮像画像111に含まれる注目領域ROI1~ROI4の数、注目領域ROI1~ROI4の領域番号及び優先度など)が含まれる。フレーム情報には例えば、注目領域ROI1~ROI4のデータタイプなど、上述の撮影対象の物体が矩形状の場合と同様の情報が含まれる。
送信部140(図2参照)に設けられたLINK制御部141は、画像処理制御部126から入力されるフレーム情報及びROI情報をラインごとにECC生成部142及びPH生成部143(いずれも図2参照)に出力する。ECC生成部142は例えば、フレーム情報における1ラインのデータ(例えば、バーチャルチャネルの番号、注目領域ROI1~ROI4のそれぞれのデータタイプ、ラインごとのペイロード長など)に基づいて、そのラインの誤り訂正符号を生成する。ECC生成部142は例えば、生成した誤り訂正符号をPH生成部143に出力する。PH生成部143は例えば、フレーム情報と、ECC生成部142で生成された誤り訂正符号とを用いて、1ラインごとにパケットヘッダPH(図4参照)を生成する。
EBDバッファ144(図2参照)は、ROI情報を一次的に格納し、所定のタイミングでROI情報をエンベデッドデータとして合成部147(図2参照)に出力する。
ROIデータバッファ145(図2参照)は、エンコード部125から入力される圧縮像データを一次的に格納し、例えばROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ120Aをロングパケットのペイロードデータとして合成部147に出力する。
合成部147は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力された各種データ(パケットヘッダPH、ROI情報及びROIデータバッファ145を介してエンコード部125から入力された圧縮像データ)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。つまり、合成部147は、注目領域ROI1~ROI4のそれぞれのデータタイプをロングパケットのペイロードデータのパケットヘッダPHに含めて送出する。また、合成部147は、注目領域ROI1~ROI4のそれぞれの画像データ(圧縮像データ)を互いに共通のバーチャルチャネルで送出する。
撮影対象の物体が矩形状でない場合、ROI画像112a1~112a4の位置情報は、パケットヘッダPH又はロングパケットのペイロードデータに含められる。ROI画像112a1~112a4の位置情報は、PH生成部143によってパケットヘッダPHに含められる。一方、ROI画像112a1~112a4の位置情報は、合成部147によってロングパケットのペイロードデータに含められる。
図12は、ROI画像112a1~112a4の位置情報がロングパケットのペイロードデータに含められている伝送データ147Aの構成例を示す図である。図12に示すように、伝送データ147Aは例えば、フレームヘッダ領域R1及びパケット領域R2を含んでいる。なお、図12には、フレームヘッダ領域R1の中身が詳細に例示されている。また、図12では、ローパワーモードLPが省略されている。
フレームヘッダ領域R1には例えば、伝送データ147Aの識別子としてのフレーム番号F1が含まれている。フレームヘッダ領域R1は、パケット領域R2に含まれる圧縮像データについての情報を含んでいる。フレームヘッダ領域R1は例えば、圧縮像データの数(ROI数)と、各圧縮像データに対応するROI画像112a1~112a4のそれぞれについての情報(ROI情報)とを含んでいる。ROI情報は、領域番号、物理領域長さ、矩形出力領域大きさ、優先度、露光情報、ゲイン情報、AD語長及び画像フォーマットを含んでいる。物理領域長さは、ROI画像の最大長さであり、矩形出力領域大きさは、注目領域ROIの大きさである。
図12中に示す「Info」は、ロングパケットのペイロードに格納される領域情報を示している。ROI画像112a1~112a4の位置情報は、例えば「info」に格納される。ROI画像112a1~112a4の位置情報は、ロングパケットのペイロードの先頭部分に格納される。ROI画像を構成し連続する各画素行のX軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のROI画像が含まれていない場合には、当該各画素行のうちの2行目以降の画素行の画像データを含むロングパケットのペイロードには、領域情報「info」が格納されていなくてもよい。本例では、ROI画像112a1は、全ての画素行のうちの連続する1行目から4行目の画素行においてX軸方向の物理領域長さが同じであり、当該1行目から4行目の画素行には、異なる領域番号のROI画像が含まれていない。このため、ROI画像112a1を構成し連続する1行目から4行目の画素行のうちの2行目以降に相当する2行目から4行目の画素行の画像データを含むそれぞれのロングパケットのペイロードには、領域情報「info」が格納されていない。また、本例では、ROI画像112a4は、全ての画素行のうちの連続する2行目及び3行目の画素行においてX軸方向の物理領域長さが同じであり、当該2行目及び3行目の画素行には、異なる領域番号のROI画像が含まれていない。このため、ROI画像112a4を構成し連続する2行目及び3行目の画素行のうちの2行目以降に相当する3行目の画素行の画像データを含むロングパケットのペイロードには、領域情報「info」が格納されていない。なお、X軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のROI画像が含まれていない場合でも、各行のペイロードに領域情報「info」が格納されていてもよい。
合成部147は例えば、伝送データ147Aのパケット領域R2において、ROI画像112a1~112a4のそれぞれを圧縮して生成された圧縮像データを画素行ごとに分けて配置する。図12中に示す「1」は、ロングパケットのペイロードに格納されたROI画像112a1の圧縮像データを示している。図12中に示す「2」は、ロングパケットのペイロードに格納されたROI画像112a2の圧縮像データを示している。図12中に示す「3」はROI画像112a3の圧縮像データを示している。図12中に示す「4」は、ロングパケットのペイロードに格納されたROI画像112a4の圧縮像データを示している。なお、図12では、理解を容易にするため、各圧縮像データが区切られて示されているが、ロングパケットのペイロードに格納されるデータに区切りはない。伝送データ147Aのパケット領域R2には、重なり領域ROOの画像に対応する圧縮像データ112bが重複して含まれていない。また、合成部147は、例えば、伝送データ147Aのパケット領域R2において、撮像画像111のうち各伝送画像と対応しない画素行を割愛している。したがって、伝送データ147Aのパケット領域R2には、撮像画像111のうち各伝送画像に対応しない画素行は含まれていない。
次に、伝送データ147Aを受信した場合の映像受信装置200の動作について説明する。
受信部210に設けられたヘッダ分離部211(いずれも図8参照)は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における注目領域ROI1~ROI4についてのROI情報をエンベデッドデータに含むとともに、注目領域ROI1~ROI4の画像データ(圧縮像データ)をロングパケットのペイロードデータに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。
受信部210に設けられたヘッダ分離部211(いずれも図8参照)は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における注目領域ROI1~ROI4についてのROI情報をエンベデッドデータに含むとともに、注目領域ROI1~ROI4の画像データ(圧縮像データ)をロングパケットのペイロードデータに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。
ヘッダ解釈部212(図8参照)は、フレームヘッダ領域R1に含まれるデータ(具体的にはエンベデッドデータ)に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータの位置を特定する。
ペイロード分離部213(図8参照)は、ヘッダ解釈部212によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータをパケット領域R2から分離する。
EBD解釈部214は、エンベデッドデータをEBDデータとして、情報処理部220(図8参照)に出力する。EBD解釈部214は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがROIの画像データ116の圧縮像データであるか、又は、通常画像データの圧縮像データであるか判別する。EBD解釈部214は、判別結果をROIデータ分離部215(図8参照)に出力する。
ROIデータ分離部215は、ロングパケットのペイロードデータに含まれる画像データがROIの画像データが入力されると、ロングパケットのペイロードデータをペイロードデータとして、情報処理部220(具体的にはROIデコード部222(図8参照))に出力する。ROI情報が含まれているロングパケットのペイロードデータには、ROI情報と圧縮像データのうち1ライン分のピクセルデータとが含まれている。
情報処理部220に設けられた情報抽出部221(図8参照)は、EBD解釈部214から入力されるEBDデータに含まれるエンベデッドデータから、撮像画像111に含まれる注目領域ROI1~ROI4の数(本例では4つ)、注目領域ROI1~ROI4の領域番号1~4及び優先度1から4、注目領域ROI1~ROI4のそれぞれのデータ長、並びに注目領域ROI1~ROI4のそれぞれの画像フォーマットを抽出する。さらに、情報抽出部221は、当該エンベデッドデータから、ROI画像112a1~112a4の位置情報を抽出する。
ROIデコード部222は、ペイロードデータに含まれている圧縮像データ147Bをデコードし、ROI画像112a1~112a4の位置情報を抽出するとともに、画像データ(伝送画像によって構成)を生成する。ROIデコード部222は、例えば6行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ROI画像112a1の1つの位置情報と、ROI画像112a2の2つの位置情報とを抽出し、6行目の画素行に対応するROI画像112a1,112b1の画像データ(伝送画像)をそれぞれ生成する。
ROIデコード部222は、例えば10行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ROI画像112a3の1つの位置情報と、ROI画像112a4の1つの位置情報とを抽出し、ROI画像112a3,112b4の画像データ(伝送画像)をそれぞれ生成する。
ROI画像生成部223(図8参照)は、情報抽出部221で得られたROI情報、ROIデコード部222で抽出されたROI画像112a1~112a4の位置情報及びROIデコード部222で生成された伝送画像に基づいて、撮像画像111における注目領域ROI1~ROI4のROI画像112a1~112a4を生成する。ROI画像生成部223は、例えば6行目の画素行に対応するペイロードデータから抽出されたROI画像112a1の1つの位置情報及びROI画像112a2の2つの位置情報並びにそれらの伝送画像が入力された場合、X軸方向に延在する5画素分のROI画像112a1と、当該ROI画像112a1とは5画素分離れた位置でX軸方向に延在する4画素分のROI画像112a2と、当該ROI画像112a2から2画素分離れた位置でX軸方向に延在する2画素分のROI画像112a2とを生成する(図10参照)。
また、ROI画像生成部223は、情報抽出部221で得られたROI情報に基づいて、注目領域ROI3及び注目領域ROI4同士が重なり合う重なり領域ROOを検出する。ROI画像生成部223は、検出した重なり領域ROOと、10行目の画素行に対応するペイロードデータから抽出されたROI画像112a3,112a4のそれぞれ位置情報と、伝送画像とに基づいて、X軸方向に延在する4画素分のROI画像112a3と、当該ROI画像112a3に1画素分が重なった状態でX軸方向に延在する3画素分のROI画像112a4とを生成する(図10参照)。
ROI画像生成部223は、生成した画像をROI画像として後段の装置(不図示)に出力する。
このようにして、映像送信装置100及び映像受信装置200は、撮影対象の物体が矩形以外の形状を有していても、ROI画像として送受信することができる。
〔第1実施形態〕
3.本開示の第1実施形態におけるハイダイナミックレンジ(High Dynamic Range:HDR)合成の原理:
次に、本開示の実施形態におけるハイダイナミックレンジ合成処理の原理について図13を用いて説明する。以下、ハイダイナミックレンジを「HDR」と略記する場合がある。
3.本開示の第1実施形態におけるハイダイナミックレンジ(High Dynamic Range:HDR)合成の原理:
次に、本開示の実施形態におけるハイダイナミックレンジ合成処理の原理について図13を用いて説明する。以下、ハイダイナミックレンジを「HDR」と略記する場合がある。
図13は、本実施形態におけるハイダイナミックレンジ合成処理を模式的に示す図である。露光時間の異なる複数(図13では2枚)の画像が合成されてHDR画像が生成される。本実施形態では、HDR合成が注目領域ROIごとに実行される。
ROIでは、注目領域として切り出される範囲及び大きさか不明である。このため、本実施形態では、異なる露光条件で撮像された2つの撮像画像の一部を切り出した注目領域ROIが所定の一致性を有する場合にHDR合成が実行されるようになっている。本実施形態におけるHDR合成の実行条件は、以下の合成条件1~3である。
(1)合成条件1:注目領域ROIの領域番号が一致する
(2)合成条件2:比較する注目領域ROIの基準画素の座標が所定の一致性を有する
(3)合成条件3:比較する注目領域ROIの大きさが所定の一致性を有する
(1)合成条件1:注目領域ROIの領域番号が一致する
(2)合成条件2:比較する注目領域ROIの基準画素の座標が所定の一致性を有する
(3)合成条件3:比較する注目領域ROIの大きさが所定の一致性を有する
合成条件2における基準画素は、例えば注目領域ROIの左上端部の画素である。また、合成条件2における所定の一致性は、比較する注目領域ROIの基準画素の座標の差分が所定閾値の範囲内であることである。合成条件3における所定の一致性は、比較する注目領域ROIの大きさ(X軸方向及びY軸方向のそれぞれの長さ)が所定閾値の範囲内であることである。
図13中の太矢印の左側に示すように、比較する2つの露光時間のうちの露光時間が短い(以下、「短露光」と称する場合がある)画素(短露光画素)で構成された注目領域ROIは、領域番号が「n」であり、基準画素(本例では左上端部の画素)の座標が「(Xn,Yn)」であり、X軸方向の長さが「XLn」であり、Y軸方向の長さが「YLn」である。一方、比較する2つの露光時間のうちの露光時間が長い(以下、「長露光」と称する場合がある)画素(長露光画素)で構成された注目領域ROIは、領域番号が「n」であり、左上端部の画素の座標が「(Xn,Yn)」であり、X軸方向の長さが「XLn」であり、Y軸方向の長さが「YLn」である。
この場合、短露光での注目領域ROIの領域番号と、長露光での注目領域ROIの領域番号がいずれも「n」で一致するので、上記の合成条件1が満たされる。また、短露光での注目領域ROIの左上端部の画素の座標と、長露光での注目領域ROIの左上端部の画素の座標がいずれも「(Xn,Yn)」で一致している。このため、これらの座標の差分は0となって所定閾値範囲内となるため、合成条件2が満たされる。また、短露光での注目領域ROIのX軸方向の長さと、長露光での注目領域ROIのX軸方向の長さがいずれも「XLn」で一致している。同様に、短露光での注目領域ROIのY軸方向の長さと、長露光での注目領域ROIのY軸方向の長さがいずれも「YLn」で一致している。このため、これらの長さの差分はいずれも0となって所定閾値範囲内となるため、合成条件3が満たされる。上記の合成条件1~3の全てが満たされるため、注目領域ROIのHDR合成処理が実行され、図13中の太矢印の右側に示すように、注目領域ROIのHDR合成画像が生成される。
このように、本実施形態では、例えば露光条件を変えて連続して撮影された複数の画像のそれぞれの一部を切り出した注目領域ROIに対し、注目領域ROIの一致性を判定するための条件を満たした場合に、当該注目領域ROIのHDR合成処理を実行するようになっている。このように、注目領域ROIにおけるHDR合成を実行するための条件を設定することにより、異なる注目領域ROIに対するHDR合成が実行されてしまうことを防止して、HDR合成画像が破綻してしまうことを防止するようになっている。
4.本開示の第1実施形態による装置及びシステム:
次に、本開示の第1実施形態による送信装置、受信装置及び伝送システムについて図14及び図15を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図14を用いて説明する。図14は、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の概略構成を示すブロック図である。
次に、本開示の第1実施形態による送信装置、受信装置及び伝送システムについて図14及び図15を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図14を用いて説明する。図14は、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の概略構成を示すブロック図である。
図19に示すように、本実施形態による映像伝送システム10は、イメージセンサとしての機能を発揮する映像送信装置(送信装置の一例)3と、画像処理(Image Signal Processor:ISP)の機能を発揮する映像受信装置(受信装置の一例)4とを備えている。映像伝送システム(伝送システムの一例)10では、映像送信装置3は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格の信号を送信部322から送出するように構成されている。また、映像伝送システム10では、映像受信装置4は、MIPID-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格の信号を受信部412で受信するように構成されている。また、映像伝送システム10は、上記前提技術1及び2に係る映像伝送システム1と同様に、映像送信装置3及び映像受信装置4との間でMIPI CSI-3規格又はMIPI DSI規格で信号を送受信するように構成されていてもよい。
映像伝送システム10に備えられた映像送信装置3は、上記前提技術1及び2に係る映像送信装置100と同等の機能を発揮するように構成されている。つまり、映像送信装置3は、ROIの切り出しを指示する制御信号が映像受信装置4から入力された場合に、撮像部31から入力された撮像画像に対して、映像送信装置100と同様の処理を実行可能に構成されている。また、映像送信装置3は、通常画像の出力を指示する制御信号が映像受信装置4から入力された場合に、撮像部31から入力された撮像画像に対して、映像送信装置100と同様の処理を実行可能に構成されている。さらに、映像送信装置3は、上述のHDR合成処理に用いられるハイダイナミックレンジ情報(HDR情報)を取得するとともに、当該HDR情報を映像受信装置4に送出できるように構成されている。
映像受信装置4は、上記前提技術1及び2に係る映像受信装置200と同等の機能を発揮するように構成されている。つまり、映像受信装置4は、映像送信装置3から伝送された伝送データに対して、上記前提技術1及び2に係る映像受信装置200と同様の処理を実行可能に構成されている。さらに、映像受信装置4は、映像送信装置3から伝送されたHDR情報を用いてHDR合成処理を実行できるように構成されている。
そこで、図14では、映像送信装置3及び映像受信装置4は、HDR合成処理に関連する構成を中心に図示されている。
図14に示すように、映像送信装置3は、対象物を撮像する撮像部31を備えている。撮像部31は、例えば入射する光を電気信号に変換する光電変換部311を有している。光電変換部311は例えば、CCDイメージセンサやCMOSイメージセンサで構成されている。また、撮像部31は、光電変換部311から入力されるアナログの電気信号をデジタルの画像データに変換する信号変換部312を有している。信号変換部312は、光電変換部311から入力されるアナログの電気信号の信号増幅(AGC)処理と、増幅した電気信号をデジタル信号に変換するアナログデジタル変換(ADC)処理とを実行するように構成されている。撮像部31は、信号変換部312から入力される画像データに対してデジタルゲインを施す増幅部313を有している。増幅部313は、デジタルゲインを施した画像データを送信部322に出力するように構成されている。
映像送信装置3は、撮像部31を制御したり所定の信号処理を制御したりする制御部32を備えている。制御部32は、センサCPU321と、送信部322と、検波部323とを有している。センサCPU321は、画像処理部120,130(図2参照)と同様の機能を発揮するように構成されている。送信部322は、送信部140(図2参照)と同様の機能を発揮するように構成されている。また、制御部32において、センサCPU321を画像処理部120,130に置き換え、送信部322を送信部140に置き換えてもよい。
検波部323は、信号変換部312及び増幅部313に接続されている。検波部323は、信号変換部312からデジタルの画像データを取得する。また、検波部323は、増幅部313からゲイン調整後の画像データを取得する。検波部323は、取得した画像データに基づいて、輝度及び色の情報と増幅部313で設定されたデジタルゲインの情報とを含む検波情報を生成し、制御部32に出力するように構成されている。
センサCPU321は、光電変換部311の露光条件を制御する露光制御部321aを有している。露光制御部321aは、検波部323から入力される検波情報に基づいて、露光条件を制御するように構成されている。また、センサCPU321は、ROIの画像データのハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する変換領域制御部(制御部の一例)321bを有している。変換領域制御部321bを有するセンサCPU321及び制御部32はそれぞれ、注目領域ROIの画像データのハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部の一例に相当する。露光制御部321aは、撮像部31に対して露光条件を変更して撮像することを指示する場合は、露光状態が基準となる画像を撮像するために、自動露光にて決定した露光条件(基準露光条件)での撮像を指示するようになっている。
変換領域制御部321bは、注目領域ROIのHDR情報を取得するように構成されている。複数の注目領域ROIが設定されている場合には、変換領域制御部321bは、注目領域ROIごとにHDR情報を取得するように構成されている。変換領域制御部321bは、注目領域ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報をHDR情報として取得するように構成されている。ROIの端部の座標は、上述の基準画素の座標に相当し、本実施形態ではROIの左上端部の画素の座標である。本実施形態では、注目領域ROIの端部として左上端部の座標を取得するように構成されているが、注目領域ROIの位置を特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。注目領域ROIの大きさの情報には、上述の注目領域ROIのX軸方向及びY軸方向のそれぞれの長さの情報が含まれる。
HDR合成処理には、異なる画像のそれぞれから切り出された注目領域ROIが用いられる。このため、変換領域制御部321bは、連続する2つのフレームの前記ハイダイナミックレンジ情報を取得するように構成されている。変換領域制御部321bは、フレームごとに複数の注目領域ROIのそれぞれに対応付けてHDR情報を取得する。変換領域制御部321bは、取得したHDR情報を送信部322に出力する。
センサCPU321は、ROI切り出し部121(図2参照)と同様に、切り出し対象の物体が矩形状でなくても、当該物体を含む最小の矩形を注目領域ROIとして設定する。また、センサCPU321は、ROI解析部122(図2参照)と同様に、注目領域ROIの位置情報(左上端部、X軸方向の長さ、Y軸方向の長さ)を導出し、映像受信装置4に送出するように構成されている。
図14に示すように、センサCPU321は、映像受信装置4に設けられたCamCPU411(詳細は後述)が出力する撮影方法や露光条件などのパラメータが入力されるように構成されている。センサCPU321は、入力されるこれらの情報に基づいて露光制御部321aを制御するように構成されている。
映像送信装置3は、制御部33と、不揮発性記憶部34とを備えている。制御部33は、映像送信装置3側で撮像対象を決定する場合などに、撮像対象の検出や画像認識など制御する。不揮発性記憶部34は、映像送信装置3や映像受信装置4の初期調整データなどを記憶する。
送信部322は、センサCPU321から入力される注目領域ROIの座標(切り出し座標)や大きさ及びHDR情報など、並びに撮像部31から入力される画像データなどを含む伝送データ(図6及び図12参照)を生成して映像受信装置4に送出する。ハイダイナミックレンジ情報は、ROI情報に含められた送信部322から送出される。ROI情報は、伝送データを構成するパケット領域のエンベデッドデータに含められて送信部322から送出される。したがって、本実施形態では、HDR情報は、エンベデッドデータに含められて送信部322から送出される。
このように、映像送信装置3は、エンベデッドデータ又はペイロードデータに含められたハイダイナミックレンジ情報を送信部322から送出する。より具体的には、映像送信装置3は、注目領域ROIの端部の座標、大きさ及び露光情報の情報をハイダイナミックレンジ情報として送信部322から送出する。さらに、映像送信装置3は、連続する2つのフレームのハイダイナミックレンジ情報を送信部322から送出する。
図14に示すように、映像送信装置3は、注目領域ROIの画像データをペイロードデータで送出するとともに、注目領域ROIについての情報をエンベデッドデータで送出する送信部322を備えている。送信部322は、注目領域ROIについての情報の1つとしてHDR情報をエンベデッドデータ又はペイロードデータ(本実施形態ではエンベデッドデータ)に含めて映像受信装置4に送出する。送信部322は、MIPI D-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格でデモザイク情報などを含む伝送データを送出するように構成されている。
図14に示すように、映像受信装置4は、映像送信装置3から伝送された伝送データを用いて所定の信号処理を制御する制御部41を備えている。制御部41は、CamCPU411と、受信部412と、記憶部413と、エンベデッドデータ取得部414とを有している。CamCPU411は、情報抽出部221(図8参照)を除いて、情報処理部220(図8参照)と同様の機能を発揮するように構成されている。送信部322は、EBD解釈部214(図8参照)を除いて、受信部210(図8参照)と同様の機能を発揮するように構成されている。映像受信装置4は、エンベデッドデータ取得部414がEBD解釈部214及び情報抽出部221と同様の機能を発揮するように構成されている。また、制御部41において、受信部412およびエンベデッドデータ取得部414を受信部210に置き換えてもよい。この場合、エンベデッドデータ取得部414が発揮する情報抽出部221の機能は、受信部220で発揮されるようになる。
図14に示すように、映像受信装置4は、注目領域ROIの画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部412を備えている。受信部412は、映像送信装置3から入力される伝送データを受信するように構成されている。受信部412は、MIPI D-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格で当該伝送データを受信する。受信部412は、入力される伝送データから種々のデータを生成し、CamCPU411、記憶部413及びエンベデッドデータ取得部414に出力するように構成されている。
記憶部413は、注目領域ROIの画像データROI Rawを記憶するように構成されている。画像データROI Rawは、Rawデータ、Raw画像あるいは未現像データなどと呼ばれる、光電変換部311で取得された未加工の画像データである。
図14に示すように、映像受信装置4は、注目領域ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を受信部412で受信した伝送信号(伝送データ)からの抽出を制御するエンベデッドデータ取得部(制御部の一例)414を備えている。エンベデッドデータ取得部414を有する制御部41は、注目領域ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を受信部412で受信した伝送信号(伝送データ)からの抽出を制御する制御部の一例に相当する。エンベデッドデータ取得部414は、受信部412から入力される伝送信号(伝送データ)に含まれたROI情報からハイダイナミックレンジ情報を抽出するように構成されている。エンベデッドデータ取得部414は、注目領域ROIの端部の座標、大きさ及び露光情報のいずれか1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報をハイダイナミックレンジ情報として抽出するように構成されている。受信部412が受信するHDR情報は、送信部322から送信される情報である。このため、受信部412が受信するHDR情報におけるROIの端部の座標は、上述の基準画素の座標に相当し、本実施形態ではROIの左上端部の画素の座標である。本実施形態では、注目領域ROIの端部として左上端部の座標を取得するように構成されているが、注目領域ROIの位置を特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。注目領域ROIの大きさの情報には、上述の注目領域ROIのX軸方向及びY軸方向のそれぞれの長さの情報が含まれる。エンベデッドデータ取得部414は、連続する2つのフレームのハイダイナミックレンジ情報を抽出する。
エンベデッドデータ取得部414は、注目領域ROIの例えば左上端部の画素の座標と、当該注目領域ROIの大きさ(X軸方向の長さ及びY軸方向の長さ)の情報と、当該注目領域ROIの及び列情報とをフレームごとに取得して、CamCPU411に出力する。
エンベデッドデータ取得部414は、HDR情報の他にエンベデッドデータに含まれている各種情報(例えば注目領域ROIの数、注目領域ROIの領域番号及び優先度、注目領域ROIのデータ長並びに注目領域ROIの画像フォーマットなど)を取得する。エンベデッドデータ取得部414は、取得した各種情報もCamCPU411に出力する。
図14に示すように、CamCPU411は、撮影方法や露光条件などのパラメータをセンサCPU321に送出するように構成されている。CamCPU411は、撮影方法として例えばHDR合成処理に用いるための撮影を指示する情報をセンサCPU321に送出する。
また、CamCPU411は、ROI一致判定部411aを有している。ROI一致判定部(制御部の一例)411aは、注目領域ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの当該注目領域ROIの単独情報又は組み合わせ情報に基づいて、当該2つのフレームのそれぞれの当該注目領域ROIが一致しているか否かを判断するように構成されている。ROI一致判定部411aを有するCamCPU411及びCamCPU411を有する制御部41はそれぞれ、目領域ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの当該注目領域ROIの単独情報又は組み合わせ情報に基づいて、当該2つのフレームのそれぞれの当該注目領域ROIが一致しているか否かを判断する制御部の一例に相当する。より具体的には、ROI一致判定部411aは、エンベデッドデータ取得部414から入力される各種情報に基づいて、異なるフレーム間での注目領域ROIの一致度を判定するように構成されている。すなわち、ROI一致判定部411aは、エンベデッドデータ取得部414から入力される各種情報に基づいて、異なるフレーム間での2つの注目領域ROIが上述の合成条件1~3を満たすか否かを判定する。ROI一致判定部411aは、1つのフレームにおいて複数の注目領域ROIに関する情報がエンベデッドデータ取得部414から入力された場合、注目領域ROIごとに他のフレームにおける注目領域ROIとの一致の有無を判定する。
ROI一致判定部411aは、注目領域ROIに関する情報がエンベデッドデータ取得部414から入力された場合、HDR合成を実行するか否かを決定するために、合成条件1~3を満たす注目領域ROIが存在するか否かを判定する。ROI一致判定部411aは、異なるフレーム間で合成条件1を満たす注目領域ROIが存在するか否かを判定する。ROI一致判定部411aは、合成条件1を満たす注目領域ROIが存在すると判定した場合、次に、当該注目領域ROIに対して合成条件2を満たすか否かを判定する。
ROI一致判定部411aは、合成条件2を満たすか否かを判定するため、合成条件1を満たす(すなわち領域番号が一致する)例えば2つの注目領域ROIの基準画素の座標(単独情報の一例)が所定の一致性を有するか否かを判定する。ここで、i-1フレーム(iは自然数)の注目領域ROIの基準画素のX座標を「Xr(i-1)」とし、基準画素のY座標を「Yr(i-1)」とする。また、iフレーム(iは自然数)の注目領域ROIの基準画素のX座標を「Xr(i)」とし、基準画素のY座標を「Yr(i)」とする。さらに、X座標の所定閾値としてX座標閾値を「Xth」とし、Y座標の所定閾値としてY座標閾値を「Yth」とする。ROI一致判定部411aは、合成条件1を満たす2つの注目領域ROIの基準画素の座標が以下の式(1)及び式(2)の両方を満たすか否かを判定する。
Xr(i)-Xr(i-1)≦Xth ・・・(1)
Yr(i)-Yr(i-1)≦Yth ・・・(2)
Xr(i)-Xr(i-1)≦Xth ・・・(1)
Yr(i)-Yr(i-1)≦Yth ・・・(2)
ROI一致判定部411aは、合成条件2を満たすと判定した場合、次に、合成条件2を満たす注目領域ROIに対して合成条件3を満たすか否かを判定する。ROI一致判定部411aは、合成条件3を満たすか否かを判定するため、合成条件2を満たす注目領域ROIの大きさ(単独情報の一例)が所定の一致性を有するか否かを判定する。ここで、i-1フレーム(iは自然数)の注目領域ROIのX軸方向(横方向)の長さを「XL(i-1)」とし、当該注目領域ROIのY軸方向(縦方向)の長さを「YL(i-1)」とする。また、iフレーム(iは自然数)の注目領域ROIのX軸方向(横方向)の長さを「XL(i)」とし、当該注目領域ROIのY軸方向(縦方向)の長さを「YL(i)」とする。さらに、X軸方向(横方向)の所定閾値としてX方向閾値を「XLth」とし、Y軸方向(縦方向)の所定閾値としてY方向閾値を「YLth」とする。ROI一致判定部411aは、合成条件2を満たす2つの注目領域ROIの大きさが以下の式(3)及び式(4)の両方を満たすか否かを判定する。
XL(i)-XL(i-1)≦XLth ・・・(3)
YL(i)-YL(i-1)≦YLth ・・・(4)
XL(i)-XL(i-1)≦XLth ・・・(3)
YL(i)-YL(i-1)≦YLth ・・・(4)
X座標閾値、Y座標閾値、X方向閾値及びY方向閾値は、撮像部31の撮像領域の解像度や映像送信装置3、映像受信装置4及び映像伝送システム10の用途などによって設定される。例えば、撮像部31の撮像領域の解像度が高い程、それぞれの閾値が大きい値に設定される。撮像部31の撮像領域の解像度が高いほど、2つの注目領域ROIの位置や大きさが多少ずれていても、HDR合成後の画像において当該ずれの影響を視認することができず、実用上問題にならない。また、HDR合成後の画像において当該ずれの影響に対して許容範囲が大きい用途では、X座標閾値、Y座標閾値、X方向閾値及びY方向閾値は大きい値に設定してもよい。また、X座標閾値、Y座標閾値、X方向閾値及びY方向閾値のうちの一部については大きい値(小さい値)に設定され、残余については当該一部よりも小さい値(大きい値)に設定されてもよい。
このように、ROI一致判定部411aは、合成条件2及び合成条件3のそれぞれでは、単独情報に基づいてそれぞれの合成条件を満たすか否かを判断する。したがって、ROI一致判定部411aは、合成条件1から合成条件3の全体で見ると、2つの単独情報が組み合わされた組み合わせ情報に基づいて2つのフレームのそれぞれの当該注目領域ROIが一致しているか否かを判断する。合成条件2及び合成条件3の判定順序は、上述の順序に限られない。ROI一致判定部411aは、合成条件3を先に判定し、当該合成条件3を満たした場合に合成条件2を判定してもよい。また、ROI一致判定部411aは、一の合成条件が成立しない場合には残余の合成条件の判定を省略することにより、処理負荷を低減することができる。
ROI一致判定部411aが、エンベデッドデータ取得部414から入力されるHDR情報に基づいて合成条件1~3を満たす注目領域ROIが存在すると判定した場合には、CamCPU411は、HDR合成処理の実行条件を満たした注目領域ROIの領域番号と、HDR合成処理の実行を指示する指示情報とを含むHDR指示信号をHDR合成部42(詳細は後述)に出力する。一方、ROI一致判定部411aが、エンベデッドデータ取得部414から入力されるHDR情報に基づいて合成条件1~3を満たす注目領域ROIが存在しないと判定した場合には、CamCPU411は、HDR合成処理を実行しないことを指示する指示情報を含むHDR指示信号をHDR合成部42に出力する。
図14に示すように、映像受信装置4は、エンベデッドデータ取得部414で抽出されたハイダイナミックレンジ情報を用いて注目領域ROIの画像データのハイダイナミックレンジ合成を処理するHDR合成部(処理部の一例)42を備えている。HDR合成部42は、HDR合成処理の実行を指示する指示情報を含むHDR指示信号を受信した場合には、当該HDR指示信号に含まれる注目領域ROIの領域番号の画像データを記憶部413から読み出し、読み出した画像データを用いてHDR合成画像を生成する。すなわち、注目領域ROIの領域番号(識別情報の一例)が一致し且つ連続する2つのフレームにおいて、当該注目領域ROIの端部の座標の差分及び当該注目領域ROIの大きさの差分のそれぞれが所定の閾値以下である場合に、HDR合成部42は、当該注目領域ROIの露光情報に基づいて当該注目領域ROIの画像データに対してハイダイナミックレンジ合成を実行する。
一方、HDR合成部42は、HDR合成処理を実行しないことを指示する指示情報を含むHDR指示信号を受信した場合には、当該HDR指示信号に含まれる注目領域ROIの領域番号の基準露光条件での画像データを記憶部413から読み出し、読み出した画像データをそのまま後段の装置に出力する。すなわち、注目領域ROIの領域番号(識別情報の一例)が一致し且つ連続する2つのフレームにおいて、当該注目領域ROIの端部の座標の差分及び当該注目領域ROIの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、HDR合成部42は、当該注目領域ROIの画像データに対してハイダイナミックレンジ合成を実行しない。
映像受信装置4は、HDR合成部42の後段に画質調整部(不図示)を有していてもよい。画質調整部は、HDR合成部42から入力される画像データに対して、ガンマ補正やホワイトバランスを調整するRGB処理と、画質の濃淡や明るさを調整するYC処理とを実行して画質を調整するように構成されていてもよい。画質調整部は、画質調整した画像を例えば表示装置(不図示)に出力するように構成されている。これにより、当該表示装置には、注目領域ROIに対応する箇所に必要に応じてHDR合成が施された画像が表示される。
(ハイダイナミックレンジ合成処理方法)
次に、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理方法について図14を参照しつつ図15を用いて説明する。図15は、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
次に、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理方法について図14を参照しつつ図15を用いて説明する。図15は、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
(ステップS31)
図15に示すように、映像送信装置3に備えられたセンサCPU321は、フレーム開始トリガを検出し、ハイダイナミックレンジによる撮像が決定している場合には、まず、撮像部31での露光を制御するために露光条件を設定し、ステップS33の処理に移行する。センサCPU321は、検波部323から入力される検波情報に基づいて複数の露光条件を設定する。また、センサCPU321は、露光条件に基準露光条件も含めて設定する。
図15に示すように、映像送信装置3に備えられたセンサCPU321は、フレーム開始トリガを検出し、ハイダイナミックレンジによる撮像が決定している場合には、まず、撮像部31での露光を制御するために露光条件を設定し、ステップS33の処理に移行する。センサCPU321は、検波部323から入力される検波情報に基づいて複数の露光条件を設定する。また、センサCPU321は、露光条件に基準露光条件も含めて設定する。
(ステップS33)
センサCPU321は、撮像部31の撮像領域から画像を切り出す切り出し位置を決定し、ステップS35の処理に移行する。ステップS33において、センサCPU321は、切り出し位置、すなわち注目領域ROIの基準画素の座標(本実施形態では注目領域ROIの左上端部の座標)及び画像サイズ(X軸方向及びY軸方向の長さ)を決定する。また、センサCPU321は、決定した注目領域ROIの座標及び画像サイズと、当該注目領域ROIの露光条件及びデジタルゲインを当該注目領域ROIの領域番号と対応付けた情報をHDR情報としてエンベデッドデータに設定する。センサCPU321は、撮像部31より入力されるフレームごとにHDR情報を取得してエンベデッドデータに設定する。
センサCPU321は、撮像部31の撮像領域から画像を切り出す切り出し位置を決定し、ステップS35の処理に移行する。ステップS33において、センサCPU321は、切り出し位置、すなわち注目領域ROIの基準画素の座標(本実施形態では注目領域ROIの左上端部の座標)及び画像サイズ(X軸方向及びY軸方向の長さ)を決定する。また、センサCPU321は、決定した注目領域ROIの座標及び画像サイズと、当該注目領域ROIの露光条件及びデジタルゲインを当該注目領域ROIの領域番号と対応付けた情報をHDR情報としてエンベデッドデータに設定する。センサCPU321は、撮像部31より入力されるフレームごとにHDR情報を取得してエンベデッドデータに設定する。
(ステップS35)
センサCPU321は、HDR情報及びその他の種々の情報が設定されたエンベデッドデータを含む伝送データを送信部322に設定し、HDR合成処理を終了する。
センサCPU321は、HDR情報及びその他の種々の情報が設定されたエンベデッドデータを含む伝送データを送信部322に設定し、HDR合成処理を終了する。
ステップS35において設定された伝送データは、MIPIを用いたハードウェア(HW)による通信によって、映像送信装置3から映像受信装置4に送信される。
映像受信装置4に備えられた受信部412は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部414に出力する。エンベデッドデータ取得部414は、受信部412から入力されたエンベデッドデータをデコードし、各種情報(例えば注目領域ROIの数、注目領域ROIの領域番号及び優先度、注目領域ROIのデータ長並びに注目領域ROIの画像フォーマットなど)を取得し、取得した当該各種情報をCamCPU411に出力する。
(ステップS41)
CamCPU411は、エンベデッドデータ取得部414でエンベデッドデータがデコードされたタイミングをトリガとして、受信部412で受信した伝送データからエンベデッドデータ取得部414が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ROIの座標(位置及び大きさ)を取得して、ステップS43の処理に移行する。また、ステップS41においてCamCPU411は、当該各種情報に含まれるHDR情報に基づいて、優先度が最も高い注目領域ROIの切り出し位置及びサイズ(すなわち基準画素の座標、X軸方向の長さ及びY軸方向の長さ)をフレームごとに取得する。
CamCPU411は、エンベデッドデータ取得部414でエンベデッドデータがデコードされたタイミングをトリガとして、受信部412で受信した伝送データからエンベデッドデータ取得部414が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ROIの座標(位置及び大きさ)を取得して、ステップS43の処理に移行する。また、ステップS41においてCamCPU411は、当該各種情報に含まれるHDR情報に基づいて、優先度が最も高い注目領域ROIの切り出し位置及びサイズ(すなわち基準画素の座標、X軸方向の長さ及びY軸方向の長さ)をフレームごとに取得する。
(ステップS43)
CamCPU411は、取得した注目領域ROIのHDR情報に基づいて、フレーム間の注目領域ROIの切り出し位置とサイズが一致するか否かを判定する。CamCPU411は、ROI一致判定部411aにおける合成条件1~3の成立の有無に基づき、合成条件1~3の全てが成立していると判定した場合は、ステップS45の処理に移行する。一方、CamCPU411は、合成条件1~3のうちの少なくとも1つが成立していないと判定した場合は、ステップS47の処理に移行する。
CamCPU411は、取得した注目領域ROIのHDR情報に基づいて、フレーム間の注目領域ROIの切り出し位置とサイズが一致するか否かを判定する。CamCPU411は、ROI一致判定部411aにおける合成条件1~3の成立の有無に基づき、合成条件1~3の全てが成立していると判定した場合は、ステップS45の処理に移行する。一方、CamCPU411は、合成条件1~3のうちの少なくとも1つが成立していないと判定した場合は、ステップS47の処理に移行する。
(ステップS45)
CamCPU411は、HDR合成処理の実行条件を満たした注目領域ROIの領域番号と、HDR合成処理の実行を指示する指示情報とを含むHDR指示信号をHDR合成部42に出力し、ステップS47の処理に移行する。
CamCPU411は、HDR合成処理の実行条件を満たした注目領域ROIの領域番号と、HDR合成処理の実行を指示する指示情報とを含むHDR指示信号をHDR合成部42に出力し、ステップS47の処理に移行する。
HDR合成部42は、CamCPU411から入力されたHDR指示信号に基づいて、記憶部413から所定の注目領域ROIの画像データを読み出して、HDR合成処理を実行する。
(ステップS47)
CamCPU411は、エンベデッドデータ取得部414から入力された全ての注目領域ROIに対してステップS41からステップS45の処理を実行したか否かを判定する。CamCPU411は、全ての注目領域ROIに当該処理を実行したと判定した場合(Yes)には、HDR合成処理を終了する。一方、CamCPU411は、全ての注目領域ROIに当該処理を実行していないと判定した場合(No)には、ステップS41の処理に戻る。CamCPU411は、全ての注目領域ROIに対するHDR合成処理が完了するまで、ステップS41からステップS47の処理を繰り返す。
CamCPU411は、エンベデッドデータ取得部414から入力された全ての注目領域ROIに対してステップS41からステップS45の処理を実行したか否かを判定する。CamCPU411は、全ての注目領域ROIに当該処理を実行したと判定した場合(Yes)には、HDR合成処理を終了する。一方、CamCPU411は、全ての注目領域ROIに当該処理を実行していないと判定した場合(No)には、ステップS41の処理に戻る。CamCPU411は、全ての注目領域ROIに対するHDR合成処理が完了するまで、ステップS41からステップS47の処理を繰り返す。
以上説明したように、本実施形態による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の注目領域(ROI)に対しハイダイナミックレンジ合成処理を実現することができる。
また、本実施形態による送信装置、受信装置及び伝送システムは、撮像した画像の全てを送信せずに、撮影対象として特定した物体を切り出した一部の画像に対してハイダイナミックレンジ合成を実行できる。これにより、本実施形態による送信装置、受信装置及び伝送システムは、ハイダイナミックレンジ合成における処理負荷を低減できるので、低消費電力化を図ることができる。また、本実施形態による送信装置、受信装置及び伝送システムにおける長短露光は、フリッカ対策にもなり得る。
(変形例1)
上記第1実施形態の変形例1による送信装置、受信装置及び伝送システムについて図14を参考にして説明する。本変形例による送信装置、受信装置及び伝送システムは、上記第1実施形態におけるROI一致判定部411aが映像受信装置4ではなく、映像送信装置3に設けられている点に特徴を有している。本変形例において以下、説明の便宜上、上記第1実施形態におけるROI一致判定部411aと同じ参照符号を用いて、本変形例におけるROI一致判定部について説明する。
上記第1実施形態の変形例1による送信装置、受信装置及び伝送システムについて図14を参考にして説明する。本変形例による送信装置、受信装置及び伝送システムは、上記第1実施形態におけるROI一致判定部411aが映像受信装置4ではなく、映像送信装置3に設けられている点に特徴を有している。本変形例において以下、説明の便宜上、上記第1実施形態におけるROI一致判定部411aと同じ参照符号を用いて、本変形例におけるROI一致判定部について説明する。
本変形例におけるROI一致判定部(制御部の一例)411aは、例えば変換領域制御部321bに接続されてセンサCPU321に設けられる。これにより、ROI一致判定部411aには、注目領域ROIの端部の座標、大きさ及び露光情報のいずれか1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報が変換領域制御部321bから入力される。ROI一致判定部411aは、上記第1実施形態におけるROI一致判定部411aと同様の機能を発揮するように構成される。このため、ROI一致判定部411aは、注目領域ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの当該注目領域ROIの単独情報又は組み合わせ情報に基づいて、当該2つのフレームのそれぞれの当該注目領域ROIが一致しているか否かを判断することができる。
したがって、本変形例におけるROI一致判定部を有するセンサCPU321及びセンサCPU321を有する制御部32は、当該単独情報又は当該組み合わせ情報に基づいて、2つのフレームのそれぞれの注目領域ROIが一致しているか否かを判断する制御部の一例に相当する。
ROI一致判定部411aは、例えば送信部322に接続されている。このため、ROI一致判定部411a、2つのフレームのそれぞれの注目領域ROIが一致しているか否かの判断結果の情報と、当該注目領域ROIの識別情報とが対応付けられた情報を送信部322に出力できる。これにより、送信部322は、変換領域制御部321bにおいて2つのフレームのそれぞれの注目領域ROIが一致しているか否かの判断結果の情報と当該注目領域ROIの識別情報とが対応付けられた情報及び欠陥画素の情報が含まれている単独情報又は組み合わせ情報をROI情報に含めて映像受信装置4に備えられた受信部412に送出することができる。
受信部412は、映像送信装置3における2つのフレームのそれぞれの注目領域ROIが一致しているか否かの判断結果の情報と当該注目領域ROIの識別情報とが対応付けられた情報及び欠陥画素の情報が含まれている単独情報又は組み合わせ情報を有するROI情報を含む伝送信号を受信する。エンベデットデータ取得部414は、受信部412で受信されたROI情報から、当該判断結果の情報及び注目領域ROIの識別情報並び欠陥画素の情報を取得できる。HDR合成部42は、エンベデットデータ取得部414で取得された当該判断結果の情報及び注目領域ROIの識別情報並びに欠陥画素の情報に基づいて、HDR合成処理を実行することができる。
(変形例2)
上記第1実施形態の変形例2による送信装置、受信装置及び伝送システムについて図14を参考にして説明する。本変形例による送信装置、受信装置及び伝送システムは、上記変形例1におけるHDR合成部42が映像受信装置4ではなく、映像送信装置3に設けられている点に特徴を有している。本変形例において以下、説明の便宜上、上記第1実施形態におけるROI一致判定部411a及びHDR合成部42と同じ参照符号を用いて、本変形例におけるROI一致判定部及びHDR合成部42について説明する。
上記第1実施形態の変形例2による送信装置、受信装置及び伝送システムについて図14を参考にして説明する。本変形例による送信装置、受信装置及び伝送システムは、上記変形例1におけるHDR合成部42が映像受信装置4ではなく、映像送信装置3に設けられている点に特徴を有している。本変形例において以下、説明の便宜上、上記第1実施形態におけるROI一致判定部411a及びHDR合成部42と同じ参照符号を用いて、本変形例におけるROI一致判定部及びHDR合成部42について説明する。
本変形例では、ROI一致判定部411aは、送信部322ではなく、例えばHDR合成部(処理部の一例)42に接続される。また、変換領域制御部321bは、ROI一致判定部411aに加えて、HDR合成部42にも接続されている。これにより、HDR合成部42には、2つのフレームのそれぞれの注目領域ROIが一致しているか否かの判断結果の情報と当該注目領域ROIの識別情報とが対応付けられた情報及び欠陥画素の情報が入力される。
このため、HDR合成部42は、ROI一致判定部411aにおいて2つのフレームのそれぞれの注目領域ROIが一致していると判断された場合に露光情報に基づいて当該注目領域ROIの画像データに対してハイダイナミックレンジ合成を処理することができる。一方、HDR合成部42は、ROI一致判定部411aにおいて2つのフレームのそれぞれの注目領域ROIが一致していないと判断された場合に当該注目領域ROIの画像データに対してハイダイナミックレンジ合成を処理しない。
本変形例では、HDR合成部42は、送信部322に接続されている。このため、HDR合成部42は、ハイダイナミックレンジ合成を実行した場合、ハイダイナミックレンジ合成した画像データを送信部322に出力できる。送信部322は、HDR合成部42でハイダイナミックレンジ合成された画像データをROI情報に含めて送出することができる。
映像受信装置4は、HDR合成処理された画像データが映像送信装置3から入力された場合、当該画像データに対して、例えばガンマ補正やホワイトバランスを調整するRGB処理と、画質の濃淡や明るさを調整するYC処理とを実行して画質を調整してもよい。映像受信装置4は、画質調整した画像を例えば表示装置(不図示)に出力するように構成されている。これにより、当該表示装置には、注目領域ROIに対応する箇所に必要に応じてHDR合成が施された画像が表示される。
以上説明したように、変形例1及び変形例2による送信装置、受信装置及び伝送システムにはそれぞれ、上記第1実施形態による送信装置、受信装置及び伝送システムと同様の効果が得られる。
〔第2実施形態〕
5.本開示の第2実施形態におけるハイダイナミックレンジ合成処理の原理:
次に、本開示の実施形態におけるハイダイナミックレンジ合成処理の原理について図16から図21を用いて説明する。本実施形態におけるHDR合成処理は、1つの注目領域ROIに異なる露光条件で露光された画像が混在する場合に適用される点に特徴を有している。
5.本開示の第2実施形態におけるハイダイナミックレンジ合成処理の原理:
次に、本開示の実施形態におけるハイダイナミックレンジ合成処理の原理について図16から図21を用いて説明する。本実施形態におけるHDR合成処理は、1つの注目領域ROIに異なる露光条件で露光された画像が混在する場合に適用される点に特徴を有している。
図16は、本実施形態におけるハイダイナミックレンジ合成処理を模式的に示す図である。図16中の太矢印の左側に示すように、注目領域ROIには、短露光の画像と長露光の画像が2行ずつ交互に並んでいる。このように、1つの注目領域ROIに異なる露光条件で制御された画素(すなわち光電変換素子)が混在する場合、本実施形態では、注目領域ROIの基準画素の座標と、短露光及び長露光を組み合わせた露光パターンとを特定することによって、注目領域ROIごとにHDR合成処理を実行するようになっている。これにより、図16中の太矢印の右側に示すように、注目領域ROIにおけるHDR合成画像を生成することができる。
ここで、露光パターンについて図16を参照しつつ図17から図19を用いて説明する。図17は、図16中の太矢印の左側に示す撮像領域から切り出される撮像素子の露光パターンPA1~PA4を示す図である。以下、図16中の太矢印の左側に示す撮像領域の露光及び色を組み合わせた配列を「配列例A」と称する。
図16中の太矢印の左側に示す撮像画像は、上述のとおり、短露光の画像と長露光の画像が2行ずつ交互に並んで配置されている。つまり、配列例1における撮像領域は、短露光の画素と長露光の画素が2行ずつ交互に並んで配置されている。また、配列例1における撮像領域は、左上端部に配置された赤色画素(以下、「R画素」と略記する)を有している。また、配列例1における撮像領域は、左端部がR画素であり、かつR画素及び緑色画素(以下、「G画素」と略記する)が交互に配置された奇数行と、左端部がG画素であり、かつG画素及び青色画素(以下、「B画素」と略記する)が交互に配置された偶数行とを有している。
配列例Aにおける撮像領域の全体の画素の色配列は確定されている。このため、配列例Aにおける撮像領域から注目領域ROIを切り出す場合、切り出しの位置によって、図17に示すように、注目領域ROIに含まれる露光及び色配列の組み合わせとして8つの露光パターンPA1~PA8がある。
図17に示すように、基準画素を注目領域ROIの左上端部とすると、露光パターンPA1での左上端部は、短露光のR画素に相当する。露光パターンPA1での左上端部の座標は、X座標が「2×m-1」で表され、Y座標が「1+(n-1)×d」で表される。ここで、m及びnは自然数である。dは、Y軸方向(縦方向)における配列パターンの種類の個数であり、本例では「4」である。以下、m、n及びdは、本実施形態における配列パターンにおいて同一の内容を意味する。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA1は、1行目が短露光の「R画素、G画素、R画素、G画素、R画素」となり、2行目が短露光の「G画素、B画素、G画素、B画素、G画素」となる。また、露光パターンPA1は、3行目が長露光の「R画素、G画素、R画素、G画素、R画素」となり、4行目が長露光の「G画素、B画素、G画素、B画素、G画素」となる。さらに、露光パターンPA1は、5行目の露光条件及び色配列が1行目と同一となる。
図17に示すように、露光パターンPA2での左上端部は、短露光のG画素に相当する。露光パターンPA2での左上端部の座標は、X座標が「2×m」で表され、Y座標が「1+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA2は、1行目が短露光の「G画素、R画素、G画素、R画素、G画素」となり、2行目が短露光の「B画素、G画素、B画素、G画素、B画素」となる。また、露光パターンPA2は、3行目が長露光の「G画素、R画素、G画素、R画素、G画素」となり、4行目が長露光の「B画素、G画素、B画素、G画素、B画素」となる。さらに、露光パターンPA2は、5行目の露光条件及び色配列が1行目と同一となる。
図17に示すように、露光パターンPA3での左上端部は、短露光のG画素に相当する。露光パターンPA3での左上端部の座標は、X座標が「2×m-1」で表され、Y座標が「2+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA3は、1行目が短露光の「G画素、B画素、G画素、B画素、G画素」となり、2行目が長露光の「R画素、G画素、R画素、G画素、R画素」となる。また、露光パターンPA3は、3行目が長露光の「G画素、B画素、G画素、B画素、G画素」となり、4行目が短露光の「R画素、G画素、R画素、G画素、R画素」となる。さらに、露光パターンPA3は、5行目の露光条件及び色配列が1行目と同一となる。
図17に示すように、露光パターンPA4での左上端部は、短露光のB画素に相当する。露光パターンPA4での左上端部の座標は、X座標が「2×m」で表され、Y座標が「2+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA4は、1行目が短露光の「B画素、G画素、B画素、G画素、B画素」となり、2行目が長露光の「G画素、R画素、G画素、R画素、G画素」となる。また、露光パターンPA4は、3行目が長露光の「B画素、G画素、B画素、G画素、B画素」となり、4行目が短露光の「G画素、R画素、G画素、R画素、G画素」となる。さらに、露光パターンPA4は、5行目の露光条件及び色配列が1行目と同一となる。
図17に示すように、露光パターンPA5での左上端部は、長露光のR画素に相当する。露光パターンPA5での左上端部の座標は、X座標が「2×m-1」で表され、Y座標が「3+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA5は、色配列が露光パターンPA1と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図17に示すように、露光パターンPA6での左上端部は、長露光のG画素に相当する。露光パターンPA6での左上端部の座標は、X座標が「2×m」で表され、Y座標が「3+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA6は、色配列が露光パターンPA2と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図17に示すように、露光パターンPA7での左上端部は、長露光のG画素に相当する。露光パターンPA7での左上端部の座標は、X座標が「2×m-1」で表され、Y座標が「4+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA7は、色配列が露光パターンPA3と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図17に示すように、露光パターンPA8での左上端部は、長露光のB画素に相当する。露光パターンPA8での左上端部の座標は、X座標が「2×m」で表され、Y座標が「4+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPA8は、色配列が露光パターンPA4と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図18は、撮像部の撮像領域に設けられた撮像素子の露光条件及び色配列を組み合わせた配列例Bを模式的に示す図である。図19は、図18に示す配列例Bから切り出される撮像素子の露光パターンPB1~PB16を示す図である。
図18に示すように、配列例Bでは、奇数行にはR画素及びG画素が交互に並んで配置され、偶数行にはG画素及びB画素が交互に並んで配置されている。また、配列例Bでは、奇数行の左側端部にR画素が配置され、偶数行の左側端部にG画素が配置されている。さらに、配列例Bでは、G画素及び当該G画素の右側に隣接する画素を組として、当該組の露光条件が短露光及び長露光を交互に繰り返すように構成されている。また、配列例Bでは、1行目、4行目、5行目及び6行目の左側端部の露光条件が短露光であり、残余の行の左側端部の露光条件が長露光となっている。
配列例Bにおける撮像領域の全体の画素の色配列は確定されている。このため、配列例Bにおける撮像領域から注目領域ROIを切り出す場合、切り出しの位置によって、図19に示すように、注目領域ROIに含まれる露光及び色配列の組み合わせとして16個の露光パターンPB1~PB16がある。
図19に示すように、基準画素を注目領域ROIの左上端部とすると、露光パターンPB1での左上端部は、短露光のR画素に相当する。露光パターンPB1での左上端部の座標は、X座標が「1+(m-1)×dx」で表され、Y座標が「1+(n-1)×dy」で表される。ここで、dxは、X軸方向(横方向)における配列パターンの種類の個数であり、本例では「4」である。dyは、Y軸方向(縦方向)における配列パターンの種類の個数であり、本例では「4」である。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB1は、1行目が「短露光R画素、長露光G画素、長露光R画素、短露光G画素、短露光R画素」となり、2行目が「長露光G画素、長露光B画素、短露光G画素、短露光B画素、長露光G画素」となる。ここで、例えば「短露光R画素」は、露光条件が短露光のR画素であることを意味し、「長露光R画素」は、露光条件が長露光のR画素であることを意味している。また、その他の露光条件及び色画素の組み合わせについても、同様の表記がなされている。また、露光パターンPB1は、3行目が「長露光R画素、短露光G画素、長露光R画素、短露光G画素、長露光R画素」となり、4行目が「短露光G画素、短露光B画素、長露光G画素、長露光B画素、短露光G画素」となる。さらに、露光パターンPB1は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB2での左上端部は、長露光のG画素に相当する。露光パターンPB2での左上端部の座標は、X座標が「2+(m-1)×dx」で表され、Y座標が「1+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB2は、1行目が「長露光G画素、長露光R画素、短露光G画素、短露光R画素、長露光G画素」となり、2行目が短露光の「長露光B画素、短露光G画素、短露光B画素、長露光G画素、長露光B画素」となる。また、露光パターンPB2は、3行目が「短露光G画素、短露光R画素、長露光G画素、長露光R画素、短露光G画素」となり、4行目が「短露光B画素、短露光G画素、長露光B画素、長露光G画素、短露光B画素」となる。さらに、露光パターンPB2は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB3での左上端部は、長露光のR画素に相当する。露光パターンPB3での左上端部の座標は、X座標が「3+(m-1)×dx」で表され、Y座標が「1+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB3は、1行目が「長露光R画素、短露光G画素、短露光R画素、長露光G画素、長露光R画素」となり、2行目が「短露光G画素、短露光B画素、長露光G画素、長露光B画素、短露光G画素」となる。また、露光パターンPB3は、3行目が「短露光R画素、長露光G画素、長露光R画素、短露光G画素、短露光R画素」となり、4行目が「長露光G画素、長露光B画素、短露光G画素、短露光B画素、長露光G画素」となる。さらに、露光パターンPB3は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB4での左上端部は、短露光のG画素に相当する。露光パターンPB4での左上端部の座標は、X座標が「4+(m-1)×dx」で表され、Y座標が「1+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB4は、1行目が「短露光G画素、短露光R画素、長露光G画素、長露光R画素、短露光G画素」となり、2行目が「短露光B画素、長露光G画素、長露光B画素、短露光G画素、短露光B画素」となる。また、露光パターンPB5は、3行目が「長露光G画素、長露光R画素、短露光G画素、短露光R画素、長露光G画素」となり、4行目が「長露光B画素、短露光G画素、短露光B画素、長露光G画素、長露光B画素」となる。さらに、露光パターンPB4は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB5での左上端部は、長露光のG画素に相当する。露光パターンPB5での左上端部の座標は、X座標が「1+(m-1)×dx」で表され、Y座標が「2+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図17に示すように、露光パターンPB5は、1行目が「長露光G画素、長露光B画素、短露光G画素、短露光B画素、長露光G画素」となり、2行目が「長露光R画素、短露光G画素、短露光R画素、長露光G画素、長露光R画素」となる。また、露光パターンPB5は、3行目が「短露光G画素、短露光B画素、長露光G画素、長露光B画素、短露光G画素」となり、4行目が「短露光R画素、長露光G画素、長露光R画素、短露光G画素、短露光R画素」となる。さらに、露光パターンPB5は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB5での左上端部は、長露光のG画素に相当する。露光パターンPB5での左上端部の座標は、X座標が「1+(m-1)×dx」で表され、Y座標が「2+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB5は、1行目が「長露光G画素、長露光B画素、短露光G画素、短露光B画素、長露光G画素」となり、2行目が「長露光R画素、短露光G画素、短露光R画素、長露光G画素、短露光R画素」となる。また、露光パターンPB5は、3行目が「短露光G画素、短露光B画素、長露光G画素、長露光B画素、短露光G画素」となり、4行目が「短露光R画素、長露光G画素、長露光R画素、短露光G画素、短露光R画素」となる。さらに、露光パターンPB5は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB6での左上端部は、長露光のB画素に相当する。露光パターンPB6での左上端部の座標は、X座標が「2+(m-1)×dx」で表され、Y座標が「2+(n-1)×d」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB6は、1行目が「長露光B画素、短露光G画素、短露光B画素、長露光G画素、長露光B画素」となり、2行目が「短露光G画素、短露光R画素、長露光G画素、長露光R画素、短露光G画素」となる。また、露光パターンPB6は、3行目が「短露光B画素、長露光G画素、長露光B画素、短露光G画素、短露光B画素」となり、4行目が「長露光G画素、長露光R画素、短露光G画素、短露光R画素、長露光G画素」となる。さらに、露光パターンPB6は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB7での左上端部は、短露光のG画素に相当する。露光パターンPB7での左上端部の座標は、X座標が「3+(m-1)×dx」で表され、Y座標が「2+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB7は、1行目が「短露光G画素、短露光B画素、長露光G画素、長露光B画素、短露光G画素」となり、2行目が「短露光R画素、長露光G画素、長露光R画素、短露光G画素、短露光R画素」となる。また、露光パターンPB7は、3行目が「長露光G画素、長露光B画素、短露光G画素、短露光B画素、長露光G画素」となり、4行目が「長露光R画素、短露光G画素、短露光R画素、長露光G画素、長露光R画素」となる。さらに、露光パターンPB7は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB8での左上端部は、短露光のB画素に相当する。露光パターンPB8での左上端部の座標は、X座標が「4+(m-1)×dx」で表され、Y座標が「2+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB8は、1行目が「短露光B画素、長露光G画素、長露光B画素、短露光G画素、短露光B画素」となり、2行目が「長露光G画素、長露光R画素、短露光G画素、短露光R画素、長露光G画素」となる。また、露光パターンPB8は、3行目が「長露光B画素、短露光G画素、短露光B画素、長露光G画素、長露光B画素」となり、4行目が「短露光G画素、短露光R画素、長露光G画素、長露光R画素、短露光G画素」となる。さらに、露光パターンPB4は、5行目の露光条件及び色配列が1行目と同一となる。
図19に示すように、露光パターンPB9での左上端部は、長露光のR画素に相当する。露光パターンPB9での左上端部の座標は、X座標が「1+(m-1)×dx」で表され、Y座標が「3+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB9は、色配列が露光パターンPB1と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB10での左上端部は、短露光のG画素に相当する。露光パターンPB10での左上端部の座標は、X座標が「2+(m-1)×dx」で表され、Y座標が「3+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB10は、色配列が露光パターンPB2と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB11での左上端部は、短露光のR画素に相当する。露光パターンPB11での左上端部の座標は、X座標が「3+(m-1)×dx」で表され、Y座標が「3+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB11は、色配列が露光パターンPB3と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB12での左上端部は、長露光のG画素に相当する。露光パターンPB12での左上端部の座標は、X座標が「4+(m-1)×dx」で表され、Y座標が「3+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB12は、色配列が露光パターンPB4と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB13での左上端部は、短露光のG画素に相当する。露光パターンPB13での左上端部の座標は、X座標が「1+(m-1)×dx」で表され、Y座標が「4+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB13は、色配列が露光パターンPB5と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB14での左上端部は、短露光のB画素に相当する。露光パターンPB14での左上端部の座標は、X座標が「2+(m-1)×dx」で表され、Y座標が「4+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB14は、色配列が露光パターンPB6と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB15での左上端部は、長露光のG画素に相当する。露光パターンPB15での左上端部の座標は、X座標が「3+(m-1)×dx」で表され、Y座標が「4+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB15は、色配列が露光パターンPB7と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
図19に示すように、露光パターンPB16での左上端部は、長露光のB画素に相当する。露光パターンPB16での左上端部の座標は、X座標が「4+(m-1)×dx」で表され、Y座標が「4+(n-1)×dy」で表される。また、切り出される領域の大きさが5行5列であれば、図19に示すように、露光パターンPB16は、色配列が露光パターンPB8と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
このように、撮像領域全体の露光条件が既知である場合、注目領域ROIの例えば左上端部の画素の露光条件、座標及び切り出される領域の大きさの情報が得られることにより、注目領域ROIに含まれる画素の露光条件を確定することができる。このため、映像送信装置が注目領域ROIごとに画素の露光条件、座標及び大きさに関する情報をHDR情報として映像受信装置に伝送することにより、映像受信装置は、注目領域ROIに対してHDR合成処理を実行することができる。
例えば、映像送信装置及び映像受信装置がそれぞれ、撮像部が配列例Aの色配列を有する撮像領域を有している情報を不揮発性記憶素子に格納しており、映像送信装置から露光パターンPA1における左上端部の情報及び注目領域ROIの大きさの情報がHDR情報として映像受信装置に伝送されたとする。映像受信装置は、当該HDR情報に基づいて、注目領域ROIの露光条件が図17に示す露光パターンPA1~PA8のいずれであるかを判定できる。映像受信装置は、判定した注目領域ROIの露光条件に基づいて、HDR合成処理を実行する。これにより、図16中の太い矢印の右側に示すように、HDR合成処理後のHDR合成画像が生成される。
6.本開示の第2実施形態による装置及びシステム:
次に、本開示の第2実施形態による送信装置、受信装置及び伝送システムについて図20及び図21を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図20を用いて説明する。図20は、本実施形態による映像送信装置5、映像受信装置6及び映像伝送システム20の概略構成を示すブロック図である。なお、上記第1実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
次に、本開示の第2実施形態による送信装置、受信装置及び伝送システムについて図20及び図21を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図20を用いて説明する。図20は、本実施形態による映像送信装置5、映像受信装置6及び映像伝送システム20の概略構成を示すブロック図である。なお、上記第1実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
図20に示すように、本実施形態による映像送信装置5は、エンベデッドデータに含められるHDR情報の内容が異なる点を除いて、上記第1実施形態による映像送信装置3と同様の構成を有している。映像送信装置5に設けられた変換領域制御部521bは、注目領域ROIのHDR情報を取得するように構成されている。複数の注目領域ROIが設定されている場合には、変換領域制御部521bは、注目領域ROIごとにHDR情報を取得するように構成されている。変換領域制御部521bは、注目領域ROIの基準画素の座標、大きさ及び露光情報のいずれか1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報をHDR情報として取得するように構成されている。注目領域ROIの大きさの情報には、上述の注目領域ROIのX軸方向及びY軸方向のそれぞれの長さの情報が含まれる。
変換領域制御部521bは、露光情報として基準画素(本実施形態では注目領域ROIの左上端部の画素)の露光条件を取得するように構成されている。本実施形態では、注目領域ROIの基準画素として、当該注目領域ROIの左上端部の座標を取得するように構成されているが、注目領域ROIの位置及び当該注目領域ROIの露光パターンを特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。つまり、露光情報となる基準画素は、撮像部31の撮像領域の全画素の露光条件との対応付けを行ことができる画素であればよい。例えば、図17及び図19に示す露光パターンが注目領域ROIの右下端部を基準に作成されている場合は、当該右下端部の画素は、撮像部31の撮像領域の全画素の露光条件との対応付けを行ことができる画素となる。このため、この場合には、変換領域制御部521bは、注目領域ROIの右下端部の画素を基準画素と判定し、当該画素の座標及び露光条件を取得する。
変換領域制御部321bは、取得した注目領域ROIの大きさ、当該注目領域ROIの基準画素の座標、露光条件及び当該座標の画像データに施したデジタルゲインの値をHDR情報として当該注目領域ROIの領域番号に対応付けて送信部322に出力する。変換領域制御部321bは、複数の注目領域ROIが存在する場合には複数の注目領域ROIごとにHDR情報を取得して送信部322に出力する。送信部322は、変換領域制御部521bから入力されるHDR情報を含むROI情報やその他の情報とともにエンベデットデータに含めた伝送データを作成して映像受信装置6に送出する。
センサCPU521は、変換領域制御部521bの機能が異なる点を除いて、上記第1実施形態におけるセンサCPU321と同様の構成を有し、同様の機能を発揮するように構成されている。また、制御部52は、変換領域制御部521bの機能が異なる点を除いて、上記第1実施形態における制御部32と同様の構成を有し、同様の機能を発揮するように構成されている。このため、センサCPU521及び制御部52の説明は省略する。
図20に示すように、映像受信装置6に備えられたCamCPU611は、基準画素判定部611aを有している。基準画素判定部611aは、エンベデッドデータ取得部414から入力される各種情報に基づいて、注目領域ROIの基準画素(本実施形態では当該注目領域ROIの左上端部の画素の座標)の座標及び露光条件と、当該注目領域ROIの大きさ(X軸方向及びY軸方向のそれぞれの長さ)を取得し、当該注目領域ROIの画素パターン(すなわち露光パターン)を特定するように構成されている。例えばCamCPU411の記憶領域には、図17及び図19において例示したような複数の露光パターンが格納されている。基準画素判定部611aは、エンベデッドデータ取得部414から入力される各種情報から取得した注目領域ROIの基準画素の座標及び露光条件と、CamCPU411の記憶領域に格納された複数の露光パターンに基づいて、当該注目領域ROIの露光パターンを特定する。
複数の露光パターンは、センサCPU521の記憶領域に格納されており、映像送信装置5は、HDR情報とともに複数の露光パターンを映像受信装置6に送出するように構成されていてもよい。また、変換領域制御部521bは、注目領域ROIの基準画素の座標及び露光条件に基づいて露光パターンを選択するように構成されていてもよい。また、センサCPU521及びCamCPU611はいずれも、パターン番号に対応付けて複数の露光パターンを有していてもよい。この場合、映像送信装置5は、変換領域制御部521bが注目領域ROIの基準画素の座標及び露光条件に基づいて選択した露光パターンのパターン番号を映像受信装置6に送出してもよい。
基準画素判定部611aが、エンベデッドデータ取得部414から入力されるHDR情報に基づいて判定した注目領域ROIの基準画素の座標及び露光条件、露光パターン並びに当該注目領域ROIの領域番号と、HDR合成処理の実行を指示する指示情報とを含むHDR指示信号をHDR合成部42に出力する。一方、基準画素判定部611aが、エンベデッドデータ取得部414から入力されるHDR情報に基づいて注目領域ROIの基準画素の座標及び露光条件を判定できなかった場合には、CamCPU411は、HDR合成処理を実行しないことを指示する指示情報を含むHDR指示信号をHDR合成部42に出力する。
HDR合成部42は、HDR合成処理の実行を指示する指示情報を含むHDR指示信号を受信した場合には、当該HDR指示信号に含まれる注目領域ROIの領域番号の画像データをCamCPU611から読み出し、読み出した画像データを用いてHDR合成画像を生成する。
CamCPU611は、基準画素判定部611aを有している点を除いて、上記第1実施形態におけるCamCPU411と同様の構成を有し、同様の機能を発揮するように構成されている。また、制御部61は、CamCPU411に基準画素判定部611aが設けられている点及び記憶部413を有していない点を除いて、上記第1実施形態における制御部41と同様の構成を有し、同様の機能を発揮するように構成されている。このため、CamCPU611及び制御部61の説明は省略する。
(ハイダイナミックレンジ合成処理方法)
次に、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理方法について図20を参照しつつ図21を用いて説明する。図21は、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
次に、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理方法について図20を参照しつつ図21を用いて説明する。図21は、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
(ステップS51)
図21に示すように、映像送信装置5に備えられたセンサCPU521は、フレーム開始トリガを検出し、ハイダイナミックレンジによる撮像が決定している場合には、まず、撮像部31での露光を制御するために露光条件を設定し、ステップS53の処理に移行する。センサCPU521は、検波部323から入力される検波情報に基づいて複数の露光条件を設定する。また、センサCPU521は、露光条件に基準露光条件も含めて設定する。
図21に示すように、映像送信装置5に備えられたセンサCPU521は、フレーム開始トリガを検出し、ハイダイナミックレンジによる撮像が決定している場合には、まず、撮像部31での露光を制御するために露光条件を設定し、ステップS53の処理に移行する。センサCPU521は、検波部323から入力される検波情報に基づいて複数の露光条件を設定する。また、センサCPU521は、露光条件に基準露光条件も含めて設定する。
(ステップS53)
センサCPU521は、撮像部31の撮像領域から画像を切り出す切り出し位置を決定し、ステップS55の処理に移行する。ステップS53において、センサCPU521は、切り出し位置、すなわち注目領域ROIの基準画素の座標(本実施形態では注目領域ROIの左上端部の座標)及び画像サイズ(X軸方向及びY軸方向の長さ)を決定する。また、センサCPU521は、決定した注目領域ROIの基準画素の露光条件及びデジタルゲインを当該注目領域ROIの領域番号と対応付けた情報をHDR情報としてエンベデッドデータに設定する。センサCPU521は、撮像部31より入力されるフレームごとにHDR情報を取得してエンベデッドデータに設定する。
センサCPU521は、撮像部31の撮像領域から画像を切り出す切り出し位置を決定し、ステップS55の処理に移行する。ステップS53において、センサCPU521は、切り出し位置、すなわち注目領域ROIの基準画素の座標(本実施形態では注目領域ROIの左上端部の座標)及び画像サイズ(X軸方向及びY軸方向の長さ)を決定する。また、センサCPU521は、決定した注目領域ROIの基準画素の露光条件及びデジタルゲインを当該注目領域ROIの領域番号と対応付けた情報をHDR情報としてエンベデッドデータに設定する。センサCPU521は、撮像部31より入力されるフレームごとにHDR情報を取得してエンベデッドデータに設定する。
(ステップS55)
センサCPU521は、HDR情報及びその他の種々の情報が設定されたエンベデッドデータを含む伝送データを送信部322に設定し、HDR合成処理を終了する。
センサCPU521は、HDR情報及びその他の種々の情報が設定されたエンベデッドデータを含む伝送データを送信部322に設定し、HDR合成処理を終了する。
ステップS55において設定された伝送データは、MIPIを用いたハードウェア(HW)による通信によって、映像送信装置5から映像受信装置6に送信される。
映像受信装置6に備えられた受信部412は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部414に出力する。エンベデッドデータ取得部414は、受信部412から入力されたエンベデッドデータをデコードし、各種情報(例えば注目領域ROIの数、注目領域ROIの領域番号及び優先度、注目領域ROIのデータ長並びに注目領域ROIの画像フォーマットなど)を取得し、取得した当該各種情報をCamCPU611に出力する。
(ステップS61)
CamCPU611は、エンベデッドデータ取得部414でエンベデッドデータがデコードされたタイミングをトリガとして、受信部412で受信した伝送データからエンベデッドデータ取得部414が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ROIの座標(位置及び大きさ)を取得して、ステップS63の処理に移行する。また、ステップS61においてCamCPU611は、当該各種情報に含まれるHDR情報に基づいて、優先度が最も高い注目領域ROIの切り出し位置及びサイズ(すなわち基準画素の座標、X軸方向の長さ及びY軸方向の長さ)を取得する。
CamCPU611は、エンベデッドデータ取得部414でエンベデッドデータがデコードされたタイミングをトリガとして、受信部412で受信した伝送データからエンベデッドデータ取得部414が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ROIの座標(位置及び大きさ)を取得して、ステップS63の処理に移行する。また、ステップS61においてCamCPU611は、当該各種情報に含まれるHDR情報に基づいて、優先度が最も高い注目領域ROIの切り出し位置及びサイズ(すなわち基準画素の座標、X軸方向の長さ及びY軸方向の長さ)を取得する。
(ステップS63)
CamCPU611は、取得した注目領域ROIの基準画素の座標に基づいて、当該注目領域ROIの画素パターン(すなわち露光パターン)を判定し、ステップS65の処理に移行する。
CamCPU611は、取得した注目領域ROIの基準画素の座標に基づいて、当該注目領域ROIの画素パターン(すなわち露光パターン)を判定し、ステップS65の処理に移行する。
(ステップS65)
CamCPU611は、取得した注目領域ROIの領域番号と、当該注目領域ROIの基準画素の座標及び露光パターンと、デジタルゲインの値と、HDR合成処理の実行を指示する指示情報とを含むHDR指示信号をHDR合成部42に出力し、ステップS67の処理に移行する。
CamCPU611は、取得した注目領域ROIの領域番号と、当該注目領域ROIの基準画素の座標及び露光パターンと、デジタルゲインの値と、HDR合成処理の実行を指示する指示情報とを含むHDR指示信号をHDR合成部42に出力し、ステップS67の処理に移行する。
HDR合成部42は、CamCPU611から入力されたHDR指示信号に基づいて、CamCPU611から所定の注目領域ROIの画像データを読み出して、HDR合成処理を実行する。
(ステップS67)
CamCPU611は、エンベデッドデータ取得部414から入力された全ての注目領域ROIに対してステップS61からステップS65の処理を実行したか否かを判定する。CamCPU611は、全ての注目領域ROIに当該処理を実行したと判定した場合(Yes)には、HDR合成処理を終了する。一方、CamCPU611は、全ての注目領域ROIに当該処理を実行していないと判定した場合(No)には、ステップS61の処理に戻る。CamCPU611は、全ての注目領域ROIに対するHDR合成処理が完了するまで、ステップS61からステップS67の処理を繰り返す。
CamCPU611は、エンベデッドデータ取得部414から入力された全ての注目領域ROIに対してステップS61からステップS65の処理を実行したか否かを判定する。CamCPU611は、全ての注目領域ROIに当該処理を実行したと判定した場合(Yes)には、HDR合成処理を終了する。一方、CamCPU611は、全ての注目領域ROIに当該処理を実行していないと判定した場合(No)には、ステップS61の処理に戻る。CamCPU611は、全ての注目領域ROIに対するHDR合成処理が完了するまで、ステップS61からステップS67の処理を繰り返す。
以上説明したように、本実施形態による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の注目領域(ROI)に対しハイダイナミックレンジ合成処理を実現することができる。
また、本実施形態による送信装置、受信装置及び伝送システムは、撮像部の撮像領域を構成する画素に異なる露光条件が混在していても、注目領域ROIごとにハイダイナミックレンジ合成処理を実行することができる。
また、本実施形態による送信装置、受信装置及び伝送システムは、撮像した画像の全てを送信せずに、撮影対象として特定した物体を切り出した一部の画像に対してハイダイナミックレンジ合成を実行できる。これにより、本実施形態による送信装置、受信装置及び伝送システムは、ハイダイナミックレンジ合成における処理負荷を低減できるので、低消費電力化を図ることができる。また、本実施形態による送信装置、受信装置及び伝送システムにおける長短露光は、フリッカ対策にもなり得る。
詳細な説明は省略するが、本実施形態による送信装置、受信装置及び伝送システムは、上記変形例1及び変形例2と同様に、ROI一致判定部411a及びHDR合成部42の少なくとも一方を有することができる。これにより、本実施形態による送信装置、受信装置及び伝送システムは、上記変形例1及び変形例2による本実施形態による送信装置、受信装置及び伝送システムと同様の効果が得られる。
本開示は、上記実施形態に限らず、種々の変形が可能である。
上記第1実施形態による映像受信装置4は、フレーム間での注目領域ROIの一致判定をCamCPU411に設けられたROI一致判定部411aで実行するように構成されているが、本開示はこれに限られない。例えば、ROI一致判定部は、ハードウェアによって構成されていてもよい。
上記第1実施形態による映像受信装置4は、フレーム間での注目領域ROIの一致判定をCamCPU411に設けられたROI一致判定部411aで実行するように構成されているが、本開示はこれに限られない。例えば、ROI一致判定部は、ハードウェアによって構成されていてもよい。
上記第2実施形態による映像受信装置6は、注目領域ROIの基準画素の座標判定及び露光パターンの決定処理をCamCPU611に設けられた基準画素判定部611aで実行するように構成されているが、本開示はこれに限られない。例えば、基準画素判定部は、ハードウェアによって構成されていてもよい。
上記第1及び第2実施形態では、切り出し対象の物体が矩形状である場合を例にとって説明したが、切り出し対象の物体が矩形状でない場合も本開示は適用できる。例えば映像送信装置3,5は、前提技術2のように、対象の物体の位置情報及びHDR情報を画素行ごとにペイロードデータに含めて映像受信装置4,6に送出するように構成されていてもよい。
以上、前提技術、実施形態及びその変形例を挙げて本開示を説明したが、本開示は上記実施形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
また、例えば、本開示は以下のような構成を取ることができる。
(1)
ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、
前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と
を備える送信装置。
(2)
前記ハイダイナミックレンジ情報は、ROI情報に含められて前記送信部から送出される
上記(1)に記載の送信装置。
(3)
前記制御部は、前記ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として取得する
上記(1)又は(2)に記載の送信装置。
(4)
前記制御部は、連続する2つのフレームの前記ハイダイナミックレンジ情報を取得する
上記(3)に記載の送信装置。
(5)
前記制御部は、前記ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの該ROIの前記単独情報又は組み合わせ情報に基づいて、前記2つのフレームのそれぞれの該ROIが一致しているか否かを判断する
上記(4)に記載の送信装置。
(6)
前記送信部は、前記制御部において前記2つのフレームのそれぞれの前記ROIが一致しているか否かの判断結果の情報と、該ROIの識別情報とが対応付けられた情報を前記ROI情報に含めて送出する
上記(5)に記載の送信装置。
(7)
前記制御部において前記2つのフレームのそれぞれの前記ROIが一致していると判断された場合に前記露光情報に基づいて該ROIの画像データに対してハイダイナミックレンジ合成を実行し、前記制御部において前記2つのフレームのそれぞれの前記ROIが一致していないと判断された場合に該ROIの画像データに対してハイダイナミックレンジ合成を実行しないように処理する処理部を備え、
前記送信部は、前記処理部でハイダイナミックレンジ合成された画像データを前記ROI情報に含めて送出する
上記(5)に記載の送信装置。
(8)
前記送信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を送出する
上記(1)から(7)までのいずれか一項に記載の送信装置。
(9)
ROI(Region Of Interest)の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部と
を備える受信装置。
(10)
前記制御部は、前記伝送信号に含まれた前記ROI情報から前記ハイダイナミックレンジ情報を抽出する
上記(9)に記載の受信装置。
(11)
前記制御部は、前記ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として抽出する
上記(9)又は(10)に記載の受信装置。
(12)
前記制御部は、連続する2つのフレームの前記ハイダイナミックレンジ情報を抽出する
上記(11)に記載の受信装置。
(13)
前記制御部は、前記ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの該ROIの前記単独情報又は組み合わせ情報に基づいて、前記2つのフレームのそれぞれの該ROIが一致しているか否かを判断する
上記(12)に記載の受信装置。
(14)
前記ROIの識別情報が一致し且つ連続する2つのフレームにおいて、該ROIの端部の座標の差分及び該ROIの大きさの差分のそれぞれが所定の閾値以下である場合に、前記合成部は、前記露光情報に基づいて該ROIの画像データに対してハイダイナミックレンジ合成を実行する
上記(12)に記載の受信装置。
(15)
前記ROIの識別情報が一致し且つ連続する2つのフレームにおいて、該ROIの端部の座標の差分及び該ROIの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、前記合成部は、該ROIの画像データに対してハイダイナミックレンジ合成を実行しない
上記(12)又は(14)に記載の受信装置。
(16)
前記受信部は、前記2つのフレームのそれぞれの前記ROIが一致しているか否かの判断結果の情報と、該ROIの識別情報とが対応付けられた情報を有する前記ROI情報を含む前記伝送信号を受信する
上記(13)に記載の受信装置。
(17)
前記受信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を受信する
上記(9)から(16)までのいずれか一項に記載の受信装置。
(18)
ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを有する送信装置と、
ROIの画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置
を備える伝送システム。
(1)
ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、
前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と
を備える送信装置。
(2)
前記ハイダイナミックレンジ情報は、ROI情報に含められて前記送信部から送出される
上記(1)に記載の送信装置。
(3)
前記制御部は、前記ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として取得する
上記(1)又は(2)に記載の送信装置。
(4)
前記制御部は、連続する2つのフレームの前記ハイダイナミックレンジ情報を取得する
上記(3)に記載の送信装置。
(5)
前記制御部は、前記ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの該ROIの前記単独情報又は組み合わせ情報に基づいて、前記2つのフレームのそれぞれの該ROIが一致しているか否かを判断する
上記(4)に記載の送信装置。
(6)
前記送信部は、前記制御部において前記2つのフレームのそれぞれの前記ROIが一致しているか否かの判断結果の情報と、該ROIの識別情報とが対応付けられた情報を前記ROI情報に含めて送出する
上記(5)に記載の送信装置。
(7)
前記制御部において前記2つのフレームのそれぞれの前記ROIが一致していると判断された場合に前記露光情報に基づいて該ROIの画像データに対してハイダイナミックレンジ合成を実行し、前記制御部において前記2つのフレームのそれぞれの前記ROIが一致していないと判断された場合に該ROIの画像データに対してハイダイナミックレンジ合成を実行しないように処理する処理部を備え、
前記送信部は、前記処理部でハイダイナミックレンジ合成された画像データを前記ROI情報に含めて送出する
上記(5)に記載の送信装置。
(8)
前記送信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を送出する
上記(1)から(7)までのいずれか一項に記載の送信装置。
(9)
ROI(Region Of Interest)の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部と
を備える受信装置。
(10)
前記制御部は、前記伝送信号に含まれた前記ROI情報から前記ハイダイナミックレンジ情報を抽出する
上記(9)に記載の受信装置。
(11)
前記制御部は、前記ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として抽出する
上記(9)又は(10)に記載の受信装置。
(12)
前記制御部は、連続する2つのフレームの前記ハイダイナミックレンジ情報を抽出する
上記(11)に記載の受信装置。
(13)
前記制御部は、前記ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの該ROIの前記単独情報又は組み合わせ情報に基づいて、前記2つのフレームのそれぞれの該ROIが一致しているか否かを判断する
上記(12)に記載の受信装置。
(14)
前記ROIの識別情報が一致し且つ連続する2つのフレームにおいて、該ROIの端部の座標の差分及び該ROIの大きさの差分のそれぞれが所定の閾値以下である場合に、前記合成部は、前記露光情報に基づいて該ROIの画像データに対してハイダイナミックレンジ合成を実行する
上記(12)に記載の受信装置。
(15)
前記ROIの識別情報が一致し且つ連続する2つのフレームにおいて、該ROIの端部の座標の差分及び該ROIの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、前記合成部は、該ROIの画像データに対してハイダイナミックレンジ合成を実行しない
上記(12)又は(14)に記載の受信装置。
(16)
前記受信部は、前記2つのフレームのそれぞれの前記ROIが一致しているか否かの判断結果の情報と、該ROIの識別情報とが対応付けられた情報を有する前記ROI情報を含む前記伝送信号を受信する
上記(13)に記載の受信装置。
(17)
前記受信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を受信する
上記(9)から(16)までのいずれか一項に記載の受信装置。
(18)
ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを有する送信装置と、
ROIの画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置
を備える伝送システム。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、及び変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
1,10,20 映像伝送システム
3,5,100 映像送信装置
4,6,200 映像受信装置
31,110 撮像部
32,33,41,52,61 制御部
34 不揮発性記憶部
42 HDR合成部
100A CSIトランスミッタ
100B CCIスレーブ
111 撮像画像
112,112a1,112a2,112a3,112a4,112b1,112b4,123a4,223A ROI画像
112b 圧縮像データ
113,114 位置情報
115 優先度
116,116a1,116a2 伝送画像
118 画像
120,130 画像処理部
120A,120A1,120A2,130A,147B 圧縮像データ
120B ROI情報
120C フレーム情報
121 ROI切り出し部
122 ROI解析部
123 検出部
124 優先度設定部
125,131 エンコード部
126 画像処理制御部
140 送信部
141 LINK制御部
142 ECC生成部
143 PH生成部
144 EBDバッファ
145 ROIデータバッファ
146 通常画像データバッファ
147 合成部
147A 伝送データ
200A CSIレシーバ
200B CCIマスター
210 受信部
211 ヘッダ分離部
212 ヘッダ解釈部
213 ペイロード分離部
214 EBD解釈部
214A EBDデータ
215 ROIデータ分離部
215A,215B ペイロードデータ
220 情報処理部
221 情報抽出部
221A 抽出情報
222 ROIデコード部
222A 画像データ
223 ROI画像生成部
224 通常画像デコード部
224A 通常画像
311 光電変換部
312 信号変換部
313 増幅部
321,521 センサCPU
321a 露光制御部
321b 変換領域制御部
322 送信部
411,611 CamCPU
411a ROI一致判定部
412 受信部
413 記憶部
414 エンベデッドデータ取得部
521 センサCPU
CCI カメラ制御インタフェース
CL クロックレーン
3,5,100 映像送信装置
4,6,200 映像受信装置
31,110 撮像部
32,33,41,52,61 制御部
34 不揮発性記憶部
42 HDR合成部
100A CSIトランスミッタ
100B CCIスレーブ
111 撮像画像
112,112a1,112a2,112a3,112a4,112b1,112b4,123a4,223A ROI画像
112b 圧縮像データ
113,114 位置情報
115 優先度
116,116a1,116a2 伝送画像
118 画像
120,130 画像処理部
120A,120A1,120A2,130A,147B 圧縮像データ
120B ROI情報
120C フレーム情報
121 ROI切り出し部
122 ROI解析部
123 検出部
124 優先度設定部
125,131 エンコード部
126 画像処理制御部
140 送信部
141 LINK制御部
142 ECC生成部
143 PH生成部
144 EBDバッファ
145 ROIデータバッファ
146 通常画像データバッファ
147 合成部
147A 伝送データ
200A CSIレシーバ
200B CCIマスター
210 受信部
211 ヘッダ分離部
212 ヘッダ解釈部
213 ペイロード分離部
214 EBD解釈部
214A EBDデータ
215 ROIデータ分離部
215A,215B ペイロードデータ
220 情報処理部
221 情報抽出部
221A 抽出情報
222 ROIデコード部
222A 画像データ
223 ROI画像生成部
224 通常画像デコード部
224A 通常画像
311 光電変換部
312 信号変換部
313 増幅部
321,521 センサCPU
321a 露光制御部
321b 変換領域制御部
322 送信部
411,611 CamCPU
411a ROI一致判定部
412 受信部
413 記憶部
414 エンベデッドデータ取得部
521 センサCPU
CCI カメラ制御インタフェース
CL クロックレーン
Claims (18)
- ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、
前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と
を備える送信装置。 - 前記ハイダイナミックレンジ情報は、ROI情報に含められて前記送信部から送出される
請求項1に記載の送信装置。 - 前記制御部は、前記ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として取得する
請求項1に記載の送信装置。 - 前記制御部は、連続する2つのフレームの前記ハイダイナミックレンジ情報を取得する
請求項3に記載の送信装置。 - 前記制御部は、前記ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの該ROIの前記単独情報又は組み合わせ情報に基づいて、前記2つのフレームのそれぞれの該ROIが一致しているか否かを判断する
請求項4に記載の送信装置。 - 前記送信部は、前記制御部において前記2つのフレームのそれぞれの前記ROIが一致しているか否かの判断結果の情報と、該ROIの識別情報とが対応付けられた情報を前記ROI情報に含めて送出する
請求項5に記載の送信装置。 - 前記制御部において前記2つのフレームのそれぞれの前記ROIが一致していると判断された場合に前記露光情報に基づいて該ROIの画像データに対してハイダイナミックレンジ合成を実行し、前記制御部において前記2つのフレームのそれぞれの前記ROIが一致していないと判断された場合に該ROIの画像データに対してハイダイナミックレンジ合成を実行しないように処理する処理部を備え、
前記送信部は、前記処理部でハイダイナミックレンジ合成された画像データを前記ROI情報に含めて送出する
請求項5に記載の送信装置。 - 前記送信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を送出する
請求項1に記載の送信装置。 - ROI(Region Of Interest)の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部と
を備える受信装置。 - 前記制御部は、前記伝送信号に含まれた前記ROI情報から前記ハイダイナミックレンジ情報を抽出する
請求項9に記載の受信装置。 - 前記制御部は、前記ROIの端部の座標、大きさ及び露光情報のいずれかの1つの単独情報又はいずれか2つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として抽出する
請求項9に記載の受信装置。 - 前記制御部は、連続する2つのフレームの前記ハイダイナミックレンジ情報を抽出する
請求項11に記載の受信装置。 - 前記制御部は、前記ROIの識別情報が一致し且つ連続する2つのフレームのそれぞれの該ROIの前記単独情報又は組み合わせ情報に基づいて、前記2つのフレームのそれぞれの該ROIが一致しているか否かを判断する
請求項12に記載の受信装置。 - 前記ROIの識別情報が一致し且つ連続する2つのフレームにおいて、該ROIの端部の座標の差分及び該ROIの大きさの差分のそれぞれが所定の閾値以下である場合に、前記処理部は、前記露光情報に基づいて該ROIの画像データに対してハイダイナミックレンジ合成を実行する
請求項12に記載の受信装置。 - 前記ROIの識別情報が一致し且つ連続する2つのフレームにおいて、該ROIの端部の座標の差分及び該ROIの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、前記処理部は、該ROIの画像データに対してハイダイナミックレンジ合成を実行しない
請求項12に記載の受信装置。 - 前記受信部は、前記2つのフレームのそれぞれの前記ROIが一致しているか否かの判断結果の情報と、該ROIの識別情報とが対応付けられた情報を有する前記ROI情報を含む前記伝送信号を受信する
請求項13に記載の受信装置。 - 前記受信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を受信する
請求項9に記載の受信装置。 - ROI(Region Of Interest)の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ROIの画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを有する送信装置と、
ROIの画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ROIの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置
を備える伝送システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20832441.8A EP3993390A4 (en) | 2019-06-28 | 2020-05-19 | TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM |
US17/609,628 US12041344B2 (en) | 2019-06-28 | 2020-05-19 | Transmitting apparatus, receiving apparatus, and transmission system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019121342 | 2019-06-28 | ||
JP2019-121342 | 2019-06-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020261815A1 true WO2020261815A1 (ja) | 2020-12-30 |
Family
ID=74061849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/019709 WO2020261815A1 (ja) | 2019-06-28 | 2020-05-19 | 送信装置、受信装置及び伝送システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12041344B2 (ja) |
EP (1) | EP3993390A4 (ja) |
WO (1) | WO2020261815A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7499765B2 (ja) * | 2019-06-28 | 2024-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
US20240007771A1 (en) * | 2022-07-01 | 2024-01-04 | Meta Platforms Technologies, Llc | Readout methods for foveated sensing |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2014039170A (ja) * | 2012-08-16 | 2014-02-27 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2014039219A (ja) | 2012-08-20 | 2014-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
JP2017531829A (ja) * | 2014-10-06 | 2017-10-26 | ライカ マイクロシステムズ (シュヴァイツ) アクチエンゲゼルシャフトLeica Microsystems (Schweiz) AG | 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法 |
WO2019092952A1 (ja) * | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6936018B2 (ja) * | 2017-02-21 | 2021-09-15 | ソニーセミコンダクタソリューションズ株式会社 | 映像送信装置および映像受信装置 |
JP7007160B2 (ja) * | 2017-11-10 | 2022-01-24 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置 |
-
2020
- 2020-05-19 EP EP20832441.8A patent/EP3993390A4/en active Pending
- 2020-05-19 WO PCT/JP2020/019709 patent/WO2020261815A1/ja active Application Filing
- 2020-05-19 US US17/609,628 patent/US12041344B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2014039170A (ja) * | 2012-08-16 | 2014-02-27 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2014039219A (ja) | 2012-08-20 | 2014-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
JP2017531829A (ja) * | 2014-10-06 | 2017-10-26 | ライカ マイクロシステムズ (シュヴァイツ) アクチエンゲゼルシャフトLeica Microsystems (Schweiz) AG | 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
WO2019092952A1 (ja) * | 2017-11-10 | 2019-05-16 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3993390A4 |
Also Published As
Publication number | Publication date |
---|---|
EP3993390A4 (en) | 2022-08-31 |
EP3993390A1 (en) | 2022-05-04 |
US12041344B2 (en) | 2024-07-16 |
US20220239825A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7163285B2 (ja) | 映像送信装置および映像受信装置 | |
WO2020261816A1 (ja) | 送信装置、受信装置及び伝送システム | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
US12028610B2 (en) | Imaging device, image processing device, and electronic apparatus | |
JP6129119B2 (ja) | 画像処理装置、画像処理システム、撮像装置、および画像処理方法 | |
TWI542941B (zh) | 用於照相機中之分佈式影像處理以使在拼接影像中之假影最小化之方法及設備 | |
WO2020261815A1 (ja) | 送信装置、受信装置及び伝送システム | |
JP6361931B2 (ja) | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 | |
JP7357620B2 (ja) | 画像処理装置、および画像処理システム | |
US20130215288A1 (en) | Image capturing apparatus provided with a function of combining a plurality of captured images | |
JP2018186514A (ja) | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 | |
JP7450704B2 (ja) | 送信装置、受信装置及び伝送システム | |
WO2020261813A1 (ja) | 送信装置、受信装置及び伝送システム | |
WO2020261814A1 (ja) | 送信装置、受信装置及び伝送システム | |
US12052515B2 (en) | Transmitting apparatus, receiving apparatus, and transmission system | |
CN113170029A (zh) | 图像处理装置和图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20832441 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2020832441 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: JP |