WO2020261814A1 - 送信装置、受信装置及び伝送システム - Google Patents
送信装置、受信装置及び伝送システム Download PDFInfo
- Publication number
- WO2020261814A1 WO2020261814A1 PCT/JP2020/019708 JP2020019708W WO2020261814A1 WO 2020261814 A1 WO2020261814 A1 WO 2020261814A1 JP 2020019708 W JP2020019708 W JP 2020019708W WO 2020261814 A1 WO2020261814 A1 WO 2020261814A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- roi
- image
- unit
- data
- information
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 401
- 230000007547 defect Effects 0.000 claims abstract description 238
- 238000012937 correction Methods 0.000 claims abstract description 204
- 230000002950 deficient Effects 0.000 claims abstract description 158
- 238000012545 processing Methods 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims description 98
- 238000003384 imaging method Methods 0.000 claims description 93
- 230000008569 process Effects 0.000 claims description 76
- 238000000605 extraction Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 29
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 102
- 230000003068 static effect Effects 0.000 description 49
- 238000003860 storage Methods 0.000 description 42
- 238000005520 cutting process Methods 0.000 description 29
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 238000004458 analytical method Methods 0.000 description 24
- 230000015572 biosynthetic process Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 24
- 238000003786 synthesis reaction Methods 0.000 description 24
- 238000000926 separation method Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 230000010365 information processing Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000007689 inspection Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000003321 amplification Effects 0.000 description 7
- 238000003702 image correction Methods 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
- H04N1/00114—Systems or arrangements for the transmission of the picture signal with transmission of additional information signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0233—Improving the luminance or brightness uniformity across the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/14—Use of low voltage differential signaling [LVDS] for display data communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
Definitions
- This disclosure relates to a transmitting device, a receiving device and a transmission system.
- Patent Documents 1 to 4 disclose correction processing of defective pixels in an image sensor.
- Japanese Unexamined Patent Publication No. 2016-201756 Japanese Unexamined Patent Publication No. 2014-39219 Japanese Unexamined Patent Publication No. 2013-164834 Japanese Unexamined Patent Publication No. 2012-209831 Japanese Unexamined Patent Publication No. 2003-163842 Japanese Unexamined Patent Publication No. 2012-100166
- An object of the present disclosure is to realize correction processing of a defective image in a region of interest (ROI), which is a partial region cut out from a captured image.
- the transmission device includes a control unit that controls retention of defect correction information, which is information used for correcting defects in an image included in an ROI (Region Of Interest), and an image included in the ROI. It is provided with a transmission unit that transmits the image data of the above as payload data and also transmits ROI information as embedded data.
- defect correction information which is information used for correcting defects in an image included in an ROI (Region Of Interest)
- ROI Region Of Interest
- the transmission device includes a control unit that controls retention of defect correction information, which is information used for correcting defects in an image included in an ROI (Region Of Interest), and an image included in the ROI. It is provided with a transmission unit that transmits the image data of the above as payload data and also transmits ROI information as embedded data.
- the receiving device includes the image data of the image included in the ROI (Region Of Interest) in the payload data, the receiving unit for receiving the transmission signal including the ROI information in the embedded data, and the ROI.
- a control unit that controls extraction of defect correction information, which is information used for correcting defects in image data of an image, from the transmission signal received by the receiving unit, and the defect correction extracted by the control unit.
- the ROI includes a processing unit that processes defects in the image of the ROI based on the information.
- the transmission system includes a control unit that controls retention of defect correction information, which is information used for correcting defects in an image included in an ROI (Region Of Interest), and an image included in the ROI.
- the image data of the above is transmitted as payload data
- the transmission unit has a transmitter that transmits ROI information as embedded data
- the image data of the image included in the ROI is included in the payload data
- the ROI information is included in the embedded data.
- a receiving unit that receives a signal
- a control unit that controls extraction of defect correction information, which is information used for correcting defects in image data of an image included in the ROI, from the transmission signal received by the receiving unit.
- a receiving device having a processing unit that processes the correction of defects in the image of the ROI based on the defect correction information extracted by the control unit.
- the video transmission system 1 is a system capable of transmitting and receiving signals according to various standards, and can transmit and receive signals according to, for example, the MIPI CSI-2 standard, the MIPI CSI-3 standard, or the MIPI DSI standard. it can.
- FIG. 1 shows an outline of the video transmission system 1 according to the prerequisite technology of the present disclosure.
- the video transmission system 1 is applied to the transmission of data signals, clock signals, and control signals, and includes a video transmission device 100 and a video reception device 200.
- the video transmission system 1 straddles the video transmission device 100 and the video reception device 200 to transmit a data signal such as image data, a data lane DL, a clock lane CL for transmitting a clock signal, and a control signal.
- FIG. 1 shows an example in which one data lane DL is provided, a plurality of data lane DLs may be provided.
- the camera control interface CCI is a bidirectional control interface having an I 2 C (Inter-Integrated Circuit ) standard compatible.
- the video transmission device 100 is a device that transmits a signal according to the MIPI CSI-2 standard, the MIPI CSI-3 standard, or the MIPI DSI standard. It has a CSI transmitter 100A and a CCI slave 100B.
- the video receiving device 200 has a CSI receiver 200A and a CCI master 200B.
- the CSI transmitter 100A and the CSI receiver 200A are connected by a clock signal line.
- the data lane DL the CSI transmitter 100A and the CSI receiver 200A are connected by a clock signal line.
- the CCI slave 100B and the CCI master 200B are connected by a control signal line.
- the CSI transmitter 100A is a differential signal transmission circuit that generates a differential clock signal as a clock signal and outputs it to the clock signal line.
- the CSI transmitter 100A can be configured to transmit not only differential but also single-ended and three-phase signals.
- the CSI transmitter 100A is also a differential signal transmission circuit that generates a differential data signal as a data signal and outputs it to the data signal line.
- the CSI receiver 200A is a differential signal receiving circuit that receives a differential clock signal as a clock signal via a clock signal line and performs predetermined processing on the received differential clock signal.
- the CSI receiver 200A is also a differential signal receiving circuit that receives a differential data signal as a data signal via a data signal line and performs predetermined processing on the received differential data signal.
- FIG. 2 shows an example of the configuration of the video transmission device 100.
- the video transmitter 100 corresponds to a specific example of the CSI transmitter 100A.
- the video transmission device 100 includes, for example, an image pickup unit 110, an image processing unit 120, 130, and a transmission unit 140.
- the video transmission device 100 transmits the transmission data 147A generated by performing a predetermined process on the captured image 111 obtained by the image pickup unit 110 to the video reception device 200 via the data lane DL.
- FIG. 3 is an example of a procedure for generating transmission data 147A.
- the image pickup unit 110 converts, for example, an optical image signal obtained through an optical lens or the like into image data.
- the imaging unit 110 includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the image pickup unit 110 has an analog-to-digital conversion circuit, and converts analog image data into digital image data.
- the data format after conversion may be the YCbCr format in which the color of each pixel is represented by the luminance component Y and the color difference components Cb, Cr, or the RGB format.
- the imaging unit 110 outputs the captured image 111 (digital image data) obtained by imaging to the image processing unit 120.
- the image processing unit 120 is a circuit that performs predetermined processing on the captured image 111 input from the imaging unit 110.
- the image processing unit 120 refers to the captured image 111 input from the imaging unit 110 when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI.
- the prerequisite technology 1 can also be applied to the case where the video transmitting device 100, that is, the transmitting side specifies the coordinates for cutting out the ROI.
- the transmitting side is configured to receive, for example, information such as a "person" or an "object” to be acquired by the ROI transmitted from the receiving side, and determine and instruct the coordinates of the cutout.
- the image processing unit 120 generates various data (120A, 120B, 120C) and outputs them to the transmitting unit 140.
- the image processing unit 130 is a circuit that performs predetermined processing on the captured image 111 input from the imaging unit 110.
- the image processing unit 130 performs predetermined processing on the captured image 111 input from the imaging unit 110 when the control signal instructing the output of the normal image is input from the video receiving device 200 via the camera control interface CCI. I do.
- the image processing unit 130 generates the image data 130A and outputs it to the transmission unit 140.
- the image processing unit 130 has, for example, an encoding unit 131.
- the encoding unit 131 encodes the captured image 111 to generate the compressed image data 130A.
- the image processing unit 130 compresses the captured image 111 in a compression format compliant with the JPEG (Joint Photographic Experts Group) standard as the format of the compressed image data 130A, for example.
- JPEG Joint Photographic Experts Group
- the image processing unit 120 includes, for example, an ROI cutting unit 121, an ROI analysis unit 122, an overlap detection unit 123, a priority setting unit 124, an encoding unit 125, and an image processing control unit 126.
- the ROI cutting unit 121 identifies one or a plurality of objects to be photographed included in the captured image 111 input from the imaging unit 110, and sets the attention region ROI for each specified object.
- the region of interest ROI is, for example, a rectangular region containing the specified object.
- the ROI cutting unit 121 cuts out an image of each attention region ROI (for example, the ROI image 112 in FIG. 3) from the captured image 111.
- the ROI cutting unit 121 further assigns an area number as an identifier for each set attention area ROI. For example, when two attention region ROIs are set in the captured image 111, the ROI cutting unit 121 assigns the region number 1 to one attention region ROI (for example, the attention region ROI1 in FIG. 3).
- the area number 2 is assigned to the other area of interest ROI (for example, the area of interest ROI2 in FIG. 3).
- the ROI cutting unit 121 stores, for example, the assigned identifier (area number) in the storage unit.
- the ROI cutting unit 121 stores, for example, each ROI image 112 cut out from the captured image 111 in the storage unit.
- the ROI cutting unit 121 further stores, for example, an identifier (area number) assigned to each region of interest ROI in the storage unit in association with the ROI image 112.
- the ROI analysis unit 122 derives the position information 113 of the region of interest ROI in the captured image 111 for each region of interest ROI.
- the position information 113 is composed of, for example, the upper left end coordinates (Xa, Ya) of the attention region ROI, the length of the attention region ROI in the X-axis direction, and the length of the attention region ROI in the Y-axis direction.
- the length of the region of interest ROI in the X-axis direction is, for example, the physical region length XLa of the region of interest ROI in the X-axis direction.
- the length of the region of interest ROI in the Y-axis direction is, for example, the physical region length YLa of the region of interest ROI in the Y-axis direction.
- the physical region length refers to the physical length (data length) of the region of interest ROI.
- the position information 113 the coordinates of a position different from the upper left end of the region of interest ROI may be included.
- the ROI analysis unit 122 stores, for example, the derived position information 113 in the storage unit.
- the ROI analysis unit 122 stores the ROI analysis unit 122 in the storage unit in association with, for example, an identifier (area number) assigned to the region of interest ROI.
- the ROI analysis unit 122 further obtains, for example, the output region length XLc of the attention region ROI in the X-axis direction and the output region length YLc of the attention region ROI in the Y-axis direction as position information 113 for each attention region ROI. It may be derived.
- the output region length is, for example, the physical length (data length) of the region of interest ROI after the resolution has been changed by thinning out processing, pixel addition, or the like.
- the ROI analysis unit 122 derives, for example, sensing information, exposure information, gain information, AD (Analog-Digital) word length, image format, etc. in addition to the position information 113 for each attention region ROI, and stores the storage unit 122. It may be stored in.
- Sensing information refers to the calculation content of the object included in the ROI of interest, supplementary information for subsequent signal processing for the ROI image 112, and the like.
- the exposure information refers to the exposure time of the ROI of interest.
- the gain information refers to the gain information of the ROI of interest.
- the AD word length refers to the word length of data per pixel that has been AD-converted in the region of interest ROI.
- the image format refers to the format of the image of the region of interest ROI.
- the ROI analysis unit 122 may derive, for example, the number of attention region ROIs (number of ROIs) included in the captured image 111 and store them in the storage unit.
- the overlap detection unit 123 overlaps two or more attention region ROIs with each other based on the position information 113 of the plurality of attention region ROIs in the captured image 111. Detects a region (ROO (Region Of Overlap)). That is, the overlap detection unit 123 derives the position information 114 of the overlap region ROO in the captured image 111 for each overlap region ROO.
- the overlap detection unit 123 stores, for example, the derived position information 114 in the storage unit.
- the overlap detection unit 123 stores, for example, the derived position information 114 in the storage unit in association with the overlap area ROO.
- the overlapping region ROO is, for example, a rectangular region having the same size as or smaller than the smallest attention region ROI in two or more attention region ROIs overlapping each other.
- the position information 114 is composed of, for example, the upper left end coordinates (Xb, Yb) of the overlapping region ROO, the length of the overlapping region ROO in the X-axis direction, and the length of the overlapping region ROO in the Y-axis direction.
- the length of the overlapping region ROO in the X-axis direction is, for example, the physical region length XLb.
- the length of the overlapping region ROO in the Y-axis direction is, for example, the physical region length YLb.
- the coordinates of a position different from the upper left end of the region of interest ROI may be included.
- the priority setting unit 124 assigns a priority 115 for each attention region ROI in the captured image 111.
- the priority setting unit 124 stores, for example, the assigned priority 115 in the storage unit.
- the priority setting unit 124 stores, for example, the assigned priority 115 in association with the attention area ROI in the storage unit.
- the priority setting unit 124 may assign a priority 115 for each attention area ROI in addition to the area number assigned for each attention area ROI, or assign an area number assigned for each attention area ROI. , May be an alternative to priority 115.
- the priority setting unit 124 may, for example, associate the priority 115 with the attention area ROI and store it in the storage unit, or store the area number assigned to each attention area ROI in association with the attention area ROI. It may be stored in a unit.
- the priority 115 is an identifier of each attention region ROI, and is discrimination information capable of determining which of the plurality of attention region ROIs in the captured image 111 the overlapping region ROO has been omitted.
- the priority setting unit 124 assigns 1 as a priority 115 to one attention region ROI and gives priority to the other attention region ROI in two attention region ROIs, each of which includes an overlapping region ROO. 2 is given as 115.
- the overlapping region ROO is omitted for the attention region ROI having the larger numerical value of the priority 115.
- the priority setting unit 124 may assign the same number as the area number assigned to each attention area ROI as the priority 115 to the attention area ROI.
- the priority setting unit 124 stores, for example, the priority 115 assigned to each region of interest ROI in the storage unit in association with the ROI image 112.
- the encoding unit 125 encodes each transmission image 116 to generate compressed image data 120A.
- the encoding unit 125 compresses each transmission image 116 in a compression format conforming to the JPEG standard as the format of the compressed image data 120A, for example.
- the encoding unit 125 generates each transmission image 116 before performing the above compression processing.
- the encoding unit 125 captures images 118 from the plurality of ROI images 112 obtained from the captured image 111 so that the images 118 of the overlapping region ROO are not duplicated in the plurality of ROI images 112 obtained from the captured image 111.
- a plurality of transmitted images 116, which are omitted, are generated.
- the encoding unit 125 determines, for example, which of the plurality of ROI images 112 the image 118 is omitted based on the priority 115 assigned to each attention region ROI. In addition, the encoding unit 125 determines which of the plurality of ROI images 112 the image 118 is omitted by using, for example, the area number assigned to each attention area ROI as the priority 115. May be good. In the ROI image 112 specified as described above, the encoding unit 125 omits the image 118 as the transmission image 116 (for example, the transmission image 116a2 in FIG. 3).
- the encoding unit 125 transmits the ROI image 112 itself to the transmission image 116 (for example, the transmission image of FIG. 3). 116a1).
- the image processing control unit 126 generates ROI information 120B and frame information 120C and transmits them to the transmission unit 140.
- the ROI information 120B includes, for example, each position information 113.
- the ROI information 120B further includes, for example, the data type of each attention region ROI, the number of attention region ROIs included in the captured image 111, the region number (or priority 115) of each attention region ROI, and the data length of each attention region ROI. , And at least one of the image formats of each region of interest ROI.
- the frame information 120C includes, for example, a virtual channel number assigned to each frame, a data type of each region of interest ROI, a payload length for each line, and the like. Data types include, for example, YUV data, RGB data, RAW data, and the like.
- the data type further includes, for example, data in ROI format or data in normal format.
- the payload length is, for example, the number of pixels included in the payload of a long packet (LongPacket), for example, the number of pixels for each region of interest ROI.
- the payload refers to the main data (application data) transmitted between the video transmitting device 100 and the video receiving device 200.
- the long packet refers to a packet arranged between the packet header PH and the packet footer PF.
- the transmission unit 140 is a circuit that generates and transmits transmission data 147A based on various data (120A, 120B, 120C, 130A) input from the image processing units 120 and 130.
- the transmission unit 140 transmits ROI information 120B for each region of interest ROI in the captured image 111 as embedded data (embedded data).
- the transmission unit 140 long-packets the image data (compressed image data 120A) of each attention region ROI. It is sent out as the payload data (PayloadData) of.
- the transmission unit 140 transmits the image data (compressed image data 120A) of each attention region ROI through a virtual channel common to each other.
- the transmission unit 140 transmits the image data (compressed image data 120A) of each attention region ROI by the image data frame, and transmits the ROI information 120B for each attention region ROI by the header of the image data frame.
- the transmission unit 140 also uses the normal image data (compressed image data 130A) as a payload of a long packet when a control signal instructing the output of a normal image is input from the video receiving device 200 via the camera control interface CCI. Send as data.
- the transmission unit 140 has, for example, a LINK control unit 141, an ECC generation unit 142, a PH generation unit 143, an EBD buffer 144, an ROI data buffer 145, a normal image data buffer 146, and a synthesis unit 147.
- the LINK control unit 141, ECC generation unit 142, PH generation unit 143, EBD buffer 144, and ROI data buffer 145 are used when a control signal instructing ROI cutout is input from the video receiving device 200 via the camera control interface CCI. Is output to the synthesis unit 147.
- the normal image data buffer 146 outputs the normal image to the compositing unit 147 when the control signal instructing the output of the normal image is input from the video receiving device 200 via the camera control interface CCI.
- the ROI data buffer 145 may also serve as the normal image data buffer 146.
- the transmission unit 140 outputs one of the ROI data buffer 145 and the ROI data buffer 145 between the output ends of the ROI data buffer 145 and the ROI data buffer 145 and the input end of the synthesis unit 147. It may have a selector to select.
- the LINK control unit 141 outputs, for example, the frame information 120C to the ECC generation unit 142 and the PH generation unit 143 for each line.
- the ECC generation unit 142 for example, based on the data of one line in the frame information 120C (for example, the number of the virtual channel, the data type of each attention region ROI, the payload length for each line, etc.), determines the error correction code of the line. Generate.
- the ECC generation unit 142 outputs, for example, the generated error correction code to the PH generation unit 143.
- the PH generation unit 143 generates a packet header PH for each line by using, for example, the frame information 120C and the error correction code generated by the ECC generation unit 142.
- the packet header PH is, for example, a packet header of the payload data of a long packet, as shown in FIG.
- the packet header PH includes, for example, DI, WC and ECC.
- the WC is an area for indicating the end of the packet with the number of words to the video receiving device 200.
- the WC includes, for example, the payload length, for example, the number of pixels per region of interest ROI.
- ECC is an area for storing a value for correcting a bit error.
- ECC includes an error correction code.
- DI is an area for storing a data identifier.
- the DI contains a VC (virtual channel) number and a DataType (data type of each region of interest ROI).
- VC Virtual Channel
- the PH generation unit 143 outputs the generated packet header PH to the synthesis unit 147.
- the EBD buffer 144 temporarily stores the ROI information 120B, and outputs the ROI information 120B as embedded data to the synthesis unit 147 at a predetermined timing.
- Embedded data refers to additional information that can be embedded in the header or footer of an image data frame (see FIG. 5 below).
- the embedded data includes, for example, ROI information 120B.
- the ROI data buffer 145 temporarily stores the compressed image data 120A, and outputs the compressed image data 120A as payload data of a long packet to the synthesis unit 147 at a predetermined timing.
- the ROI data buffer 145 outputs the compressed image data 120A to the compositing unit 147 as the payload data of a long packet when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI. ..
- the normal image data buffer 146 temporarily stores the compressed image data 130A, and outputs the compressed image data 130A as payload data of a long packet to the compositing unit 147 at a predetermined timing.
- the normal image data buffer 146 uses the compressed image data 130A as the payload data of the long packet to the synthesis unit 147. Output.
- the synthesizing unit 147 transmits data 147A based on the input data (compressed image data 130A). To generate.
- the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL.
- the synthesis unit 147 receives various data (packet header PH, ROI information 120B, and compression) input when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI. Transmission data 147A is generated based on the image data 120A).
- the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL. That is, the synthesis unit 147 includes the DataType (data type of each region of interest ROI) in the packet header PH of the payload data of the long packet and sends it out. Further, the synthesis unit 147 transmits the image data (compressed image data 120A) of each attention region ROI through a virtual channel common to each other.
- DataType data type of each region of interest ROI
- the transmission data 147A is composed of, for example, an image data frame as shown in FIG.
- the image data frame usually has a header area, a packet area, and a footer area.
- the description of the footer region is omitted for convenience.
- Embedded data is included in the frame header area R1 of the transmission data 147A.
- the embedded data includes ROI information 120B.
- the packet area R2 of the transmission data 147A includes the payload data of the long packet for each line, and further includes the packet header PH and the packet footer PF at positions where the payload data of the long packet is sandwiched. It has been.
- a low power mode LP is included at a position where the packet header PH and the packet footer PF are sandwiched.
- the packet header PH includes, for example, DI, WC, and ECC.
- the WC includes, for example, the payload length, for example, the number of pixels per region of interest ROI.
- ECC includes an error correction code.
- the DI includes VC (virtual channel number) and DataType (data type of each region of interest ROI).
- the VCs of the respective lines are assigned virtual channel numbers common to each other.
- the packet area R2 of the transmission data 147A includes the compressed image data 147B.
- the compressed image data 147B is composed of one compressed image data 120A or a plurality of compressed image data 120A.
- the packet group closer to the packet header PH includes, for example, the compressed image data 120A (120A1) of the transmission image 116a1 in FIG. 3, and the packet group away from the packet header PH includes the packet group.
- the compressed image data 120A (120A2) of the transmission image 116a2 in FIG. 3 is included.
- the compressed image data 147B is composed of these two compressed image data 120A1 and 120A2.
- the payload data of the long packet of each line includes the pixel data of one line in the compressed image data 147B.
- FIG. 6 shows a configuration example of the transmission data 147A.
- the transmission data 147A includes, for example, a frame header area R1 and a packet area R2. Note that FIG. 6 illustrates in detail the contents of the frame header area R1. Further, in FIG. 6, the low power mode LP is omitted.
- the frame header area R1 includes, for example, the frame number F1 as an identifier of the transmission data 147A.
- the frame header area R1 contains information about the compressed image data 147B included in the packet area R2.
- the frame header area R1 is, for example, information about the number of compressed image data 120A (ROI number) included in the compressed image data 147B and the ROI image 112 corresponding to each compressed image data 120A included in the compressed image data 147B (ROI). Information 120B) and is included.
- the synthesis unit 147 arranges the compressed image data 147B separately for each pixel line of the compressed image data 120A. Therefore, the packet area R2 of the transmission data 147A does not include the compressed image data corresponding to the image 118 of the overlapping area ROO in duplicate. Further, for example, in the packet area R2 of the transmission data 147A, the synthesis unit 147 omits a pixel line that does not correspond to each transmission image 116 in the captured image 111. Therefore, the packet area R2 of the transmission data 147A does not include a pixel line of the captured image 111 that does not correspond to each transmission image 116. In the packet area R2 of FIG. 6, the part surrounded by the broken line corresponds to the compressed image data of the image 118 of the overlapping area ROO.
- the boundary between the packet group near the packet header PH (for example, 1 (n) in FIG. 6) and the packet group away from the packet header PH (for example, 2 (1) in FIG. 6) is the packet near the packet header PH. It is identified by the physical region length XLa1 of the ROI image 112 corresponding to the compressed image data of the group (eg 1 (n) in FIG. 6).
- the packet start position is the packet group away from the packet header PH (for example, For example, it is specified by the physical region length XLa2 of the ROI image 112 corresponding to 2 (1)) in FIG.
- the synthesis unit 147 uses the payload data of the long packet as the payload data of the long packet, for example, one line of the compressed image data 147B.
- ROI information 120B may be included. That is, the synthesis unit 147 may include the ROI information 120B in the payload data of the long packet and send it out.
- the ROI information 120B is, for example, as shown in FIGS. 7 (A) to 7 (K), the number of attention region ROIs (ROI numbers) included in the captured image 111, and the region number of each attention region ROI.
- the ROI information 120B is preferably arranged at the end of the packet header PH side (that is, the beginning of the long packet payload data) in the long packet payload data.
- FIG. 8 shows an example of the configuration of the video receiving device 200.
- FIG. 9 shows an example of the procedure for generating the ROI image 223A in the video receiving device 200.
- the video receiving device 200 is a device that receives signals according to a standard common to the video transmitting device 100 (for example, MIPI CSI-2 standard, MIPI CSI-3 standard, or MIPI IDSI standard).
- the video receiving device 200 has, for example, a receiving unit 210 and an information processing unit 220.
- the receiving unit 210 receives the transmission data 147A output from the video transmission device 100 via the data lane DL, and performs predetermined processing on the received transmission data 147A to perform various data (214A, 215A).
- the information processing unit 220 generates an ROI image 223A based on various data (214A, 215A) received from the receiving unit 210, or generates a normal image 224A based on the data (215B) received from the receiving unit 210. It is a circuit to generate.
- the receiving unit 210 has, for example, a header separation unit 211, a header interpretation unit 212, a payload separation unit 213, an EBD interpretation unit 214, and an ROI data separation unit 215.
- the header separation unit 211 receives the transmission data 147A from the video transmission device 100 via the data lane DL. That is, the header separation unit 211 includes the ROI information 120B for each attention region ROI in the captured image 111 in the embedded data, and transmits the image data (compressed image data 120A) of each attention region ROI in the payload data of the long packet. Receives data 147A.
- the header separation unit 211 separates the received transmission data 147A into a frame header area R1 and a packet area R2.
- the header interpretation unit 212 specifies the position of the payload data of the long packet included in the packet area R2 based on the data (specifically, the embedded data) included in the frame header area R1.
- the payload separation unit 213 separates the payload data of the long packet included in the packet area R2 from the packet area R2 based on the position of the payload data of the long packet specified by the header interpretation unit 212.
- the EBD interpretation unit 214 outputs the embedded data as the EBD data 214A to the information processing unit 220. From the data type included in the embedded data, the EBD interpreter 214 further determines that the image data included in the long packet payload data is the compressed image data 120A of the ROI image data 116, or the compressed image of the normal image data. It is determined whether the data is 130A. The EBD interpretation unit 214 outputs the determination result to the ROI data separation unit 215.
- the ROI data separation unit 215 uses the payload data of the long packet as the payload data 215A and uses the information processing unit 220 (specifically). Is output to the ROI decoding unit 222).
- the ROI data separation unit 215 uses the payload data of the long packet as the payload data 215B and uses the information processing unit 220 (specifically, the normal image decoding). Output to unit 224).
- the payload data of the long packet includes the ROI information 120B
- the payload data 215A includes the ROI information 120B and the pixel data of one line of the compressed image data 147B.
- the information processing unit 220 extracts ROI information 120B from the embedded data included in the EBD data 214A. Based on the ROI information 120B extracted by the information extraction unit 221, the information processing unit 220 uses the long packet payload data included in the transmission data 147A received by the reception unit 210 to obtain an image of each attention region ROI in the captured image 111. The ROI image 112) is extracted.
- the information processing unit 220 includes, for example, an information extraction unit 221, an ROI decoding unit 222, an ROI image generation unit 223, and a normal image decoding unit 224.
- the normal image decoding unit 224 decodes the payload data 215B and generates the normal image 224A.
- the ROI decoding unit 222 decodes the compressed image data 147B included in the payload data 215A and generates the image data 222A.
- the image data 222A is composed of one or a plurality of transmitted images 116.
- the information extraction unit 221 extracts ROI information 120B from the embedded data included in the EBD data 214A. From the embedded data included in the EBD data 214A, for example, the information extraction unit 221 includes, for example, the number of attention region ROIs included in the captured image 111, the region number (or priority 115) of each attention region ROI, and each attention region ROI. The data length of the data and the image format of each region of interest ROI are extracted. That is, the transmission data 147A is used as discrimination information capable of determining which of the plurality of transmission images 116 obtained from the transmission data 147A has the image 118 of the overlapping region ROO omitted. The region number (or priority 115) of the region of interest ROI corresponding to 116 is included.
- the ROI image generation unit 223 detects an overlapping region ROO in which two or more attention region ROIs overlap each other based on the ROI information 120B obtained by the information extraction unit 221.
- the coordinates for example, upper left end coordinates (Xa1, Ya1)
- length for example, physical area length of the region of interest ROI corresponding to the ROI image 112a2 XLa2, YLa1
- the ROI image generation unit 223 derives the position information 114 of the overlapping region ROO based on the extracted information (hereinafter, referred to as “extracted information 221A”).
- the ROI image generation unit 223 uses, for example, the coordinates (for example, upper left edge coordinates (Xb1, Yb1)) and length (for example, physical area lengths XLb1, YLb1) of the overlapping area ROO as the position information 114 of the overlapping area ROO. Derived.
- the ROI image generation unit 223 may acquire the ROI information 120B from the payload data 215A instead of acquiring the ROI information 120B from the embedded data included in the EBD data 214A.
- the ROI image generation unit 223 may detect an overlapping region ROO in which two or more attention region ROIs overlap each other based on the ROI information 120B included in the payload data 215A.
- the ROI image generation unit 223 may extract the extraction information 221A from the ROI information 120B included in the payload data 215A, and based on the extraction information 221A extracted in this way, the position information 114 of the overlapping region ROO May be derived.
- the ROI image generation unit 223 further generates an image (ROI images 112a1, 112a2) of each attention region ROI in the captured image 111 based on the image data 222A, the extraction information 221A, and the position information 114 of the overlapping region ROO. To do.
- the ROI image generation unit 223 outputs the generated image as the ROI image 223A.
- the imaging unit 110 outputs the captured image 111 (digital image data) obtained by imaging to the image processing unit 120.
- the ROI cutting unit 121 identifies two regions of interest ROI1 and ROI2 included in the captured image 111 input from the imaging unit 110.
- the ROI cutting unit 121 cuts out the images (ROI images 112a1, 112a2) of the respective areas of interest ROI1 and ROI2 from the captured image 111.
- the ROI cutting unit 121 assigns the region number 1 as an identifier to the region of interest ROI1 and assigns the region number 2 as an identifier to the region of interest ROI 2.
- the ROI analysis unit 122 derives the position information 113 of the region of interest ROI in the captured image 111 for each region of interest ROI. Based on the attention region ROI1, the ROI analysis unit 122 sets the upper left end coordinates (Xa1, Ya1) of the attention region ROI1, the length of the attention region ROI1 in the X-axis direction (XLa1), and the Y-axis direction of the attention region ROI1. The length (YLa1) is derived. Based on the attention region ROI2, the ROI analysis unit 122 sets the upper left end coordinates (Xa2, Ya2) of the attention region ROI2, the length of the attention region ROI2 in the X-axis direction (XLa2), and the Y-axis direction of the attention region ROI2. The length (YLa2) is derived.
- the overlap detection unit 123 detects an overlapping region ROO in which the two attention regions ROI1 and ROI2 overlap each other based on the position information 113 of the two attention regions ROI1 and ROI2 in the captured image 111. That is, the overlap detection unit 123 derives the position information 114 of the overlap region ROO in the captured image 111.
- the overlap detection unit 123 serves as the position information 114 of the overlap region ROO in the captured image 111, the upper left end coordinates (Xb1, Yb1) of the overlap region ROO, the length of the overlap region ROO in the X-axis direction (XLb1), and the overlap region.
- the length (YLb1) of the ROO in the Y-axis direction is derived.
- the priority setting unit 124 assigns 1 as a priority 115 to one attention area ROI1 and 2 as a priority 115 to the other attention area ROI2.
- the encoding unit 125 omits the image 118 from the two ROI images 112a1 and 112a2 obtained from the captured image 111 so that the image 118 of the overlapping region ROO is not duplicated in the two attention regions ROI1 and ROI2.
- Two transmission images 116a1 and 116a2 are generated.
- the encoding unit 125 determines which of the two ROI images 112a1 and 112a2 the image 118 is omitted based on the area numbers (or priority 115) of the two ROI1 and ROI2 areas of interest. In the two regions of interest ROI1 and ROI2, the encoding unit 125 omits the image 118 for the ROI image 112a2 corresponding to the region of interest ROI2, which is the larger region number (or priority 115), thereby transmitting. Image 116a2 is generated. In the two areas of interest ROI1 and ROI2, the encoding unit 125 uses the ROI image 112a1 itself as the transmission image 116a1 for the ROI image 112a1 corresponding to the area of interest ROI1 which is the smaller area number (or priority 115).
- the image processing control unit 126 generates ROI information 120B and frame information 120C and transmits them to the transmission unit 140.
- the transmission unit 140 generates transmission data 147A based on various data (120A, 120B, 120C, 130A) input from the image processing units 120 and 130.
- the transmission unit 140 transmits the generated transmission data 147A to the video receiving device 200 via the data lane DL.
- the receiving unit 210 receives the transmission data 147A output from the video transmitting device 100 via the data lane DL.
- the receiving unit 210 generates EBD data 214A and payload data 215A by performing predetermined processing on the received transmission data 147A, and outputs the EBD data 214A and the payload data 215A to the information processing unit 220.
- the ROI decoding unit 222 decodes the compressed image data 147B included in the
- the ROI image generation unit 223 derives the position information 114 of the overlapping region ROO based on these extracted information (extracted information 221A).
- the ROI image generation unit 223 uses, for example, the coordinates (for example, upper left edge coordinates (Xb1, Yb1)) and length (for example, physical area lengths XLb1, YLb1) of the overlapping area ROO as the position information 114 of the overlapping area ROO. Derived.
- the ROI image generation unit 223 further generates an image (ROI images 112a1, 112a2) of each attention region ROI in the captured image 111 based on the image data 222A, the extraction information 221A, and the position information 114 of the overlapping region ROO. To do.
- MIPI CSI-2 may be used as a method used for transmission from the image sensor to the application processor.
- MIPI CSI-2 may be used as a method used for transmission from the image sensor to the application processor.
- the ROI information 120B for each attention region ROI in the captured image 111 is transmitted as embedded data, and the image data of each attention region ROI is transmitted as the payload data of the long packet.
- the image data (ROI image 112) of each region of interest ROI can be easily extracted from the transmission data 147A. it can.
- the ROI of interest can be transmitted even under various restrictions.
- the image data (compressed image data 120A) of each attention region ROI is transmitted by a virtual channel common to each other.
- a plurality of ROI images 112 can be transmitted in the same packet, it is not necessary to enter the LP mode while transmitting the plurality of ROI images 112, and high transmission efficiency can be obtained.
- the data type of each region of interest ROI is included in the packet header PH of the payload data of the long packet and transmitted.
- the data type of each region of interest ROI can be obtained simply by accessing the packet header PH of the payload data of the long packet without accessing the embedded data.
- the processing speed of the video receiving device 200 can be increased, so that high transmission efficiency can be obtained.
- the ROI information 120B when the ROI information 120B is included in the payload data of the long packet and transmitted, the ROI information 120B is simply accessed by accessing the payload data of the long packet without accessing the embedded data. Is obtained. As a result, the processing speed of the video receiving device 200 can be increased, so that high transmission efficiency can be obtained.
- the ROI information 120B for each region of interest ROI is extracted from the embedded data included in the transmission data 147A, and the long included in the transmission data 147A based on the extracted ROI information 120B.
- An image of each region of interest ROI is extracted from the payload data of the packet.
- an image of each region of interest ROI can be easily extracted from the transmission data 147A.
- the ROI of interest can be transmitted even under various restrictions.
- FIG. 10 is a diagram schematically showing a region in which an object specified in the captured image 111 is arranged.
- the image pickup image 111 imaged in the image pickup area composed of the image pickup elements of 15 rows ⁇ 23 columns is schematically shown.
- FIG. 11 is a diagram showing an example of the ROI region set for the specified object.
- the prerequisite technology 2 similarly to the prerequisite technology 1, when a control signal instructing the cutting out of the ROI is input from the video receiving device 200 to the video transmitting device 100 via the camera control interface CCI, it is input from the imaging unit 110. A case where a predetermined process is performed on the captured image 111 will be described. However, the prerequisite technique 2 can also be applied to the case where the video transmission device 100, that is, the transmitting side specifies the coordinates for cutting out the ROI. In this case, the transmitting side is configured to receive, for example, information such as a "person" or an "object” to be acquired by the ROI transmitted from the receiving side, and determine and instruct the coordinates of the cutout.
- a control signal instructing the cutting out of the ROI is input from the video receiving device 200 via the camera control interface CCI.
- the ROI cutting unit 121 identifies the four objects 1 to 4 to be photographed included in the captured image 111.
- the object 1 has, for example, a rectangular shape that occupies a part of the upper left region in the captured image 111.
- the object 2 occupies a part of the area on the right side of the object 1 in the captured image 111, and has a shape in which both corners on both sides of the rectangle and a part of the lower side are missing.
- the object 3 occupies a part of the area below the object 2 in the captured image 111, and has a shape in which the four corners of the rectangle are missing.
- the object 4 occupies a part of the lower part of the object 3 in the captured image 111, and has a shape in which both upper side corners of the rectangle are missing.
- a part of the object 3 and the object 4 overlap each other.
- the ROI cutting unit 121 sets the smallest rectangle including each of the specified objects 1 to 4 as the region of interest ROI1 to ROI4.
- the ROI cutting unit 121 sets the region of interest ROI1 for the object 1 and cuts out the ROI image 112a1. Further, the ROI cutting unit 121 sets the region of interest ROI2 for the object 2 and cuts out the ROI image 112a2. Further, the ROI cutting unit 121 sets the region of interest ROI3 for the object 3 and cuts out the ROI image 112a3. Further, the ROI cutting unit 121 sets the region of interest ROI4 for the object 4 and cuts out the ROI image 112a4.
- the ROI cutting unit 121 stores the attention area ROI1 and the area number “1” assigned to the attention area ROI1 in association with each other in the storage unit.
- the ROI cutting unit 121 stores the attention area ROI2 and the area number “2” assigned to the attention area ROI2 in association with each other in the storage unit.
- the ROI cutting unit 121 stores the attention area ROI 3 and the area number “3” assigned to the attention area ROI 3 in association with each other in the storage unit.
- the ROI cutting unit 121 stores the attention area ROI4 and the area number “4” assigned to the attention area ROI4 in association with each other in the storage unit.
- the ROI analysis unit 122 derives the position information of each of the attention areas ROI1 to ROI4.
- the ROI analysis unit 122 derives, for example, the physical region length XLa1 in the X-axis direction and the physical region length YLa1 in the Y-axis direction as the position information of the region of interest ROI1.
- the ROI analysis unit 122 derives, for example, the physical region length XLa2 in the X-axis direction and the physical region length YLa2 in the Y-axis direction as the position information of the region of interest ROI2.
- the ROI analysis unit 122 derives, for example, the physical region length XLa3 in the X-axis direction and the physical region length YLa3 in the Y-axis direction as the position information of the region of interest ROI3.
- the ROI analysis unit 122 derives, for example, the physical region length XLa4 in the X-axis direction and the physical region length YLa4 in the Y-axis direction as the position information of the region of interest ROI4.
- the ROI analysis unit 122 further obtains, for example, the output region length XLc of the attention region ROI in the X-axis direction and the output region length YLc of the attention region ROI in the Y-axis direction as position information 113 for each attention region ROI. It may be derived.
- the ROI analysis unit 122 derives the lengths of the attention region ROIs in the X-axis direction and the Y-axis direction, thereby deriving the respective sizes and total data amounts of the attention regions ROI1 to ROI4 as information to the subsequent stage.
- the video receiving device 200 corresponding to the latter stage can secure a memory area.
- the ROI analysis unit 122 is configured to derive the position information of the ROI images 112a1 to 112a4 instead of the position information of the attention area ROI when the shapes of the object to be photographed and the attention area do not match. ..
- the ROI analysis unit 122 derives the left end coordinates (xn, yn) of each row and the physical region length XLn in the X-axis direction as the position information of the ROI images 112a1 to 112a4. Further, when the ROI images are separated as in the second line of the ROI image 112a2, the ROI analysis unit 122 derives the position information for each of the separated portions.
- the ROI analysis unit 122 stores the area numbers of the regions of interest ROI1 to ROI4 and the position information of the ROI images 112a1 to 112a4 in association with each other in the storage unit.
- the ROI analysis unit 122 derives, for example, sensing information, exposure information, gain information, AD word length, image format, etc. in addition to the position information for each of the attention areas ROI1 to ROI4, and corresponds to the area number. It may be attached and stored in the storage unit.
- the overlap detection unit 123 derives the area where the ROI images overlap as the overlap area, not the area where the areas of interest overlap each other. As shown in FIG. 11, the overlap detection unit 123 derives the overlap region ROO as the region where the ROI image 112a3 and the ROI image 123a4 overlap. The overlap detection unit 123 stores the derived overlap area ROO in the storage unit in association with each of the position information of the attention areas ROI3 and ROI4.
- the priority setting unit 124 assigns the priority "1" to the attention area ROI1 and stores the priority 1 in association with the attention area ROI1 in the storage unit.
- the priority setting unit 124 assigns a priority "2" having a priority lower than the priority "1” to the attention area ROI2, and stores the priority 2 in association with the attention area ROI2 in the storage unit.
- the priority setting unit 124 assigns a priority "3" having a priority lower than the priority "2" to the attention area ROI3, and stores the priority 3 in association with the attention area ROI3 in the storage unit.
- the priority setting unit 124 assigns a priority "4" having a priority lower than the priority "3” to the attention area ROI4, and stores the priority 4 in association with the attention area ROI4 in the storage unit.
- the encoding unit 125 (see FIG. 2) generates a transmission image for each of the ROI images 112a1 to 112a4. Since the region of interest ROI4 has a lower priority than the region of interest ROI3, the encoding unit 125 generates a transmission image by omitting the overlapping region ROO from the ROI image 112a4.
- the image processing control unit 126 (see FIG. 2) generates ROI information and frame information and transmits them to the transmission unit 140 (see FIG. 2).
- the ROI information includes, for example, the respective position information of the ROI images 112a1 to 112a4.
- the same information as in the case where the object to be photographed is rectangular (for example, the data types of the attention areas ROI1 to ROI4, the number of the attention areas ROI1 to ROI4 included in the captured image 111, and the attention area)
- the area numbers and priorities of ROI1 to ROI4 are included.
- the frame information includes the same information as in the case where the object to be photographed is rectangular, such as the data types of the areas of interest ROI1 to ROI4.
- the LINK control unit 141 provided in the transmission unit 140 transmits the frame information and the ROI information input from the image processing control unit 126 for each line to the ECC generation unit 142 and the PH generation unit 143 (both of FIGS. 2). See).
- the ECC generator 142 is based on, for example, the data of one line in the frame information (for example, the number of the virtual channel, the respective data types of the areas of interest ROI1 to ROI4, the payload length of each line, etc.), and the error correction code of that line. To generate.
- the ECC generation unit 142 outputs the generated error correction code to the PH generation unit 143.
- the PH generation unit 143 generates a packet header PH (see FIG. 4) for each line by using, for example, the frame information and the error correction code generated by the ECC generation unit 142.
- the EBD buffer 144 (see FIG. 2) temporarily stores the ROI information, and outputs the ROI information as embedded data to the synthesis unit 147 (see FIG. 2) at a predetermined timing.
- the ROI data buffer 145 (see FIG. 2) temporarily stores the compressed image data input from the encoding unit 125, and for example, a control signal instructing to cut out the ROI is transmitted from the video receiving device 200 via the camera control interface CCI.
- the compressed image data 120A is output to the compositing unit 147 as the payload data of the long packet.
- the synthesis unit 147 When the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI, the synthesis unit 147 inputs various data (packet header PH, ROI information and ROI data buffer 145).
- the transmission data 147A is generated based on the compressed image data input from the encoding unit 125 via the encoding unit 125.
- the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL. That is, the synthesis unit 147 includes each data type of the region of interest ROI1 to ROI4 in the packet header PH of the payload data of the long packet and sends the data.
- the synthesis unit 147 sends out the image data (compressed image data) of the attention regions ROI1 to ROI4 on a virtual channel common to each other.
- the position information of the ROI images 112a1 to 112a4 is included in the packet header PH or the payload data of the long packet.
- the position information of the ROI images 112a1 to 112a4 is included in the packet header PH by the PH generation unit 143.
- the position information of the ROI images 112a1 to 112a4 is included in the payload data of the long packet by the synthesis unit 147.
- FIG. 12 is a diagram showing a configuration example of transmission data 147A in which the position information of the ROI images 112a1 to 112a4 is included in the payload data of the long packet.
- the transmission data 147A includes, for example, a frame header area R1 and a packet area R2. Note that FIG. 12 illustrates in detail the contents of the frame header area R1. Further, in FIG. 12, the low power mode LP is omitted.
- the frame header area R1 includes, for example, the frame number F1 as an identifier of the transmission data 147A.
- the frame header area R1 contains information about the compressed image data included in the packet area R2.
- the frame header area R1 includes, for example, the number of compressed image data (ROI number) and information (ROI information) about each of the ROI images 112a1 to 112a4 corresponding to each compressed image data.
- the ROI information includes the area number, the physical area length, the rectangular output area size, the priority, the exposure information, the gain information, the AD word length, and the image format.
- the physical area length is the maximum length of the ROI image
- the rectangular output area size is the size of the attention area ROI.
- the position information of the ROI images 112a1 to 112a4 is stored in, for example, "info”.
- the position information of the ROI images 112a1 to 112a4 is stored in the head portion of the payload of the long packet.
- the ROI image 112a1 has the same physical region length in the X-axis direction in the consecutive first to fourth pixel rows of all the pixel rows, and the first to fourth rows are the same. Pixel rows do not contain ROI images with different region numbers. Therefore, each long packet including the image data of the pixel rows of the second to fourth rows corresponding to the second and subsequent rows of the continuous pixel rows of the first to fourth rows constituting the ROI image 112a1.
- the area information "info" is not stored in the payload of.
- the ROI image 112a4 has the same physical region length in the X-axis direction in the second and third consecutive pixel rows among all the pixel rows, and the second and third rows have the same physical region length.
- the pixel row of the row does not include ROI images with different region numbers. Therefore, the payload of the long packet including the image data of the pixel row of the third row corresponding to the second and subsequent rows of the pixel rows of the second and third rows that constitute the ROI image 112a4 has an area.
- the information "info" is not stored. Even if the physical area length in the X-axis direction is the same and each pixel row does not contain ROI images with different region numbers, even if the region information "info" is stored in the payload of each row. Good.
- the compositing unit 147 arranges the compressed image data generated by compressing each of the ROI images 112a1 to 112a4 separately for each pixel line.
- “1” shown in FIG. 12 indicates the compressed image data of the ROI image 112a1 stored in the payload of the long packet.
- “2” shown in FIG. 12 indicates the compressed image data of the ROI image 112a2 stored in the payload of the long packet.
- “3” shown in FIG. 12 indicates the compressed image data of the ROI image 112a3.
- “4” shown in FIG. 12 indicates the compressed image data of the ROI image 112a4 stored in the payload of the long packet.
- each compressed image data is shown as being separated for easy understanding, but the data stored in the payload of the long packet is not divided.
- the packet area R2 of the transmission data 147A does not include the compressed image data 112b corresponding to the image of the overlapping area ROO in duplicate. Further, for example, in the packet area R2 of the transmission data 147A, the synthesis unit 147 omits a pixel line that does not correspond to each transmission image in the captured image 111. Therefore, the packet area R2 of the transmission data 147A does not include a pixel line of the captured image 111 that does not correspond to each transmission image.
- the header separation unit 211 provided in the reception unit 210 (see FIG. 8 for both) receives the transmission data 147A from the video transmission device 100 via the data lane DL. That is, the header separation unit 211 includes the ROI information about the attention areas ROI1 to ROI4 in the captured image 111 in the embedded data, and transmits the image data (compressed image data) of the attention areas ROI1 to ROI4 in the payload data of the long packet. Receives data 147A. The header separation unit 211 separates the received transmission data 147A into a frame header area R1 and a packet area R2.
- the header interpretation unit 212 specifies the position of the payload data of the long packet included in the packet area R2 based on the data (specifically, the embedded data) included in the frame header area R1.
- the payload separation unit 213 separates the payload data of the long packet included in the packet area R2 from the packet area R2 based on the position of the payload data of the long packet specified by the header interpretation unit 212.
- the EBD interpretation unit 214 outputs the embedded data as EBD data to the information processing unit 220 (see FIG. 8). From the data type included in the embedded data, the EBD interpreter 214 further determines that the image data included in the payload data of the long packet is the compressed image data of the ROI image data 116, or the compressed image data of the normal image data. Is determined. The EBD interpretation unit 214 outputs the determination result to the ROI data separation unit 215 (see FIG. 8).
- the ROI data separation unit 215 uses the payload data of the long packet as the payload data and uses the information processing unit 220 (specifically, the ROI decoding unit). Output to 222 (see FIG. 8)).
- the payload data of the long packet including the ROI information includes the ROI information and the pixel data of one line of the compressed image data.
- the information extraction unit 221 (see FIG. 8) provided in the information processing unit 220 includes the number of attention regions ROI1 to ROI4 included in the captured image 111 from the embedded data included in the EBD data input from the EBD interpretation unit 214 (see FIG. 8). In this example, 4), the area numbers 1 to 4 and the priorities 1 to 4 of the areas of interest ROI1 to ROI4, the respective data lengths of the areas of interest ROI1 to ROI4, and the respective image formats of the areas of interest ROI1 to ROI4 are extracted. .. Further, the information extraction unit 221 extracts the position information of the ROI images 112a1 to 112a4 from the embedded data.
- the ROI decoding unit 222 decodes the compressed image data 147B included in the payload data, extracts the position information of the ROI images 112a1 to 112a4, and generates image data (composed of transmitted images). For example, when the payload data corresponding to the pixel row of the sixth row is input, the ROI decoding unit 222 extracts one position information of the ROI image 112a1 and two position information of the ROI image 112a2 from the payload data. Then, the image data (transmission image) of the ROI images 112a1 and 112b1 corresponding to the pixel row of the sixth row is generated, respectively.
- the ROI decoding unit 222 extracts one position information of the ROI image 112a3 and one position information of the ROI image 112a4 from the payload data. Then, the image data (transmission image) of the ROI images 112a3 and 112b4 is generated, respectively.
- the ROI image generation unit 223 includes ROI information obtained by the information extraction unit 221, position information of the ROI images 112a1 to 112a4 extracted by the ROI decoding unit 222, and a transmission image generated by the ROI decoding unit 222.
- the ROI images 112a1 to 112a4 of the attention regions ROI1 to ROI4 in the captured image 111 are generated based on the above.
- the ROI image generation unit 223 inputs one position information of the ROI image 112a1 extracted from the payload data corresponding to the pixel row of the sixth row, two position information of the ROI image 112a2, and their transmitted images.
- ROI image 112a1 for 5 pixels extending in the X-axis direction ROI image 112a2 for 4 pixels extending in the X-axis direction at a position 5 pixels separated from the ROI image 112a1, and ROI image 112a2.
- a ROI image 112a2 for two pixels extending in the X-axis direction is generated at a position separated from the image (see FIG. 10).
- the ROI image generation unit 223 detects an overlapping region ROO in which the attention region ROI3 and the attention region ROI4 overlap each other based on the ROI information obtained by the information extraction unit 221.
- the ROI image generation unit 223 is based on the detected overlapping region ROO, the position information of the ROI images 112a3 and 112a4 extracted from the payload data corresponding to the pixel row of the 10th row, and the transmitted image, respectively, in the X-axis direction.
- the ROI image 112a3 for 4 pixels extending in the X-axis direction and the ROI image 112a4 for 3 pixels extending in the X-axis direction with one pixel overlapping the ROI image 112a3 are generated (see FIG. 10).
- the ROI image generation unit 223 outputs the generated image as an ROI image to a subsequent device (not shown).
- the video transmitting device 100 and the video receiving device 200 can transmit and receive as an ROI image even if the object to be photographed has a shape other than a rectangle.
- FIG. 13 is a diagram schematically showing a defect image correction process in the present embodiment.
- a red pixel hereinafter abbreviated as "R pixel”
- R pixel an R pixel and a green pixel
- G pixel An odd row in which (abbreviated as "G pixel") is alternately arranged, and an even row in which the left end is a G pixel and G pixel and a blue pixel (hereinafter abbreviated as "B pixel”) are alternately arranged. It is assumed that it is composed of and.
- FIG. 13 schematically shows a part of an image captured by an image pickup apparatus having such a pixel structure.
- the image shown in FIG. 13 is an unprocessed image output from pixels to the imaging region, which is called a Raw image or undeveloped data. Therefore, for example, if there is a defect in the photoelectric conversion element or the pixel circuit and a pixel defect occurs in which the pixel does not operate normally, the image acquired by the pixel is as shown on the left side of the thick arrow in FIG. The defective image Id does not obtain the desired gradation.
- the information of the defective image Id is used by using the information of the peripheral image Iad which is the same color as the defective image Id and is arranged around the defective image Id. Is interpolated to generate a corrected image Ic. Thereby, in the present embodiment, the defect of the image is made inconspicuous and the deterioration of the image quality of the finally generated image is prevented.
- Defect pixels occur during manufacturing of the image pickup device or during module assembly, and become fixed defects in the image pickup area. Therefore, it is possible to detect defective pixels by shipping inspection of the imaging device, store the coordinate information of the defective pixels in a non-volatile storage device such as EEPROM, and correct the defective image using the coordinate information. Become.
- the position of the defective pixel in the region of interest is calculated based on the coordinate information of the defective pixel acquired by the shipping inspection or the like. It is configured as follows. Further, the video receiving device is configured to execute the correction processing of the defective image by using the position of the defective pixel transmitted from the video transmitting device.
- FIG. 14 is a diagram schematically showing a method of calculating the position of a defective pixel in a region of interest based on the coordinate information of the defective pixel acquired by shipping inspection or the like in the present embodiment.
- the image pickup region IR composed of a plurality of image pickup elements
- six defective pixels D01, D02, D11, D12, D21, and D31 exist in the image pickup region IR.
- three regions of interest ROI1 to ROI3 to be cut out are set.
- the defective pixels D11 and D12 are arranged in the area where the attention area ROI1 is set.
- the defective pixel D21 is arranged in a region in which the region of interest ROI2 is set.
- the defective pixel D31 is arranged in a region in which the region of interest ROI3 is set.
- the defective pixels D01 and D02 are arranged in a region in which a region of interest is not set.
- the method of calculating the position of the defective pixel in the region of interest is the same regardless of the position of the region of interest and the defective pixel. Therefore, a method of calculating the position of the defective pixel in the region of interest will be described below using the defective pixel D11 as an example.
- the origin IRo (0,0) of the imaging region IR is defined as the pixel at the upper left end.
- the coordinates (x, y) of the defective pixel D11 in the imaging region IR are (D1_X1, D1_Y1).
- the coordinates (D1_X1, D1_Y1) of the defective pixel D11 are coordinates based on the origin IRo (0,0) of the imaging region IR.
- the information of the coordinates (D1_X1, D1_Y1) of the defective pixel D11 is the coordinate information acquired at the time of shipment inspection, for example, of the image transmitting device having the imaging unit.
- the position information of the area of interest (for example, the coordinates of the upper left corner, the length in the X-axis direction, and the length in the Y-axis direction) is derived. Therefore, as shown in FIG. 14, for example, the coordinates (R1_X, R1Y) of the upper left end Pr, the length R1_W in the X-axis direction, and the length R1_H in the Y-axis direction are derived as the position information of the region of interest ROI1.
- the coordinates (R1_X, R1Y) of the upper left end portion Pr of the attention region ROI1 represent the position of the attention region ROI1 in the imaging region IR. Therefore, the coordinates (R1_X, R1Y) of the upper left end portion Pr are coordinates based on the origin IRo (0,0) of the imaging region IR.
- the coordinates (R1_X, R1Y) of the upper left end Pr of the region of interest ROI1 and the coordinates (D1_X1, D1_Y1) of the defective pixel D11 are the coordinates in the same coordinate space called the imaging region IR. Therefore, the coordinates (D1X_R1, D1_YR1) of the defective pixel D11 in the region of interest ROI1 can be expressed by the following equations (1) and (2).
- D1_XR1 D1_X-R1_X ...
- D1_YR1 D1_Y-R1_Y ... (2)
- the position of the defective pixel D11 can be represented by the coordinates of the coordinate space of the region of interest ROI1. Therefore, the video receiving device sets the attention area by storing the coordinate information acquired at the time of shipping inspection, for example, and the position information of the attention area (for example, the upper left end coordinate, the length in the X-axis direction, and the length in the X-axis direction). Each time the length in the Y-axis direction) is input from the video transmission device, the coordinates of the defective pixel in the region of interest can be calculated.
- the transmission device has an ROI that includes position information of the region of interest (for example, upper left end coordinates, length in the X-axis direction, and length in the Y-axis direction) as a normal operation. It is configured to send information as embedded data to the video receiver. Further, as will be described in detail later, the transmission device according to the present embodiment receives defect correction information as embedded data as initialization processing, which includes information on the coordinates of defective pixels in the coordinate space of the imaging region (that is, the entire angle of view). It is configured to send to.
- ROI that includes position information of the region of interest (for example, upper left end coordinates, length in the X-axis direction, and length in the Y-axis direction) as a normal operation. It is configured to send information as embedded data to the video receiver. Further, as will be described in detail later, the transmission device according to the present embodiment receives defect correction information as embedded data as initialization processing, which includes information on the coordinates of defective pixels in the coordinate space of the imaging region (that is, the entire angle of view).
- the receiving device can extract the information contained in the embedded data, similarly to the video receiving device 200 described above. Therefore, the receiving device according to the present embodiment uses the coordinates of the defective pixel extracted from the embedded data received as the initialization process and the coordinates of the upper left end of the region of interest received as a normal operation, and the equation (1) and the equation (1) and the equation. From (2), the coordinates of the defective pixel in the region of interest can be calculated. Further, the receiving device is configured to use the coordinates of the defective pixel acquired by calculation as the coordinates of the defective image.
- the X coordinate value obtained by the equation (1) remains the same, and the coordinates of the pixel two rows before the defective pixel D11 can be obtained by subtracting 2 from the Y coordinate value obtained by the equation (2). .. Further, the X coordinate value obtained by the equation (1) remains the same, and the coordinates of the pixel two rows after the defective pixel D11 can be obtained by adding 2 to the Y coordinate value obtained by the equation (2). .. Further, by subtracting 2 from the X coordinate value obtained by the equation (1) while keeping the Y coordinate value obtained by the equation (2) as it is, the coordinates of the pixels two columns before the defective pixel D11 can be obtained. .. Further, the Y coordinate value obtained by the equation (2) remains the same, and the coordinates of the pixels two rows after the defective pixel D11 are obtained by adding 2 to the X coordinate value obtained by the equation (1). ..
- the image corresponding to the pixel thus obtained corresponds to the peripheral image of the defective image corresponding to the defective pixel D11 (see the peripheral image Iad shown in FIG. 13). Therefore, the receiving device according to the present embodiment can also calculate the coordinates of the peripheral image by using the coordinates of the defective pixel included in the embedded data and the coordinates of the upper left corner of the region of interest. As a result, the receiving device according to the present embodiment can execute the correction processing of the defective image existing in the region of interest regardless of the position and size of the region of interest.
- an image of pixels having coordinates ⁇ 2 with respect to the coordinates of defective pixels is used as a peripheral image.
- the peripheral image may be appropriately selected depending on the arrangement of color pixels and the like.
- FIG. 15 is a block diagram showing a schematic configuration of a video transmission device 3, a video reception device 4, and a video transmission system 10 according to the present embodiment.
- the video transmission system 10 exerts the functions of a video transmission device (an example of a transmission device) 3 that exerts a function as an image sensor and an image processing (Image Signal Processor: ISP).
- a video receiving device (an example of a receiving device) 4 is provided.
- the video transmission device 3 transmits a signal of MIPI (Mobile Industry Processor Interface) D-PHY standard, MIPI C-PHY standard or MIPI CSI (Camera Serial Interface) -2 standard from the transmission unit 322. It is configured in.
- the video receiving device 4 is configured to receive a signal of MIPI D-PHY standard, MIPI C-PHY standard or MIPI CSI-2 standard by the receiving unit 412. There is. Further, the video transmission system 10 transmits / receives signals according to the MIPI CSI-3 standard or the MIPI DSI standard between the video transmission device 3 and the video reception device 4 as in the video transmission system 1 according to the above-mentioned prerequisite technologies 1 and 2. It may be configured to do so.
- the video transmission device 3 provided in the video transmission system 10 is configured to exhibit the same functions as the video transmission device 100 according to the above-mentioned prerequisite technologies 1 and 2. That is, when the control signal instructing the cutout of the ROI is input from the video receiving device 4, the video transmitting device 3 performs the same processing as the video transmitting device 100 on the captured image input from the imaging unit 31. It is configured to be executable. Further, the video transmitting device 3 processes the captured image input from the imaging unit 31 in the same manner as the video transmitting device 100 when the control signal instructing the output of the normal image is input from the video receiving device 4. Is configured to be executable.
- the video transmitting device 3 is provided with an imaging region 31 (details will be described later) when a control signal requesting acquisition of the coordinates of defective pixels is input from the video receiving device 4 as an initialization process. It is configured to transmit all the information (an example of defect correction information) of the coordinates of the defective pixel among all the pixels (total angle of view) constituting the above to the video receiving device 4.
- the video receiving device 4 is configured to exhibit the same functions as the video receiving device 200 according to the above-mentioned prerequisite technologies 1 and 2. That is, the video receiving device 4 is configured to be capable of executing the same processing as the video receiving device 200 according to the above-mentioned prerequisite technologies 1 and 2 with respect to the transmission data transmitted from the video transmitting device 3. Further, the video receiving device 4 is configured to be able to perform correction processing of a defective image based on the defective pixel by using the defect correction information transmitted from the video transmitting device 3.
- the video transmitting device 3 and the video receiving device 4 are mainly illustrated with configurations related to the correction processing of defective pixels.
- the video transmission device 3 includes an imaging unit 31 that images an object.
- the imaging unit 31 has, for example, a photoelectric conversion unit 311 that converts incident light into an electric signal.
- the photoelectric conversion unit 311 is composed of, for example, a CCD image sensor or a CMOS image sensor.
- the photoelectric conversion unit 311 has a photoelectric conversion element, and has a plurality of pixels arranged according to a predetermined rule. The portion of the photoelectric conversion unit 311 in which the plurality of pixels are arranged is the imaging region.
- the imaging unit 31 has a signal conversion unit 312 that converts an analog electric signal input from the photoelectric conversion unit 311 into digital image data.
- the signal conversion unit 312 executes signal amplification (AGC) processing of the analog electric signal input from the photoelectric conversion unit 311 and analog-to-digital conversion (ADC) processing for converting the amplified electric signal into a digital signal. It is configured.
- the imaging unit 31 has an amplification unit 313 that applies digital gain to the image data input from the signal conversion unit 312.
- the amplification unit 313 is configured to output digitally gained image data to the transmission unit 322.
- the video transmission device 3 has a non-volatile storage device 33.
- the non-volatile storage device 33 is composed of, for example, an EEPROM (Electrically Erasable Programmable Read-Only Memory).
- EEPROM Electrically Erasable Programmable Read-Only Memory
- Various information is stored in the non-volatile storage device 33, for example, the coordinates of all defective pixels among the plurality of pixels provided in the photoelectric conversion unit 311 are stored. The coordinates of the defective pixel are detected and stored, for example, at the time of shipping inspection of the video transmission device 3.
- the video transmission device 3 includes a control unit 32 that controls the imaging unit 31 and controls predetermined signal processing.
- the control unit 32 has a sensor CPU 321 and a transmission unit 322.
- the sensor CPU 321 is configured to exhibit the same functions as the image processing units 120 and 130 (see FIG. 2).
- the transmission unit 322 is configured to exhibit the same function as the transmission unit 140 (see FIG. 2). Further, in the control unit 32, the sensor CPU 321 may be replaced with the image processing units 120 and 130, and the transmission unit 322 may be replaced with the transmission unit 140.
- the sensor CPU 321 has an exposure control unit 321a that controls the exposure conditions of the photoelectric conversion unit 311. Further, the sensor CPU 321 has a conversion area control unit (an example of a control unit) 321b that controls acquisition of defect correction information, which is information used for correcting defects in an image included in a region of interest ROI.
- the sensor CPU 321 having the conversion area control unit 321b and the control unit 32 correspond to an example of a control unit that controls acquisition of defect correction information, which is information used for correcting defects in an image included in the region of interest ROI, respectively. ..
- the conversion area control unit 321b is configured to acquire and hold the defect coordinates, which are the coordinates of the defective pixel among the plurality of pixels constituting the imaging region provided in the photoelectric conversion unit 311 as defect correction information. Has been done.
- the conversion area control unit 321b is configured to acquire and hold the defect coordinate information from the non-volatile storage device 33 at the time of initialization processing or manufacturing (for example, shipment inspection) of the video transmission device 3, for example. ing.
- the sensor CPU 321 (IspCPU 411) provided in the video receiving device 4 with information on the defect coordinates in the imaging region (that is, the total angle of view) of the defective pixels acquired by the conversion region control unit 321b by inter-CPU communication. Details will be sent to (described later).
- the sensor CPU 321 identifies the object to be photographed included in the captured image when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI in the processing of the normal operation. Further, the sensor CPU 321 sets the area of interest ROI for the specified object, assigns an area number to the area of interest ROI, cuts out an image of the area of interest ROI, associates the image with the area number, and stores the storage unit ( Store in (not shown). Further, the sensor CPU 321 (more specifically, the conversion area control unit 321b) provides position information of the ROI of interest (for example, upper left end coordinates (an example of reference coordinates), length in the X-axis direction, and length in the Y-axis direction).
- position information of the ROI of interest for example, upper left end coordinates (an example of reference coordinates), length in the X-axis direction, and length in the Y-axis direction.
- the conversion area control unit 321b has the upper left end coordinates of the attention area ROI (an example of basic coordinates), the length of the attention area ROI in the X-axis direction, and the Y-axis direction. It is configured to acquire and hold information on the length (an example of the size of the region of interest) (that is, the position information of the region of interest ROI) as defect correction information. In this case, the conversion area control unit 321b acquires and holds the upper left end coordinates as the basic coordinates.
- the sensor CPU 321 outputs the acquired position information of the region of interest ROI, image data input from the imaging unit 31, and the like to the transmission unit 322.
- the transmission unit 322 generates transmission data (see FIGS. 6 and 12) including these information input from the sensor CPU 321 and transmits the transmission data to the video receiving device 4.
- the video transmission device 3 includes a transmission unit 322 that transmits image data of an image included in a region of interest ROI as payload data of a long packet and transmits ROI information as embedded data.
- the video transmission device 3 uses information on the basic coordinates and size of the region of interest ROI (that is, position information of the region of interest ROI) as defect correction information as one of the ROI information from the transmission unit 322. Send out.
- the video transmission device 3 transmits from the transmission unit 322 with the upper left end coordinate of the region of interest ROI as the reference coordinate.
- a defect occurs among the plurality of pixels constituting the imaging region provided in the photoelectric conversion unit 311. It is configured to transmit the coordinates of the pixels as defect correction information from the transmission unit 322.
- the video transmission device 3 transmits the defect correction information included in the ROI information from the transmission unit 322.
- the transmission unit 322 is configured to transmit transmission data including demosaic information in the MIPI D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard.
- the video receiving device 4 includes a control unit 41 that controls predetermined signal processing using the transmission data transmitted from the video transmitting device 3.
- the control unit 41 has an IspCPU 411, a reception unit 412, and an embedded data acquisition unit 413.
- the IspCPU411 is configured to exhibit the same functions as the information processing unit 220 (see FIG. 8) except for the information extraction unit 221 and the ROI image generation unit 223 (see FIG. 8).
- the image receiving device 4 is configured such that the image creating unit 422 exerts the same function as the ROI image generating unit 223.
- the receiving unit 412 is configured to exhibit the same functions as the receiving unit 210 (see FIG. 8) except for the EBD interpreting unit 214 (see FIG. 8).
- the video receiving device 4 is configured such that the embedded data acquisition unit 413 exerts the same functions as the EBD interpretation unit 214 and the information extraction unit 221. Further, in the control unit 41, the reception unit 412 and the embedded data acquisition unit 413 may be replaced with the reception unit 210, and the IspCPU 411 and the image creation unit 422 may be replaced with the information processing unit 220. In this case, the function of the information extraction unit 221 exhibited by the embedded data acquisition unit 413 is exhibited by the reception unit 220.
- the video receiving device 4 includes a receiving unit 412 that includes the image data of the image included in the attention region ROI in the payload data and receives the transmission signal including the ROI information in the embedded data.
- the receiving unit 412 is configured to receive the transmission data input from the video transmitting device 3.
- the transmission data input from the video transmission device 3 includes ROI information having defect correction information. ROI information is included in the embedded data. Therefore, the transmission data input from the video transmission device 3 includes embedded data having defect correction information.
- the ROI information received by the receiving unit 412 during the normal operation of the video transmission system 10 by the video receiving device 4 includes information on the reference coordinates and the size of the ROI of interest as defect correction information.
- the video receiving device 4 receives the reference coordinates and the size of the region of interest ROI as defect correction information in the receiving unit 412.
- the video receiving device 4 receives the image receiving unit 412 with the upper left end coordinate of the region of interest ROI as the reference coordinate.
- a pixel having a defect in a plurality of pixels constituting the imaging region provided in the photoelectric conversion unit 311 occurs. Is received by the receiving unit 412 as defect correction information.
- the receiving unit 412 receives the transmission data in the MIPI D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard.
- the video receiving device 4 is configured to receive the signal of the MIPI ID-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard by the receiving unit 412.
- the receiving unit 412 is configured to generate various data from the input transmission data and output it to the IspCPU 411 and the embedded data acquisition unit 413.
- the video receiving device 4 receives the defect correction information, which is the information used for correcting the defect of the image data of the image included in the attention region ROI, by the receiving unit 412 (transmission signal). It is provided with an embedded data acquisition unit (an example of a control unit) 413 extracted from (one example).
- the control unit 41 having the embedded data acquisition unit 413 receives the defect correction information (transmission data) received by the reception unit 412, which is information used for correcting defects in the image data of the image included in the region of interest ROI. It corresponds to an example of a control unit that controls extraction from.
- the embedded data acquisition unit 413 is configured to extract defect correction information from the ROI information included in the transmission data input from the reception unit 412.
- the embedded data acquisition unit 413 extracts defect correction information from the embedded data included in the transmission signal (transmission data) input from the reception unit 412. Therefore, the video receiving device 4 receives the transmission data including the embedded data having the defect correction information in the receiving unit 412, and has a defect from the ROI information included in the embedded data included in the transmission data received by the receiving unit 412.
- the correction information is configured to be extracted by the embedded data acquisition unit 413.
- the embedded data acquisition unit 413 is configured to acquire the reference coordinates and the size of the ROI of interest as defect correction information from the ROI information included in the embedded data during normal operation of the video receiving device 4.
- the embedded data acquisition unit 413 acquires the upper left end coordinates of the region of interest ROI as the reference coordinates of the region of interest ROI. Further, the embedded data acquisition unit 413 acquires the length of the region of interest ROI in the X-axis direction and the length in the Y-axis direction as the size of the region of interest ROI.
- the embedded data acquisition unit 413 uses the position information of the region of interest ROI from the embedded data as defect correction information during the normal operation of the video receiving device 4, and the embedded data acquisition unit 413 uses the defect correction information acquired from the embedded data. Is output to IspCPU411.
- the embedded data acquisition unit 413 contains various information contained in the embedded data (for example, the number of attention region ROIs, the region number and priority of the attention region ROI, the data length of the attention region ROI, and the attention region ROI. Get the image format etc.).
- the embedded data acquisition unit 413 also outputs various acquired information to the IspCPU411.
- the IspCPU411 has a coordinate conversion unit (an example of a control unit) 411a.
- the coordinate conversion unit 411a is configured to transform the defect coordinates in the imaging region into the defect coordinates in the attention region ROI.
- the coordinate conversion unit 411a uses the position information to perform initialization processing of the video transmission system 10.
- the defect coordinates in the imaging region acquired at that time are coordinate-converted to the correction coordinates which are the defect coordinates in the attention region ROI.
- the coordinate conversion unit 411a extracts the coordinates of the defective pixel as the coordinates in the imaging region (coordinates in the XY orthogonal coordinate system of the imaging region) from, for example, a predetermined storage area, and extracts the extracted defect coordinates in the attention region ROI. Coordinates are converted to defect coordinates in the coordinate system.
- the coordinate system of the imaging region is formed in the X-axis direction (horizontal direction) and the Y-axis direction (vertical direction) of the imaging region, with the pixel at the upper left end of the imaging region as the origin, for example, as shown in FIG. It means the XY Cartesian coordinate system to be performed.
- the coordinate conversion unit 411a specifies a range in which the region of interest ROI input from the embedded data acquisition unit 413 occupies the imaging region provided in the photoelectric conversion unit 311. For example, the coordinate conversion unit 411a determines the position of the attention region ROI in the coordinate system of the imaging region in the position information of the attention region ROI (upper left end coordinate, length in the X-axis direction, and Y-axis direction). Specified by length). Next, the coordinate conversion unit 411a converts the defect coordinates existing in the attention region ROI in the imaging region into the coordinates of the coordinate system of the attention region ROI to acquire the correction target coordinates. The coordinate conversion unit 411a executes coordinate conversion of the defect coordinates using the above equations (1) and (2) to acquire the correction target coordinates.
- the coordinate conversion unit 411a executes the coordinate conversion of the defect coordinates for each attention area ROI.
- the coordinate conversion unit 411a uses the reference coordinates of the region of interest ROI (for example, the upper left end coordinates and the size (for example, the length in the X-axis direction and the length in the Y-axis direction)) and the coordinates of the defective pixel (the present).
- the position in the attention region ROI corresponding to the coordinates of the defective pixel is determined based on the coordinates in the XY Cartesian coordinate system of the imaging region. To do.
- the video receiving device 4 may store the defect correction information (that is, the defect coordinates) acquired during the initialization processing of the video transmission system 10 in a predetermined storage area of the control unit 41 or the IspCPU411, or store the storage unit. It may be held separately and stored in the storage unit.
- the IspCPU411 outputs the information of the defect coordinates converted by the coordinate conversion unit 411a to the image processing unit 42 in association with the area number of the attention area ROI (denoted as "ROI ID" in FIG. 15).
- the video receiving device 4 includes an image processing unit 42.
- the image processing unit 42 has a static defect correction unit (an example of the processing unit) 421 that processes the correction of defects in the image of the region of interest ROI based on the defect correction information extracted by the embedded data acquisition unit 413.
- the image processing unit 42 having the static defect correction unit 421 corresponds to an example of a processing unit that processes the correction of defects in the image of the region of interest ROI based on the defect correction information extracted by the embedded data acquisition unit 413.
- the image processing unit 42 has an image creating unit 422 that performs Raw processing and RGB processing on the image data of the region of interest ROI including the image in which the image defect has been corrected.
- the image processing unit 42 has an image quality adjusting unit 422 that adjusts the image quality of the image data processed by the image creating unit 422.
- the static defect correction unit 421 corrects defects in the image of the region of interest ROI using the correction target coordinates acquired by the coordinate conversion unit 411a.
- the correction target coordinates are acquired as defect correction information included in the embedded data and transmitted from the video transmitting device 3 to the video receiving device 4 by the defect coordinates and the position information of the region of interest ROI. Therefore, although the static defect correction unit 421 does not directly use the defect correction information, it corrects the defect of the image of the attention region ROI by using the correction target coordinates acquired from the defect correction information. Therefore, the static defect correction unit 421 corrects defects in the image of the region of interest ROI based on the defect correction information extracted by the embedded data acquisition unit 413.
- the static defect correction unit 421 obtains the coordinates of the peripheral image used for correcting the defect image based on the coordinates to be corrected.
- the static defect correction unit 421 has a line memory of several lines (for example, five lines) of the imaging region provided in the photoelectric conversion unit 311.
- the static defect correction unit 421 stores the image data of the region of interest ROI input from the IspCPU411 in the line memory. Further, when the defect image and the peripheral image used for correcting the defect image are input, the static defect correction unit 421 stores the defect image and the peripheral image used for correcting the defect image in the storage unit of the predetermined address of the line memory.
- the static defect correction unit 421 executes correction processing for defective pixels when the defective image and the four peripheral images are stored in the storage unit. In this way, the static defect correction unit 421 is configured to correct all defective pixels.
- the static defect correction unit 421 is configured to store, for example, image data for one line of the attention area ROI in which the defect image to be corrected exists in the line memory and output it to the image creation unit 422.
- the static defect correction unit 421 outputs the image data to the image creation unit 422
- the static defect correction unit 421 outputs the image data of the corrected image to the image creation unit 422 instead of the defect image.
- the image creation unit 422 acquires the information (ROI information) regarding the attention region ROI including the image data from the IspCPU411 and generates an image of the attention region ROI. To do.
- the image creation unit 422 generates an image of the attention region ROI, first, the Raw process is executed to generate the attention region ROI composed of the Raw image. Next, the image creation unit 422 executes RBG processing to generate an image of the region of interest ROI composed of image data of RGB signals. The image creation unit 422 outputs the image data of the RGB signals constituting the attention region ROI to the image quality adjustment unit 423.
- the image quality adjustment unit 423 is configured to execute an inverse RGB process that converts the image data of the RGB signal input from the image creation unit 422 into a luminance signal and two color difference signals. Further, the image quality adjusting unit 423 is configured to execute gamma correction processing on the image data converted to inverse RGB. Further, the image quality adjusting unit 423 is configured to execute YC processing such as color difference correction and noise reduction on the image data of the luminance and the two color difference signals.
- the image quality adjustment unit 422 is configured to output the image quality adjusted image to, for example, a display device (not shown). As a result, a desired image in which the defective image is corrected and the image quality is adjusted is displayed on the display device.
- FIGS. 16 to 19 are flowcharts showing an example of the flow of defective pixel correction processing in the transmitting device, the receiving device, and the transmission system according to the present embodiment.
- FIGS. 16 to 18 are flowcharts showing an example of the flow of defective pixel correction processing in the transmitting device, the receiving device, and the transmission system according to the present embodiment.
- the initialization processing of the video transmission device 3, the video reception device 4, and the video transmission system 10 according to the present embodiment is performed when the video transmission device 3, the video reception device 4, and the video transmission system 10 are activated, that is, the video transmission system 10 is activated. It is executed when you do.
- Step S11 When the video transmission system 10 is activated, first, the IspCPU 411 provided in the video reception device 4 sends a control signal for requesting acquisition of the coordinates of the defective pixel to the video transmission device 3. More specifically, in step S11, the IspCPU411 requests the video transmission device 3 to acquire the coordinate information of all the defective pixels in the imaging region (that is, the entire angle of view) provided in the photoelectric conversion unit 311 of the imaging unit 31. .. When the video transmission system 10 causes the video receiving device 4 to execute the request for acquiring the coordinate information of the defective pixel, the video transmission system 10 shifts to the process of step S13.
- Step S13 When the video transmitting device 3 receives the control signal of the request for acquiring the coordinates of the defective pixel output by the video receiving device 4, the video transmitting device 3 reads out the coordinates of the defective pixel from the non-volatile storage device 33. That is, the video transmission device 3 reads out the defect coordinates (that is, the defect coordinates in the coordinate system of the imaging region) in the imaging region (that is, the total angle of view) provided in the photoelectric conversion unit 311 from the non-volatile storage device 33.
- the video transmission system 10 transmits the read defect coordinate information from the video transmission device 3 to the video reception device 4 by inter-CPU communication in the sensor CPU 321 and the Isp CPU 411, the process proceeds to the process of step S15.
- Step S15 When the video receiving device 4 receives the defect coordinate information output by the video transmitting device 3, it stores it in a predetermined storage area provided in, for example, the control unit 41 or the IspCPU411.
- the video transmission system 10 ends the initialization process when the video receiving device 4 acquires and saves the coordinate information of the defective pixel.
- FIG. 17 is a flowchart showing an example of a flow of arithmetic processing for coordinate conversion of defective pixels during normal operation of a transmitting device, a receiving device, and a transmission system.
- Step S31 As shown in FIG. 17, when the frame start trigger is input, the sensor CPU 321 provided in the video transmission device 3 first determines a cutout position for cutting out an image from the image pickup area of the image pickup unit 31, and processes in step S33. Move to. In step S31, the sensor CPU 321 determines the cutout position, that is, the coordinates and image size (lengths in the X-axis direction and Y-axis direction) of the upper left end portion of the region of interest ROI, and defects the determined coordinates and image size information. Set to embedded data as correction information.
- Step S33 The sensor CPU 321 transmits transmission data including embedded data in which the coordinates and image size of the upper left end portion of the attention area ROI, the area number of the attention area ROI, and the image data included in the attention area ROI are set to the transmission unit 322. Set and end the arithmetic processing of the coordinate conversion of the defective pixel.
- the transmission data set in step S33 is transmitted from the video transmitting device 3 to the video receiving device 4 by communication by hardware (HW) using MIPI.
- the receiving unit 412 provided in the video receiving device 4 extracts the embedded data from the received transmission data and outputs it to the embedded data acquisition unit 413.
- the embedded data acquisition unit 413 decodes the embedded data input from the receiving unit 412 and decodes various information (for example, the number of the region of interest ROI, the region number and priority of the region of interest ROI, the data length of the region of interest ROI, and the region of interest ROI. (Image format, etc.) is acquired, and the acquired various information is output to IspCPU411.
- Step S41 The IspCPU411 uses the timing at which the embedded data is decoded by the embedded data acquisition unit 413 as a trigger, and sets the cutout position based on various information acquired and input by the embedded data acquisition unit 413 from the transmission data received by the reception unit 412. Get the size. That is, the IspCPU411 has the position information (coordinates of the reference pixel, the length in the X-axis direction, and the Y-axis direction) of the attention region ROI having the highest priority based on various information acquired and input by the embedded data acquisition unit 413. The length of) is acquired, and the process proceeds to step S43. In the present embodiment, the upper left corner coordinates of the region of interest ROI are acquired as the coordinates of the reference pixel.
- Step S43 The IspCPU411 extracts defective pixels existing in the cutout region, that is, within the range of the attention region ROI acquired in step S41, and proceeds to the process of step S45. More specifically, the IspCPU411 reads out the defect coordinates stored in the predetermined storage area, and extracts the coordinates matching the coordinates within the range of the region of interest ROI from the read out defect coordinates.
- Step S45 The IspCPU411 determines in step S43 whether or not the defective pixel exists within the range of the region of interest ROI. When the IspCPU411 determines that the defective pixel exists within the range of the attention region ROI (Yes), the process proceeds to the process of step S47. On the other hand, when the IspCPU411 determines that there are no defective pixels within the range of the ROI of interest (No), the process proceeds to step S49.
- Step S47 The IspCPU411 (specifically, the coordinate conversion unit 411a) executes the coordinate calculation of the defect coordinates extracted in step S43, and proceeds to the process of step S49.
- the coordinate conversion unit 411a uses the defect coordinates extracted in step S43 (that is, the defect coordinates in the coordinate system of the imaging region provided in the photoelectric conversion unit 311) in the coordinate system of the region of interest ROI acquired in step S41. Coordinates are converted to coordinates (correction coordinates).
- Step S49 The IspCPU411 determines whether or not the processes of steps S41 to S47 have been executed for all the attention region ROIs input from the embedded data acquisition unit 413.
- the IspCPU411 determines that the process has been executed for all the attention area ROIs (Yes)
- the calculation of the coordinate conversion of the defective pixels in the normal operation of the video transmitting device 3, the video receiving device 4, and the video transmission system 10 is performed. End the process.
- the IspCPU411 determines that the process is not executed in all the attention area ROIs (No)
- the process returns to the process of step S41.
- the IspCPU411 repeats the processes of steps S41 to S49 until the calculation process of the coordinate conversion of the defective pixel in the normal operation for all the regions of interest ROI is completed.
- FIG. 18 is a flowchart showing an example of a flow of correction processing for defective images during normal operation of a transmitting device, a receiving device, and a transmission system.
- the flowchart shown in FIG. 18 is an example of a flow of correction processing for a defective image in one region of interest.
- the defect image correction process shown in FIG. 18 is executed for each of the plurality of areas of interest.
- Step S51 As shown in FIG. 18, in the defect image correction process, first, the static defect correction unit 421 determines the area number of the region of interest ROI (denoted as “ROI ID” in FIG. 18) input from the IspCPU411. Acquire and proceed to the process of step S53.
- ROI ID the region of interest ROI
- Step S53 The static defect correction unit 421 acquires defect coordinate information (that is, correction coordinate information) input from the IspCPU411 in association with the area number of the region of interest ROI, and proceeds to the process of step S55.
- defect coordinate information that is, correction coordinate information
- Step S55 The static defect correction unit 421 determines whether or not the coordinates of the current image match the coordinates of the defect pixels (that is, the correction coordinates) acquired in step S53.
- the coordinates of the current image are the coordinates of the image acquired by the static defect correction unit 421 from IspCPU411. Further, when a plurality of correction coordinates are acquired in step S53, the static defect correction unit 421 determines whether or not each of the plurality of correction coordinates matches the coordinates of the current image.
- the static defect correction unit 421 determines that the coordinates of the current image match the correction coordinates (Yes)
- the process proceeds to step S57.
- the static defect correction unit 421 determines that the coordinates of the current image do not match the correction coordinates (No)
- the process proceeds to step S59.
- Step S57 The static defect correction unit 421 corrects the defect image and proceeds to the process of step S59.
- step S57 the static defect correction unit 421 corrects the image data of the defective image based on the image data of the image corresponding to the pixels of the coordinates adjacent to the top, bottom, left, and right of the defect coordinates. More specifically, the static defect correction unit 421 calculates the coordinates of the peripheral image of the image having the coordinates corresponding to the correction coordinates (an example of the defect coordinates) determined to match the coordinates of the current image in step S55.
- the static defect correction unit 421 uses the coordinates of the pixel two lines before the correction coordinates (coordinates adjacent to the upper side of the defect coordinates) and the coordinates of the pixel two lines after the correction coordinates as the coordinates of the peripheral image. (Coordinates adjacent to the lower side of the defect coordinates) are calculated. Further, the static defect correction unit 421 sets the coordinates of the peripheral image to, for example, the coordinates of the pixel two rows before the correction coordinates (coordinates adjacent to the left side of the defect coordinates) and the coordinates of the pixels two rows after the correction coordinates. Calculate the coordinates (coordinates adjacent to the right side of the defect coordinates). When the static defect correction unit 421 acquires the image data of the calculated images of the four coordinates from the IspCPU411, the static defect correction unit 421 corrects the image data of the defective image using the image data.
- Step S59 The static defect correction unit 421 determines whether or not it has been determined whether or not all the pixels in the region of interest ROI of the region number acquired in step S51 and the coordinates of the defective pixels match. When it is determined that the static defect correction unit 421 has executed the determination of matching the coordinates of all the pixels in the region of interest ROI of the region number acquired in step S51 with the coordinates of the defective pixels (Yes), the defect image The correction process ends. On the other hand, when it is determined (No) that the static defect correction unit 421 has not executed the determination of matching between the coordinates of all the pixels in the region of interest ROI of the region number acquired in step S51 and the defective pixels (No). , The process proceeds to step S55.
- FIG. 19 is a diagram showing an example of a timing chart of defect image correction processing in a transmission device, a reception device, and a transmission system according to the present embodiment.
- Sensor V Sync shown in FIG. 19 indicates a vertical synchronization signal input to the sensor CPU 321.
- the “sensor process” shown in FIG. 19 indicates a process executed by the sensor CPU 321.
- ISP Sync shown in FIG. 19 indicates a vertical synchronization signal input to the ISPCPU411.
- the “ISP process” shown in FIG. 19 indicates the process executed by the video receiving device 4.
- the regions of interest ROI- ⁇ 1 to ROI- ⁇ 3 shown in FIG. 19 schematically show the regions of interest processed in one frame period.
- the region of interest processed in the first frame period is the region of interest ROI- ⁇ 1 for ease of understanding, but the second and third regions of interest are compared in order to compare the sizes of the regions of interest.
- Areas of interest ROI- ⁇ 2 and ROI- ⁇ 3 processed during the frame period are also shown. Further, in FIG. 19, the passage of time is shown from left to right.
- the video transmission system 10 requests acquisition of coordinate information of all defective pixels in the imaging region (that is, the entire angle of view) provided in the photoelectric conversion unit 311 of the imaging unit 31. Is executed by the video receiving device 4 (see step S11 shown in FIG. 16). Further, in the initialization process, the video transmission system 10 causes the video transmission device 3 to acquire the defect coordinates in the imaging region provided in the photoelectric conversion unit 311 (that is, the defect coordinates in the coordinate system of the imaging region). Further, in the initialization process, the video transmission system 10 transmits transmission data including the defect coordinate information acquired by the video transmission device 3 to the video reception device 4, and stores the defect coordinate information in the video reception device 4. To do.
- the sensor CPU 321 detects the frame start trigger at the time t1
- the above-mentioned steps S31 and S33 are executed as the embedded setting process. That is, the sensor CPU 321 sets the cutout position for cutting out an image from the image pickup area of the image pickup unit 31 and the position information of the attention area ROI- ⁇ 1 (upper left end coordinates, length in the X-axis direction, and Y-axis direction) as embedded setting processing. Get information such as length).
- the sensor CPU 321 transmits transmission data including the embedded data having the information set in the embedded setting process to the video receiving device 4 by communication by hardware (HW) using MIPI. ..
- the imaging unit 31 starts imaging.
- the IspCPU 411 is based on various information acquired and input by the embedded data acquisition unit 413.
- the acquisition of the coordinates (upper left end coordinates) and the size of the reference pixel of the attention region ROI- ⁇ 1 is started, and the coordinate calculation of the correction pixel existing in the attention region ROI- ⁇ 1 is completed at time t4. That is, during the period from time t3 to time t4, the processes of steps S41 to S47 shown in FIG. 17 are executed for one frame.
- the video receiving device 4 executes correction processing of defective images and image quality adjustment as ISP processing from time t4.
- the defect image correction process is executed for the attention area ROI- ⁇ 2 and RO- ⁇ 3 having different positions and sizes of the attention area at the same timing as the attention area ROI- ⁇ 1.
- the video transmission system 10 transmits transmission data having embedded data including defect correction information regarding the region of interest ROI from the video transmission device 3 to the video reception device 4 by communication using MIPI. Can be transmitted to. As a result, the video transmission system 10 can execute the demosaic process for each ROI of interest.
- FIG. 20 is a block diagram showing a schematic configuration of a video transmission device 3, a video reception device 4x, and a video transmission system 10x according to this modification.
- the components having the same functions and functions as the video transmitting device 3, the video receiving device 4, and the video transmission system 10 according to the present embodiment are designated by the same reference numerals, and the description thereof will be omitted.
- the video transmission system 10x according to the present modification has a partial configuration of the video transmission device 3 having the same configuration as the video transmission device 3 according to the present embodiment and the video reception device 4 according to the present embodiment. It is equipped with a different video receiving device 4x.
- the image receiving device 4x according to this modification is characterized in that it includes a coordinate conversion unit 43 that converts the defect coordinates in the imaging region provided in the photoelectric conversion unit 311 into the correction coordinates that are the defect coordinates in the attention area ROI. Have.
- the coordinate conversion unit 411a is provided as a functional block of IspCPU411.
- the coordinate conversion unit 43 provided in the video receiving device 4x is composed of hardware.
- the coordinate conversion unit 43 is connected to the IspCPU411x and the static defect correction unit 421. Therefore, the coordinate conversion unit 43 can acquire the coordinates of the defective pixel in the imaging region provided in the photoelectric conversion unit 311 and the position information of the attention region ROI from the IspCPU411. As a result, the coordinate conversion unit 43 can convert the defect coordinates in the coordinate system of the imaging region into the defect coordinates (correction coordinates) in the coordinate system of the attention region ROI. Further, the coordinate conversion unit 43 can output the converted correction coordinates to the static defect correction unit 421. As described above, the coordinate conversion unit 43 can exhibit the same function as the coordinate conversion unit 411a in the present embodiment except that it is composed of hardware.
- the video transmission device 3x, the video reception device 4x, and the video transmission system 10x according to the present modification even if the coordinate conversion unit 43 has a hardware configuration, the video transmission device 3 and the video reception according to the present embodiment Similar to the device 4 and the video transmission system 10, the defective image existing in the region of interest ROI can be corrected.
- FIG. 21 is a block diagram showing a schematic configuration of a video transmission device 3y, a video reception device 4y, and a video transmission system 10y according to this modification.
- the components that perform the same functions and functions as the transmission device, the reception device, and the transmission system according to the present embodiment or the first modification are designated by the same reference numerals and the description thereof will be omitted.
- the video transmission system 10y according to this modification is different from the video transmission system 10 according to the present embodiment in that the coordinate conversion unit is provided in the video transmission device 3y.
- the video transmission device 3y has a coordinate conversion unit 321c provided in the sensor CPU 321y of the control unit 32y.
- the coordinate conversion unit 321c is connected to the conversion area control unit 321by.
- the sensor CPU 321y in this modification is configured to output the position information of the region of interest ROI as defect correction information from the conversion region control unit 321by to the coordinate conversion unit 321c during the normal operation of the video transmission device 3y.
- the conversion area control unit 321by is configured to acquire and hold the defect coordinates, which are the coordinates of the defective pixel among the plurality of pixels constituting the imaging region provided in the photoelectric conversion unit 311 as defect correction information. Has been done.
- the coordinate conversion unit 321c uses the position information of the region of interest ROI input from the conversion area control unit 321by and the coordinates of the defective pixel read from the non-volatile storage device 33 to provide an imaging region provided in the photoelectric conversion unit 311.
- the coordinates (defect coordinates) of the defective pixels in the above are converted into the coordinates (correction coordinates) of the defective pixels in the region of interest ROI.
- the conversion area control unit 321by and the coordinate conversion unit 321c that perform such a function correspond to an example of the control unit.
- the sensor CPU 321 having the conversion area control unit 321by and the coordinate conversion unit 321c and the control unit 32y having the sensor CPU 321 correspond to an example of the control unit.
- the coordinate conversion unit 321c has reference coordinates (for example, upper left corner coordinates) and size (for example, length in the X-axis direction and length in the Y-axis direction) of the ROI of interest, and coordinates of the defective pixel (in the present embodiment). Based on the coordinates of the imaging region in the XY Cartesian coordinate system), the position in the attention region ROI corresponding to the coordinates of the defective pixel (in the present embodiment, the coordinates of the attention region ROI in the XY Cartesian coordinate system) is determined. .. Since the coordinate conversion unit 321c converts the defect coordinates into the correction coordinates by the same method as the coordinate conversion unit 411a in the present embodiment, the description thereof will be omitted. The coordinate conversion unit 321c outputs the correction coordinates obtained by the coordinate conversion to the transmission unit 322.
- the transmission unit 322 includes the ROI information input from the coordinate conversion unit 321c and including the correction coordinates in the coordinates in the attention area ROI and the position information of the attention area ROI in the embedded data in association with the area number of the attention area ROI. It is configured to send the transmission data having the embedded data to the video receiving device 4y. That is, the transmission unit 322 contains information on the position of the defective pixel in the attention region ROI determined by the coordinate conversion unit 321c (that is, the corrected coordinates in the coordinates in the attention region ROI) and the image included in the attention region ROI. The image data and the image data are included in the ROI information and transmitted.
- the sensor CPU 321 outputs defect correction information including defect coordinate information (for example, correction coordinates) to the transmission unit 322. Further, the sensor CPU 321 outputs information on the basic coordinates and size of the region of interest ROI (that is, position information of the region of interest ROI) to the transmission unit 322 as defect correction information.
- the transmission unit 322 generates transmission data (see FIGS. 6 and 12) including the defect correction information input from the sensor CPU 321 and the information of the region of interest ROI, and transmits the transmission data to the video receiving device 4.
- the defect correction information is included in the ROI information and transmitted from the transmission unit 322. Since the ROI information is included in the embedded data, the defect correction information is included in the embedded data and transmitted from the transmission unit 322. In this way, the video transmission device 3 transmits the defect correction information included in the ROI information from the transmission unit 322.
- the embedded data acquisition unit (an example of the control unit) 413y provided in the video receiving device 4y corrects the coordinates of the defective pixel among the plurality of pixels constituting the imaging region provided in the photoelectric conversion unit 311. It is configured to be acquired as information. More specifically, the embedded data acquisition unit 413y determines the coordinates of the pixels (correction pixels) corresponding to the image to be corrected from the ROI information included in the embedded data included in the transmission data input via the reception unit 412. The correction coordinates) are acquired as defect correction information and output to the static defect correction unit 421.
- the coordinates of the defective pixel included in the ROI information are the coordinates of the region of interest ROI in the XY Cartesian coordinate system.
- the embedded data acquisition unit 413y extracts and acquires the coordinates of the defective pixel as the coordinates in the region of interest ROI.
- the embedded data acquisition unit 413y outputs the correction coordinates associated with each area number of the area of interest ROI (denoted as “ROI ID” in FIG. 21) to the static defect correction unit 421.
- the image processing unit 42 in this modification has the same configuration as the image processing unit 42 in the present embodiment including the static defect correction unit 421, and is configured to exhibit the same function. Omit.
- the video transmission device 3y the video reception device 4y, and the video transmission system 10y, even if the coordinate conversion unit 321c is provided in the video transmission device 3y, the video transmission device 3, the video reception device 4, and the video transmission system 10y according to the present embodiment. Similar to the video transmission system 10, the defective image existing in the region of interest ROI can be corrected.
- FIG. 22 is a block diagram showing a schematic configuration of a video transmission device 3z, a video reception device 4z, and a video transmission system 10z according to this modification.
- the components having the same functions and functions as the transmission device, the reception device, and the transmission system according to the present embodiment, the first modification or the second modification are designated by the same reference numerals, and the description thereof will be omitted.
- the video transmission device 3z according to this modification is one of a static defect correction unit (an example of a processing unit) 34 that performs the same function as the static defect correction unit 421 in the present embodiment and an image creation unit 422 in the present embodiment. It is characterized in that it has a Raw processing unit 35 that functions as a unit. Further, the video receiving device 4z according to the present modification does not have an embedded data acquisition unit and a static defect correction unit, and has an RGB processing unit 424 that functions as a part of the image creation unit 422 in the present embodiment. It is characterized by having it.
- the static defect correction unit 34 provided in the video transmission device 3z includes an amplification unit 313 provided in the imaging unit 31, a conversion area control unit 321b and a coordinate conversion unit 321c provided in the sensor CPU 321y, and a Raw processing unit 35. It is connected.
- the Raw processing unit 35 is connected to a transmission unit 322 provided in the control unit 32y.
- the static defect correction unit 34 includes the position information of the attention region ROI input from the conversion area control unit 321b, the coordinates (correction coordinates) of the defect pixels in the attention region ROI input from the coordinate conversion unit 321c, and the amplification unit 313.
- the correction process of the defective image corresponding to the defective pixel is executed using the image data input from.
- the static defect correction unit 34 is an image corresponding to pixels having coordinates adjacent to the top, bottom, left, and right of the coordinates corresponding to the positions of the pixels in which the defect has occurred in the region of interest ROI determined by the coordinate conversion unit 321c (an example of the control unit). It is configured to process the correction of the image data of the defective image based on the image data of.
- the transmission unit 322 includes the image data of the image corrected by the static defect correction unit 34 in the ROI information and transmits the image data.
- the Raw processing unit 35 executes the Raw processing and is composed of the Raw image. Generate ROI.
- the Raw processing unit 35 outputs the image data of the generated Raw image to the transmission unit 322.
- the transmission unit 322 includes embedded data including position information of the attention area ROI input from the sensor CPU 321y and associated with the area number of the attention area ROI, and is input from the Raw processing unit 35 and associated with the area number. It is configured to generate transmission data having payload data including image data of Raw images and send it to the video receiving device 4y.
- the receiving unit 412 provided in the video receiving device 4z extracts embedded data and payload data from the transmission data input from the transmitting unit 322 and outputs the embedded data and the payload data to the IspCPU411z.
- the IspCPU411z extracts the position information of the region of interest ROI from the input embedded data, and extracts the image data of the Raw image from the input payload data.
- the IspCPU411z outputs the extracted area number and position information of the region of interest ROI and the image data of the extracted Raw image to the RGB processing unit 424 provided in the image processing unit 42z.
- the RGB processing unit 424 executes RBG processing using the information and image data input from the IspCPU411z, and generates an image of the region of interest ROI composed of the image data of the RGB signal.
- the RGB processing unit 424 outputs the generated image data to the image quality adjusting unit 423. Since the image quality adjusting unit 423 has the same configuration as the image quality adjusting unit 423 in the present embodiment and is configured to exhibit the same function, the description thereof will be omitted.
- the video transmission device 3z As described above, in the video transmission device 3z, the video reception device 4z, and the video transmission system 10z, even if the static defect correction unit 34 and the Raw processing unit 35 are provided in the video transmission device 3z, the video transmission device according to the present embodiment. 3. Similar to the video receiving device 4 and the video transmission system 10, the defective image existing in the region of interest ROI can be corrected.
- the transmitting device, the receiving device, and the transmission system according to the present embodiment and the modified example can realize the correction processing of the defective image in the region of interest, which is a part of the region cut out from the captured image.
- the transmission device, the reception device, and the transmission system according to the second embodiment of the present disclosure will be described with reference to FIG.
- the object to be cut out from the imaging region has a rectangular shape.
- the transmitting device, the receiving device, and the transmission system according to the present embodiment are characterized in that the defective image correction process is executed when the object to be cut out from the imaging region is not rectangular.
- FIG. 23 is a diagram schematically showing a method of calculating the position of a defective pixel in a region of interest based on the coordinate information of the defective pixel acquired by shipping inspection or the like in the present embodiment.
- the defective pixel D11 is shaded in a grid pattern, and the CO to be cut out, which is the object to be cut out from the imaging region IR, is shaded in a dot shape. Is attached.
- the cut-out target CO which is the target object to be cut out from the imaging region IR, has a non-rectangular shape.
- One of the pixels constituting the CO to be cut out is the defective pixel D11.
- the region of interest ROI is set as the smallest rectangle including the cut-out target CO, as described in the above-mentioned prerequisite technique 2.
- the defect coordinates in the imaging region are coordinate-converted to the defect coordinates in the region of interest in frame units.
- the defect coordinates in the imaging region are coordinate-converted to the defect coordinates in the region of interest line by line.
- the origin IRo (0,0) of the imaging region IR is defined as the pixel at the upper left end.
- the coordinates (x, y) of the defective pixel D11 in the imaging region IR are (D1_X1, D1_Y1).
- the coordinates (D1_X1, D1_Y1) of the defective pixel D11 are coordinates based on the origin IRo (0,0) of the imaging region IR.
- the information of the coordinates (D1_X1, D1_Y1) of the defective pixel D11 is the coordinate information acquired at the time of shipment inspection, for example, of the image transmitting device having the imaging unit.
- the position information of the area of interest (for example, the coordinates of the upper left corner, the length in the X-axis direction, and the length in the Y-axis direction) is derived. Therefore, as shown in FIG. 23, for example, the coordinates (R1_X, R1Y) of the upper left end Pr, the length R1_W in the X-axis direction, and the length R1_H in the Y-axis direction are derived as the position information of the region of interest ROI1.
- the coordinates (R1_X, R1Y) of the upper left end portion Pr of the attention region ROI1 represent the position of the attention region ROI1 in the imaging region IR. Therefore, the coordinates (R1_X, R1Y) of the upper left end portion Pr are coordinates based on the origin IRo (0,0) of the imaging region IR.
- the coordinates of the pixel at the end of the object to be cut out in the region of interest may be referred to as “edge pixel”).
- the end pixel is set with reference to, for example, the left end of the region of interest.
- the coordinates of the end pixel Pe are set as the coordinates (D_XR, 0).
- the X coordinate of the end pixel Pe corresponds to the number of pixels from the left end portion to the end pixel of the region of interest ROI. Therefore, depending on the shape of the CO to be cut out, some rows have the same coordinates of the end pixel Pe and some rows have different coordinates.
- the coordinates of the defective pixel D11 in the region of interest ROI are the coordinates of the upper left end Pr of the region of interest ROI1 (R1_X, R1Y), the coordinates of the defective pixel D11 (D1_X1, D1_Y1), and the coordinates of the end pixel Pe (D1_X1, D1_Y1).
- D_XR, 0 it can be expressed by the following equations (3) and (4).
- D1_XR1 D1_X-R1_X-D_XR ...
- D1_YR1 D1_Y-R1_Y-0 ... (4)
- the position of the defective pixel D11 can be represented by the coordinates in the coordinate space of the region of interest ROI1. Therefore, the video receiving device stores the coordinate information acquired at the time of shipping inspection, for example, so that the position information of the set area of interest (for example, the upper left end coordinate, the length in the X-axis direction, and the Y-axis direction) is stored.
- the coordinates of the defective pixels in the region of interest can be calculated each time the position of the pixel at the end of each row included in the region of interest is input from the video transmission device.
- the transmission device is configured to include, for example, the position information of the target object (for example, the coordinates of the end pixel Pe) in the payload data for each pixel line and send it to the video receiving device as in the prerequisite technology 2. It may have been done. Further, since the object to be cut out is not rectangular, the image may not exist at the top, bottom, left, and right of the image corresponding to the pixel (correction pixel) corresponding to the image to be corrected. In this case, the defect image correction process can be executed by interpolating the image data by, for example, boundary processing. For example, the nonexistent image of the images above and below the correction pixel is interpolated with the existing image, and the nonexistent image of the left and right images of the correction pixel is interpolated with the existing image.
- the transmission device As described above, in the transmission device, the reception device, and the transmission system according to the present embodiment, even when the object to be cut out is not rectangular, a defective image in a region of interest, which is a part of the region cut out from the captured image. Correction processing can be realized.
- the present disclosure may have the following structure.
- a control unit that controls the retention of defect correction information which is information used to correct defects in an image included in ROI (Region Of Interest)
- a transmission device including a transmission unit that transmits image data of an image included in the ROI as payload data and transmits ROI information as embedded data.
- the defect correction information is included in the ROI information and transmitted from the transmission unit.
- the control unit holds the coordinates of the defective pixel among the plurality of pixels constituting the imaging region as the defect correction information.
- the control unit holds the coordinates of the pixel in which the defect has occurred at the time of initialization processing or manufacturing.
- the transmission device (5) The transmission device according to (3) or (4) above, wherein the control unit holds the reference coordinates and the magnitude of the ROI as the defect correction information. (6) The transmission device according to (5) above, wherein the control unit holds the upper left end coordinates of the ROI as the reference coordinates. (7) The control unit determines the position in the ROI corresponding to the coordinates of the pixel with the defect based on the reference coordinates and the size of the ROI and the coordinates of the pixel with the defect. The transmitter according to 6). (8) The transmitting unit includes the information on the position of the pixel in which the defect has occurred in the ROI determined by the control unit and the image data of the image included in the ROI in the ROI information and transmits the information (7). The transmitter described in.
- the image data of the defective image based on the image data of the image corresponding to the pixels of the coordinates adjacent to the upper, lower, left and right of the coordinates corresponding to the position of the defective pixel in the ROI determined by the control unit. Equipped with a processing unit that processes corrections
- the transmission device according to (7) above, wherein the transmission unit includes image data of an image corrected by the processing unit in the ROI information and transmits the image data.
- the transmitter transmits a signal according to the MIPI (Mobile Industry Processor Interface) D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI (Camera Serial Interface) -2 standard, whichever is (1) to (9) above.
- a receiver that includes image data of an image included in the ROI (Region Of Interest) in the payload data and receives a transmission signal that includes the ROI information in the embedded data.
- a control unit that controls extraction of defect correction information, which is information used for correcting defects in image data of an image included in the ROI, from the transmission signal received by the receiving unit.
- a receiving device including a processing unit that processes defect correction of the image of the ROI based on the defect correction information extracted by the control unit.
- the control unit extracts the defect correction information from the ROI information included in the transmission signal.
- the control unit extracts the coordinates of the defective pixel among the plurality of pixels constituting the imaging region as the defect correction information.
- control unit extracts the coordinates of the pixel in which the defect has occurred as the coordinates in either the imaging region or the ROI.
- control unit extracts the reference coordinates and the magnitude of the ROI as the defect correction information.
- control unit extracts the upper left end coordinates of the ROI as the reference coordinates.
- control unit determines the position in the ROI corresponding to the coordinates of the defective pixel based on the reference coordinates and the size of the ROI and the coordinates of the defective pixel. 16) The receiving device according to.
- the processing unit corrects the image data of the defective image based on the image data of the image corresponding to the pixels of the coordinates adjacent to the top, bottom, left, and right of the coordinate of the defective pixel, from (13) to (17).
- the receiving device according to any one of the items up to).
- the receiving unit receives a signal according to the MIPI (Mobile Industry Processor Interface) D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI (Camera Serial Interface) -2 standard, whichever is (11) to (18) above.
- a control unit that controls retention of defect correction information which is information used to correct defects in an image included in an ROI (Region Of Interest), and image data of an image included in the ROI are transmitted as payload data.
- a transmitter that transmits ROI information as embedded data and a transmitter that has it.
- the receiver that receives the transmission signal that includes the image data of the image included in the ROI in the payload data and includes the ROI information in the embedded data, and the information used to correct defects in the image data of the image included in the ROI.
- a control unit that controls extraction of certain defect correction information from the transmission signal received by the receiving unit, and a process that processes defect correction of the image of the ROI based on the defect correction information extracted by the control unit.
- a transmission system including a receiving device having a unit.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
撮像画像から切り出した一部の領域である注目領域(ROI)における欠陥画像の補正処理を実現することを目的とする。送信装置は、ROIに含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを備えている。
Description
本開示は、送信装置、受信装置及び伝送システムに関する。
近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われていることが知られている(例えば特許文献1~4)。また、特許文献5及び6には、撮像素子における欠陥画素の補正処理について開示されている。
しかしながら、撮像画像から切り出した一部の領域である注目領域(ROI(Region Of Interest))を伝送する場合の欠陥画像の補正処理について、何ら検討されていない。
本開示の目的は、撮像画像から切り出した一部の領域である注目領域(ROI)における欠陥画像の補正処理を実現することにある。
本開示の目的は、撮像画像から切り出した一部の領域である注目領域(ROI)における欠陥画像の補正処理を実現することにある。
本開示の一態様による送信装置は、ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部とを備える。
本開示の一態様による受信装置は、ROI(Region Of Interest)に含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部とを備える。
本開示の一態様による伝送システムは、ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と有する送信装置と、ROIに含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部を有する受信装置とを備える。
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
以下、本開示による技術を実施するための形態(以下、「実施形態」と称する)について、以下の順序により説明する。
1.本開示の前提技術1(撮像画像から切り出した一部(形状が矩形状)の注目領域(ROI)を伝送する技術)
2.本開示の前提技術2(撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術)
3.本開示の実施形態における欠陥画素の補正処理の原理
4.本開示の第1実施形態による送信装置、受信装置及び伝送システム
5.本開示の第1実施形態の変形例による送信装置、受信装置及び伝送システム
6.本開示の第2実施形態における欠陥画素の補正処理の原理
1.本開示の前提技術1(撮像画像から切り出した一部(形状が矩形状)の注目領域(ROI)を伝送する技術)
2.本開示の前提技術2(撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術)
3.本開示の実施形態における欠陥画素の補正処理の原理
4.本開示の第1実施形態による送信装置、受信装置及び伝送システム
5.本開示の第1実施形態の変形例による送信装置、受信装置及び伝送システム
6.本開示の第2実施形態における欠陥画素の補正処理の原理
1.本開示の前提技術1:
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、MIPIアライアンスが策定したC-PHY規格やD-PHY規格といった高速インタフェース規格の標準化が進められている。C-PHY規格やD-PHY規格は、通信プロトコルの物理層(physical layer:PHY)のインタフェース規格である。また、C-PHY規格やD-PHY規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのDSIや、カメラデバイス向けのCSIが存在する。
[構成]
近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、MIPIアライアンスが策定したC-PHY規格やD-PHY規格といった高速インタフェース規格の標準化が進められている。C-PHY規格やD-PHY規格は、通信プロトコルの物理層(physical layer:PHY)のインタフェース規格である。また、C-PHY規格やD-PHY規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのDSIや、カメラデバイス向けのCSIが存在する。
本開示の前提技術に係る映像伝送システム1は、種々の規格で信号を送受信できるシステムであり、例えばMIPI CSI-2規格、MIPI CSI-3規格、又は、MIPI DSI規格で信号を送受信することができる。図1は、本開示の前提技術に係る映像伝送システム1の概要を表したものである。映像伝送システム1は、データ信号、クロック信号及び制御信号の伝送に適用されるものであり、映像送信装置100及び映像受信装置200を備えている。映像伝送システム1は、映像送信装置100と映像受信装置200とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンDLと、クロック信号を伝送するクロックレーンCLと、制御信号を伝送するカメラ制御インタフェースCCIとを備えている。図1には、1つのデータレーンDLが設けられている例が示されているが、複数のデータレーンDLが設けられていてもよい。カメラ制御インタフェースCCIは、I2C(Inter-Integrated Circuit)規格と互換性を有する双方向制御インタフェースである。
映像送信装置100は、MIPI CSI-2規格、MIPI CSI-3規格、又は、MIPI DSI規格で信号を送出する装置である。CSIトランスミッタ100Aと、CCIスレーブ100Bとを有している。映像受信装置200は、CSIレシーバ200Aと、CCIマスター200Bとを有している。クロックレーンCLにおいて、CSIトランスミッタ100AとCSIレシーバ200Aとの間は、クロック信号線で接続されている。データレーンDLにおいて、CSIトランスミッタ100AとCSIレシーバ200Aとの間は、クロック信号線で接続されている。カメラ制御インタフェースCCIにおいて、CCIスレーブ100BとCCIマスター200Bとの間は、制御信号線で接続されている。
CSIトランスミッタ100Aは、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。CSIトランスミッタ100Aは、差動に限られず、シングルエンドや3相の信号も送信できるように構成可能である。CSIトランスミッタ100Aは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。CSIレシーバ200Aは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。CSIレシーバ200Aは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。
(映像送信装置100)
図2は、映像送信装置100の構成の一例を表したものである。映像送信装置100は、CSIトランスミッタ100Aの一具体例に相当する。映像送信装置100は、例えば、撮像部110、画像処理部120,130及び送信部140を備えている。映像送信装置100は、撮像部110で得られた撮像画像111に対して所定の処理を行うことにより生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送信する。図3は、伝送データ147Aの生成手順の一例したものである。
図2は、映像送信装置100の構成の一例を表したものである。映像送信装置100は、CSIトランスミッタ100Aの一具体例に相当する。映像送信装置100は、例えば、撮像部110、画像処理部120,130及び送信部140を備えている。映像送信装置100は、撮像部110で得られた撮像画像111に対して所定の処理を行うことにより生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送信する。図3は、伝送データ147Aの生成手順の一例したものである。
撮像部110は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部110は、例えば、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含んで構成されている。撮像部110は、アナログ-デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Y及び色差成分Cb,Crで表現するYCbCr形式であってもよいし、RGB形式などであってもよい。撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。
画像処理部120は、撮像部110から入力された撮像画像111に対して所定の処理を行う回路である。前提技術1では、画像処理部120は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う場合について説明する。しかしながら、前提技術1では、映像送信装置100、すなわち送信側がROIの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるROIで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。これにより、画像処理部120は、種々のデータ(120A,120B,120C)を生成し、送信部140に出力する。画像処理部130は、撮像部110から入力された撮像画像111に対して所定の処理を行う回路である。画像処理部130は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う。これにより、画像処理部130は、画像データ130Aを生成し、送信部140に出力する。
画像処理部130は、例えば、エンコード部131を有している。エンコード部131は、撮像画像111をエンコードして圧縮像データ130Aを生成する。画像処理部130は、例えば、圧縮像データ130Aの形式として、JPEG(Joint Photographic Experts Group)規格に準拠した圧縮形式等により撮像画像111を圧縮する。
画像処理部120は、例えば、ROI切り出し部121、ROI解析部122、重なり検出部123、優先度設定部124、エンコード部125及び画像処理制御部126を有している。
ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる撮影対象の1又は複数の物体を特定し、特定した物体ごとに注目領域ROIを設定する。注目領域ROIは、例えば、特定した物体を含む方形状の領域である。ROI切り出し部121は、撮像画像111から、各注目領域ROIの画像(例えば図3中のROI画像112)を切り出す。ROI切り出し部121は、さらに、設定した注目領域ROIごとに、識別子として領域番号を付与する。ROI切り出し部121は、例えば、撮像画像111において、2つの注目領域ROIを設定した場合には、一方の注目領域ROI(例えば図3中の注目領域ROI1)に対して、領域番号1を付与し、他方の注目領域ROI(例えば図3中の注目領域ROI2)に対して、領域番号2を付与する。ROI切り出し部121は、例えば、付与した識別子(領域番号)を記憶部に格納する。ROI切り出し部121は、例えば、撮像画像111から切り出した各ROI画像112を記憶部に格納する。ROI切り出し部121は、さらに、例えば、各注目領域ROIに付与した識別子(領域番号)を、ROI画像112と関連づけて、記憶部に格納する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。位置情報113は、例えば、注目領域ROIの左上端座標(Xa,Ya)と、注目領域ROIのX軸方向の長さと、注目領域ROIのY軸方向の長さとによって構成されている。注目領域ROIのX軸方向の長さは、例えば、注目領域ROIのX軸方向の物理領域長さXLaである。注目領域ROIのY軸方向の長さは、例えば、注目領域ROIのY軸方向の物理領域長さYLaである。物理領域長さとは、注目領域ROIの物理的な長さ(データ長)を指している。位置情報113において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。ROI解析部122は、例えば、導出した位置情報113を記憶部に格納する。ROI解析部122は、例えば、注目領域ROIに対して付与された識別子(領域番号)と関連づけて、記憶部に格納する。
ROI解析部122は、注目領域ROIごとに、位置情報113として、さらに、例えば、注目領域ROIのX軸方向の出力領域長さXLcや、注目領域ROIのY軸方向の出力領域長さYLcを導出してもよい。出力領域長さとは、例えば、注目領域ROIに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ROIの物理的な長さ(データ長)である。ROI解析部122は、例えば、注目領域ROIごとに、位置情報113の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、AD(Analog-Digital)語長、画像フォーマットなどを導出し、記憶部に格納してもよい。
センシングインフォメーションとは、注目領域ROIに含まれる物体についての演算内容や、ROI画像112に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ROIの露光時間を指している。ゲイン情報とは、注目領域ROIのゲイン情報を指している。AD語長とは、注目領域ROI内でAD変換された1画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ROIの画像のフォーマットを指している。ROI解析部122は、例えば、撮像画像111に含まれる注目領域ROIの数(ROI数)を導出し、記憶部に格納してもよい。
重なり検出部123は、撮像画像111において、撮影対象の複数の物体が特定されたときには、撮像画像111における複数の注目領域ROIの位置情報113に基づいて、2以上の注目領域ROI同士が重なり合う重なり領域(ROO(Region Of Overlap))を検出する。つまり、重なり検出部123は、重なり領域ROOごとに、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、例えば、導出した位置情報114を記憶部に格納する。重なり検出部123は、例えば、導出した位置情報114を重なり領域ROOと対応付けて、記憶部に格納する。重なり領域ROOは、例えば、互いに重なり合う2以上の注目領域ROIにおいて最も小さな注目領域ROIと同じ大きさか、それよりも小さな方形状の領域である。位置情報114は、例えば、重なり領域ROOの左上端座標(Xb,Yb)と、重なり領域ROOのX軸方向の長さと、重なり領域ROOのY軸方向の長さとによって構成されている。重なり領域ROOのX軸方向の長さは、例えば、物理領域長さXLbである。重なり領域ROOのY軸方向の長さは、例えば、物理領域長さYLbである。位置情報114において、注目領域ROIの左上端とは異なる位置の座標が含まれていてもよい。
優先度設定部124は、撮像画像111において、注目領域ROIごとに優先度115を付与する。優先度設定部124は、例えば、付与した優先度115を記憶部に格納する。優先度設定部124は、例えば、付与した優先度115を注目領域ROIと対応付けて、記憶部に格納する。優先度設定部124は、注目領域ROIごとに付与されている領域番号とは別に、優先度115を注目領域ROIごとに付与してもよいし、注目領域ROIごとに付与されている領域番号を、優先度115の代わりとしてもよい。優先度設定部124は、例えば、優先度115を注目領域ROIと関連付けて、記憶部に格納してもよいし、注目領域ROIごとに付与されている領域番号を注目領域ROIと関連付けて、記憶部に格納してもよい。
優先度115は、各注目領域ROIの識別子であり、撮像画像111における複数の注目領域ROIのいずれに対して重なり領域ROOの割愛が行われたかを判別することの可能な判別情報である。優先度設定部124は、例えば、それぞれが重なり領域ROOを含む2つの注目領域ROIにおいて、一方の注目領域ROIに対して優先度115として1を付与し、他方の注目領域ROIに対して優先度115として2を付与する。この場合には、後述の伝送画像116の作成に際して、優先度115の数値が大きい方の注目領域ROIに対して、重なり領域ROOの割愛が行われる。なお、優先度設定部124は、注目領域ROIごとに付与されている領域番号と同じ番号を、注目領域ROIに対して優先度115として付与してもよい。優先度設定部124は、例えば、各注目領域ROIに付与した優先度115を、ROI画像112と関連づけて、記憶部に格納する。
エンコード部125は、各伝送画像116を、エンコードして圧縮像データ120Aを生成する。エンコード部125は、例えば、圧縮像データ120Aの形式として、JPEG規格に準拠した圧縮形式等により各伝送画像116を圧縮する。エンコード部125は、上記の圧縮処理を行う前に、各伝送画像116を生成する。エンコード部125は、撮像画像111から得られた複数のROI画像112において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた複数のROI画像112から画像118を割愛したものである複数の伝送画像116を生成する。
エンコード部125は、例えば、注目領域ROIごとに付与されている優先度115に基づいて、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定する。なお、エンコード部125は、例えば、注目領域ROIごとに付与されている領域番号を優先度115として用いることにより、複数のROI画像112のいずれに対して画像118の割愛を行うかを決定してもよい。エンコード部125は、上記のようにして特定されたROI画像112において画像118を割愛したものを、伝送画像116(例えば図3の伝送画像116a2)とする。エンコード部125は、重なり領域ROOを含まないROI画像112や、上記の決定により画像118が割愛されないこととなったROI画像112については、ROI画像112そのものを伝送画像116(例えば図3の伝送画像116a1)とする。
画像処理制御部126は、ROI情報120B及びフレーム情報120Cを生成し、送信部140に送信する。ROI情報120Bは、例えば、各位置情報113を含んでいる。ROI情報120Bは、さらに、例えば、各注目領域ROIのデータタイプ、撮像画像111に含まれる注目領域ROIの数、各注目領域ROIの領域番号(又は優先度115)、各注目領域ROIのデータ長、及び各注目領域ROIの画像フォーマットのうち少なくとも1つを含んでいる。フレーム情報120Cは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ROIのデータタイプ、ラインごとのペイロード(Payload)長などを含んでいる。データタイプには、例えば、YUVデータ、RGBデータ又はRAWデータなどが含まれている。データタイプには、さらに、例えば、ROI形式のデータ又は通常形式のデータなどが含まれている。ペイロード長は、例えば、ロングパケット(LongPacket)のペイロードに含まれるピクセル数であり、例えば、注目領域ROIごとのピクセル数である。ここで、ペイロードとは、映像送信装置100及び映像受信装置200の間で伝送される主要なデータ(アプリケーションデータ)を指している。ロングパケットとは、パケットヘッダPHとパケットフッタPFとの間に配置されるパケットを指している。
送信部140は、画像処理部120,130から入力された種々のデータ(120A,120B,120C,130A)に基づいて伝送データ147Aを生成し、送出する回路である。送信部140は、撮像画像111における各注目領域ROIについてのROI情報120Bをエンベデッドデータ(EmbeddedData)で送出する。送信部140は、さらに、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、各注目領域ROIの画像データ(圧縮像データ120A)をロングパケットのペイロードデータ(PayloadData)で送出する。このとき、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する。また、送信部140は、各注目領域ROIの画像データ(圧縮像データ120A)を画像データフレームによって送出するとともに、各注目領域ROIについてのROI情報120Bを画像データフレームのヘッダで送出する。送信部140は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、通常の画像データ(圧縮像データ130A)をロングパケットのペイロードデータで送出する。
送信部140は、例えば、LINK制御部141、ECC生成部142、PH生成部143、EBDバッファ144、ROIデータバッファ145、通常画像データバッファ146及び合成部147を有している。LINK制御部141、ECC生成部142、PH生成部143、EBDバッファ144及びROIデータバッファ145は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、合成部147への出力を行う。通常画像データバッファ146は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、合成部147への出力を行う。
なお、ROIデータバッファ145が、通常画像データバッファ146を兼ねていてもよい。この場合、送信部140は、ROIデータバッファ145及びROIデータバッファ145のそれぞれの出力端と、合成部147の入力端との間に、ROIデータバッファ145及びROIデータバッファ145のいずれかの出力を選択するセレクタを有していてもよい。
LINK制御部141は、例えば、フレーム情報120CをラインごとにECC生成部142及びPH生成部143に出力する。ECC生成部142は、例えば、フレーム情報120Cにおける1ラインのデータ(例えば、バーチャルチャネルの番号、各注目領域ROIのデータタイプ、ラインごとのペイロード長など)に基づいて、そのラインの誤り訂正符号を生成する。ECC生成部142は、例えば、生成した誤り訂正符号をPH生成部143に出力する。PH生成部143は、例えば、フレーム情報120Cと、ECC生成部142で生成された誤り訂正符号とを用いて、1ラインごとにパケットヘッダPHを生成する。このとき、パケットヘッダPHは、例えば、図4に示したように、ロングパケットのペイロードデータのパケットヘッダである。このパケットヘッダPHには、例えば、DI、WC及びECCが含まれている。WCは、映像受信装置200に対してパケットの終わりをワード数で示すための領域である。WCには、例えば、ペイロード長が含まれており、例えば、注目領域ROIごとのピクセル数が含まれている。ECCは、ビットエラーを修正するための値を格納する領域である。ECCには、誤り訂正符号が含まれている。DIは、データ識別子を格納する領域である。DIには、VC(バーチャルチャネル)の番号及びDataType(各注目領域ROIのデータタイプ)が含まれている。VC(バーチャルチャネル)は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。PH生成部143は、生成したパケットヘッダPHを合成部147に出力する。
EBDバッファ144は、ROI情報120Bを一次的に格納し、所定のタイミングでROI情報120Bをエンベデッドデータとして合成部147に出力する。エンベデッドデータとは、画像データフレーム(後述の図5参照)のヘッダ又はフッタに埋め込むことの可能な追加情報を指している。エンベデッドデータには、例えば、ROI情報120Bが含まれている。
ROIデータバッファ145は、圧縮像データ120Aを一次的に格納し、所定のタイミングで圧縮像データ120Aをロングパケットのペイロードデータとして合成部147に出力する。ROIデータバッファ145は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ120Aをロングパケットのペイロードデータとして合成部147に出力する。通常画像データバッファ146は、圧縮像データ130Aを一次的に格納し、所定のタイミングで圧縮像データ130Aをロングパケットのペイロードデータとして合成部147に出力する。通常画像データバッファ146は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ130Aをロングパケットのペイロードデータとして合成部147に出力する。
合成部147は、通常画像の出力を指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力されたデータ(圧縮像データ130A)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。一方、合成部147は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力された各種データ(パケットヘッダPH、ROI情報120B、及び圧縮像データ120A)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。つまり、合成部147は、DataType(各注目領域ROIのデータタイプ)をロングパケットのペイロードデータのパケットヘッダPHに含めて送出する。また、合成部147は、各注目領域ROIの画像データ(圧縮像データ120A)を互いに共通のバーチャルチャネルで送出する。
伝送データ147Aは、例えば、図5に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、及びフッタ領域を有している。図5では、便宜的に、フッタ領域の記載が省略されている。伝送データ147Aのフレームヘッダ領域R1には、エンベデッドデータが含まれている。このとき、エンベデッドデータには、ROI情報120Bが含まれている。図5において、伝送データ147Aのパケット領域R2には、1ラインごとに、ロングパケットのペイロードデータが含まれており、さらに、ロングパケットのペイロードデータを挟み込む位置にパケットヘッダPH及びパケットフッタPFが含まれている。さらに、パケットヘッダPHとパケットフッタPFを挟み込む位置にローパワーモードLPが含まれている。
このとき、パケットヘッダPHには、例えば、DI、WC及びECCが含まれている。WCには、例えば、ペイロード長が含まれており、例えば、注目領域ROIごとのピクセル数が含まれている。ECCには、誤り訂正符号が含まれている。DIには、VC(バーチャルチャネルの番号)及びDataType(各注目領域ROIのデータタイプ)が含まれている。本実施の形態では、各ラインのVCには、互いに共通のバーチャルチャネルの番号が付与されている。また、図5において、伝送データ147Aのパケット領域R2には、圧縮像データ147Bが含まれている。圧縮像データ147Bは、1つの圧縮像データ120A、又は複数の圧縮像データ120Aによって構成されている。ここで、図5において、パケットヘッダPH寄りのパケット群には、例えば、図3中の伝送画像116a1の圧縮像データ120A(120A1)が含まれており、パケットヘッダPHから離れたパケット群には、例えば、図3中の伝送画像116a2の圧縮像データ120A(120A2)が含まれている。これら2つの圧縮像データ120A1,120A2によって圧縮像データ147Bが構成されている。各ラインのロングパケットのペイロードデータには、圧縮像データ147Bにおける1ライン分のピクセルデータが含まれている。
図6は、伝送データ147Aの構成例を表したものである。伝送データ147Aは、例えば、フレームヘッダ領域R1及びパケット領域R2を含んでいる。なお、図6には、フレームヘッダ領域R1の中身が詳細に例示されている。また、図6では、ローパワーモードLPが省略されている。
フレームヘッダ領域R1には、例えば、伝送データ147Aの識別子としてのフレーム番号F1が含まれている。フレームヘッダ領域R1は、パケット領域R2に含まれる圧縮像データ147Bについての情報を含んでいる。フレームヘッダ領域R1は、例えば、圧縮像データ147Bに含まれる圧縮像データ120Aの数(ROI数)と、圧縮像データ147Bに含まれる各圧縮像データ120Aに対応するROI画像112についての情報(ROI情報120B)とを含んでいる。
合成部147は、例えば、伝送データ147Aのパケット領域R2において、圧縮像データ147Bを、圧縮像データ120Aの画素行ごとに分けて配置する。したがって、伝送データ147Aのパケット領域R2には、重なり領域ROOの画像118に対応する圧縮像データが重複して含まれていない。また、合成部147は、例えば、伝送データ147Aのパケット領域R2において、撮像画像111のうち各伝送画像116と対応しない画素行を割愛している。したがって、伝送データ147Aのパケット領域R2には、撮像画像111のうち各伝送画像116に対応しない画素行は含まれていない。なお、図6のパケット領域R2において、破線で囲んだ箇所が、重なり領域ROOの画像118の圧縮像データに相当する。
パケットヘッダPH寄りのパケット群(例えば図6中の1(n))と、パケットヘッダPHから離れたパケット群(例えば図6中の2(1))との境界は、パケットヘッダPH寄りのパケット群(例えば図6中の1(n))の圧縮像データに対応するROI画像112の物理領域長さXLa1によって特定される。パケットヘッダPH寄りのパケット群(例えば図6中の1(n))に含まれる重なり領域ROOの画像118に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダPHから離れたパケット群(例えば図6中の2(1))に対応するROI画像112の物理領域長さXLa2によって特定される。
合成部147は、例えば、伝送データ147Aのパケット領域R2において、1ラインごとに、ロングパケットのペイロードデータを生成する際に、ロングパケットのペイロードデータに、例えば、圧縮像データ147Bにおける1ライン分のピクセルデータの他に、例えば、図7に示したように、ROI情報120Bを含めてもよい。つまり、合成部147は、ROI情報120Bをロングパケットのペイロードデータに含めて送出してもよい。このとき、ROI情報120Bは、例えば、図7(A)~図7(K)に示したように、撮像画像111に含まれる注目領域ROIの数(ROI数)、各注目領域ROIの領域番号(又は優先度115)、各注目領域ROIのデータ長、及び各注目領域ROIの画像フォーマットのうち少なくとも1つを含んでいる。ROI情報120Bは、ロングパケットのペイロードデータにおいて、パケットヘッダPH側の端部(つまり、ロングパケットのペイロードデータの先頭)に配置されることが好ましい。
(映像受信装置200)
次に、映像受信装置200について説明する。図8は、映像受信装置200の構成の一例を表したものである。図9は、映像受信装置200におけるROI画像223Aの生成手順の一例を表したものである。映像受信装置200は、映像送信装置100と共通の規格(例えば、MIPI CSI-2規格、MIPI CSI-3規格、又は、MIPIDSI規格)で信号を受信する装置である。映像受信装置200は、例えば、受信部210及び情報処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
次に、映像受信装置200について説明する。図8は、映像受信装置200の構成の一例を表したものである。図9は、映像受信装置200におけるROI画像223Aの生成手順の一例を表したものである。映像受信装置200は、映像送信装置100と共通の規格(例えば、MIPI CSI-2規格、MIPI CSI-3規格、又は、MIPIDSI規格)で信号を受信する装置である。映像受信装置200は、例えば、受信部210及び情報処理部220を有している。受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信し、受信した伝送データ147Aに対して所定の処理を行うことにより、種々のデータ(214A,215A,215B)を生成し、情報処理部220に出力する回路である。情報処理部220は、受信部210から受信した種々のデータ(214A,215A)に基づいて、ROI画像223Aを生成したり、受信部210から受信したデータ(215B)に基づいて、通常画像224Aを生成したりする回路である。
受信部210は、例えば、ヘッダ分離部211、ヘッダ解釈部212、ペイロード分離部213、EBD解釈部214及びROIデータ分離部215を有している。
ヘッダ分離部211は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における各注目領域ROIについてのROI情報120Bをエンベデッドデータに含むとともに、各注目領域ROIの画像データ(圧縮像データ120A)をロングパケットのペイロードデータに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。ヘッダ解釈部212は、フレームヘッダ領域R1に含まれるデータ(具体的にはエンベデッドデータ)に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータの位置を特定する。ペイロード分離部213は、ヘッダ解釈部212によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータを、パケット領域R2から分離する。
EBD解釈部214は、エンベデッドデータをEBDデータ214Aとして、情報処理部220に出力する。EBD解釈部214は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがROIの画像データ116の圧縮像データ120Aであるか、又は、通常画像データの圧縮像データ130Aであるか判別する。EBD解釈部214は、判別結果をROIデータ分離部215に出力する。
ロングパケットのペイロードデータに含まれる画像データがROIの画像データ116の圧縮像データ120Aである場合、ROIデータ分離部215は、ロングパケットのペイロードデータをペイロードデータ215Aとして、情報処理部220(具体的にはROIデコード部222)に出力する。ペイロードデータに含まれる画像データが通常画像データの圧縮像データ130Aである場合、ROIデータ分離部215は、ロングパケットのペイロードデータをペイロードデータ215Bとして、情報処理部220(具体的には通常画像デコード部224)に出力する。ロングパケットのペイロードデータにROI情報120Bが含まれている場合には、ペイロードデータ215Aは、ROI情報120Bと、圧縮像データ147Bのうち1ライン分のピクセルデータとを含んでいる。
情報処理部220は、EBDデータ214Aに含まれるエンベデッドデータから、ROI情報120Bを抽出する。情報処理部220は、情報抽出部221で抽出したROI情報120Bに基づいて、受信部210で受信した伝送データ147Aに含まれるロングパケットのペイロードデータから、撮像画像111における各注目領域ROIの画像(ROI画像112)を抽出する。情報処理部220は、例えば、情報抽出部221、ROIデコード部222、ROI画像生成部223及び通常画像デコード部224を有している。
通常画像デコード部224は、ペイロードデータ215Bをデコードし、通常画像224Aを生成する。ROIデコード部222は、ペイロードデータ215Aに含まれる圧縮像データ147Bをデコードし、画像データ222Aを生成する。この画像データ222Aは、1又は複数の伝送画像116によって構成されている。
情報抽出部221は、EBDデータ214Aに含まれるエンベデッドデータから、ROI情報120Bを抽出する。情報抽出部221は、例えば、EBDデータ214Aに含まれるエンベデッドデータから、例えば、撮像画像111に含まれる注目領域ROIの数、各注目領域ROIの領域番号(又は優先度115)、各注目領域ROIのデータ長、及び各注目領域ROIの画像フォーマットを抽出する。つまり、伝送データ147Aは、当該伝送データ147Aから得られる複数の伝送画像116のいずれに対して重なり領域ROOの画像118の割愛が行われたかを判別することの可能な判別情報として、各伝送画像116に対応する注目領域ROIの領域番号(又は優先度115)を含んでいる。
ROI画像生成部223は、情報抽出部221で得られたROI情報120Bに基づいて、2以上の注目領域ROI同士が重なり合う重なり領域ROOを検出する。
情報抽出部221が、例えば、EBDデータ214Aに含まれるエンベデッドデータから、ROI画像112a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)及び領域番号1(又は優先度115(=1))を抽出する。情報抽出部221が、さらに、例えば、EBDデータ214Aに含まれるエンベデッドデータから、ROI画像112a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)及び領域番号2(又は優先度115(=2))を抽出する。
このとき、ROI画像生成部223は、抽出したこれらの情報(以下、「抽出情報221A」と称する。)に基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))及び長さ(例えば物理領域長さXLb1,YLb1)を導出する。
なお、ROI画像生成部223は、EBDデータ214Aに含まれるエンベデッドデータからROI情報120Bを取得する代わりに、ペイロードデータ215AからROI情報120Bを取得してもよい。この場合、ROI画像生成部223は、ペイロードデータ215Aに含まれるROI情報120Bに基づいて、2以上の注目領域ROI同士が重なり合う重なり領域ROOを検出してもよい。また、ROI画像生成部223は、ペイロードデータ215Aに含まれるROI情報120Bから、抽出情報221Aを抽出してもよく、そのようにして抽出した抽出情報221Aに基づいて、重なり領域ROOの位置情報114を導出してもよい。
ROI画像生成部223は、さらに、画像データ222Aと、抽出情報221Aと、重なり領域ROOの位置情報114とに基づいて、撮像画像111における各注目領域ROIの画像(ROI画像112a1,112a2)を生成する。ROI画像生成部223は、生成した画像をROI画像223Aとして出力する。
[手順]
次に、図3、図9を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
次に、図3、図9を参考にして、映像伝送システム1におけるデータ伝送の手順の一例について説明する。
まず、撮像部110は、撮像により得られた撮像画像111(デジタルの画像データ)を画像処理部120に出力する。ROI切り出し部121は、撮像部110から入力された撮像画像111に含まれる2つの注目領域ROI1,ROI2を特定する。ROI切り出し部121は、撮像画像111から、各注目領域ROI1,ROI2の画像(ROI画像112a1,112a2)を切り出す。ROI切り出し部121は、注目領域ROI1に対して識別子として領域番号1を付与し、注目領域ROI2に対して識別子として領域番号2を付与する。
ROI解析部122は、注目領域ROIごとに、撮像画像111における注目領域ROIの位置情報113を導出する。ROI解析部122は、注目領域ROI1に基づいて、注目領域ROI1の左上端座標(Xa1,Ya1)と、注目領域ROI1のX軸方向の長さ(XLa1)と、注目領域ROI1のY軸方向の長さ(YLa1)とを導出する。ROI解析部122は、注目領域ROI2に基づいて、注目領域ROI2の左上端座標(Xa2,Ya2)と、注目領域ROI2のX軸方向の長さ(XLa2)と、注目領域ROI2のY軸方向の長さ(YLa2)とを導出する。
重なり検出部123は、撮像画像111における2つの注目領域ROI1,ROI2の位置情報113に基づいて、2つの注目領域ROI1,ROI2同士が重なり合う重なり領域ROOを検出する。つまり、重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114を導出する。重なり検出部123は、撮像画像111における重なり領域ROOの位置情報114として、重なり領域ROOの左上端座標(Xb1,Yb1)と、重なり領域ROOのX軸方向の長さ(XLb1)と、重なり領域ROOのY軸方向の長さ(YLb1)とを導出する。
優先度設定部124は、2つの注目領域ROI1,ROI2において、一方の注目領域ROI1に対して優先度115として1を付与し、他方の注目領域ROI2に対して優先度115として2を付与する。
エンコード部125は、2つの注目領域ROI1,ROI2において重なり領域ROOの画像118が重複して含まれないように、撮像画像111から得られた2つのROI画像112a1,112a2から画像118を割愛したものである2つの伝送画像116a1,116a2を生成する。
エンコード部125は、2つの注目領域ROI1,ROI2の領域番号(又は優先度115)に基づいて、2つのROI画像112a1,112a2のいずれに対して画像118の割愛を行うかを決定する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(又は優先度115)の大きい方である注目領域ROI2に対応するROI画像112a2に対して画像118の割愛を行い、これにより、伝送画像116a2を生成する。エンコード部125は、2つの注目領域ROI1,ROI2において、領域番号(又は優先度115)の小さな方である注目領域ROI1に対応するROI画像112a1については、ROI画像112a1そのものを伝送画像116a1とする。
画像処理制御部126は、ROI情報120B及びフレーム情報120Cを生成し、送信部140に送信する。送信部140は、画像処理部120,130から入力された種々のデータ(120A,120B,120C,130A)に基づいて伝送データ147Aを生成する。送信部140は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に送出する。
受信部210は、映像送信装置100から出力された伝送データ147Aを、データレーンDLを介して受信する。受信部210は、受信した伝送データ147Aに対して所定の処理を行うことにより、EBDデータ214A及びペイロードデータ215Aを生成し、情報処理部220に出力する。
情報抽出部221は、EBDデータ214Aに含まれるエンベデッドデータから、ROI情報120Bを抽出する。情報抽出部221は、EBDデータ214Aに含まれるエンベデッドデータから、ROI画像112a1に対応する注目領域ROIの座標(例えば左上端座標(Xa1,Ya1))、長さ(例えば物理領域長さXLa1,YLa1)及び領域番号1(又は優先度115(=1))を抽出する。情報抽出部221は、さらに、ROI画像112a2に対応する注目領域ROIの座標(例えば左上端座標(Xa2,Ya2))、長さ(例えば物理領域長さXLa2,YLa2)及び領域番号2(又は優先度115(=2))を抽出する。ROIデコード部222は、ペイロードデータ215Aに含まれる圧縮像データ147Bをデコードし、画像データ222Aを生成する。
ROI画像生成部223は、抽出したこれらの情報(抽出情報221A)に基づいて、重なり領域ROOの位置情報114を導出する。ROI画像生成部223は、上記の重なり領域ROOの位置情報114として、例えば、重なり領域ROOの座標(例えば左上端座標(Xb1,Yb1))及び長さ(例えば物理領域長さXLb1,YLb1)を導出する。ROI画像生成部223は、さらに、画像データ222Aと、抽出情報221Aと、重なり領域ROOの位置情報114とに基づいて、撮像画像111における各注目領域ROIの画像(ROI画像112a1,112a2)を生成する。
[効果]
次に、本実施の形態に係る映像伝送システム1の効果について説明する。
次に、本実施の形態に係る映像伝送システム1の効果について説明する。
近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。
ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、MIPI CSI-2が用いられることがある。この方式を用いてROIを伝送しようとした場合、様々な制約により、ROIの伝送が容易ではないことがある。
一方、本実施の形態では、撮像画像111における各注目領域ROIについてのROI情報120Bがエンベデッドデータで送出されるとともに、各注目領域ROIの画像データがロングパケットのペイロードデータで送出される。これにより、映像送信装置100から送出された伝送データ147Aを受信した装置(映像受信装置200)において、伝送データ147Aから、各注目領域ROIの画像データ(ROI画像112)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
また、本実施の形態では、各注目領域ROIの画像データ(圧縮像データ120A)が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のROI画像112を送ることができるので、複数のROI画像112を送る間に、LPモードに入る必要がなく、高い伝送効率を得ることができる。
また、本実施の形態では、各注目領域ROIのデータタイプがロングパケットのペイロードデータのパケットヘッダPHに含めて送出される。これにより、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータのパケットヘッダPHにアクセスするだけで、各注目領域ROIのデータタイプが得られる。これにより、映像受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
また、本実施の形態において、ROI情報120Bがロングパケットのペイロードデータに含めて送出される場合には、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータにアクセスするだけで、ROI情報120Bが得られる。これにより、映像受信装置200における処理速度を速くすることができるので、高い伝送効率を得ることができる。
また、本実施の形態では、伝送データ147Aに含まれるエンベデッドデータから、各注目領域ROIについてのROI情報120Bが抽出されるとともに、抽出されたROI情報120Bに基づいて、伝送データ147Aに含まれるロングパケットのペイロードデータから、各注目領域ROIの画像(ROI画像112)が抽出される。これにより、伝送データ147Aから、各注目領域ROIの画像(ROI画像112)を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ROIの伝送を行うことができる。
2.本開示の前提技術2:
撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術について、図1から図9を参照しつつ図10から図12を用いて説明する。すなわち、方形状(矩形状)以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図10は、撮像画像111において特定された物体が配置された領域を模式的に示す図である。なお、図10では、理解を容易にするため、15行×23列の撮像素子で構成された撮像領域で撮像された撮像画像111が模式的に図示されている。図11は、特定された物体に対して設定されたROI領域の一例を示す図である。
撮像画像から切り出した一部(形状が非矩形状)の注目領域(ROI)を伝送する技術について、図1から図9を参照しつつ図10から図12を用いて説明する。すなわち、方形状(矩形状)以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図10は、撮像画像111において特定された物体が配置された領域を模式的に示す図である。なお、図10では、理解を容易にするため、15行×23列の撮像素子で構成された撮像領域で撮像された撮像画像111が模式的に図示されている。図11は、特定された物体に対して設定されたROI領域の一例を示す図である。
前提技術2では、前提技術1と同様に、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から映像送信装置100に入力された場合に、撮像部110から入力された撮像画像111に対して所定の処理を行う場合について説明する。しかしながら、前提技術2では、映像送信装置100、すなわち送信側がROIの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるROIで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。
ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力される。これにより、図10に示すように、ROI切り出し部121は、撮像画像111に含まれる撮影対象の4つの物体1~4を特定する。物体1は例えば、撮像画像111内の左上領域の一部を占める矩形状を有している。物体2は例えば、撮像画像111内で物体1の右側の一部の領域を占め、矩形の上側の両側角部及び下辺の一部が欠落した形状を有している。物体3は例えば、撮像画像111内で物体2の下方の一部の領域を占め、矩形の四隅が欠落した形状を有している。物体4は例えば、撮像画像111内で物体3の下方の一部の領域を占め、矩形の上側の両側角部が欠落した形状を有している。物体3及び物体4は一部が重なり合っている。
図11に示すように、ROI切り出し部121(図2参照)は、特定した物体1~4をそれぞれ含む最小の矩形を注目領域ROI1~ROI4として設定する。ROI切り出し部121は、物体1に対して注目領域ROI1を設定し、ROI画像112a1を切り出す。また、ROI切り出し部121は、物体2に対して注目領域ROI2を設定し、ROI画像112a2を切り出す。また、ROI切り出し部121は、物体3に対して注目領域ROI3を設定し、ROI画像112a3を切り出す。さらに、ROI切り出し部121は、物体4に対して注目領域ROI4を設定し、ROI画像112a4を切り出す。
ROI切り出し部121は、注目領域ROI1と、注目領域ROI1に付与した領域番号「1」とを関連付けて記憶部に格納する。ROI切り出し部121は、注目領域ROI2と、注目領域ROI2に付与した領域番号「2」とを関連付けて記憶部に格納する。ROI切り出し部121は、注目領域ROI3と、注目領域ROI3に付与した領域番号「3」とを関連付けて記憶部に格納する。ROI切り出し部121は、注目領域ROI4と、注目領域ROI4に付与した領域番号「4」とを関連付けて記憶部に格納する。
ROI解析部122(図2参照)は、注目領域ROI1~ROI4のそれぞれの位置情報を導出する。ROI解析部122は、注目領域ROI1の位置情報として例えば、X軸方向の物理領域長さXLa1及びY軸方向の物理領域長さYLa1を導出する。ROI解析部122は、注目領域ROI2の位置情報として例えば、X軸方向の物理領域長さXLa2及びY軸方向の物理領域長さYLa2を導出する。ROI解析部122は、注目領域ROI3の位置情報として例えば、X軸方向の物理領域長さXLa3及びY軸方向の物理領域長さYLa3を導出する。ROI解析部122は、注目領域ROI4の位置情報として例えば、X軸方向の物理領域長さXLa4及びY軸方向の物理領域長さYLa4を導出する。ROI解析部122は、注目領域ROIごとに、位置情報113として、さらに、例えば、注目領域ROIのX軸方向の出力領域長さXLcや、注目領域ROIのY軸方向の出力領域長さYLcを導出してもよい。
ROI解析部122は、注目領域ROIのそれぞれのX軸方向及びY軸方向の長さを導出することによって、後段への情報として注目領域ROI1~ROI4のそれぞれの大きさや総データ量を導出する。これにより、後段に相当する映像受信装置200はメモリ領域を確保できる。
ROI解析部122は、撮影対象の物体及び注目領域の形状が一致していない場合には、注目領域ROIの位置情報ではなく、ROI画像112a1~112a4の位置情報を導出するように構成されている。ROI解析部122は、ROI画像112a1~112a4の位置情報として、各行の左端座標(xn,yn)及びX軸方向の物理領域長さXLnを導出する。また、ROI画像112a2の2行目のようにROI画像が分離している場合には、ROI解析部122は、分離している部分のそれぞれについて位置情報を導出する。ROI解析部122は、注目領域ROI1~ROI4の領域番号と、ROI画像112a1~112a4の位置情報とを対応付けて記憶部に格納する。
また、ROI解析部122は、例えば、注目領域ROI1~ROI4ごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、AD語長、画像フォーマットなどを導出し、領域番号と対応付けて記憶部に格納してもよい。
重なり検出部123(図2参照)は、撮影対象の物体が矩形状の場合には、注目領域同士が重なり合う領域ではなく、ROI画像同士が重なり合う領域を重なり領域として導出する。図11に示すように、重なり検出部123は、ROI画像112a3及びROI画像123a4が重なり合う領域として重なり領域ROOを導出する。重なり検出部123は、導出した重なり領域ROOを注目領域ROI3,ROI4の位置情報のそれぞれに対応付けて記憶部に格納する。
優先度設定部124(図2参照)は、優先度「1」を注目領域ROI1に付与し、優先度1を注目領域ROI1に対応付けて記憶部に格納する。優先度設定部124は、優先度「1」よりも優先度が低い優先度「2」を注目領域ROI2に付与し、優先度2を注目領域ROI2に対応付けて記憶部に格納する。優先度設定部124は、優先度「2」よりも優先度が低い優先度「3」を注目領域ROI3に付与し、優先度3を注目領域ROI3に対応付けて記憶部に格納する。優先度設定部124は、優先度「3」よりも優先度が低い優先度「4」を注目領域ROI4に付与し、優先度4を注目領域ROI4に対応付けて記憶部に格納する。
エンコード部125(図2参照)は、ROI画像112a1~112a4のそれぞれについて伝送画像を生成する。注目領域ROI4は注目領域ROI3よりも優先度が低いので、エンコード部125は、ROI画像112a4から重なり領域ROOを割愛して伝送画像を生成する。
画像処理制御部126(図2参照)は、ROI情報及びフレーム情報を生成し、送信部140(図2参照)に送信する。ROI情報には例えば、ROI画像112a1~112a4のそれぞれの位置情報が含まれる。ROI情報にはその他に、上述の撮影対象の物体が矩形状の場合と同様の情報(例えば注目領域ROI1~ROI4のそれぞれデータタイプ、撮像画像111に含まれる注目領域ROI1~ROI4の数、注目領域ROI1~ROI4の領域番号及び優先度など)が含まれる。フレーム情報には例えば、注目領域ROI1~ROI4のデータタイプなど、上述の撮影対象の物体が矩形状の場合と同様の情報が含まれる。
送信部140(図2参照)に設けられたLINK制御部141は、画像処理制御部126から入力されるフレーム情報及びROI情報をラインごとにECC生成部142及びPH生成部143(いずれも図2参照)に出力する。ECC生成部142は例えば、フレーム情報における1ラインのデータ(例えば、バーチャルチャネルの番号、注目領域ROI1~ROI4のそれぞれのデータタイプ、ラインごとのペイロード長など)に基づいて、そのラインの誤り訂正符号を生成する。ECC生成部142は例えば、生成した誤り訂正符号をPH生成部143に出力する。PH生成部143は例えば、フレーム情報と、ECC生成部142で生成された誤り訂正符号とを用いて、1ラインごとにパケットヘッダPH(図4参照)を生成する。
EBDバッファ144(図2参照)は、ROI情報を一次的に格納し、所定のタイミングでROI情報をエンベデッドデータとして合成部147(図2参照)に出力する。
ROIデータバッファ145(図2参照)は、エンコード部125から入力される圧縮像データを一次的に格納し、例えばROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、圧縮像データ120Aをロングパケットのペイロードデータとして合成部147に出力する。
合成部147は、ROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、入力された各種データ(パケットヘッダPH、ROI情報及びROIデータバッファ145を介してエンコード部125から入力された圧縮像データ)に基づいて、伝送データ147Aを生成する。合成部147は、生成した伝送データ147Aを、データレーンDLを介して映像受信装置200に出力する。つまり、合成部147は、注目領域ROI1~ROI4のそれぞれのデータタイプをロングパケットのペイロードデータのパケットヘッダPHに含めて送出する。また、合成部147は、注目領域ROI1~ROI4のそれぞれの画像データ(圧縮像データ)を互いに共通のバーチャルチャネルで送出する。
撮影対象の物体が矩形状でない場合、ROI画像112a1~112a4の位置情報は、パケットヘッダPH又はロングパケットのペイロードデータに含められる。ROI画像112a1~112a4の位置情報は、PH生成部143によってパケットヘッダPHに含められる。一方、ROI画像112a1~112a4の位置情報は、合成部147によってロングパケットのペイロードデータに含められる。
図12は、ROI画像112a1~112a4の位置情報がロングパケットのペイロードデータに含められている伝送データ147Aの構成例を示す図である。図12に示すように、伝送データ147Aは例えば、フレームヘッダ領域R1及びパケット領域R2を含んでいる。なお、図12には、フレームヘッダ領域R1の中身が詳細に例示されている。また、図12では、ローパワーモードLPが省略されている。
フレームヘッダ領域R1には例えば、伝送データ147Aの識別子としてのフレーム番号F1が含まれている。フレームヘッダ領域R1は、パケット領域R2に含まれる圧縮像データについての情報を含んでいる。フレームヘッダ領域R1は例えば、圧縮像データの数(ROI数)と、各圧縮像データに対応するROI画像112a1~112a4のそれぞれについての情報(ROI情報)とを含んでいる。ROI情報は、領域番号、物理領域長さ、矩形出力領域大きさ、優先度、露光情報、ゲイン情報、AD語長及び画像フォーマットを含んでいる。物理領域長さは、ROI画像の最大長さであり、矩形出力領域大きさは、注目領域ROIの大きさである。
図12中に示す「Info」は、ロングパケットのペイロードに格納される領域情報を示している。ROI画像112a1~112a4の位置情報は、例えば「info」に格納される。ROI画像112a1~112a4の位置情報は、ロングパケットのペイロードの先頭部分に格納される。ROI画像を構成し連続する各画素行のX軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のROI画像が含まれていない場合には、当該各画素行のうちの2行目以降の画素行の画像データを含むロングパケットのペイロードには、領域情報「info」が格納されていなくてもよい。本例では、ROI画像112a1は、全ての画素行のうちの連続する1行目から4行目の画素行においてX軸方向の物理領域長さが同じであり、当該1行目から4行目の画素行には、異なる領域番号のROI画像が含まれていない。このため、ROI画像112a1を構成し連続する1行目から4行目の画素行のうちの2行目以降に相当する2行目から4行目の画素行の画像データを含むそれぞれのロングパケットのペイロードには、領域情報「info」が格納されていない。また、本例では、ROI画像112a4は、全ての画素行のうちの連続する2行目及び3行目の画素行においてX軸方向の物理領域長さが同じであり、当該2行目及び3行目の画素行には、異なる領域番号のROI画像が含まれていない。このため、ROI画像112a4を構成し連続する2行目及び3行目の画素行のうちの2行目以降に相当する3行目の画素行の画像データを含むロングパケットのペイロードには、領域情報「info」が格納されていない。なお、X軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のROI画像が含まれていない場合でも、各行のペイロードに領域情報「info」が格納されていてもよい。
合成部147は例えば、伝送データ147Aのパケット領域R2において、ROI画像112a1~112a4のそれぞれを圧縮して生成された圧縮像データを画素行ごとに分けて配置する。図12中に示す「1」は、ロングパケットのペイロードに格納されたROI画像112a1の圧縮像データを示している。図12中に示す「2」は、ロングパケットのペイロードに格納されたROI画像112a2の圧縮像データを示している。図12中に示す「3」はROI画像112a3の圧縮像データを示している。図12中に示す「4」は、ロングパケットのペイロードに格納されたROI画像112a4の圧縮像データを示している。なお、図12では、理解を容易にするため、各圧縮像データが区切られて示されているが、ロングパケットのペイロードに格納されるデータに区切りはない。伝送データ147Aのパケット領域R2には、重なり領域ROOの画像に対応する圧縮像データ112bが重複して含まれていない。また、合成部147は、例えば、伝送データ147Aのパケット領域R2において、撮像画像111のうち各伝送画像と対応しない画素行を割愛している。したがって、伝送データ147Aのパケット領域R2には、撮像画像111のうち各伝送画像に対応しない画素行は含まれていない。
次に、伝送データ147Aを受信した場合の映像受信装置200の動作について説明する。
受信部210に設けられたヘッダ分離部211(いずれも図8参照)は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における注目領域ROI1~ROI4についてのROI情報をエンベデッドデータに含むとともに、注目領域ROI1~ROI4の画像データ(圧縮像データ)をロングパケットのペイロードデータに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。
受信部210に設けられたヘッダ分離部211(いずれも図8参照)は、伝送データ147Aを、データレーンDLを介して映像送信装置100から受信する。つまり、ヘッダ分離部211は、撮像画像111における注目領域ROI1~ROI4についてのROI情報をエンベデッドデータに含むとともに、注目領域ROI1~ROI4の画像データ(圧縮像データ)をロングパケットのペイロードデータに含む伝送データ147Aを受信する。ヘッダ分離部211は、受信した伝送データ147Aをフレームヘッダ領域R1とパケット領域R2とに分離する。
ヘッダ解釈部212(図8参照)は、フレームヘッダ領域R1に含まれるデータ(具体的にはエンベデッドデータ)に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータの位置を特定する。
ペイロード分離部213(図8参照)は、ヘッダ解釈部212によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域R2に含まれるロングパケットのペイロードデータをパケット領域R2から分離する。
EBD解釈部214は、エンベデッドデータをEBDデータとして、情報処理部220(図8参照)に出力する。EBD解釈部214は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがROIの画像データ116の圧縮像データであるか、又は、通常画像データの圧縮像データであるか判別する。EBD解釈部214は、判別結果をROIデータ分離部215(図8参照)に出力する。
ROIデータ分離部215は、ロングパケットのペイロードデータに含まれる画像データがROIの画像データが入力されると、ロングパケットのペイロードデータをペイロードデータとして、情報処理部220(具体的にはROIデコード部222(図8参照))に出力する。ROI情報が含まれているロングパケットのペイロードデータには、ROI情報と圧縮像データのうち1ライン分のピクセルデータとが含まれている。
情報処理部220に設けられた情報抽出部221(図8参照)は、EBD解釈部214から入力されるEBDデータに含まれるエンベデッドデータから、撮像画像111に含まれる注目領域ROI1~ROI4の数(本例では4つ)、注目領域ROI1~ROI4の領域番号1~4及び優先度1から4、注目領域ROI1~ROI4のそれぞれのデータ長、並びに注目領域ROI1~ROI4のそれぞれの画像フォーマットを抽出する。さらに、情報抽出部221は、当該エンベデッドデータから、ROI画像112a1~112a4の位置情報を抽出する。
ROIデコード部222は、ペイロードデータに含まれている圧縮像データ147Bをデコードし、ROI画像112a1~112a4の位置情報を抽出するとともに、画像データ(伝送画像によって構成)を生成する。ROIデコード部222は、例えば6行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ROI画像112a1の1つの位置情報と、ROI画像112a2の2つの位置情報とを抽出し、6行目の画素行に対応するROI画像112a1,112b1の画像データ(伝送画像)をそれぞれ生成する。
ROIデコード部222は、例えば10行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ROI画像112a3の1つの位置情報と、ROI画像112a4の1つの位置情報とを抽出し、ROI画像112a3,112b4の画像データ(伝送画像)をそれぞれ生成する。
ROI画像生成部223(図8参照)は、情報抽出部221で得られたROI情報、ROIデコード部222で抽出されたROI画像112a1~112a4の位置情報及びROIデコード部222で生成された伝送画像に基づいて、撮像画像111における注目領域ROI1~ROI4のROI画像112a1~112a4を生成する。ROI画像生成部223は、例えば6行目の画素行に対応するペイロードデータから抽出されたROI画像112a1の1つの位置情報及びROI画像112a2の2つの位置情報並びにそれらの伝送画像が入力された場合、X軸方向に延在する5画素分のROI画像112a1と、当該ROI画像112a1とは5画素分離れた位置でX軸方向に延在する4画素分のROI画像112a2と、当該ROI画像112a2から2画素分離れた位置でX軸方向に延在する2画素分のROI画像112a2とを生成する(図10参照)。
また、ROI画像生成部223は、情報抽出部221で得られたROI情報に基づいて、注目領域ROI3及び注目領域ROI4同士が重なり合う重なり領域ROOを検出する。ROI画像生成部223は、検出した重なり領域ROOと、10行目の画素行に対応するペイロードデータから抽出されたROI画像112a3,112a4のそれぞれ位置情報と、伝送画像とに基づいて、X軸方向に延在する4画素分のROI画像112a3と、当該ROI画像112a3に1画素分が重なった状態でX軸方向に延在する3画素分のROI画像112a4とを生成する(図10参照)。
ROI画像生成部223は、生成した画像をROI画像として後段の装置(不図示)に出力する。
このようにして、映像送信装置100及び映像受信装置200は、撮影対象の物体が矩形以外の形状を有していても、ROI画像として送受信することができる。
3.本開示の実施形態における欠陥画素の補正処理の原理:
次に、本開示の実施形態における欠陥画素の補正処理の原理について図13及び図14を用いて説明する。
次に、本開示の実施形態における欠陥画素の補正処理の原理について図13及び図14を用いて説明する。
図13は、本実施形態における欠陥画像の補正処理を模式的に示す図である。撮像装置に設けられた撮像領域が、例えば左上端部に赤色画素(以下、「R画素」と略記する)が配置され、左端部がR画素であり、かつR画素及び緑色画素(以下、「G画素」と略記する)が交互に配置された奇数行と、左端部がG画素であり、かつG画素及び青色画素(以下、「B画素」と略記する)が交互に配置された偶数行とで構成されているとする。図13には、このような画素構造を有する撮像装置で撮像された画像の一部分が模式的に図示されている。
図13に示す画像は、Raw画像あるいは未現像データなどと呼ばれる、撮像領域に画素から出力される未加工の画像である。このため、例えば光電変換素子や画素回路などに不具合があって画素が正常に動作しない画素欠陥が生じると、当該画素で取得される画像は、図13中の太矢印の左側に示すように、所望の階調が得られない欠陥画像Idとなる。
Raw画像の中に欠陥画像Idが含まれていると、最終的に生成される画像の画質が劣化する可能性がある。そこで、本実施形態では、図13中の太矢印の右側に示すように、欠陥画像Idと同色であって欠陥画像Idの周囲に配置された周辺画像Iadの情報を用いて欠陥画像Idの情報を補間し、補正画像Icが生成される。これにより、本実施形態では、画像の欠陥を目立たなくして最終的に生成される画像の画質の劣化が防止される。
欠陥画素は、撮像装置の製造時やモジュール組み立て時に生じ、撮像領域おいて固定された欠陥となる。このため、撮像装置の出荷検査等で欠陥画素を検出し、EEPROM等の不揮発性記憶装置に欠陥画素の座標情報を記憶しておき、当該座標情報を用いて欠陥画像を補正することが可能になる。
撮像領域全体の画像を生成する場合には、このような方法によって欠陥画像を補正することが可能であるが、ROIでは、注目領域として切り出される範囲及び大きさが不明である。このため、切り出された注目領域のどの位置に欠陥画素が配置されるのかを予測することはできず、予め記憶された欠陥画素の座標情報で注目領域内の欠陥画像を補正することは不可能である。
そこで、本実施形態による送信装置、受信装置及び伝送システムでは、撮像部を有する映像送信装置において、注目領域における欠陥画素の位置を出荷検査等で取得される欠陥画素の座標情報に基づいて算出するように構成されている。さらに、映像受信装置は、映像送信装置から送出される欠陥画素の当該位置を用いて欠陥画像の補正処理を実行するように構成されている。
図14は、本実施形態において、出荷検査等で取得される欠陥画素の座標情報に基づいて注目領域における欠陥画素の位置を算出する方法を模式的に示す図である。
図14に示すように、複数の撮像素子で構成される撮像領域IRには、例えば6個の欠陥画素D01,D02,D11,D12,D21,D31が存在している。また、撮像領域IRに対して、例えば切り出し対象の3つの注目領域ROI1~ROI3が設定されている。欠陥画素D11,D12は、注目領域ROI1が設定された領域に配置されている。欠陥画素D21は、注目領域ROI2が設定された領域に配置されている。欠陥画素D31は、注目領域ROI3が設定された領域に配置されている。欠陥画素D01,D02は、注目領域が設定されていない領域に配置されている。注目領域における欠陥画素の位置の算出方法は、注目領域及び欠陥画素の位置によらず共通である。このため、以下、欠陥画素D11を例にとって注目領域における欠陥画素の位置の算出方法を説明する。
図14に示すように、複数の撮像素子で構成される撮像領域IRには、例えば6個の欠陥画素D01,D02,D11,D12,D21,D31が存在している。また、撮像領域IRに対して、例えば切り出し対象の3つの注目領域ROI1~ROI3が設定されている。欠陥画素D11,D12は、注目領域ROI1が設定された領域に配置されている。欠陥画素D21は、注目領域ROI2が設定された領域に配置されている。欠陥画素D31は、注目領域ROI3が設定された領域に配置されている。欠陥画素D01,D02は、注目領域が設定されていない領域に配置されている。注目領域における欠陥画素の位置の算出方法は、注目領域及び欠陥画素の位置によらず共通である。このため、以下、欠陥画素D11を例にとって注目領域における欠陥画素の位置の算出方法を説明する。
図14に示すように、撮像領域IRの原点IRo(0,0)を左上端部の画素とする。この場合、撮像領域IRにおける欠陥画素D11の座標(x,y)は(D1_X1,D1_Y1)となる。欠陥画素D11の座標(D1_X1,D1_Y1)は、撮像領域IRの原点IRo(0,0)を基準とする座標である。また、欠陥画素D11の座標(D1_X1,D1_Y1)の情報は、撮像部を有する映像送信装置の例えば出荷検査時に取得される座標情報である。
上述のとおり、注目領域が設定される場合、当該注目領域の位置情報(例えば左上端座標、X軸方向の長さ及びY軸方向の長さ)が導出される。このため、図14に示すように、注目領域ROI1の位置情報として、例えば左上端部Prの座標(R1_X,R1Y)と、X軸方向の長さR1_W及びY軸方向の長さR1_Hが導出される。注目領域ROI1の左上端部Prの座標(R1_X,R1Y)は、撮像領域IR内での注目領域ROI1の位置を表している。このため、左上端部Prの座標(R1_X,R1Y)は、撮像領域IRの原点IRo(0,0)を基準とする座標である。
したがって、注目領域ROI1の左上端部Prの座標(R1_X,R1Y)と、欠陥画素D11の座標(D1_X1,D1_Y1)は、撮像領域IRという同じ座標空間における座標である。このため、注目領域ROI1における欠陥画素D11の座標(D1X_R1,D1_YR1)は、以下の式(1)及び式(2)によって表すことができる。
D1_XR1=D1_X-R1_X ・・・(1)
D1_YR1=D1_Y-R1_Y ・・・(2)
D1_XR1=D1_X-R1_X ・・・(1)
D1_YR1=D1_Y-R1_Y ・・・(2)
式(1)及び式(2)により、欠陥画素D11の位置を注目領域ROI1の座標空間の座標で表すことができる。したがって、映像受信装置は、例えば出荷検査時などで取得される座標情報を記憶しておくことにより、注目領域が設定されて注目領域の位置情報(例えば左上端座標、X軸方向の長さ及びY軸方向の長さ)が映像送信装置から入力されるごとに、当該注目領域における欠陥画素の座標を算出できる。
本実施形態による送信装置は、上述の映像送信装置100と同様に、通常動作として、注目領域の位置情報(例えば左上端座標、X軸方向の長さ及びY軸方向の長さ)を含むROI情報をエンベデッドデータで映像受信装置に送出するように構成されている。また、詳細は後述するが、本実施形態による送信装置は、初期化処理として、撮像領域(すなわち全画角)の座標空間における欠陥画素の座標の情報を含む欠陥補正情報をエンベデッドデータで受信装置に送出するように構成されている。
本実施形態による受信装置は、上述の映像受信装置200と同様に、エンベデッドデータに含まれている情報を抽出できる。このため、本実施形態による受信装置は、初期化処理として受信したエンベデッドデータから抽出する欠陥画素の座標と、通常動作として受信する注目領域の左上端座標とを用いて、式(1)及び式(2)より、当該注目領域における欠陥画素の座標を演算することができる。また、受信装置は、演算により取得した欠陥画素の座標を欠陥画像の座標として用いるように構成されている。
また、式(1)によって求められるX座標の値はそのままで、式(2)によって求められるY座標の値から2を減算することによって、欠陥画素D11より2行前の画素の座標が求められる。また、式(1)によって求められるX座標の値はそのままで、式(2)によって求められるY座標の値に2を加算することによって、欠陥画素D11より2行後の画素の座標が求められる。また、式(2)によって求められるY座標の値をそのままで、式(1)によって求められるX座標の値から2を減算することによって、欠陥画素D11より2列前の画素の座標が求められる。また、式(2)によって求められるY座標の値はそのままで、式(1)によって求められるX座標の値に2を加算することによって、欠陥画素D11より2列後の画素の座標が求められる。
このように求められる画素に対応する画像は、欠陥画素D11に対応する欠陥画像の周辺画像(図13に示す周辺画像Iad参照)に対応する。したがって、本実施形態による受信装置は、エンベデッドデータに含まれている欠陥画素の座標や注目領域の左上端座標を用いて、周辺画像の座標も算出できる。これにより、本実施形態による受信装置は、注目領域の位置や大きさによらず、注目領域の中に存在する欠陥画像の補正処理を実行することができる。本実施形態では、ベイヤー配列のRaw画像であるため、欠陥画素の座標に対して±2の座標の画素の画像が周辺画像として用いられる。しかしながら、周辺画像は、色画素の配列などによって適宜選択されてよい。
4.本開示の第1実施形態:
次に、本開示の第1実施形態による送信装置、受信装置及び伝送システムについて図15から図22を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図15を用いて説明する。図15は、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の概略構成を示すブロック図である。
次に、本開示の第1実施形態による送信装置、受信装置及び伝送システムについて図15から図22を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図15を用いて説明する。図15は、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の概略構成を示すブロック図である。
図15に示すように、本実施形態による映像伝送システム10は、イメージセンサとしての機能を発揮する映像送信装置(送信装置の一例)3と、画像処理(Image Signal Processor:ISP)の機能を発揮する映像受信装置(受信装置の一例)4とを備えている。映像伝送システム10では、映像送信装置3は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格の信号を送信部322から送出するように構成されている。また、映像伝送システム(伝送システムの一例)10では、映像受信装置4は、MIPID-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格の信号を受信部412で受信するように構成されている。また、映像伝送システム10は、上記前提技術1及び2に係る映像伝送システム1と同様に、映像送信装置3及び映像受信装置4との間でMIPI CSI-3規格又はMIPI DSI規格で信号を送受信するように構成されていてもよい。
映像伝送システム10に備えられた映像送信装置3は、上記前提技術1及び2に係る映像送信装置100と同等の機能を発揮するように構成されている。つまり、映像送信装置3は、ROIの切り出しを指示する制御信号が映像受信装置4から入力された場合に、撮像部31から入力された撮像画像に対して、映像送信装置100と同様の処理を実行可能に構成されている。また、映像送信装置3は、通常画像の出力を指示する制御信号が映像受信装置4から入力された場合に、撮像部31から入力された撮像画像に対して、映像送信装置100と同様の処理を実行可能に構成されている。
さらに、映像送信装置3は、初期化処理として、映像受信装置4から欠陥画素の座標の取得を依頼する制御信号が入力された場合に、撮像部31(詳細は後述)に設けられた撮像領域を構成する全ての画素(全画角)のうちの欠陥画素の座標の全ての情報(欠陥補正情報の一例)を映像受信装置4に送信するように構成されている。
映像受信装置4は、上記前提技術1及び2に係る映像受信装置200と同等の機能を発揮するように構成されている。つまり、映像受信装置4は、映像送信装置3から伝送された伝送データに対して、上記前提技術1及び2に係る映像受信装置200と同様の処理を実行可能に構成されている。さらに、映像受信装置4は、映像送信装置3から伝送された欠陥補正情報を用いて欠陥画素に基づく欠陥画像の補正処理を実行できるように構成されている。
そこで、図15では、映像送信装置3及び映像受信装置4は、欠陥画素の補正処理に関連する構成を中心に図示されている。
図15に示すように、映像送信装置3は、対象物を撮像する撮像部31を備えている。撮像部31は、例えば入射する光を電気信号に変換する光電変換部311を有している。光電変換部311は例えば、CCDイメージセンサやCMOSイメージセンサで構成されている。光電変換部311は、光電変換素子をそれぞれ有し所定の規則で配列された複数の画素を有している。光電変換部311における当該複数の画素が配列された箇所が撮像領域となる。また、撮像部31は、光電変換部311から入力されるアナログの電気信号をデジタルの画像データに変換する信号変換部312を有している。信号変換部312は、光電変換部311から入力されるアナログの電気信号の信号増幅(AGC)処理と、増幅した電気信号をデジタル信号に変換するアナログデジタル変換(ADC)処理とを実行するように構成されている。撮像部31は、信号変換部312から入力される画像データに対してデジタルゲインを施す増幅部313を有している。増幅部313は、デジタルゲインを施した画像データを送信部322に出力するように構成されている。
映像送信装置3は、不揮発性記憶装置33を有している。不揮発性記憶装置33は、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)で構成されている。不揮発性記憶装置33には、種々情報が格納されており、例えば光電変換部311に設けられた複数の画素のうちの全ての欠陥画素の座標が格納されている。当該欠陥画素の座標は、例えば映像送信装置3の出荷検査時に検出されて格納される。
映像送信装置3は、撮像部31を制御したり所定の信号処理を制御したりする制御部32を備えている。制御部32は、センサCPU321と、送信部322とを有している。センサCPU321は、画像処理部120,130(図2参照)と同様の機能を発揮するように構成されている。送信部322は、送信部140(図2参照)と同様の機能を発揮するように構成されている。また、制御部32において、センサCPU321を画像処理部120,130に置き換え、送信部322を送信部140に置き換えてもよい。
センサCPU321は、光電変換部311の露光条件を制御する露光制御部321aを有している。また、センサCPU321は、注目領域ROIに含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の取得を制御する変換領域制御部(制御部の一例)321bを有している。変換領域制御部321bを有するセンサCPU321及び制御部32はそれぞれ、注目領域ROIに含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の取得を制御する制御部の一例に相当する。
変換領域制御部321bは、光電変換部311に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標である欠陥座標を欠陥補正情報として取得して保持するように構成されている。変換領域制御部321bは、例えば映像送信装置3の初期化処理時又は製造時(例えば出荷検査時)の際に当該欠陥座標の情報を不揮発性記憶装置33から取得して保持するように構成されている。
センサCPU321は、例えば初期化処理において、変換領域制御部321bで取得された欠陥画素の撮像領域(すなわち全画角)における欠陥座標の情報をCPU間通信によって映像受信装置4に設けられたIspCPU411(詳細は後述)に送信する。
センサCPU321は、通常動作の処理においてROIの切り出しを指示する制御信号がカメラ制御インタフェースCCIを介して映像受信装置200から入力された場合に、撮像画像に含まれる撮影対象の物体を特定する。さらに、センサCPU321は、特定した物体に注目領域ROIを設定するとともに当該注目領域ROIに領域番号を付与し、当該注目領域ROIの画像を切り出して当該画像を当該領域番号に対応付けて記憶部(不図示)に格納する。また、センサCPU321(より具体的には変換領域制御部321b)は、注目領域ROIの位置情報(例えば左上端座標(基準座標の一例)、X軸方向の長さ及びY軸方向の長さ)を導出し、当該注目領域ROIの領域番号に関連付けて記憶部に格納する。すなわち、変換領域制御部321bは、映像送信装置3の通常動作の際に、注目領域ROIの左上端座標(基本座標の一例)及び当該注目領域ROIのX軸方向の長さ及びY軸方向の長さ(注目領域の大きさの一例)の情報(すなわち注目領域ROIの位置情報)を欠陥補正情報として取得して保持するように構成されている。この場合、変換領域制御部321bは、左上端座標を基本座標として取得して保持する。
センサCPU321は、取得した注目領域ROIの位置情報や撮像部31から入力される画像データなどを送信部322に出力する。送信部322は、センサCPU321から入力されるこれらの情報を含む伝送データ(図6及び図12参照)を生成して映像受信装置4に送出する。
図15に示すように、映像送信装置3は、注目領域ROIに含まれる画像の画像データをロングパケットのペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部322を備えている。映像送信装置3は、映像伝送システム10の通常動作時に、ROI情報の1つとして注目領域ROIの基本座標及び大きさの情報(すなわち注目領域ROIの位置情報)を欠陥補正情報として送信部322から送出する。この場合、映像送信装置3は、注目領域ROIの左上端座標を基準座標として送信部322から送出する。また、映像送信装置3、例えば映像伝送システム10の初期化処理時又は製造時(例えば出荷検査時)に、光電変換部311に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を欠陥補正情報として送信部322から送信するように構成されている。映像送信装置3は、ROI情報に含められた欠陥補正情報を送信部322から送出する。送信部322は、MIPI D-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格でデモザイク情報などを含む伝送データを送出するように構成されている。
図15に示すように、映像受信装置4は、映像送信装置3から伝送された伝送データを用いて所定の信号処理を制御する制御部41を備えている。制御部41は、IspCPU411と、受信部412と、エンベデッドデータ取得部413とを有している。IspCPU411は、情報抽出部221及びROI画像生成部223(図8参照)を除いて、情報処理部220(図8参照)と同様の機能を発揮するように構成されている。映像受信装置4は、画像作成部422がROI画像生成部223と同様の機能を発揮するように構成されている。受信部412は、EBD解釈部214(図8参照)を除いて、受信部210(図8参照)と同様の機能を発揮するように構成されている。映像受信装置4は、エンベデッドデータ取得部413がEBD解釈部214及び情報抽出部221と同様の機能を発揮するように構成されている。また、制御部41において、受信部412及びエンベデッドデータ取得部413を受信部210に置き換え、IspCPU411及び画像作成部422を情報処理部220に置き換えてもよい。この場合、エンベデッドデータ取得部413が発揮する情報抽出部221の機能は、受信部220で発揮されるようになる。
図15に示すように、映像受信装置4は、注目領域ROIに含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部412を備えている。受信部412は、映像送信装置3から入力される伝送データを受信するように構成されている。映像送信装置3から入力される伝送データには、欠陥補正情報を有するROI情報が含まれている。ROI情報は、エンベデッドデータに含まれている。したがって、映像送信装置3から入力される伝送データには、欠陥補正情報を有するエンベデッドデータが含まれている。映像受信装置4が映像伝送システム10の通常動作時に受信部412で受信するROI情報には欠陥補正情報として注目領域ROIの基準座標及び大きさの情報が含まれている。したがって、映像受信装置4は、注目領域ROIの基準座標及び大きさを欠陥補正情報として受信部412で受信する。映像受信装置4は、注目領域ROIの左上端座標を基準座標として受信部412で受信する。また、映像受信装置4は、例えば伝送システム10の初期化処理時又は製造時(例えば出荷検査時)に、光電変換部311に設けられた撮像領域を構成する複数の画素における欠陥が生じた画素を欠陥補正情報として受信部412で受信する。受信部412は、MIPI D-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格で当該伝送データを受信する。したがって、映像受信装置4は、MIPID-PHY規格、MIPI C-PHY規格又はMIPI CSI-2規格の信号を受信部412で受信するように構成されている。受信部412は、入力される伝送データから種々のデータを生成し、IspCPU411及びエンベデッドデータ取得部413に出力するように構成されている。
図15に示すように、映像受信装置4は、注目領域ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を受信部412で受信した伝送データ(伝送信号の一例)から抽出するエンベデッドデータ取得部(制御部の一例)413を備えている。エンベデッドデータ取得部413を有する制御部41は、注目領域ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を受信部412で受信した伝送信号(伝送データ)からの抽出を制御する制御部の一例に相当する。エンベデッドデータ取得部413は、受信部412から入力される伝送データに含まれたROI情報から欠陥補正情報を抽出するように構成されている。ROI情報はエンベデッドデータに含まれるので、エンベデッドデータ取得部413は、受信部412から入力される伝送信号(伝送データ)に含まれたエンベデッドデータから欠陥補正情報を抽出する。したがって、映像受信装置4は、欠陥補正情報を有するエンベデッドデータを含む伝送データを受信部412で受信し、受信部412で受信された伝送データに含まれたエンベデッドデータに含まれたROI情報から欠陥補正情報をエンベデッドデータ取得部413で抽出するように構成されている。
エンベデッドデータ取得部413は、映像受信装置4の通常動作の際にエンベデッドデータに含まれたROI情報から、注目領域ROIの基準座標及び大きさを欠陥補正情報として取得するように構成されている。エンベデッドデータ取得部413は、注目領域ROIの左上端座標を当該注目領域ROIの基準座標として取得する。また、エンベデッドデータ取得部413は、注目領域ROIの大きさとして、当該注目領域ROIのX軸方向の長さ及びY軸方向の長さを取得する。このように、エンベデッドデータ取得部413は、映像受信装置4の通常動作の際にエンベデッドデータから注目領域ROIの位置情報を欠陥補正情報としてエンベデッドデータ取得部413は、エンベデッドデータから取得した欠陥補正情報をIspCPU411に出力する。
エンベデッドデータ取得部413は、デモザイク情報の他にエンベデッドデータに含まれている各種情報(例えば注目領域ROIの数、注目領域ROIの領域番号及び優先度、注目領域ROIのデータ長並びに注目領域ROIの画像フォーマットなど)を取得する。エンベデッドデータ取得部413は、取得した各種情報もIspCPU411に出力する。
図15に示すように、IspCPU411は、座標変換部(制御部の一例)411aを有している。座標変換部411aは、撮像領域における欠陥座標を注目領域ROIにおける欠陥座標に座標変換するように構成されている。座標変換部411aは、映像伝送システム10の通常動作の際に、エンベデッドデータ取得部413から注目領域ROIの位置情報が入力されると、当該位置情報を用いて、映像伝送システム10の初期化処理時に取得していた撮像領域における欠陥座標を当該注目領域ROIにおける欠陥座標である補正座標に座標変換する。すなわち、座標変換部411aは、欠陥が生じた画素の座標を撮像領域における座標(撮像領域のXY直交座標系における座標)として例えば所定の記憶領域から抽出し、抽出した欠陥座標を注目領域ROIの座標系における欠陥座標に座標変換する。ここで、撮像領域の座標系は、例えば図14に示すような撮像領域の左上端部の画素を原点とし、当該撮像領域のX軸方向(横方向)及びY軸方向(縦方向)で形成されるXY直交座標系を意味する。また、注目領域の座標系は、当該注目領域の基準画素(本実施形態では左上端部の画素)を原点とし、当該注目領域のX軸方向(横方向)及びY軸方向(縦方向)で形成されるXY直交座標系を意味する。
座標変換部411aは、エンベデッドデータ取得部413から入力される注目領域ROIが光電変換部311に設けられた撮像領域内を占める範囲を特定する。例えば座標変換部411aは、当該撮像領域の座標系において当該注目領域ROIがどの位置に配置されるのかを当該注目領域ROIの位置情報(左上端座標、X軸方向の長さ及びY軸方向の長さ)によって特定する。次に、座標変換部411aは、当該撮像領域における当該注目領域ROI内に存在する欠陥座標を当該注目領域ROIの座標系の座標に変換して補正対象座標を取得する。座標変換部411aは、上述の式(1)及び式(2)を用いて欠陥座標の座標変換を実行して補正対象座標を取得する。座標変換部411aは、複数の注目領域ROIについて位置情報が入力された場合は、注目領域ROIごとに欠陥座標の座標変換を実行する。このように、座標変換部411aは、注目領域ROIの基準座標(例えば左上端座標及び大きさ(例えばX軸方向の長さ及びY軸方向の長さ)並びに欠陥が生じた画素の座標(本実施形態では撮像領域のXY直交座標系における座標)に基づいて、欠陥が生じた画素の座標に対応する注目領域ROIにおける位置(本実施形態では注目領域ROIのXY直交座標系の座標)を判断する。
映像受信装置4は、映像伝送システム10の初期化処理の際に取得した欠陥補正情報(すなわち欠陥座標)を制御部41又はIspCPU411の所定の記憶領域に格納していてもよいし、記憶部を別途有しており当該記憶部に格納していてもよい。
IspCPU411は、座標変換部411aで変換された欠陥座標の情報を注目領域ROIの領域番号(図15では「ROI ID」と表記されている)に対応付けて画像加工部42に出力する。
図15に示すように、映像受信装置4は、画像加工部42を備えている。画像加工部42は、エンベデッドデータ取得部413で抽出された欠陥補正情報に基づいて注目領域ROIの画像の欠陥の補正を処理する静的欠陥補正部(処理部部の一例)421を有している。静的欠陥補正部421を有する画像加工部42は、エンベデッドデータ取得部413で抽出された欠陥補正情報に基づいて注目領域ROIの画像の欠陥の補正を処理する処理部の一例に相当する。また、画像加工部42は、画像の欠陥が補正された画像を含む注目領域ROIの画像データに対してRaw処理及びRGB処理を施す画像作成部422を有している。さらに、画像加工部42は、画像作成部422で画像処理された画像データの画質を調整する画質調整部422を有している。
より具体的には、静的欠陥補正部421は、座標変換部411aで取得された補正対象座標を用いて注目領域ROIの画像の欠陥を補正するようになっている。補正対象座標は、欠陥補正情報としてエンベデッドデータに含まれて映像送信装置3から映像受信装置4に送信された欠陥座標と注目領域ROIの位置情報とで取得されている。このため、静的欠陥補正部421は、欠陥補正情報を直接用いてはいないものの、欠陥補正情報から取得される補正対象座標を用いて注目領域ROIの画像の欠陥を補正する。したがって、静的欠陥補正部421は、エンベデッドデータ取得部413で抽出された欠陥補正情報に基づいて注目領域ROIの画像の欠陥を補正する。
静的欠陥補正部421は、補正対象座標に基づいて、欠陥画像の補正に用いる周辺画像の座標を求める。静的欠陥補正部421は、光電変換部311に設けられた撮像領域の数行部(例えば5行分)のラインメモリを有している。静的欠陥補正部421は、IspCPU411から入力される注目領域ROIの画像データをラインメモリに記憶する。また、静的欠陥補正部421は、欠陥画像及び当該欠陥画像の補正に用いる周辺画像が入力された場合は、当該ラインメモリの所定アドレスの格納部に格納する。静的欠陥補正部421は、欠陥画像及び4つの周辺画像を当該格納部に格納した場合に欠陥画素の補正処理を実行する。このようにして、静的欠陥補正部421は、全ての欠陥画素を補正するように構成されている。
静的欠陥補正部421は例えば、補正対象の欠陥画像が存在する注目領域ROIの1行分の画像データをラインメモリに格納するととともに、画像作成部422に出力するように構成されている。静的欠陥補正部421は、画像データを画像作成部422に出力する際に、欠陥画像に代えて補正画像の画像データを画像作成部422に出力するようになっている。
画像作成部422は、静的欠陥補正部421から画像データが入力されると、当該画像データを含む注目領域ROIに関する情報(ROI情報)をIspCPU411から取得して、当該注目領域ROIの画像を生成する。画像作成部422は、注目領域ROIの画像を生成する際にまず、Raw処理を実行してRaw画像で構成される注目領域ROIを生成する。次に、画像作成部422は、RBG処理を実行して、RGB信号の画像データで構成される注目領域ROIの画像を生成する。画像作成部422は、注目領域ROIを構成するRGB信号の画像データを画質調整部423に出力する。
画質調整部423は、画像作成部422から入力されるRGB信号の画像データを輝度信号及び2つの色差信号に変換する逆RGB処理を実行するように構成されている。また、画質調整部423は、逆RGB変換した画像データに対してガンマ補正処理を実行するように構成されている。さらに、画質調整部423は、輝度及び2つの色差信号の画像データに対して色差補正及びノイズリダクション等のYC処理を実行するように構成されている。画質調整部422は、画質調整した画像を例えば表示装置(不図示)に出力するように構成されている。これにより、当該表示装置に欠陥画像が補正され且つ画質が調整された所望の画像が表示される。
(欠陥画素の補正処理方法)
次に、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理方法について図15を参照しつつ図16から図19を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理の流れについて図16から図18を用いて説明する。図16から図18は、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理の流れの一例を示すフローチャートである。まず、送信装置、受信装置及び伝送システムの初期化処理における欠陥画素の座標の取得処理の流れの一例について図16を用いて説明する。
次に、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理方法について図15を参照しつつ図16から図19を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理の流れについて図16から図18を用いて説明する。図16から図18は、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画素の補正処理の流れの一例を示すフローチャートである。まず、送信装置、受信装置及び伝送システムの初期化処理における欠陥画素の座標の取得処理の流れの一例について図16を用いて説明する。
本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の初期化処理は、映像送信装置3、映像受信装置4及び映像伝送システム10が起動する際、すなわち映像伝送システム10が起動する際に実行される。
(ステップS11)
映像伝送システム10が起動すると、まず、映像受信装置4に備えられたIspCPU411は、映像送信装置3に対して欠陥画素の座標の取得依頼の制御信号を送出する。より具体的にステップS11において、IspCPU411は、撮像部31の光電変換部311に設けられた撮像領域(すなわち全画角)の全ての欠陥画素の座標の情報の取得を映像送信装置3に依頼する。映像伝送システム10は、当該欠陥画素の座標の情報の取得依頼を映像受信装置4に実行させると、ステップS13の処理に移行する。
映像伝送システム10が起動すると、まず、映像受信装置4に備えられたIspCPU411は、映像送信装置3に対して欠陥画素の座標の取得依頼の制御信号を送出する。より具体的にステップS11において、IspCPU411は、撮像部31の光電変換部311に設けられた撮像領域(すなわち全画角)の全ての欠陥画素の座標の情報の取得を映像送信装置3に依頼する。映像伝送システム10は、当該欠陥画素の座標の情報の取得依頼を映像受信装置4に実行させると、ステップS13の処理に移行する。
(ステップS13)
映像送信装置3は、映像受信装置4が出力する欠陥画素の座標の取得依頼の制御信号を受信すると、不揮発性記憶装置33から欠陥画素の座標を読み出す。すなわち、映像送信装置3は、光電変換部311に設けられた撮像領域(すなわち全画角)における欠陥座標(すなわち、当該撮像領域の座標系における欠陥座標)を不揮発性記憶装置33から読み出す。映像伝送システム10は、読み出した欠陥座標の情報をセンサCPU321及びIspCPU411におけるCPU間通信によって映像送信装置3から映像受信装置4に送出すると、ステップS15の処理に移行する。
映像送信装置3は、映像受信装置4が出力する欠陥画素の座標の取得依頼の制御信号を受信すると、不揮発性記憶装置33から欠陥画素の座標を読み出す。すなわち、映像送信装置3は、光電変換部311に設けられた撮像領域(すなわち全画角)における欠陥座標(すなわち、当該撮像領域の座標系における欠陥座標)を不揮発性記憶装置33から読み出す。映像伝送システム10は、読み出した欠陥座標の情報をセンサCPU321及びIspCPU411におけるCPU間通信によって映像送信装置3から映像受信装置4に送出すると、ステップS15の処理に移行する。
(ステップS15)
映像受信装置4は、映像送信装置3が出力する欠陥座標の情報を受信すると、例えば制御部41又はIspCPU411に設けられた所定の記憶領域に格納する。映像伝送システム10は、映像受信装置4が欠陥画素の座標の情報を取得して保存した場合に初期化処理を終了する。
映像受信装置4は、映像送信装置3が出力する欠陥座標の情報を受信すると、例えば制御部41又はIspCPU411に設けられた所定の記憶領域に格納する。映像伝送システム10は、映像受信装置4が欠陥画素の座標の情報を取得して保存した場合に初期化処理を終了する。
次に、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の通常動作時における欠陥画素の座標変換の演算の処理について図17を用いて説明する。図17は、送信装置、受信装置及び伝送システムの通常動作時における欠陥画素の座標変換の演算処理の流れの一例を示すフローチャートである。
(ステップS31)
図17に示すように、映像送信装置3に備えられたセンサCPU321は、フレーム開始トリガが入力されると、まず、撮像部31の撮像領域から画像を切り出す切り出し位置を決定し、ステップS33の処理に移行する。ステップS31において、センサCPU321は、切り出し位置、すなわち注目領域ROIの左上端部の座標及び画像サイズ(X軸方向及びY軸方向の長さ)を決定し、決定した座標及び画像サイズの情報を欠陥補正情報としてエンベデッドデータに設定する。
図17に示すように、映像送信装置3に備えられたセンサCPU321は、フレーム開始トリガが入力されると、まず、撮像部31の撮像領域から画像を切り出す切り出し位置を決定し、ステップS33の処理に移行する。ステップS31において、センサCPU321は、切り出し位置、すなわち注目領域ROIの左上端部の座標及び画像サイズ(X軸方向及びY軸方向の長さ)を決定し、決定した座標及び画像サイズの情報を欠陥補正情報としてエンベデッドデータに設定する。
(ステップS33)
センサCPU321は、注目領域ROIの左上端部の座標及び画像サイズ、当該注目領域ROIの領域番号並びに当該注目領域ROIに含まれる画像データなどが設定されたエンベデッドデータを含む伝送データを送信部322に設定し、欠陥画素の座標変換の演算処理を終了する。
センサCPU321は、注目領域ROIの左上端部の座標及び画像サイズ、当該注目領域ROIの領域番号並びに当該注目領域ROIに含まれる画像データなどが設定されたエンベデッドデータを含む伝送データを送信部322に設定し、欠陥画素の座標変換の演算処理を終了する。
ステップS33において設定された伝送データは、MIPIを用いたハードウェア(HW)による通信によって、映像送信装置3から映像受信装置4に送信される。
映像受信装置4に備えられた受信部412は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部413に出力する。エンベデッドデータ取得部413は、受信部412から入力されたエンベデッドデータをデコードし、各種情報(例えば注目領域ROIの数、注目領域ROIの領域番号及び優先度、注目領域ROIのデータ長並びに注目領域ROIの画像フォーマットなど)を取得し、取得した当該各種情報をIspCPU411に出力する。
(ステップS41)
IspCPU411は、エンベデッドデータ取得部413でエンベデッドデータがデコードされたタイミングをトリガとして、受信部412で受信した伝送データからエンベデッドデータ取得部413が取得して入力される各種情報に基づいて、切り出し位置とサイズを取得する。すなわち、IspCPU411は、エンベデッドデータ取得部413が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ROIの位置情報(基準画素の座標、X軸方向の長さ及びY軸方向の長さ)を取得して、ステップS43の処理に移行する。本実施形態では、基準画素の座標として、注目領域ROIの左上端座標が取得される。
IspCPU411は、エンベデッドデータ取得部413でエンベデッドデータがデコードされたタイミングをトリガとして、受信部412で受信した伝送データからエンベデッドデータ取得部413が取得して入力される各種情報に基づいて、切り出し位置とサイズを取得する。すなわち、IspCPU411は、エンベデッドデータ取得部413が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ROIの位置情報(基準画素の座標、X軸方向の長さ及びY軸方向の長さ)を取得して、ステップS43の処理に移行する。本実施形態では、基準画素の座標として、注目領域ROIの左上端座標が取得される。
(ステップS43)
IspCPU411は、切り出し領域内、すなわちステップS41において取得した注目領域ROIの範囲内に存在する欠陥画素を抽出し、ステップS45の処理に移行する。より具体的には、IspCPU411は、所定の記憶領域に記憶されている欠陥座標を読み出し、読み出した欠陥座標の中から当該注目領域ROIの範囲内の座標に一致する座標を抽出する。
IspCPU411は、切り出し領域内、すなわちステップS41において取得した注目領域ROIの範囲内に存在する欠陥画素を抽出し、ステップS45の処理に移行する。より具体的には、IspCPU411は、所定の記憶領域に記憶されている欠陥座標を読み出し、読み出した欠陥座標の中から当該注目領域ROIの範囲内の座標に一致する座標を抽出する。
(ステップS45)
IspCPU411は、ステップS43において注目領域ROIの範囲内に欠陥画素が存在するか否かを判定する。IspCPU411は、注目領域ROIの範囲内に欠陥画素が存在すると判定した場合(Yes)には、ステップS47の処理に移行する。一方、IspCPU411は、注目領域ROIの範囲内に欠陥画素が存在しないと判定した場合(No)には、ステップS49の処理に移行する。
IspCPU411は、ステップS43において注目領域ROIの範囲内に欠陥画素が存在するか否かを判定する。IspCPU411は、注目領域ROIの範囲内に欠陥画素が存在すると判定した場合(Yes)には、ステップS47の処理に移行する。一方、IspCPU411は、注目領域ROIの範囲内に欠陥画素が存在しないと判定した場合(No)には、ステップS49の処理に移行する。
(ステップS47)
IspCPU411(具体的には座標変換部411a)は、ステップS43で抽出された欠陥座標の座標演算を実行し、ステップS49の処理に移行する。ステップS47において座標変換部411aは、ステップS43において抽出された欠陥座標(すなわち光電変換部311に設けられた撮像領域の座標系における欠陥座標)をステップS41において取得された注目領域ROIの座標系における座標(補正座標)に座標変換する。
IspCPU411(具体的には座標変換部411a)は、ステップS43で抽出された欠陥座標の座標演算を実行し、ステップS49の処理に移行する。ステップS47において座標変換部411aは、ステップS43において抽出された欠陥座標(すなわち光電変換部311に設けられた撮像領域の座標系における欠陥座標)をステップS41において取得された注目領域ROIの座標系における座標(補正座標)に座標変換する。
(ステップS49)
IspCPU411は、エンベデッドデータ取得部413から入力された全ての注目領域ROIに対してステップS41からステップS47の処理を実行したか否かを判定する。IspCPU411は、全ての注目領域ROIに当該処理を実行したと判定した場合(Yes)には、映像送信装置3、映像受信装置4及び映像伝送システム10の通常動作時における欠陥画素の座標変換の演算処理を終了する。一方、IspCPU411は、全ての注目領域ROIに当該処理を実行していないと判定した場合(No)には、ステップS41の処理に戻る。IspCPU411は、全ての注目領域ROIに対する当該通常動作時における欠陥画素の座標変換の演算処理が完了するまで、ステップS41からステップS49の処理を繰り返す。
IspCPU411は、エンベデッドデータ取得部413から入力された全ての注目領域ROIに対してステップS41からステップS47の処理を実行したか否かを判定する。IspCPU411は、全ての注目領域ROIに当該処理を実行したと判定した場合(Yes)には、映像送信装置3、映像受信装置4及び映像伝送システム10の通常動作時における欠陥画素の座標変換の演算処理を終了する。一方、IspCPU411は、全ての注目領域ROIに当該処理を実行していないと判定した場合(No)には、ステップS41の処理に戻る。IspCPU411は、全ての注目領域ROIに対する当該通常動作時における欠陥画素の座標変換の演算処理が完了するまで、ステップS41からステップS49の処理を繰り返す。
次に、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10の通常動作時における欠陥画像の補正処理について図18を用いて説明する。図18は、送信装置、受信装置及び伝送システムの通常動作時における欠陥画像の補正処理の流れの一例を示すフローチャートである。図18に示すフローチャートは、1つの注目領域における欠陥画像の補正処理の流れの一例である。映像送信装置3、映像受信装置4及び映像伝送システム10では、欠陥画素が複数の注目領域に存在する場合には、複数の注目領域ごとに図18に示す欠陥画像の補正処理が実行される。
(ステップS51)
図18に示すように、欠陥画像の補正処理では、まず、静的欠陥補正部421は、IspCPU411から入力される注目領域ROIの領域番号(図18では「ROI ID」と表記されている)を取得し、ステップS53の処理に移行する。
図18に示すように、欠陥画像の補正処理では、まず、静的欠陥補正部421は、IspCPU411から入力される注目領域ROIの領域番号(図18では「ROI ID」と表記されている)を取得し、ステップS53の処理に移行する。
(ステップS53)
静的欠陥補正部421は、注目領域ROIの領域番号に対応付けてIspCPU411から入力される欠陥座標の情報(すなわち補正座標の情報)取得し、ステップS55の処理に移行する。
静的欠陥補正部421は、注目領域ROIの領域番号に対応付けてIspCPU411から入力される欠陥座標の情報(すなわち補正座標の情報)取得し、ステップS55の処理に移行する。
(ステップS55)
静的欠陥補正部421は、現在の画像の座標がステップS53において取得した欠陥画素(すなわち補正座標)の座標に一致しているか否かを判定する。ここで、現在の画像の座標は、静的欠陥補正部421がIspCPU411から取得した画像の座標である。また、静的欠陥補正部421は、ステップS53において複数の補正座標を取得している場合には、当該複数の補正座標のそれぞれと現在の画像の座標とが一致するか否かを判定する。静的欠陥補正部421は、現在の画像の座標が補正座標と一致すると判定した場合(Yes)には、ステップS57の処理に移行する。一方、静的欠陥補正部421は、現在の画像の座標が補正座標と一致しないと判定した場合(No)には、ステップS59の処理に移行する。
静的欠陥補正部421は、現在の画像の座標がステップS53において取得した欠陥画素(すなわち補正座標)の座標に一致しているか否かを判定する。ここで、現在の画像の座標は、静的欠陥補正部421がIspCPU411から取得した画像の座標である。また、静的欠陥補正部421は、ステップS53において複数の補正座標を取得している場合には、当該複数の補正座標のそれぞれと現在の画像の座標とが一致するか否かを判定する。静的欠陥補正部421は、現在の画像の座標が補正座標と一致すると判定した場合(Yes)には、ステップS57の処理に移行する。一方、静的欠陥補正部421は、現在の画像の座標が補正座標と一致しないと判定した場合(No)には、ステップS59の処理に移行する。
(ステップS57)
静的欠陥補正部421は、欠陥画像を補正し、ステップS59の処理に移行する。ステップS57において、ステップS57において、静的欠陥補正部421は、欠陥座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する。より具体的には、静的欠陥補正部421は、ステップS55で現在の画像の座標と一致すると判定した補正座標(欠陥座標の一例)に対応する座標の画像の周辺画像の座標を算出する。静的欠陥補正部421は、当該周辺画像の座標として、補正座標より例えば2行前の画素の座標(欠陥座標の上側に隣接する座標)と、補正座標より例えば2行後の画素の座標(欠陥座標の下側に隣接する座標)とを算出する。さらに、静的欠陥補正部421は、当該周辺画像の座標として、補正座標より例えば2列前の画素の座標(欠陥座標の左側に隣接する座標)と、補正座標より例えば2列後の画素の座標(欠陥座標の右側に隣接する座標)とを算出する。静的欠陥補正部421は、算出した4つの座標の画像の画像データをIspCPU411から取得した際に、当該画像データを用いて欠陥画像の画像データを補正する。
静的欠陥補正部421は、欠陥画像を補正し、ステップS59の処理に移行する。ステップS57において、ステップS57において、静的欠陥補正部421は、欠陥座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する。より具体的には、静的欠陥補正部421は、ステップS55で現在の画像の座標と一致すると判定した補正座標(欠陥座標の一例)に対応する座標の画像の周辺画像の座標を算出する。静的欠陥補正部421は、当該周辺画像の座標として、補正座標より例えば2行前の画素の座標(欠陥座標の上側に隣接する座標)と、補正座標より例えば2行後の画素の座標(欠陥座標の下側に隣接する座標)とを算出する。さらに、静的欠陥補正部421は、当該周辺画像の座標として、補正座標より例えば2列前の画素の座標(欠陥座標の左側に隣接する座標)と、補正座標より例えば2列後の画素の座標(欠陥座標の右側に隣接する座標)とを算出する。静的欠陥補正部421は、算出した4つの座標の画像の画像データをIspCPU411から取得した際に、当該画像データを用いて欠陥画像の画像データを補正する。
(ステップS59)
静的欠陥補正部421は、ステップS51で取得した領域番号の注目領域ROI内の全ての画素と欠陥画素の座標とが一致しているか否かを判定したかを判断する。静的欠陥補正部421は、ステップS51で取得した領域番号の注目領域ROI内の全ての画素と欠陥画素の座標との一致の判定を実行したと判断した場合(Yes)には、欠陥画像の補正処理を終了する。一方、静的欠陥補正部421は、ステップS51で取得した領域番号の注目領域ROI内の全ての画素と欠陥画素の座標との一致の判定を実行していないと判断した場合(No)には、ステップS55の処理に移行する。
静的欠陥補正部421は、ステップS51で取得した領域番号の注目領域ROI内の全ての画素と欠陥画素の座標とが一致しているか否かを判定したかを判断する。静的欠陥補正部421は、ステップS51で取得した領域番号の注目領域ROI内の全ての画素と欠陥画素の座標との一致の判定を実行したと判断した場合(Yes)には、欠陥画像の補正処理を終了する。一方、静的欠陥補正部421は、ステップS51で取得した領域番号の注目領域ROI内の全ての画素と欠陥画素の座標との一致の判定を実行していないと判断した場合(No)には、ステップS55の処理に移行する。
次に、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画像の補正処理タイミングについて図19を用いて説明する。図19は、本実施形態による送信装置、受信装置及び伝送システムにおける欠陥画像の補正処理のタイミングチャートの一例を示す図である。図19中に示す「センサV Sync」は、センサCPU321に入力される垂直同期信号を示している。図19中に示す「センサ処理」は、センサCPU321が実行する処理を示している。図19中に示す「ISP Sync」は、IspCPU411に入力される垂直同期信号を示している。図19中に示す「ISP処理」は、映像受信装置4が実行する処理を示している。図19中に示す注目領域ROI-ε1~ROI-ε3は、一のフレーム期間で処理される注目領域を模式的に示している。図19では、理解を容易にするため、1回目のフレーム期間で処理される注目領域は、注目領域ROI-ε1ではあるが、注目領域の大きさを比較するために、2回目及び3回目のフレーム期間で処理される注目領域ROI-ε2,ROI-ε3も併せて図示されている。また、図19では、左から右に向かって時間の経過が表されている。
図19に示すように、映像伝送システム10は、初期化処理において、撮像部31の光電変換部311に設けられた撮像領域(すなわち全画角)の全ての欠陥画素の座標の情報の取得依頼を映像受信装置4に実行させる(図16に示すステップS11参照)。また、映像伝送システム10は、初期化処理において、光電変換部311に設けられた撮像領域における欠陥座標(すなわち、当該撮像領域の座標系における欠陥座標)を映像送信装置3に取得させる。さらに、映像伝送システム10は、初期化処理において、映像送信装置3が取得した欠陥座標の情報を含む伝送データを映像受信装置4に送信するとともに、映像受信装置4に当該欠陥座標の情報を記憶する。
図19に示すように、時刻t1において、センサCPU321は、フレーム開始トリガを検出すると、エンベデッド設定処理として上述のステップS31及びステップS33の処理を実行する。すなわち、センサCPU321は、エンベデッド設定処理として、撮像部31の撮像領域から画像を切り出す切り出し位置の設定や注目領域ROI-ε1の位置情報(左上端座標、X軸方向の長さ及びY軸方向の長さ)などの情報を取得する。
センサCPU321は、エンベデッド設定処理が終了した時刻t2において、MIPIを用いたハードウェア(HW)による通信によって、エンベデッド設定処理で設定した情報を有するエンベデッドデータを含む伝送データを映像受信装置4に送信する。
センサCPU321は、伝送データの送信を開始すると、当該フレームにおける露光・読出、すなわち撮像部31で撮像を開始する。
時刻t2から受信を開始した伝送データに含まれているエンベデッドデータのデコードをエンベデッドデータ取得部413が終了した時刻t3において、IspCPU411は、エンベデッドデータ取得部413が取得して入力される各種情報に基づいて注目領域ROI-ε1の基準画素の座標(左上端座標)及び大きさの取得などを開始して時刻t4において注目領域ROI-ε1内に存在する補正画素の座標演算を終了する。すなわち、時刻t3から時刻t4の期間において、図17に示すステップS41からステップS47の処理が1フレーム分実行される。
映像受信装置4は、時刻t4からISP処理として、欠陥画像の補正処理や画質調整を実行する。
詳細な説明は省略するが、注目領域の位置や大きさが異なる注目領域ROI-ε2,RO-ε3についても、注目領域ROI―ε1と同じタイミングによって、欠陥画像の補正処理が実行される。
図16から図19を用いて説明したように、映像伝送システム10は、注目領域ROIに関する欠陥補正情報を含むエンベデッドデータ有する伝送データを、MIPIを用いた通信によって映像送信装置3から映像受信装置4に伝送することができる。これにより、映像伝送システム10は、注目領域ROIごとにデモザイク処理を実行することができる。
5.本開示の第1実施形態の変形例:
次に、本実施形態の変形例による送信装置、受信装置及び伝送システムについて図20から図22を用いて説明する。
次に、本実施形態の変形例による送信装置、受信装置及び伝送システムについて図20から図22を用いて説明する。
(変形例1)
本実施形態の変形例1による送信装置、受信装置及び伝送システムについて図20を用いて説明する。図20は、本変形例による映像送信装置3、映像受信装置4x及び映像伝送システム10xの概略構成を示すブロック図である。なお、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
本実施形態の変形例1による送信装置、受信装置及び伝送システムについて図20を用いて説明する。図20は、本変形例による映像送信装置3、映像受信装置4x及び映像伝送システム10xの概略構成を示すブロック図である。なお、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
図20に示すように、本変形例による映像伝送システム10xは、本実施形態による映像送信装置3と同一構成の映像送信装置3と、本実施形態による映像受信装置4とは一部の構成が異なる映像受信装置4xとを備えている。本変形例による映像受信装置4xは、光電変換部311に設けられた撮像領域における欠陥座標を注目領域ROIにおける欠陥座標である補正座標に座標変換する座標変換部43を備えている点に特徴を有している。
本実施形態による映像受信装置4では、座標変換部411aは、IspCPU411の一機能ブロックとして設けられている。これに対して、図20に示すように、映像受信装置4xに備えられた座標変換部43は、ハードウェアで構成されている。
座標変換部43は、IspCPU411x及び静的欠陥補正部421に接続されている。このため、座標変換部43は、光電変換部311に設けられた撮像領域における欠陥画素の座標及び注目領域ROIの位置情報をIspCPU411から取得できる。これにより、座標変換部43は、当該撮像領域の座標系における欠陥座標を当該注目領域ROIの座標系における欠陥座標(補正座標)に変換できる。また、座標変換部43は、変換した補正座標を静的欠陥補正部421に出力できる。このように、座標変換部43は、ハードウェアで構成されている点を除いて、本実施形態における座標変換部411aと同一の機能を発揮することができる。
このように、本変形例による映像送信装置3x、映像受信装置4x及び映像伝送システム10xは、座標変換部43がハードウェア構成を有していても、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同様に、注目領域ROIに存在する欠陥画像を補正することができる。
(変形例2)
本実施形態の変形例2による送信装置、受信装置及び伝送システムについて図21を用いて説明する。図21は、本変形例による映像送信装置3y、映像受信装置4y及び映像伝送システム10yの概略構成を示すブロック図である。なお、本実施形態又は変形例1による送信装置、受信装置及び伝送システムと同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
本実施形態の変形例2による送信装置、受信装置及び伝送システムについて図21を用いて説明する。図21は、本変形例による映像送信装置3y、映像受信装置4y及び映像伝送システム10yの概略構成を示すブロック図である。なお、本実施形態又は変形例1による送信装置、受信装置及び伝送システムと同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
図21に示すように、本変形例による映像伝送システム10yは、座標変換部が映像送信装置3yに設けられている点において、本実施形態による映像伝送システム10と異なっている。
映像送信装置3yは、制御部32yのセンサCPU321yに設けられた座標変換部321cを有している。座標変換部321cは、変換領域制御部321byに接続されている。本変形例におけるセンサCPU321yは、映像送信装置3yの通常動作の際に注目領域ROIの位置情報を欠陥補正情報として、変換領域制御部321byから座標変換部321cに出力するように構成されている。
変換領域制御部321byは、光電変換部311に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標である欠陥座標を欠陥補正情報として取得して保持するように構成されている。座標変換部321cは、変換領域制御部321byから入力される注目領域ROIの位置情報と、不揮発性記憶装置33から読み出した欠陥画素の座標とを用いて、光電変換部311に設けられた撮像領域における欠陥画素の座標(欠陥座標)を注目領域ROIにおける欠陥画素の座標(補正座標)に変換する。このような機能を奏する変換領域制御部321by及び座標変換部321cは、制御部の一例に相当する。また、変換領域制御部321by及び座標変換部321cを有するセンサCPU321及びセンサCPU321を有する制御部32yは、制御部の一例に相当する。
座標変換部321cは、注目領域ROIの基準座標(例えば左上端座標)及び大きさ(例えばX軸方向の長さ及びY軸方向の長さ)並びに欠陥が生じた画素の座標(本実施形態では撮像領域のXY直交座標系での座標)に基づいて、欠陥が生じた画素の座標に対応する注目領域ROIにおける位置(本実施形態では注目領域ROIのXY直交座標系での座標)を判断する。座標変換部321cは、本実施形態における座標変換部411aと同様の方法によって欠陥座標を補正座標に変換するため、説明は省略する。座標変換部321cは、座標変換によって得られた補正座標を送信部322に出力する。
送信部322は、座標変換部321cから入力されて注目領域ROIにおける座標での補正座標や注目領域ROIの位置情報を含むROI情報を当該注目領域ROIの領域番号に対応付けてエンベデッドデータに含め、当該エンベデッドデータを有する伝送データを映像受信装置4yに送出するように構成されている。つまり、送信部322は、座標変換部321cで判断された注目領域ROIにおける欠陥が生じた画素の位置の情報(すなわち注目領域ROIにおける座標での補正座標)と、注目領域ROIに含まれる画像の画像データとをROI情報に含めて送出する。
センサCPU321は、欠陥座標の情報(例えば補正座標)を含む欠陥補正情報を送信部322に出力する。また、センサCPU321は、注目領域ROIの基本座標及び大きさの情報(すなわち注目領域ROIの位置情報)を欠陥補正情報として送信部322に出力する。送信部322は、センサCPU321から入力される当該欠陥補正情報や注目領域ROIの当該情報を含む伝送データ(図6及び図12参照)を生成して映像受信装置4に送出する。欠陥補正情報は、ROI情報に含められて送信部322から送出される。ROI情報は、エンベデッドデータに含められるので、欠陥補正情報は、エンベデッドデータに含められて送信部322から送出される。このように、映像送信装置3は、ROI情報に含められた欠陥補正情報を送信部322から送出する。
映像受信装置4yに設けられたエンベデッドデータ取得部(制御部の一例)413yは、光電変換部311に設けられた撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を欠陥補正情報として取得するように構成されている。より具体的には、エンベデッドデータ取得部413yは、受信部412を介して入力される伝送データが有するエンベデッドデータに含まれたROI情報から補正対象の画像に対応する画素(補正画素)の座標(補正座標)を欠陥補正情報として取得して静的欠陥補正部421に出力する。ROI情報に含まれている欠陥画素の座標は、注目領域ROIのXY直交座標系での座標である。このため、エンベデッドデータ取得部413yは、欠陥が生じた画素の座標を注目領域ROIにおける座標として抽出して取得する。エンベデッドデータ取得部413yは、注目領域ROIの領域番号(図21では「ROI ID」と表記されている)ごとに当該領域番号に対応付けられた補正座標を静的欠陥補正部421に出力する。本変形例における画像加工部42は、静的欠陥補正部421を含め本実施形態における画像加工部42と同様の構成を有し、同様の機能を発揮するように構成されているため、説明は省略する。
このように、映像送信装置3y、映像受信装置4y及び映像伝送システム10yは、座標変換部321cが映像送信装置3yに設けられていても、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同様に、注目領域ROIに存在する欠陥画像を補正することができる。
(変形例3)
本実施形態の変形例3による送信装置、受信装置及び伝送システムについて図22を用いて説明する。図22は、本変形例による映像送信装置3z、映像受信装置4z及び映像伝送システム10zの概略構成を示すブロック図である。なお、本実施形態、変形例1又は変形例2による送信装置、受信装置及び伝送システムと同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
本実施形態の変形例3による送信装置、受信装置及び伝送システムについて図22を用いて説明する。図22は、本変形例による映像送信装置3z、映像受信装置4z及び映像伝送システム10zの概略構成を示すブロック図である。なお、本実施形態、変形例1又は変形例2による送信装置、受信装置及び伝送システムと同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
本変形例による映像送信装置3zは、本実施形態における静的欠陥補正部421と同様の機能を奏する静的欠陥補正部(処理部の一例)34と、本実施形態における画像作成部422の一部の機能を奏するRaw処理部35とを有している点に特徴を有している。また、本変形例による映像受信装置4zは、エンベデッドデータ取得部及び静的欠陥補正部を有しておらず、かつ本実施形態における画像作成部422の一部の機能を奏するRGB処理部424を有している点に特徴を有している。
映像送信装置3zに備えられた静的欠陥補正部34は、撮像部31に設けられた増幅部313、センサCPU321yに設けられた変換領域制御部321b及び座標変換部321c、並びにRaw処理部35に接続されている。Raw処理部35は、制御部32yに設けられた送信部322に接続されている。
静的欠陥補正部34は、変換領域制御部321bから入力される注目領域ROIの位置情報と、座標変換部321cから入力される注目領域ROIにおける欠陥画素の座標(補正座標)と、増幅部313から入力される画像データとを用いて欠陥画素に対応する欠陥画像の補正処理を実行する。静的欠陥補正部34は、座標変換部321c(制御部の一例)で判断された注目領域ROIにおける欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理するように構成されている。つまり、静的欠陥補正部34は、本実施形態における静的欠陥補正部421と同様の方法によって欠陥画像を補正するため、説明は省略する。送信部322は、静的欠陥補正部34で補正された画像の画像データをROI情報に含めて送出する。
Raw処理部35は、欠陥が補正された画像データを含む注目領域ROIを構成する画像データが静的欠陥補正部34から入力されると、Raw処理を実行してRaw画像で構成される注目領域ROIを生成する。Raw処理部35は、生成したRaw画像の画像データを送信部322に出力する。
送信部322は、センサCPU321yから入力されて注目領域ROIの領域番号に対応付けられた注目領域ROIの位置情報を含むエンベデッドデータと、Raw処理部35から入力されて当該領域番号に対応付けられたRaw画像の画像データを含むペイロードデータとを有する伝送データを生成して映像受信装置4yに送出するように構成されている。
映像受信装置4zに設けられた受信部412は、送信部322から入力される伝送データからエンベデッドデータ及びペイロードデータを抽出してIspCPU411zに出力する。IspCPU411zは、入力されるエンベデッドデータから注目領域ROIの位置情報を抽出し、入力されるペイロードデータからRaw画像の画像データを抽出する。IspCPU411zは、抽出した注目領域ROIの領域番号及び位置情報、並びに抽出したRaw画像の画像データを画像加工部42zに設けられたRGB処理部424に出力する。
RGB処理部424は、IspCPU411zから入力される情報や画像データを用いて、RBG処理を実行し、RGB信号の画像データで構成される注目領域ROIの画像を生成する。RGB処理部424は、生成した画像データを画質調整部423に出力する。画質調整部423は、本実施形態における画質調整部423と同様の構成を有し、同様の機能を発揮するように構成されているため、説明は省略する。
このように、映像送信装置3z、映像受信装置4z及び映像伝送システム10zは、静的欠陥補正部34及びRaw処理部35が映像送信装置3zに設けられていても、本実施形態による映像送信装置3、映像受信装置4及び映像伝送システム10と同様に、注目領域ROIに存在する欠陥画像を補正することができる。
以上説明したように、本実施形態及び変形例による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の領域である注目領域における欠陥画像の補正処理を実現することができる。
6.本開示の第2実施形態:
次に、本開示の第2実施形態による送信装置、受信装置及び伝送システムについて図23を用いて説明する。上記第1実施形態による送信装置、受信装置及び伝送システムでは、撮像領域から切り出す対象の物体が矩形状である。これに対し、本実施形態による送信装置、受信装置及び伝送システムは、撮像領域から切り出す対象の物体が矩形状でない場合に欠陥画像の補正処理を実行する点に特徴を有している。
次に、本開示の第2実施形態による送信装置、受信装置及び伝送システムについて図23を用いて説明する。上記第1実施形態による送信装置、受信装置及び伝送システムでは、撮像領域から切り出す対象の物体が矩形状である。これに対し、本実施形態による送信装置、受信装置及び伝送システムは、撮像領域から切り出す対象の物体が矩形状でない場合に欠陥画像の補正処理を実行する点に特徴を有している。
図23は、本実施形態において、出荷検査等で取得される欠陥画素の座標情報に基づいて注目領域における欠陥画素の位置を算出する方法を模式的に示す図である。図23では、理解を容易にするため、撮像領域IRの全体にマトリクス状に配列された画素のうち、注目領域ROIに設定された画素のみが図示されている。また、図23では、理解を容易にするため、欠陥画素D11には、格子状の網掛けが付され、撮像領域IRから切り出す対象の物体である切出対象COには、ドット状の網掛けが付されている。
図23に示すように、撮像領域IRから切り出す対象の物体である切出対象COは矩形状でない形状を有している。切出対象COを構成する画素の1つが欠陥画素D11である。本実施形態では、切出対象COが矩形状でない場合、上記前提技術2で説明したように、注目領域ROIは、切出対象COを含む最小の矩形として設定される。上記第1実施形態において説明したように、注目領域の形状と切出対象の形状が一致する場合、撮像領域における欠陥座標は、注目領域における欠陥座標にフレーム単位で座標変換される。これに対し、注目領域の形状と切出対象の形状が一致しない場合、撮像領域における欠陥座標は、注目領域における欠陥座標に1行単位で座標変換される。
図23に示すように、撮像領域IRの原点IRo(0,0)を左上端部の画素とする。この場合、撮像領域IRにおける欠陥画素D11の座標(x,y)は(D1_X1,D1_Y1)となる。欠陥画素D11の座標(D1_X1,D1_Y1)は、撮像領域IRの原点IRo(0,0)を基準とする座標である。また、欠陥画素D11の座標(D1_X1,D1_Y1)の情報は、撮像部を有する映像送信装置の例えば出荷検査時に取得される座標情報である。
上述のとおり、注目領域が設定される場合、当該注目領域の位置情報(例えば左上端座標、X軸方向の長さ及びY軸方向の長さ)が導出される。このため、図23に示すように、注目領域ROI1の位置情報として、例えば左上端部Prの座標(R1_X,R1Y)と、X軸方向の長さR1_W及びY軸方向の長さR1_Hが導出される。注目領域ROI1の左上端部Prの座標(R1_X,R1Y)は、撮像領域IR内での注目領域ROI1の位置を表している。このため、左上端部Prの座標(R1_X,R1Y)は、撮像領域IRの原点IRo(0,0)を基準とする座標である。
本実施形態では、撮像領域における欠陥画素及び注目領域のそれぞれの座標の設定に加えて、注目領域における切出対象の端部の画素(以下、「端部画素」と称する場合がある)の座標も設定される。本実施形態では、端部画素は、例えば注目領域の左端部を基準として設定される。図23に示すように、端部画素Peの座標は、座標(D_XR,0)と設定される。端部画素PeのX座標は、注目領域ROIの左端部から端部画素までの画素数に相当する。このため、切出対象COの形状に応じて、端部画素Peの座標が同じになる行もあれば異なる行もある。
注目領域ROIにおける欠陥画素D11の座標(D1X_R1,D1_YR1)は、注目領域ROI1の左上端部Prの座標(R1_X,R1Y)、欠陥画素D11の座標(D1_X1,D1_Y1)及び端部画素Peの座標(D_XR,0)を用いて、以下の式(3)及び式(4)によって表すことができる。
D1_XR1=D1_X-R1_X-D_XR ・・・(3)
D1_YR1=D1_Y-R1_Y-0 ・・・(4)
D1_XR1=D1_X-R1_X-D_XR ・・・(3)
D1_YR1=D1_Y-R1_Y-0 ・・・(4)
式(3)及び式(4)により、欠陥画素D11の位置を注目領域ROI1の座標空間の座標で表すことができる。したがって、映像受信装置は、例えば出荷検査時などで取得される座標情報を記憶しておくことにより、設定された注目領域の位置情報(例えば左上端座標、X軸方向の長さ及びY軸方向の長さ)及び当該注目領域に含まれる各行の端部の画素の位置が映像送信装置から入力されるごとに、当該注目領域における欠陥画素の座標を算出できる。
本実施形態による送信装置は、前提技術2のように、例えば対象の物体の位置情報(例えば端部画素Peの座標)を画素行ごとにペイロードデータに含めて映像受信装置に送出するように構成されていてもよい。また、切り出し対象の物体が矩形状でないため、補正対象の画像に対応する画素(補正画素)に対応する画像の上下左右に画像が存在しない場合がある。この場合、例えば境界処理によって画像データを補間することにより、欠陥画像の補正処理を実行することができる。例えば補正画素の上下の画像のうちの存在しない方の画像を存在する方の画像で補間し、補正画素の左右の画像のうちの存在しない方の画像を存在する方の画像で補間する。
本実施形態による送信装置、受信装置及び伝送システムは、上記第1実施形態又は変形例1から3による送信装置、受信装置及び伝送システムのいずれかの構成を適用することができるので、説明は省略する。
以上説明したように、本実施形態による送信装置、受信装置及び伝送システムは、切り出し対象の物体が矩形状でない場合であっても、撮像画像から切り出した一部の領域である注目領域における欠陥画像の補正処理を実現することができる。
以上、前提技術、実施形態及びその変形例を挙げて本開示を説明したが、本開示は上記実施形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
また、例えば、本開示は以下のような構成を取ることができる。
(1)
ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、
前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と
を備える送信装置。
(2)
前記欠陥補正情報は、前記ROI情報に含められて前記送信部から送出される
上記(1)に記載の送信装置。
(3)
前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として保持する
上記(1)又は(2)に記載の送信装置。
(4)
前記制御部は、前記欠陥が生じた画素の座標を初期化処理時又は製造時に保持する
上記(3)に記載の送信装置。
(5)
前記制御部は、前記ROIの基準座標及び大きさを前記欠陥補正情報として保持する
上記(3)又は(4)に記載の送信装置。
(6)
前記制御部は、前記ROIの左上端座標を前記基準座標として保持する
上記(5)に記載の送信装置。
(7)
前記制御部は、前記ROIの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ROIにおける位置を判断する
上記(5)又は(6)に記載の送信装置。
(8)
前記送信部は、前記制御部で判断された前記ROIにおける前記欠陥が生じた画素の位置の情報と、前記ROIに含まれる画像の画像データとを前記ROI情報に含めて送出する
上記(7)に記載の送信装置。
(9)
前記制御部で判断された前記ROIにおける前記欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理する処理部を備え、
前記送信部は、前記処理部で補正された画像の画像データを前記ROI情報に含めて送出する
上記(7)に記載の送信装置。
(10)
前記送信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を送出する
上記(1)から(9)までのいずれか一項に記載の送信装置。
(11)
ROI(Region Of Interest)に含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部と
を備える受信装置。
(12)
前記制御部は、前記伝送信号に含まれた前記ROI情報から前記欠陥補正情報を抽出する
上記(11)に記載の受信装置。
(13)
前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として抽出する
上記(11)に記載の受信装置。
(14)
前記制御部は、前記欠陥が生じた画素の座標を前記撮像領域又は前記ROIのいずれか一方における座標として抽出する
上記(13)に記載の受信装置。
(15)
前記制御部は、前記ROIの基準座標及び大きさを前記欠陥補正情報として抽出する
上記(11)から(14)までのいずれか一項に記載の受信装置。
(16)
前記制御部は、前記ROIの左上端座標を前記基準座標として抽出する
上記(15)に記載の受信装置。
(17)
前記制御部は、前記ROIの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ROIにおける位置を判断する
上記(15)又は(16)に記載の受信装置。
(18)
前記処理部は、前記欠陥が生じた画素の座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する
上記(13)から(17)までのいずれか一項に記載の受信装置。
(19)
前記受信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を受信する
上記(11)から(18)までのいずれか一項に記載の受信装置。
(20)
ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と有する送信装置と、
ROIに含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部を有する受信装置と
を備える伝送システム。
(1)
ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、
前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と
を備える送信装置。
(2)
前記欠陥補正情報は、前記ROI情報に含められて前記送信部から送出される
上記(1)に記載の送信装置。
(3)
前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として保持する
上記(1)又は(2)に記載の送信装置。
(4)
前記制御部は、前記欠陥が生じた画素の座標を初期化処理時又は製造時に保持する
上記(3)に記載の送信装置。
(5)
前記制御部は、前記ROIの基準座標及び大きさを前記欠陥補正情報として保持する
上記(3)又は(4)に記載の送信装置。
(6)
前記制御部は、前記ROIの左上端座標を前記基準座標として保持する
上記(5)に記載の送信装置。
(7)
前記制御部は、前記ROIの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ROIにおける位置を判断する
上記(5)又は(6)に記載の送信装置。
(8)
前記送信部は、前記制御部で判断された前記ROIにおける前記欠陥が生じた画素の位置の情報と、前記ROIに含まれる画像の画像データとを前記ROI情報に含めて送出する
上記(7)に記載の送信装置。
(9)
前記制御部で判断された前記ROIにおける前記欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理する処理部を備え、
前記送信部は、前記処理部で補正された画像の画像データを前記ROI情報に含めて送出する
上記(7)に記載の送信装置。
(10)
前記送信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を送出する
上記(1)から(9)までのいずれか一項に記載の送信装置。
(11)
ROI(Region Of Interest)に含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部と
を備える受信装置。
(12)
前記制御部は、前記伝送信号に含まれた前記ROI情報から前記欠陥補正情報を抽出する
上記(11)に記載の受信装置。
(13)
前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として抽出する
上記(11)に記載の受信装置。
(14)
前記制御部は、前記欠陥が生じた画素の座標を前記撮像領域又は前記ROIのいずれか一方における座標として抽出する
上記(13)に記載の受信装置。
(15)
前記制御部は、前記ROIの基準座標及び大きさを前記欠陥補正情報として抽出する
上記(11)から(14)までのいずれか一項に記載の受信装置。
(16)
前記制御部は、前記ROIの左上端座標を前記基準座標として抽出する
上記(15)に記載の受信装置。
(17)
前記制御部は、前記ROIの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ROIにおける位置を判断する
上記(15)又は(16)に記載の受信装置。
(18)
前記処理部は、前記欠陥が生じた画素の座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する
上記(13)から(17)までのいずれか一項に記載の受信装置。
(19)
前記受信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を受信する
上記(11)から(18)までのいずれか一項に記載の受信装置。
(20)
ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と有する送信装置と、
ROIに含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部を有する受信装置と
を備える伝送システム。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、及び変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
1,10,10x,10y,10z 映像伝送システム
3,3y,3z,100 映像送信装置
4,4x,4y,4z,3z,200 映像受信装置
31,110 撮像部
32,32y,41,41z 制御部
34,421 静的欠陥補正部
35 Raw処理部
42,42z 画像加工部
43,321c,411a 座標変換部
100A CSIトランスミッタ
100B CCIスレーブ
111 撮像画像
112,112a1,112a2,112a3,112a4,112b1,112b4,123a4,223A ROI画像
112b 圧縮像データ
113,114 位置情報
115 優先度
116,116a1,116a2 伝送画像
118 画像
120,130 画像処理部
120A,120A1,120A2,130A,147B 圧縮像データ
120B ROI情報
120C フレーム情報
121 ROI切り出し部
122 ROI解析部
123 検出部
124 優先度設定部
125,131 エンコード部
126 画像処理制御部
140 送信部
141 LINK制御部
142 ECC生成部
143 PH生成部
144,145 ROIデータバッファ
144 EBDバッファ
146 通常画像データバッファ
147 合成部
147A 伝送データ
200A CSIレシーバ
200B CCIマスター
210 受信部
211 ヘッダ分離部
212 ヘッダ解釈部
213 ペイロード分離部
214 EBD解釈部
214A EBDデータ
215 ROIデータ分離部
215A,215B ペイロードデータ
220 情報処理部
221 情報抽出部
221A 抽出情報
222 ROIデコード部
222A 画像データ
223 ROI画像生成部
224 通常画像デコード部
224A 通常画像
311 光電変換部
312 信号変換部
313 増幅部
321,321y センサCPU
321a 露光制御部
321b,321by 変換領域制御部
322 送信部
411,411x,411y IspCPU
412 受信部
413,413y エンベデッドデータ取得部
422 画像作成部
423 画質調整部
423a 座標判定部
424 RGB処理部
ADC アナログデジタル変換
AGC 信号増幅
CCI カメラ制御インタフェース
CL クロックレーン
3,3y,3z,100 映像送信装置
4,4x,4y,4z,3z,200 映像受信装置
31,110 撮像部
32,32y,41,41z 制御部
34,421 静的欠陥補正部
35 Raw処理部
42,42z 画像加工部
43,321c,411a 座標変換部
100A CSIトランスミッタ
100B CCIスレーブ
111 撮像画像
112,112a1,112a2,112a3,112a4,112b1,112b4,123a4,223A ROI画像
112b 圧縮像データ
113,114 位置情報
115 優先度
116,116a1,116a2 伝送画像
118 画像
120,130 画像処理部
120A,120A1,120A2,130A,147B 圧縮像データ
120B ROI情報
120C フレーム情報
121 ROI切り出し部
122 ROI解析部
123 検出部
124 優先度設定部
125,131 エンコード部
126 画像処理制御部
140 送信部
141 LINK制御部
142 ECC生成部
143 PH生成部
144,145 ROIデータバッファ
144 EBDバッファ
146 通常画像データバッファ
147 合成部
147A 伝送データ
200A CSIレシーバ
200B CCIマスター
210 受信部
211 ヘッダ分離部
212 ヘッダ解釈部
213 ペイロード分離部
214 EBD解釈部
214A EBDデータ
215 ROIデータ分離部
215A,215B ペイロードデータ
220 情報処理部
221 情報抽出部
221A 抽出情報
222 ROIデコード部
222A 画像データ
223 ROI画像生成部
224 通常画像デコード部
224A 通常画像
311 光電変換部
312 信号変換部
313 増幅部
321,321y センサCPU
321a 露光制御部
321b,321by 変換領域制御部
322 送信部
411,411x,411y IspCPU
412 受信部
413,413y エンベデッドデータ取得部
422 画像作成部
423 画質調整部
423a 座標判定部
424 RGB処理部
ADC アナログデジタル変換
AGC 信号増幅
CCI カメラ制御インタフェース
CL クロックレーン
Claims (20)
- ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部と、
前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と
を備える送信装置。 - 前記欠陥補正情報は、前記ROI情報に含められて前記送信部から送出される
請求項1に記載の送信装置。 - 前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として保持する
請求項1に記載の送信装置。 - 前記制御部は、前記欠陥が生じた画素の座標を初期化処理時又は製造時に保持する
請求項3に記載の送信装置。 - 前記制御部は、前記ROIの基準座標及び大きさを前記欠陥補正情報として保持する
請求項3に記載の送信装置。 - 前記制御部は、前記ROIの左上端座標を前記基準座標として保持する
請求項5に記載の送信装置。 - 前記制御部は、前記ROIの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ROIにおける位置を判断する
請求項5に記載の送信装置。 - 前記送信部は、前記制御部で判断された前記ROIにおける前記欠陥が生じた画素の位置の情報と、前記ROIに含まれる画像の画像データとを前記ROI情報に含めて送出する
請求項7に記載の送信装置。 - 前記制御部で判断された前記ROIにおける前記欠陥が生じた画素の位置に対応する座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データの補正を処理する処理部を備え、
前記送信部は、前記処理部で補正された画像の画像データを前記ROI情報に含めて送出する
請求項7に記載の送信装置。 - 前記送信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を送出する
請求項1に記載の送信装置。 - ROI(Region Of Interest)に含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部と、
前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部と
を備える受信装置。 - 前記制御部は、前記伝送信号に含まれた前記ROI情報から前記欠陥補正情報を抽出する
請求項11に記載の受信装置。 - 前記制御部は、撮像領域を構成する複数の画素のうちの欠陥が生じた画素の座標を前記欠陥補正情報として抽出する
請求項11に記載の受信装置。 - 前記制御部は、前記欠陥が生じた画素の座標を前記撮像領域又は前記ROIのいずれか一方における座標として抽出する
請求項13に記載の受信装置。 - 前記制御部は、前記ROIの基準座標及び大きさを前記欠陥補正情報として抽出する
請求項11に記載の受信装置。 - 前記制御部は、前記ROIの左上端座標を前記基準座標として抽出する
請求項15に記載の受信装置。 - 前記制御部は、前記ROIの基準座標及び大きさ並びに前記欠陥が生じた画素の座標に基づいて、前記欠陥が生じた画素の座標に対応する前記ROIにおける位置を判断する
請求項15に記載の受信装置。 - 前記処理部は、前記欠陥が生じた画素の座標の上下左右に隣接する座標の画素に対応する画像の画像データに基づいて欠陥が生じた画像の画像データを補正する
請求項13に記載の受信装置。 - 前記受信部は、MIPI(Mobile Industry Processor Interface) D-PHY規格、MIPI C-PHY規格又はMIPI CSI(Camera Serial Interface)-2規格で信号を受信する
請求項11に記載の受信装置。 - ROI(Region Of Interest)に含まれる画像の欠陥を補正するために用いられる情報である欠陥補正情報の保持を制御する制御部、及び前記ROIに含まれる画像の画像データをペイロードデータで送出するとともに、ROI情報をエンベデッドデータで送出する送信部と有する送信装置と、
ROIに含まれる画像の画像データをペイロードデータに含むとともに、ROI情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ROIに含まれる画像の画像データの欠陥を補正するために用いられる情報である欠陥補正情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び前記制御部で抽出された前記欠陥補正情報に基づいて前記ROIの画像の欠陥の補正を処理する処理部を有する受信装置と
を備える伝送システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20832161.2A EP3993389A4 (en) | 2019-06-28 | 2020-05-19 | TRANSMITTER, RECEIVER AND TRANSPORT SYSTEM |
CN202080045621.5A CN114009007A (zh) | 2019-06-28 | 2020-05-19 | 发送装置、接收装置和传输*** |
US17/621,534 US11695883B2 (en) | 2019-06-28 | 2020-05-19 | Transmitting apparatus, receiving apparatus, and transmission system |
JP2021527477A JP7499765B2 (ja) | 2019-06-28 | 2020-05-19 | 送信装置、受信装置及び伝送システム |
US18/204,713 US20230362307A1 (en) | 2019-06-28 | 2023-06-01 | Transmitting apparatus, receiving apparatus, and transmission system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019121341 | 2019-06-28 | ||
JP2019-121341 | 2019-06-28 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/621,534 A-371-Of-International US11695883B2 (en) | 2019-06-28 | 2020-05-19 | Transmitting apparatus, receiving apparatus, and transmission system |
US18/204,713 Continuation US20230362307A1 (en) | 2019-06-28 | 2023-06-01 | Transmitting apparatus, receiving apparatus, and transmission system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020261814A1 true WO2020261814A1 (ja) | 2020-12-30 |
Family
ID=74061675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/019708 WO2020261814A1 (ja) | 2019-06-28 | 2020-05-19 | 送信装置、受信装置及び伝送システム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11695883B2 (ja) |
EP (1) | EP3993389A4 (ja) |
JP (1) | JP7499765B2 (ja) |
CN (1) | CN114009007A (ja) |
TW (1) | TW202105986A (ja) |
WO (1) | WO2020261814A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051693A (ja) * | 1996-07-30 | 1998-02-20 | Toshiba Medical Eng Co Ltd | 撮像素子の欠陥画素補正処理装置 |
JP2003163842A (ja) | 2001-11-28 | 2003-06-06 | Sony Corp | 画像信号処理装置 |
JP2012100166A (ja) | 2010-11-04 | 2012-05-24 | Canon Inc | 信号処理装置 |
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013239772A (ja) * | 2012-05-11 | 2013-11-28 | Canon Inc | 画像処理装置及びその制御方法 |
JP2014039219A (ja) | 2012-08-20 | 2014-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
WO2018225449A1 (ja) * | 2017-06-09 | 2018-12-13 | ソニーセミコンダクタソリューションズ株式会社 | 映像送信装置および映像受信装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4425834B2 (ja) * | 2005-07-25 | 2010-03-03 | 富士フイルム株式会社 | 欠陥画素更新システム |
JP2008141326A (ja) | 2006-11-30 | 2008-06-19 | Sony Corp | 撮像システム及びカメラユニット |
JP2013183282A (ja) | 2012-03-01 | 2013-09-12 | Sony Corp | 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム |
RU2667719C1 (ru) * | 2012-12-18 | 2018-09-24 | Сони Корпорейшн | Устройство обработки изображения и способ обработки изображения |
KR101559338B1 (ko) * | 2013-07-17 | 2015-10-12 | (주)탑중앙연구소 | 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법 |
KR20150135696A (ko) * | 2014-05-23 | 2015-12-03 | 삼성전자주식회사 | 결함 픽셀 관리 회로 및 그것을 포함하는 이미지 센서 모듈, 및 결함 픽셀 관리 방법 |
WO2017060423A1 (en) * | 2015-10-08 | 2017-04-13 | Koninklijke Kpn N.V. | Enhancing a region of interest in video frames of a video stream |
US9854188B2 (en) * | 2015-12-16 | 2017-12-26 | Google Llc | Calibration of defective image sensor elements |
US11606527B2 (en) * | 2017-11-10 | 2023-03-14 | Sony Semiconductor Solutions Corporation | Transmitter |
EP3843376A4 (en) * | 2018-08-20 | 2021-09-15 | Sony Semiconductor Solutions Corporation | IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING SYSTEM |
US11871008B2 (en) * | 2019-06-28 | 2024-01-09 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
EP3993390A4 (en) * | 2019-06-28 | 2022-08-31 | Sony Semiconductor Solutions Corporation | TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM |
TW202110184A (zh) * | 2019-07-30 | 2021-03-01 | 日商索尼半導體解決方案公司 | 發送裝置、接收裝置、及通訊系統 |
JP2021027543A (ja) * | 2019-08-08 | 2021-02-22 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法、および撮像装置 |
-
2020
- 2020-05-19 JP JP2021527477A patent/JP7499765B2/ja active Active
- 2020-05-19 WO PCT/JP2020/019708 patent/WO2020261814A1/ja active Application Filing
- 2020-05-19 CN CN202080045621.5A patent/CN114009007A/zh active Pending
- 2020-05-19 US US17/621,534 patent/US11695883B2/en active Active
- 2020-05-19 EP EP20832161.2A patent/EP3993389A4/en active Pending
- 2020-06-10 TW TW109119413A patent/TW202105986A/zh unknown
-
2023
- 2023-06-01 US US18/204,713 patent/US20230362307A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1051693A (ja) * | 1996-07-30 | 1998-02-20 | Toshiba Medical Eng Co Ltd | 撮像素子の欠陥画素補正処理装置 |
JP2003163842A (ja) | 2001-11-28 | 2003-06-06 | Sony Corp | 画像信号処理装置 |
JP2012100166A (ja) | 2010-11-04 | 2012-05-24 | Canon Inc | 信号処理装置 |
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2013239772A (ja) * | 2012-05-11 | 2013-11-28 | Canon Inc | 画像処理装置及びその制御方法 |
JP2014039219A (ja) | 2012-08-20 | 2014-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
WO2018225449A1 (ja) * | 2017-06-09 | 2018-12-13 | ソニーセミコンダクタソリューションズ株式会社 | 映像送信装置および映像受信装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3993389A4 (en) | 2022-08-17 |
EP3993389A1 (en) | 2022-05-04 |
JPWO2020261814A1 (ja) | 2020-12-30 |
JP7499765B2 (ja) | 2024-06-14 |
TW202105986A (zh) | 2021-02-01 |
US11695883B2 (en) | 2023-07-04 |
US20230362307A1 (en) | 2023-11-09 |
CN114009007A (zh) | 2022-02-01 |
US20220360673A1 (en) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6467787B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
JP7163285B2 (ja) | 映像送信装置および映像受信装置 | |
WO2020261816A1 (ja) | 送信装置、受信装置及び伝送システム | |
US8547451B2 (en) | Apparatus and method for obtaining high dynamic range image | |
JP6936018B2 (ja) | 映像送信装置および映像受信装置 | |
JP2016208306A (ja) | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 | |
WO2020261815A1 (ja) | 送信装置、受信装置及び伝送システム | |
US8625007B2 (en) | Image pickup apparatus, image combination method, and computer program | |
JP6948810B2 (ja) | 画像処理システム | |
JP2018186514A (ja) | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 | |
JP7450704B2 (ja) | 送信装置、受信装置及び伝送システム | |
WO2020261814A1 (ja) | 送信装置、受信装置及び伝送システム | |
WO2020261813A1 (ja) | 送信装置、受信装置及び伝送システム | |
JP6696596B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム | |
US12052515B2 (en) | Transmitting apparatus, receiving apparatus, and transmission system | |
JP2020088419A (ja) | 撮像装置、画像補正方法、プログラム | |
JP6881646B2 (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20832161 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021527477 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2020832161 Country of ref document: EP |