WO2020050289A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- WO2020050289A1 WO2020050289A1 PCT/JP2019/034673 JP2019034673W WO2020050289A1 WO 2020050289 A1 WO2020050289 A1 WO 2020050289A1 JP 2019034673 W JP2019034673 W JP 2019034673W WO 2020050289 A1 WO2020050289 A1 WO 2020050289A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- image
- signal
- image signal
- pixels
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 265
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims abstract description 101
- 230000008569 process Effects 0.000 claims abstract description 93
- 238000006243 chemical reaction Methods 0.000 claims abstract description 46
- 230000035945 sensitivity Effects 0.000 claims description 67
- 238000012937 correction Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 description 126
- 238000010586 diagram Methods 0.000 description 57
- 238000001514 detection method Methods 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 19
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 17
- 239000003086 colorant Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000002674 endoscopic surgery Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000010336 energy treatment Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000001266 bandaging Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Definitions
- the present disclosure relates to an image processing device, an image processing method, and an image processing program.
- An image sensor used in an image pickup apparatus such as a digital camera has a configuration in which color filters of, for example, R (red), G (green), and B (blue) are mounted, and light of a specific wavelength enters each pixel. Has become.
- color filters for example, R (red), G (green), and B (blue) are mounted, and light of a specific wavelength enters each pixel.
- two G color filters and one R color filter and one B color filter are arranged in an array of 2 ⁇ 2 pixels such that filters of the same color are not adjacent to each other. Bayer arrangements are often used.
- a color filter array different from the Bayer array has been proposed.
- a color filter array different from the Bayer array a color filter array in which each pixel of the Bayer array is divided into four pixels of 2 ⁇ 2 pixels is known (for example, Patent Document 1). This arrangement is referred to as a four-way Bayer type RGB arrangement.
- the signal processing circuit of the image pickup apparatus is premised on a picked-up image of a pixel array in a Bayer array. Therefore, when the arrangement of the color filters mounted on the image sensor is different from the Bayer array, the pixel array of the image output from the image sensor is converted into a pixel array based on the Bayer array and input to the signal processing circuit. Can be applied to a pixel array different from the Bayer array. The process of converting a pixel array of a captured image into a different pixel array in this manner is called re-mosaic processing.
- the existing re-mosaic process interpolates the pixel values of the pixels of G color (hereinafter, G pixels) along each direction to create an entire G image signal that is regarded as an entire G pixel.
- G pixels the pixel value of the entire G image signal is used as it is.
- the conversion destination pixel is other than the G pixel, for example, the R pixel, the pixel value of the R pixel is estimated based on the pixel value of the entire G image signal and the pixel value of the R pixel. The same applies to the case where the conversion destination pixel is a B pixel.
- a micro lens OCL: On Chip Lense
- OCL On Chip Lense
- a phase shift between pixel signals of the plurality of pixels and a position shift of the microlens due to one light beam being incident on the plurality of pixels is included in the pixel signal of the G pixel.
- the pixel values of the R pixel and the B pixel are calculated using the pixel values of the G pixel, the pixel values of the R pixel and the B pixel also include these phase shifts and sensitivity differences. Will be. For this reason, an image signal obtained by re-mosaicing a pixel signal based on the four-segment Bayer RGB array may have an artifact due to a phase difference or a sensitivity difference.
- the present disclosure has an object to provide an image processing device, an image processing method, and an image processing program capable of executing a process of converting a pixel array into a different pixel array with high quality.
- an image processing device includes an image signal processing unit that performs signal processing on a pixel signal in an input image, and the image signal processing unit uses one lens as an input image.
- a mosaic image in which pixel blocks composed of a plurality of same-color pixels are arranged is input, and interpolation processing is performed on the entire input image based on pixel signals of pixels of a predetermined color included in the input image.
- a first image signal based on the input image including a difference based on the relative position of the pixel of interest with respect to the lens, and generating a second image signal having a lower resolution than the first image signal; Based on a component obtained by subtracting the second image signal from the image signal of (i), a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
- FIG. 1 is a diagram illustrating a basic configuration of an image processing apparatus according to an embodiment.
- FIG. 3 is a diagram illustrating an example of an array of pixels applicable to the embodiment. It is a figure showing the example of a Bayer arrangement.
- FIG. 3 is a diagram illustrating an example of mounting a microlens on an image sensor according to the embodiment.
- FIG. 4 is a diagram schematically illustrating an example in which a phase difference occurs in a plurality of pixels sharing a microlens.
- FIG. 3 is a diagram schematically illustrating a state in which the center of a microlens is shifted from the center of a pixel block.
- FIG. 2 is a block diagram illustrating a hardware configuration of an example of an imaging apparatus applicable to the embodiment.
- FIG. 1 is a diagram illustrating a basic configuration of an image processing apparatus according to an embodiment.
- FIG. 3 is a diagram illustrating an example of an array of pixels applicable to the embodiment. It is a figure showing the example of
- FIG. 2 is a diagram illustrating a configuration of an example of an imaging unit applicable to the embodiment.
- FIG. 2 is a functional block diagram illustrating an example of a function of an imaging device serving as an image processing device according to the embodiment;
- FIG. 3 is a functional block diagram for explaining functions of an image signal processing unit according to the embodiment.
- FIG. 9 is a diagram for explaining detection of a gradient between pixels of the same color.
- FIG. 4 is a diagram for describing detection of a gradient between pixels of different colors.
- FIG. 3 is a diagram schematically illustrating a state in which pixel values of R pixels and B pixels of an input image signal are replaced according to a gain.
- FIG. 7 is a diagram illustrating an example of a gradient calculation direction applicable to the embodiment.
- FIG. 7 is a diagram illustrating an example of a gradient calculation direction applicable to the embodiment. It is a figure showing an example of a gradient calculation processing of a horizontal direction (H). It is a figure which shows the example of a gradient calculation process of the upper right 45 degree direction (A). It is a figure which shows the example of the gradient calculation process of the upper right 22.5 degree direction (A2). It is a figure which shows the example of a gradient calculation process of the upper right 67.5 degree direction (A3). It is a figure showing an example which performs interpolation processing along a horizontal direction (H).
- FIG. 6 is a diagram for describing interpolation processing in a direction along a horizontal direction (H) according to the embodiment.
- FIG. 4 is a diagram for describing processing by a first LPF.
- FIG. 4 is a diagram for describing a filter applied to a first LPF.
- 6 is a flowchart illustrating an example of a re-mosaic process according to the embodiment.
- FIG. 11 is a functional block diagram illustrating an example of a function of an image signal processing unit according to a first modification of the embodiment.
- FIG. 11 is a diagram illustrating an example of a basic configuration of an imaging device according to a second modification of the embodiment.
- FIG. 14 is a diagram illustrating an example of a basic configuration of an imaging device according to a third modification of the embodiment.
- FIG. 3 is a diagram illustrating an example of a pixel block in which 3 pixels ⁇ 3 pixels are arranged in a grid.
- FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
- FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
- FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
- FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
- FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid.
- FIG. 4 is a diagram illustrating an example of a pixel block in which 4 ⁇ 4 pixels are arranged in a grid. It is a figure showing an example of the schematic structure of an endoscope operation system.
- FIG. 3 is a block diagram illustrating an example of a functional configuration of a camera head and a CCU. It is a block diagram showing an example of a schematic structure of a vehicle control system. It is explanatory drawing which shows an example of the installation position of a vehicle exterior information detection part and an imaging part.
- FIG. 1 is a diagram illustrating a basic configuration of the image processing apparatus according to the embodiment.
- an imaging apparatus 1 as an image processing apparatus according to an embodiment performs re-mosaic processing 11 on an image signal obtained by performing imaging by an imaging system 10, and performs processing on an image signal on which re-mosaic processing 11 has been performed.
- the imaging system 10 includes an image sensor in which a plurality of pixels for converting received light into electric signals are arranged in an array, an AD (Analog to Digital) conversion and a noise removal for an image signal output from the image sensor. And a signal processing circuit that performs gain adjustment and the like.
- the image sensor is provided with a color filter and a micro lens for each pixel.
- FIG. 2 is a diagram illustrating an example of an array of pixels applicable to the embodiment.
- the pixel array is shown as an array of a red color filter 21R, a green color filter 21G, and a blue color filter 21B.
- the pixels on which the color filters 21R, 21G, and 21B are mounted are referred to as R pixels, G pixels, and B pixels, respectively.
- the pixel array according to the embodiment is a unit of a pixel block in which 2 ⁇ 2 pixels of the same color are arranged in a lattice, and each pixel block of R, G, and B pixels. Are arranged in a pixel array 20 according to a Bayer array.
- a pixel array 20 is referred to as a four-segment Bayer type RGB array unless otherwise specified.
- each pixel block including R pixels, G pixels, and B pixels has a ratio of 1: 2: 1 of the number of R pixels, G pixels, and B pixels, and Pixel blocks of the same color are arranged in a 2 ⁇ 2 lattice so that they are not adjacent to each other.
- a pixel block of G pixels is arranged on the right and below the pixel block of R pixels
- a pixel block of B pixels is arranged on the diagonal of the pixel block of R pixels.
- the peri-mosaic processing 11 converts the pixel signal array based on the four-divided Bayer type RGB array into the Bayer array illustrated in FIG. 3 and generates a mosaic image based on the Bayer array.
- FIG. 3 is a diagram illustrating an example of a Bayer array.
- the Bayer array 30 includes two G pixels, one R pixel and one B pixel, and these four pixels are arranged in a 2 ⁇ 2 pixel grid so that the G pixels are not adjacent to each other. It is arranged and arranged.
- the image signal converted into the Bayer array 30 by the peri-mosaic processing 11 is subjected to, for example, demosaic processing by the output processing 12, and the luminance information of each of the R, G, and B colors is included in each pixel position.
- FIG. 4 is a diagram illustrating an example of mounting a microlens on an image sensor according to the embodiment.
- one microlens 40 is mounted on a pixel block of 2 ⁇ 2 pixels in a four-segment Bayer type RGB array.
- one micro lens 40 is commonly arranged for four pixels included in the pixel block.
- the micro lens 40 is formed as an on-chip lens (OCL), and improves the light collection efficiency when the light incident on the pixel is collected on the light receiving element.
- OCL on-chip lens
- FIG. 5 is a diagram schematically illustrating an example in which a phase difference occurs in a plurality of pixels sharing the microlens 40.
- FIG. FIG. 5 shows a cross section of the pixel block parallel to the light incident direction. Light incident on the pixel via the micro lens 40 is applied to each light receiving element 22 via the color filter 21.
- the focal point 23a of the microlens 40 is at the boundary between the light receiving elements 22, and the light receiving surface of each light receiving element 22 is on the same plane as the focal point 23a.
- a phase difference is generated based on the difference between the positions of the light receiving positions 23b and 23c where each light receiving element 22 receives light from the microlens 40.
- the microlenses 40 may be displaced from an ideal position due to the influence of a manufacturing error or the like. In this case, a difference occurs in the amount of light received by a plurality of pixels included in the pixel block, and this difference appears as a sensitivity difference within the same color.
- FIG. 6 is a diagram schematically illustrating a state in which the center of the micro lens 40 is shifted from the center of the pixel block.
- the microlenses 40 are arranged to be shifted to the right with respect to each light receiving element 22, and the focal point 23a of the microlenses 40 is also shifted to the right.
- the light receiving position 23b 'of the left light receiving element 22 in FIG. 6 with the light receiving position 23c' of the right light receiving element 22, the light receiving position 23c 'has a larger amount of received light than the light receiving position 23b'.
- the difference in the amount of received light due to the displacement of the microlens 40 is the difference in sensitivity between the two light receiving elements 22.
- FIG. 7 is a block diagram illustrating a hardware configuration of an example of an imaging device applicable to the embodiment.
- an imaging apparatus 1 includes a CPU (Central Processing Unit) 1000, a ROM (Read Only Memory) 1001, a RAM (Random Access Memory) 1002, an imaging unit 1003, 1004, a data I / F 1005, an operation unit 1006, and a display control unit 1007.
- CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- an imaging unit 1003, 1004 a data I / F 1005, an operation unit 1006, and a display control unit 1007.
- the CPU 1000 controls the entire operation of the imaging apparatus 1 using the RAM 1002 as a work memory according to a program stored in the ROM 1001 in advance.
- the imaging unit 1003 corresponds to the imaging system 10 in FIG. 1, performs imaging, and outputs an image signal based on a captured image.
- the image signal output from the imaging unit 1003 is stored in the RAM 1002.
- the storage 1004 is, for example, a flash memory, and can transfer, store, and accumulate an image signal based on a captured image stored in the RAM 1002. Further, the storage 1004 can also store a program for operating the CPU 1000. Furthermore, the storage 1004 is not limited to the configuration built in the imaging device 1, and may be configured to be detachable from the imaging device 1.
- the data I / F 1005 is an interface through which the imaging device 1 transmits and receives data to and from an external device.
- USB Universal Serial Bus
- the data I / F 1005 an interface for performing short-range wireless communication such as Bluetooth (registered trademark) can be applied.
- the operation unit 1006 accepts a user operation on the imaging device 1.
- the operation unit 1006 includes operators such as dials and buttons as input devices for receiving user input.
- the operation unit 1006 may include, as an input device, a touch panel that outputs a signal corresponding to a contact position.
- the display control unit 1007 generates a display signal that can be displayed on the display 1008 based on the display control signal passed by the CPU 1000.
- the display 1008 uses, for example, an LCD (Liquid Crystal Display) as a display device, and displays a screen according to a display signal generated by the display control unit 1007.
- LCD Liquid Crystal Display
- FIG. 8 is a diagram illustrating a configuration of an example of the imaging unit 1003 applicable to the embodiment.
- the imaging unit 1003 includes an optical system 1010, an imaging element 1011, a signal processing unit 1012, and a driving unit 1013.
- the optical system 1010 includes one or more lenses, an autofocus mechanism, an aperture mechanism, and the like.
- the imaging element 1011 is configured by arranging pixels including a light receiving element 22, a color filter 21, and a microlens 40 in an array.
- the array of the color filters 21 is a pixel array 20 of a four-segment Bayer type RGB array in which a pixel block in which pixels of the same color are arranged in a lattice of 2 ⁇ 2 pixels as a unit.
- the signal processing unit 1012 performs signal processing such as AD conversion, noise removal, gain adjustment, and white balance processing on the signal output from the image sensor 1011, and outputs an image signal based on the output of the image sensor 1011.
- the drive unit 1013 drives the optical system 1010 (autofocus mechanism, aperture mechanism, etc.), the image sensor 1011 and the signal processing unit 1012 according to an instruction from the CPU 1000, for example.
- FIG. 9 is a functional block diagram illustrating an example of a function of the imaging apparatus 1 as an image processing apparatus according to the embodiment.
- the imaging device 1 includes an imaging unit 100, an image processing unit 101, and an output unit 102.
- the image processing unit 101 includes an image signal processing unit 110 and an RGB signal processing unit 111.
- the imaging unit 100 corresponds to the imaging unit 1003 described above, performs imaging with the imaging element 1011, and outputs an image signal based on a captured image obtained by imaging.
- the image processing unit 101 performs re-mosaic processing 11 on the image signal of the 4-split Bayer type RGB array output from the imaging unit 100 by the image signal processing unit 110 to convert the pixel array into the Bayer array 30.
- the RGB signal processing unit 111 performs demosaic processing on the image signal whose pixel array has been converted into the Bayer array 30 by the image signal processing unit 110, and each pixel has luminance information of each of the R, G, and B colors. Convert to image signal.
- the output unit 102 outputs, for example, the image signal output by the image processing unit 101 as image data in a predetermined format.
- the image data output from the output unit 102 is stored in the storage 1004, for example.
- FIG. 10 is a functional block diagram for explaining functions of the image signal processing unit 110 according to the embodiment.
- an image signal processing unit 110 includes an LCB (Local Color Balance) unit 200, a direction determination unit 201, a G interpolation unit 202, a first LPF (Low Pass Filter) 203, a second LPF 204, and a color conversion process.
- Unit 205 The LCB unit 200, the direction determination unit 201, the G interpolation unit 202, the first LPF 203, the second LPF 204, and the color conversion processing unit 205 are realized by, for example, executing an image processing program according to the embodiment on the CPU 1000.
- the LCB unit 200, the direction determination unit 201, the G interpolation unit 202, the first LPF 203, the second LPF 204, and the color conversion processing unit 205 may be configured to operate, for example, a part or all of the CPU 1000 in cooperation with each other. It may be constituted by a circuit.
- a program for realizing each function according to the embodiment in the imaging apparatus 1 is a file in an installable format or an executable format in a CD (Compact @ Disk), a flexible disk (FD), and a DVD. (Digital Versatile Disk) and provided on a computer-readable recording medium.
- the program may be stored on a computer connected to a network such as the Internet, and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.
- the program has a module configuration including an LCB unit 200, a direction determination unit 201, a G interpolation unit 202, a first LPF 203, a second LPF 204, and a color conversion processing unit 205.
- the CPU 1000 reads out the program from a storage medium such as the ROM 1001 or the storage 1004 and executes the program to thereby execute the above-described units (the LCB unit 200, the direction determination unit 201, the G interpolation unit 202, the first LPF 203, The 2LPF 204 and the color conversion processing unit 205) are generated on the main storage device.
- the image signal having the pixel array of the four-segment Bayer type RGB array output from the imaging unit 100 is input to the image signal processing unit 110 as an input image signal.
- the input image signal is input to the LCB unit 200, the G interpolation unit 202, and the second LPF 204, respectively.
- the LCB unit 200 calculates the color balance of each pixel included in the local region of the input image signal.
- the local region has a size similar to the size (5 pixels ⁇ 5 pixels, 6 pixels ⁇ 6 pixels, 7 pixels ⁇ 7 pixels, etc.) for obtaining a gradient (gradient) of pixel values in a direction determination unit 201 described later.
- it is a region.
- the LCB unit 200 performs color balance adjustment (for example, white balance adjustment) based on the pixel values of the R, G, and B pixels included in the local region, and obtains an R color gain lbc_gain_r for the G color, a B color gain lbc_gain_b, Ask for.
- the LCB unit 200 passes the input image signal and the gains lbc_gain_r and lbc_gain_b of the R and B colors to the direction determination unit 201.
- the direction determination unit 201 determines a direction used by a G interpolation unit 202 described later based on the input image signal (details will be described later). The direction determination unit 201 passes the input image signal and information indicating the determined direction to the G interpolation unit 202.
- the G interpolation unit 202 performs an interpolation process over the entire surface of the input image signal along the direction passed from the direction determination unit 201 based on the G pixels included in the input image signal (referred to as an overall G interpolation process as appropriate). I do. That is, the image signal output from the G interpolation unit 202 (referred to as an entire G image signal) is a high-resolution image signal including a phase difference and a sensitivity difference in an image block of a G image.
- the G interpolation unit 202 passes the entire G image signal subjected to the entire G interpolation process to the first LPF 203 and the color conversion processing unit 205.
- the first LPF 203 applies a low-pass filter to pixels at positions corresponding to pixel positions (R pixels and B pixels) other than G pixels in the input image signal, which are included in the entire G image signal passed from the G interpolation unit 202. Processing (referred to as first low-pass filter processing) is performed (details will be described later).
- the image signal output from the first LPF 203 is a low-resolution image signal having a lower resolution than the entire G image signal and including a phase difference and a sensitivity difference in an image block based on the G image.
- the image signal output from the first LPF 203 is called a low-resolution image signal mG_xtalk.
- the low-resolution image signal mG_xtalk obtained by performing the first low-pass filtering on the entire G image signal in the first LPF 203 is passed to the color conversion processing unit 205.
- the second LPF 204 performs a low-pass filter process (referred to as a second low-pass filter process) on the input image signal for each pixel of each of R, G, and B to form a low-resolution image by each of the R pixel, the B pixel, and the G pixel. Generate.
- the image signals on which the R, G, and B pixels have been subjected to the second low-pass filtering by the second LPF 204 are referred to as low-resolution image signals mR, mG, and mB, respectively.
- the low-resolution image signals mR, mG, and mB are passed to the color conversion processing unit 205, respectively.
- the color conversion processing unit 205 converts the entire G image signal passed from the G interpolation unit 202, the low resolution image signal mG_xtalk passed from the first LPF 203, and the low resolution image signals mR, mG, and mB passed from the second LPF 204. And a color correlation interpolation process is performed to generate pixel values R out , G out, and B out at the positions of the R, G, and B pixels in the Bayer array 30 (details will be described later). The color conversion processing unit 205 passes the generated pixel values R out , G out, and B out to the RGB signal processing unit 111.
- the direction determination unit 201 detects the inclination (gradient) of the pixel value at the position of the target pixel in each direction, and determines the direction in which the detected gradient is the smallest.
- the direction determination unit 201 includes a gradient between pixels of the same color (a gradient between same colors) as shown in FIG. 11, a gradient between pixels of different colors (a gradient between different colors) as shown in FIG. Is detected.
- the horizontal direction of the drawing is the x direction
- the vertical direction is the y direction
- the pixel at the origin is the R pixel at the coordinates (0, 0) and is described as pixel (0, 0).
- the G pixels (0, 2) and (1, 2), the G pixels (4, 2) and (5, 2), and the G pixel (0, 3) are arranged along the x direction. ) And (1, 3), and gradients are detected for each set of G pixels (4, 3) and (5, 3) of the same color. Further, for the B pixels, gradients are detected for the B pixels (2, 2) and (3, 2) and for each set of the same colors of the B pixels (2, 3) and (3, 3).
- the detection of the same color gradient is the calculation of the gradient between pixels having the same sensitivity.
- the detection of the gradient between different colors is a gradient calculation between pixels having different sensitivities, and a gradient depending on the sensitivity difference for each color of the pixel is calculated.
- the direction determination unit 201 multiplies the pixel value of the R pixel included in the input image signal by the gain lbc_gain_r of the R color detected by the LCB unit 200 as shown in Expression (1), and obtains a gradient.
- the pixel value R ′ used for the calculation is calculated.
- the direction determination unit 201 multiplies the pixel value of the B pixel included in the input image signal by the gain lbc_gain_b of the B color detected by the LCB unit 200 as shown in Expression (2), The pixel value B ′ used for the gradient calculation is calculated.
- FIG. 13 is a diagram schematically illustrating a state in which the pixel values of the R pixel and the B pixel of the input image signal are replaced with pixel values R ′ and B ′ calculated according to Expressions (1) and (2). It can be seen that the pixel values of the R pixel and the B pixel are replaced with the pixel value R 'and the pixel value B', respectively, and the sensitivity difference between the R pixel and the B pixel and the G pixel is suppressed. As described above, by adjusting the sensitivities of the R pixels and the B pixels to the sensitivities of the G pixels, the accuracy of calculating the gradient between different colors can be improved.
- the direction determining process of the direction determining unit 201 applicable to the embodiment will be described in more detail.
- the direction determination unit 201 calculates gradients in a plurality of directions in the local region.
- 14 and 15 are diagrams illustrating examples of gradient calculation directions applicable to the embodiment.
- the size of the local region is 6 pixels ⁇ 6 pixels.
- the direction determination unit 201 calculates gradients along four directions: a horizontal direction (H), a vertical direction (V), an upper right 45 ° direction (A), and a lower right 45 ° direction (D). I do. Further, as illustrated in FIG. 15, the direction determination unit 201 determines the upper right 22.5 ° direction (A2), the upper right 67.5 ° direction (A3), the lower right 22.5 ° direction (D2), and the lower right 67 Gradient calculation is performed along four directions of the 5 ° direction (D3). That is, in the embodiment, the direction determination unit 201 performs the gradient calculation along eight directions having different angles by 22.5 °.
- FIG. 16 is a diagram illustrating an example of the horizontal direction (H) gradient calculation processing corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
- I (x, y) is a pixel value at the position of the coordinates (x, y).
- abs () indicates an absolute value.
- the gradient in the horizontal direction (H) is calculated based on the following values.
- the values a H , b H and c H are weighting factors defined in advance.
- the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors described above it is desirable to a H> b H.
- a wrong direction is determined near 1 / 2Nq (Nyquist frequency)
- c H is set in order to sufficiently suppress erroneous determination in this region.
- the gradient in the vertical direction (V) is calculated based on the following values.
- the gradient in the vertical direction (V) corresponding to the coordinate position (2, 2) of 6 pixels ⁇ 6 pixels shown in FIG. 16, that is, gradV (2, 2) is the coordinates in the above-described equation (3).
- the position is calculated by an equation changed corresponding to the vertical direction.
- FIG. 17 is a diagram illustrating an example of a gradient calculation process in the upper right 45 ° direction (A) corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
- the gradient in the upper right 45 ° direction (A) is calculated based on the following values.
- -Gradient in the upper right 45 ° direction (A) of the middle frequency component gradA_mid -Gradient in the upper right 45 ° direction (A) of the low frequency component: gradA_low -High-frequency component gradient in the upper right 45 ° direction (A): gradA_high
- the gradient in the upper right 45 ° direction (A) corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 17, that is, gradA (2, 2) is calculated according to the following equation (4).
- the values a A , b A, and c A are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors in Equation (4) is a A, it is preferable that the b A> c A.
- the gradient in the lower right 45 ° direction (D) corresponding to the coordinate position (2, 2) of 6 pixels ⁇ 6 pixels shown in FIG. 17, that is, gradD (2, 2) is obtained by the above equation (4). Is calculated by an equation in which each coordinate position in is changed corresponding to the lower right 45 ° direction.
- FIG. 18 is a diagram illustrating an example of a gradient calculation process in the upper right 22.5 ° direction (A2) corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
- the gradient in the upper right 22.5 ° direction (A2) is calculated based on the following values.
- a gradient in the upper right 22.5 ° direction (A2) corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 18, that is, gradA2 (2, 2) is calculated according to the following equation (5). .
- the values a A2 and b A2 are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors in Equation (5) is preferably set to a A2> b A2.
- FIG. 19 is a diagram illustrating an example of a gradient calculation process in the upper right 67.5 ° direction (A3) corresponding to the coordinate position (2, 2) in the local area of 6 pixels ⁇ 6 pixels.
- the gradient in the upper right 67.5 ° direction (A3) is calculated based on the following values.
- the gradient in the upper right 67.5 ° direction (A3) corresponding to the coordinate position (2, 2) of 6 ⁇ 6 pixels shown in FIG. 19, that is, gradA3 (2, 2) is calculated according to the following equation (6). .
- the values a A3 and b A3 are weighting factors defined in advance. As described above, generally, when incident light passes through a lens, the signal level is reduced by a high-frequency component. Therefore, the magnitude relationship of the weighting factors in Equation (6) is preferably set to a A3> b A3.
- Each coordinate position in 6) is calculated by a formula changed corresponding to the lower right direction of 67.5 °.
- the direction determination unit 201 determines the direction in which the minimum gradient is calculated among the gradients calculated for the eight directions as described above, and outputs information indicating the determined direction to the input image signal that is the determination target. To the G interpolation unit 202.
- the G interpolation unit 202 performs an entire G interpolation process on the input image signal along the direction passed from the direction determination unit 201 based on the pixel value of the G pixel. At this time, the G interpolation unit 202 performs an interpolation process on the pixel block including the R pixels and the pixel block including the B pixels so that the phase difference between the pixels included in the pixel block remains.
- FIG. 20 is a diagram illustrating an example in which interpolation processing is performed along the horizontal direction (H) using the pixel values of G pixels for each phase in the pixel block of B pixels.
- the G pixel interpolation for the four phases (pixels B 0 , B 1 , B 2, and B 3 ) in the pixel block of B pixels is performed using the target pixel position and the G pixels (G 10 to G 13 , G 20 to G) used for the interpolation.
- the following equations (7) to (10) are used.
- B 0 (2 ⁇ G 11 + 1 ⁇ G 20 ) / 3 (7)
- B 1 (2 ⁇ G 20 + 1 ⁇ G 11 ) / 3 (8)
- B 2 (2 ⁇ G 13 + 1 ⁇ G 22 ) / 3 (9)
- B 3 (2 ⁇ G 22 + 1 ⁇ G 13 ) / 3 (10)
- FIG. 21 is a diagram for describing interpolation processing in a direction along the horizontal direction (H) according to the embodiment.
- H indicates a high (High) pixel value
- L indicates a low (Low) pixel value with respect to the pixel of (H).
- pixel G 10 and G 12 and a high pixel value of the pixel G 20 and G 22 (H)
- pixels G 11 and G 13 and has a low pixel value of the pixel G 21 and G 23 (L).
- the level of these pixel values is caused, for example, by the sensitivity difference / phase difference of each pixel in the pixel block.
- the pixel value of the pixel in the left column is high and the pixel value of the pixel in the right column is low. This is because, in each pixel block of G pixels, the sensitivity of the pixels in the left column is higher than the sensitivity of the pixels in the right column, or a phase difference occurs between the pixels in the left column and the pixels in the right column.
- the sensitivity difference / phase difference between the pixels B 0 and B 1 is obtained by the following equations (11) and (12).
- B 0 (2 ⁇ G 11 (L) + 1 ⁇ G 20 (H)) / 3
- B 1 (2 ⁇ G 20 (H) + 1 ⁇ G 11 (L)) / 3
- the sensitivity difference / phase difference can be obtained by applying the above-described equations (11) and (12) in the same manner.
- FIG. 22 is a diagram for describing the interpolation processing along the vertical direction (V) according to the embodiment. In FIG. 22, it is assumed that the pixels G 30 to G 33 and G 40 to G 43 of the G pixel block above and below the B pixel block have a sensitivity difference / phase difference in the row direction.
- the sensitivity difference / phase difference between the pixels B 0 and B 1 is obtained by the following equations (13) and (14).
- B 0 (2 ⁇ G 32 (L) + 1 ⁇ G 40 (H)) / 3 (13)
- B 1 (2 ⁇ G 33 (H) + 1 ⁇ G 41 (L)) / 3 (14)
- the sensitivity difference / phase difference can be obtained by applying the above-described equations (13) and (14) in the same manner.
- the G pixel interpolated over the entire surface of the input image signal as described above has a sensitivity difference / phase difference that tends to be different for each phase in the pixel block. Further, the tendency depends on the direction of interpolation by the G pixels.
- the G interpolation unit 202 performs the interpolation process for generating the entire G image signal according to the directions determined by the direction determination unit 201 from eight directions.
- FIG. 23 is a diagram illustrating an example of interpolation processing along each direction. In FIG. 23, attention is paid to the position of the B pixel at the coordinates (2, 2).
- the direction determined by the direction determination unit 201 is the H (horizontal) direction or the V (vertical) direction
- the process is the same as that in FIG. 21 or FIG. 22 described above.
- the determined direction is the direction A (upper right 45 °)
- the interpolation processing is performed in the direction connecting the coordinates (3, 1), (2, 2), and (1, 3).
- the direction D (lower right 45 °), the direction A2 (upper right 22.5 °), the direction D2 (lower right 22.5 °), the direction A3 (upper right 67.5 °), and the direction D3 (lower right 67.5 °).
- the direction ()) there is no neighboring G pixel aligned on a straight line with respect to the B pixel at the coordinates (2, 2). Therefore, two sets of G pixels satisfying the angle condition are selected, an interpolation value at a position corresponding to the target position is calculated for each of the two sets, and the target position is determined based on the two calculated interpolation values. Is further calculated.
- the pixel of interest pixel B 0 if the entire surface G interpolation processing direction is the same to be performed, the four pixel blocks by R pixels, R pixels located in the pixel B 0 within the pixel block corresponding ( Pixels R 10 , R 20 , R 30 and R 40 ) will contain the same sensitivity difference / phase difference as pixel B 0 . Therefore, a low-pass filter process is performed by the first LPF 203 using, for example, a filter as shown in FIG. 25 on the entire G image signal subjected to the full G interpolation process along the same direction as the pixel B 0 .
- Filter shown in FIG. 25 is directed to a region including the pixel B 0, R 10, R 20 , R 30 and R 40, pixel B 0, R 10, R 20 , corresponding to the pixels other than R 30 and R 40
- the filter is a filter in which a predetermined weighting coefficient is set for the pixel B 0 , and R 10 , R 20 , R 30, and R 40 respectively.
- a low-resolution image signal mG_xtalk including a sensitivity difference / phase difference having the same tendency as that of the pixel B 0 can be generated. Therefore, the low-resolution image signal mG_xtalk corresponding to the entire G image signal is generated by applying the filter of FIG. 25 to each position corresponding to the R pixel and the B pixel of the entire G image signal. Can be.
- the whole G image signal which is a high-resolution image signal generated by the G interpolation unit 202, includes a phase difference and a sensitivity difference in an image block by G pixels. Therefore, as shown in the following equation (15), by subtracting the above-described low-resolution image signal mG_xtalk from the entire G image signal, it is possible to generate an image signal G hpf with a high-frequency component in which the sensitivity difference / phase difference has been canceled.
- G hpf G-mG_xtalk
- the second LPF 204 performs the second low-pass filter processing on the input image signal to generate low-resolution image signals mR, mG, and mB.
- the second LPF 204 adds the pixel values of the pixels included in the pixel block to the pixel block of the same color, and then performs the second low-pass filter processing over the entire image based on the input image signal. Even with the second low-pass filter processing, a low-resolution image signal having a lower resolution than the entire-surface G image signal can be generated for each of the R, G, and B colors.
- the unit of 2 pixels ⁇ 2 pixels constituting the pixel block includes the sensitivity difference / phase difference.
- the sensitivity difference / phase difference can be canceled by adding pixel values in units of 2 pixels ⁇ 2 pixels.
- the second LPF 204 uses such a tendency to generate low-resolution image signals mR, mG, and mB in which the sensitivity difference / phase difference has been canceled.
- the color conversion processing unit 205 converts the entire G image signal passed from the G interpolation unit 202, the low resolution image signal mG_xtalk passed from the first LPF 203, and the low resolution image signals mR, mG, and mB passed from the second LPF 204. , A pixel value generation process is performed according to the color of the pixel position of the conversion destination.
- the color conversion processing unit 205 performs the color correlation interpolation processing shown in the following equations (16), (17), and (18) to calculate the pixels at the positions of the R pixel, the G pixel, and the B pixel in the Bayer array 30. Generate the values R out , G out and B out .
- the pixel values R out , G out, and B out obtained as described above are obtained by removing the sensitivity difference / phase while realizing high resolution in the entire G image signal which is a high resolution image signal based on G pixels.
- the re-mosaic processing 11 can be performed with higher quality.
- FIG. 26 is an example flowchart illustrating the re-mosaic processing 11 according to the embodiment.
- the image signal processing unit 110 acquires a pixel signal of one pixel from an input image signal based on the four-segment Bayer type RGB array, and determines whether the acquired pixel signal is a pixel signal of a G pixel. . If the image signal processing unit 110 determines that the acquired pixel signal is not the pixel signal of the G pixel (step S100, “No”), the process proceeds to step S101.
- the pixel acquired in step S100 is a B pixel.
- step S101 the image signal processing unit 110 uses the LCB unit 200 to perform a color balance process on a local region of the input image signal centered on the pixel acquired in step S100, and obtain a gain of R color for G color. lcb_gain_r and gain lbc_gain_b of B color are obtained.
- the image signal processing unit 110 uses the direction determining unit 201 to determine the direction in which interpolation for generating the entire G image signal is performed for the local region of the input image signal.
- step S103 the image signal processing unit 110 performs an interpolation process on the local region of the input image signal in accordance with the direction determined in step S102 by the G interpolation unit 202, and obtains a whole G image signal.
- the image signal processing unit 110 uses the first LPF 203 to calculate the pixel value corresponding to the pixel position of the B pixel acquired in step S100 of the whole G image signal generated by the G interpolation unit 202 in step S103. , A pixel value of a low-resolution image signal mG_xtalk having the same sensitivity difference / phase difference as that of the B pixel, based on a pixel value corresponding to the position of the corresponding B pixel in the pixel block of the neighboring R pixel. Generate In the next step S105, the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mG using G pixels based on the input image signal.
- step S106 the image signal processing unit 110 determines whether or not the pixel position of the pixel (B pixel in this example) acquired in step S100 can be estimated to be the position of the G pixel in the Bayer array.
- step S106 “No”
- the process proceeds to step S107.
- the image signal processing unit 110 further estimates which of the R pixel and the B pixel the pixel position is.
- the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mR based on R pixels or a low-resolution image signal mB based on B pixels based on the input image signal according to the estimated pixel position (this example). In this case, the low-resolution image signal is mB).
- the image signal processing unit 110 determines, based on the pixel position estimated by the color conversion processing unit 205, the pixel value at the pixel position of the entire G image signal generated in step S103 and the low resolution generated in step S104.
- the pixel value at the pixel position in the image signal mG_xtalk and the pixel value at the pixel position in one of the low-resolution image signals mR and mB (the low-resolution image signal mB in this example) generated by the second LPF 204 are obtained. I do.
- the color conversion processing unit 205 calculates any one of the above-described formulas (16) and (17) based on the obtained pixel values, and calculates any one of the pixel values R out and B out (in this example, the pixel Estimate the value B out ).
- step S106 determines in step S106 that the pixel position is the position of the G pixel (step S106, “Yes”)
- the process proceeds to step S108.
- step S108 the color conversion processing unit 205 determines, based on the estimated pixel position, the pixel value of the pixel position of the entire G image signal generated in step S103 and the low-resolution image signal mG_xtalk generated in step S104. And the pixel value at the pixel position of the low-resolution image signal mG generated in step S105.
- the color conversion processing unit 205 calculates the above equation (18) based on these acquired pixel values, and estimates the pixel value G out .
- step S107 After the processing of step S107 or step S108, the process proceeds to step S120.
- step S110 the image signal processing unit 110 calculates a pixel value of the G pixel and a pixel value corresponding to a position in the pixel block corresponding to the G pixel in a pixel block of the G pixel in the vicinity of the G pixel. Then, a pixel value based on the low-resolution image signal mG_xtalk having the same sensitivity difference / phase difference as that of the G pixel is generated.
- step S111 the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mG using G pixels based on the input image signal.
- step S112 the image signal processing unit 110 determines whether or not the pixel position of the pixel (B pixel in this example) acquired in step S100 can be estimated to be the position of the G pixel in the Bayer array.
- the color conversion processing unit 205 estimates that the pixel position is not the position of the G pixel (step S112, “No”), the process proceeds to step S113.
- the image signal processing unit 110 further estimates whether the pixel position is an R pixel or a B pixel.
- the image signal processing unit 110 uses the second LPF 204 to generate a low-resolution image signal mR based on R pixels or a low-resolution image signal mB based on B pixels based on the input image signal according to the estimated pixel position (this example). In this case, the low-resolution image signal is mB).
- the image signal processing unit 110 determines the pixel value of the G pixel acquired in step S100 and the pixel in the low-resolution image signal mG_xtalk generated in step S110 according to the pixel position estimated by the color conversion processing unit 205.
- the pixel value of the position and the pixel value of the pixel position of one of the low-resolution image signals mR and mB (for example, the low-resolution image signal mB) generated by the second LPF 204 are obtained. Based on these acquired pixel values, the color conversion processing unit 205 performs one of the above-described equations (16) and (17), and calculates any one of the pixel values R out and B out (for example, the pixel value B out). out ).
- step S112 determines in step S112 that the pixel position is the position of the G pixel (step S112, “Yes”), the process proceeds to step S114.
- step S114 the color conversion processing unit 205 determines, based on the estimated pixel position, the pixel value of the G pixel acquired in step S100 and the pixel of the pixel position in the low-resolution image signal mG_xtalk generated in step S110. The value and the pixel value of the corresponding pixel position of the low-resolution image signal mG generated in step S111 are obtained.
- the color conversion processing unit 205 calculates the above equation (18) based on these acquired pixel values, and estimates the pixel value G out .
- step S113 or S114 After the processing in step S113 or S114, the process proceeds to step S120.
- step S120 the image signal processing unit 110 selects the pixel value R out , G out, or B out estimated in any of steps S107, S108, S113, and S114 as a pixel value to be output.
- the selected pixel value is passed to the RGB signal processing unit 111 as the pixel value of the pixel position in the Bayer array corresponding to the pixel position of the pixel acquired in step S100.
- step S121 the image signal processing unit 110 determines whether or not the processing has been completed for all pixels included in the input image signal.
- the image signal processing unit 110 determines that the processing has not been completed for all pixels (step S121, “No”), the processing returns to step S100, and the pixel signal of the next one pixel included in the input image signal To get.
- step S121, “Yes” the image signal processing unit 110 ends a series of processing in the flowchart of FIG.
- FIG. 27 is a functional block diagram illustrating an example of a function of an image signal processing unit 110 ′ according to a first modification of the embodiment.
- the image signal output from the imaging unit 100 and input to the image signal processing unit 110 ' is passed to the direction determination unit 201, the G interpolation unit 202, and the second LPF 204.
- the processing in the G interpolation unit 202 and the second LPF 204 is the same as the processing described in the above embodiment.
- the image processing unit 1012 included in the imaging unit 1003 subjects the image signal input directly from the imaging unit 100 to the direction determination unit 201 to white balance processing on the entire image signal.
- the image signal processing unit 110 ′ according to the first modification of the embodiment corrects the pixel values of the R pixel and the B pixel using the gains lbc_gain_r and lbc_gain_b of the R and B colors detected by the LCB unit 200 in the embodiment. The correction by the white balance processing is used instead.
- the correction of the pixel values of the R pixel and the B pixel by the gains lbc_gain_r and lbc_gain_b is omitted.
- the configuration can be simplified with respect to the image signal processing unit 110 according to the embodiment. It is possible to reduce costs.
- FIG. 28 is a diagram illustrating an example of a basic configuration of an imaging device according to a second modification of the embodiment. 28, an imaging device 1a as an image processing device according to a second modified example of the embodiment is different from the configuration of the imaging device 1 described with reference to FIG. , A sensitivity difference correction unit 13 is added.
- an image signal obtained by performing imaging with the imaging system 10 is input to the sensitivity difference correction unit 13.
- the sensitivity difference correction unit 13 corrects an output difference for each pixel (each light receiving element 22), that is, a sensitivity difference, which is known in the imaging element 1011. For example, at the time of manufacturing or shipping of the image sensor 1011, the output value of each light receiving element 22 is measured, and a coefficient for suppressing the variation of the output value is obtained for each light receiving element 22.
- the sensitivity difference correction unit 13 includes a table (calibration table) in which coefficients for each light receiving element 22 are stored in advance, and converts each coefficient stored in the calibration table for an image signal input from the imaging system 10. Apply. Thereby, the sensitivity difference of each pixel is corrected.
- the image signal input by the imaging system 10 may include a sensitivity difference for each pixel that cannot be completely corrected by the calibration table.
- This sensitivity difference or the like that cannot be completely corrected by the sensitivity difference correction unit 13 can be removed by the re-mosaic processing 11 described in the embodiment.
- the sensitivity difference correction unit 13 corrects the sensitivity difference for each pixel that exists in the image sensor 1011 in advance, and further performs the sensitivity difference and the re-mosaic processing 11 according to the embodiment.
- the phase difference has been removed. Therefore, by applying the configuration of the imaging device 1a according to the second modification of this embodiment, it is possible to more accurately suppress the sensitivity difference for each pixel and obtain a higher quality output image. Becomes
- FIG. 29 is a diagram illustrating an example of a basic configuration of an imaging device according to a third modification of the embodiment.
- the re-mosaic processing 11 ′ is performed on the image signal output from the imaging system 10 on which noise is superimposed with a known specific frequency pattern.
- the configuration of the filter used for the low-pass filter processing by the first LPF 203 and described with reference to FIG. 25 is modified so as to be applied to a known specific frequency pattern.
- the low-resolution image signal mG_xtalk is generated by the first LPF 203 using this filter.
- an image signal based on a high-frequency component in which the sensitivity difference / phase difference and the noise of the specific frequency pattern have been cancelled. Can be generated. Therefore, it is possible to obtain a high-quality output image in which noise of the specific frequency pattern has been canceled.
- the pixel block is described as having a configuration in which 2 pixels ⁇ 2 pixels of the same color are arranged in a lattice, but this is not limited to this example. That is, the pixel block may be a block in which n pixels ⁇ n pixels (n is an integer of 2 or more) of the same color are arranged in a lattice.
- FIG. 30 is a diagram showing an example of the pixel block 24 in which 3 pixels ⁇ 3 pixels are arranged in a grid pattern.
- FIGS. 31A to 31E are diagrams showing examples of pixel blocks 25a to 25e in which 4 ⁇ 4 pixels are arranged in a lattice.
- the pixel block 24 and the pixel blocks 25a to 25e are assumed to have pixels (R pixels) on which the red color filter 21R is mounted. It is shown.
- the microlenses 40 are arranged in units of 2 pixels ⁇ 2 pixels.
- a microlens corresponding to the size of one pixel is arranged for each pixel not covered by the microlens 40.
- FIG. 30 shows an example in which the microlenses 40 are arranged so as to occupy a part of the pixel block 24 of 3 ⁇ 3 pixels.
- FIGS. 31A and 31B show an example in which one microlens 40 is arranged at a corner or a center of pixel blocks 25a and 25b of 4 ⁇ 4 pixels.
- FIG. 31C shows an example in which one microlens 40 is arranged at each diagonal of a pixel block 25c of 4 ⁇ 4 pixels.
- FIGS. 31D and 31E show examples in which three and four microlenses 40 are arranged in pixel blocks 25d and 25e of 4 ⁇ 4 pixels, respectively.
- the number and position of the microlenses 40 are changed as appropriate.
- the first LPF 203 generates a low-resolution image signal mG_xtalk using this filter.
- the microlenses 40 corresponding to 2 pixels ⁇ 2 pixels are appropriately arranged in a pixel block in which n pixels ⁇ n pixels of the same color are arranged in a grid pattern, the sensitivity difference of each pixel is obtained. / It is possible to obtain a higher quality output image in which the phase difference has been canceled.
- the microlens 40 shared by a plurality of pixels is not limited to a size corresponding to 2 pixels ⁇ 2 pixels, but may be any size that can fit in a pixel block, such as 4 pixels ⁇ 4 pixels or 3 pixels ⁇ 3 pixels. It may be the size.
- the technology (the present technology) according to the present disclosure can be applied to various products.
- the technology according to the present disclosure may be applied to an endoscopic surgery system.
- FIG. 32 is a diagram illustrating an example of a schematic configuration of an endoscopic surgery system to which the technology (the present technology) according to the present disclosure may be applied.
- FIG. 32 shows a state in which an operator (doctor) 11131 is performing an operation on a patient 11132 on a patient bed 11133 using the endoscopic surgery system 11000.
- the endoscopic surgery system 11000 includes an endoscope 11100, other surgical tools 11110 such as an insufflation tube 11111 and an energy treatment tool 11112, and a support arm device 11120 that supports the endoscope 11100.
- a cart 11200 on which various devices for endoscopic surgery are mounted.
- the endoscope 11100 includes a lens barrel 11101 having a predetermined length from the distal end inserted into the body cavity of the patient 11132, and a camera head 11102 connected to the proximal end of the lens barrel 11101.
- the endoscope 11100 which is configured as a so-called rigid endoscope having a hard lens barrel 11101 is illustrated.
- the endoscope 11100 may be configured as a so-called flexible endoscope having a soft lens barrel. Good.
- An opening in which an objective lens is fitted is provided at the tip of the lens barrel 11101.
- a light source device 11203 is connected to the endoscope 11100, and light generated by the light source device 11203 is guided to the distal end of the lens barrel by a light guide that extends inside the lens barrel 11101, and the objective The light is radiated toward the observation target in the body cavity of the patient 11132 via the lens.
- the endoscope 11100 may be a direct view scope, a perspective view scope, or a side view scope.
- An optical system and an image sensor are provided inside the camera head 11102, and the reflected light (observation light) from the observation target is focused on the image sensor by the optical system.
- the observation light is photoelectrically converted by the imaging element, and an electric signal corresponding to the observation light, that is, an image signal corresponding to the observation image is generated.
- the image signal is transmitted as raw data to a camera control unit (CCU: ⁇ Camera ⁇ Control ⁇ Unit) 11201.
- the $ CCU 11201 is configured by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and controls the operations of the endoscope 11100 and the display device 11202 overall. Further, the CCU 11201 receives an image signal from the camera head 11102, and performs various image processing on the image signal for displaying an image based on the image signal, such as a development process (demosaicing process).
- a development process demosaicing process
- the display device 11202 displays an image based on an image signal on which image processing has been performed by the CCU 11201 under the control of the CCU 11201.
- the light source device 11203 includes a light source such as an LED (Light Emitting Diode), for example, and supplies the endoscope 11100 with irradiation light when imaging an operation part or the like.
- a light source such as an LED (Light Emitting Diode), for example, and supplies the endoscope 11100 with irradiation light when imaging an operation part or the like.
- the input device 11204 is an input interface for the endoscopic surgery system 11000.
- the user can input various information and input instructions to the endoscopic surgery system 11000 via the input device 11204.
- the user inputs an instruction or the like to change imaging conditions (type of irradiation light, magnification, focal length, and the like) by the endoscope 11100.
- the treatment instrument control device 11205 controls the driving of the energy treatment instrument 11112 for cauterizing, incising a tissue, sealing a blood vessel, and the like.
- the insufflation device 11206 is used to inflate the body cavity of the patient 11132 for the purpose of securing the visual field by the endoscope 11100 and securing the working space of the operator.
- the recorder 11207 is a device that can record various types of information related to surgery.
- the printer 11208 is a device capable of printing various types of information on surgery in various formats such as text, images, and graphs.
- the light source device 11203 that supplies the endoscope 11100 with irradiation light at the time of imaging the operation site can be configured by, for example, a white light source including an LED, a laser light source, or a combination thereof.
- a white light source is configured by a combination of the RGB laser light sources
- the output intensity and output timing of each color (each wavelength) can be controlled with high accuracy, so that the light source device 11203 adjusts the white balance of the captured image. It can be carried out.
- the laser light from each of the RGB laser light sources is radiated to the observation target in a time-division manner, and the driving of the image pickup device of the camera head 11102 is controlled in synchronization with the irradiation timing. It is also possible to capture the image obtained in a time-division manner. According to this method, a color image can be obtained without providing a color filter in the image sensor.
- the driving of the light source device 11203 may be controlled so as to change the intensity of output light at predetermined time intervals.
- the driving of the image sensor of the camera head 11102 in synchronization with the timing of the change of the light intensity, an image is acquired in a time-division manner, and the image is synthesized, so that a high dynamic image without so-called blackout and whiteout is obtained. An image of the range can be generated.
- the light source device 11203 may be configured to be able to supply light in a predetermined wavelength band corresponding to special light observation.
- special light observation for example, by utilizing the wavelength dependence of the absorption of light in the body tissue, by irradiating light in a narrower band than the irradiation light (ie, white light) during normal observation, the surface of the mucous membrane A so-called narrow-band light observation (Narrow / Band / Imaging) for photographing a predetermined tissue such as a blood vessel with high contrast is performed.
- fluorescence observation in which an image is obtained by fluorescence generated by irradiating excitation light may be performed.
- body tissue is irradiated with excitation light to observe fluorescence from the body tissue (autofluorescence observation), or a reagent such as indocyanine green (ICG) is locally injected into the body tissue and Irradiation with excitation light corresponding to the fluorescence wavelength of the reagent can be performed to obtain a fluorescence image.
- the light source device 11203 can be configured to be able to supply narrowband light and / or excitation light corresponding to such special light observation.
- FIG. 33 is a block diagram showing an example of a functional configuration of the camera head 11102 and the CCU 11201 shown in FIG.
- the camera head 11102 includes a lens unit 11401, an imaging unit 11402, a driving unit 11403, a communication unit 11404, and a camera head control unit 11405.
- the CCU 11201 includes a communication unit 11411, an image processing unit 11412, and a control unit 11413.
- the camera head 11102 and the CCU 11201 are communicably connected to each other by a transmission cable 11400.
- the lens unit 11401 is an optical system provided at a connection with the lens barrel 11101. Observation light taken in from the tip of the lens barrel 11101 is guided to the camera head 11102, and enters the lens unit 11401.
- the lens unit 11401 is configured by combining a plurality of lenses including a zoom lens and a focus lens.
- the imaging unit 11402 includes an imaging element.
- the number of imaging elements constituting the imaging unit 11402 may be one (so-called single-panel type) or plural (so-called multi-panel type).
- an image signal corresponding to each of RGB may be generated by each imaging element, and a color image may be obtained by combining the image signals.
- the imaging unit 11402 may be configured to include a pair of imaging elements for acquiring right-eye and left-eye image signals corresponding to 3D (Dimensional) display. By performing the 3D display, the operator 11131 can more accurately grasp the depth of the living tissue in the operative part.
- a plurality of lens units 11401 may be provided for each imaging element.
- the imaging unit 11402 does not necessarily have to be provided in the camera head 11102.
- the imaging unit 11402 may be provided inside the lens barrel 11101 immediately after the objective lens.
- the drive unit 11403 is configured by an actuator, and moves the zoom lens and the focus lens of the lens unit 11401 by a predetermined distance along the optical axis under the control of the camera head control unit 11405.
- the magnification and the focus of the image captured by the imaging unit 11402 can be appropriately adjusted.
- the communication unit 11404 is configured by a communication device for transmitting and receiving various information to and from the CCU 11201.
- the communication unit 11404 transmits the image signal obtained from the imaging unit 11402 as RAW data to the CCU 11201 via the transmission cable 11400.
- the communication unit 11404 receives a control signal for controlling driving of the camera head 11102 from the CCU 11201 and supplies the control signal to the camera head control unit 11405.
- the control signal includes, for example, information indicating that the frame rate of the captured image is specified, information that specifies the exposure value at the time of imaging, and / or information that specifies the magnification and focus of the captured image. Contains information about the condition.
- the above-described imaging conditions such as the frame rate, the exposure value, the magnification, and the focus may be appropriately designated by the user, or may be automatically set by the control unit 11413 of the CCU 11201 based on the acquired image signal. Good.
- the endoscope 11100 has a so-called AE (Auto Exposure) function, an AF (Auto Focus) function, and an AWB (Auto White Balance) function.
- the camera head control unit 11405 controls the driving of the camera head 11102 based on the control signal from the CCU 11201 received via the communication unit 11404.
- the communication unit 11411 is configured by a communication device for transmitting and receiving various information to and from the camera head 11102.
- the communication unit 11411 receives an image signal transmitted from the camera head 11102 via the transmission cable 11400.
- the communication unit 11411 transmits a control signal for controlling driving of the camera head 11102 to the camera head 11102.
- the image signal and the control signal can be transmitted by electric communication, optical communication, or the like.
- the image processing unit 11412 performs various types of image processing on an image signal that is RAW data transmitted from the camera head 11102.
- the control unit 11413 performs various kinds of control related to imaging of the operation section and the like by the endoscope 11100 and display of a captured image obtained by imaging the operation section and the like. For example, the control unit 11413 generates a control signal for controlling driving of the camera head 11102.
- control unit 11413 causes the display device 11202 to display a captured image showing the operative part or the like based on the image signal subjected to the image processing by the image processing unit 11412.
- the control unit 11413 may recognize various objects in the captured image using various image recognition techniques. For example, the control unit 11413 detects a shape, a color, or the like of an edge of an object included in the captured image, and thereby detects a surgical tool such as forceps, a specific living body site, bleeding, a mist when using the energy treatment tool 11112, and the like. Can be recognized.
- the control unit 11413 may use the recognition result to superimpose and display various types of surgery support information on the image of the operative site.
- the burden on the operator 11131 can be reduced, and the operator 11131 can reliably perform the operation.
- the transmission cable 11400 connecting the camera head 11102 and the CCU 11201 is an electric signal cable corresponding to electric signal communication, an optical fiber corresponding to optical communication, or a composite cable thereof.
- the communication is performed by wire using the transmission cable 11400, but the communication between the camera head 11102 and the CCU 11201 may be performed wirelessly.
- the technology according to the present disclosure can be applied to, for example, the endoscope 11100 and the imaging unit 11402 of the camera head 11102 among the configurations described above.
- a four-segment Bayer type RGB array is adopted as the pixel array of the image sensor forming the image capturing unit 11402, and the re-mosaic processing 11 according to the present disclosure is performed by the image processing unit 11412.
- the imaging unit 11402 By applying the technology according to the present disclosure to the imaging unit 11402, a clearer operation part image can be obtained, so that the operator can surely confirm the operation part.
- the endoscopic surgery system has been described as an example, but the technology according to the present disclosure may be applied to, for example, a microscopic surgery system or the like.
- the technology (the present technology) according to the present disclosure can be applied to various products.
- the technology according to the present disclosure is realized as a device mounted on any type of moving object such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
- FIG. 34 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
- Vehicle control system 12000 includes a plurality of electronic control units connected via communication network 12001.
- the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an inside information detection unit 12040, and an integrated control unit 12050.
- a microcomputer 12051, an audio / video output unit 12052, and a vehicle-mounted network I / F (interface) 12053 are illustrated.
- the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
- the driving system control unit 12010 includes a driving force generating device for generating driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting driving force to wheels, and a steering angle of the vehicle. It functions as a control mechanism such as a steering mechanism for adjusting and a braking device for generating a braking force of the vehicle.
- the body control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
- the body control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a head lamp, a back lamp, a brake lamp, a blinker, and a fog lamp.
- a radio wave or various switch signals transmitted from a portable device replacing the key may be input to the body control unit 12020.
- the body control unit 12020 receives the input of these radio waves or signals and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
- Out-of-vehicle information detection unit 12030 detects information external to the vehicle on which vehicle control system 12000 is mounted.
- an imaging unit 12031 is connected to the outside-of-vehicle information detection unit 12030.
- the out-of-vehicle information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle, and receives the captured image.
- the out-of-vehicle information detection unit 12030 may perform an object detection process or a distance detection process of a person, a vehicle, an obstacle, a sign, a character on a road surface, or the like based on the received image.
- the imaging unit 12031 is an optical sensor that receives light and outputs an electric signal according to the amount of received light.
- the imaging unit 12031 can output an electric signal as an image or can output the information as distance measurement information.
- the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared light.
- the in-vehicle information detection unit 12040 detects information in the vehicle.
- the in-vehicle information detection unit 12040 is connected to, for example, a driver status detection unit 12041 that detects the status of the driver.
- the driver state detection unit 12041 includes, for example, a camera that captures an image of the driver, and the in-vehicle information detection unit 12040 determines the degree of driver fatigue or concentration based on the detection information input from the driver state detection unit 12041. The calculation may be performed, or it may be determined whether the driver has fallen asleep.
- the microcomputer 12051 calculates a control target value of the driving force generation device, the steering mechanism or the braking device based on the information on the inside and outside of the vehicle acquired by the outside information detection unit 12030 or the inside information detection unit 12040, and the drive system control unit A control command can be output to 12010.
- the microcomputer 12051 implements functions of ADAS (Advanced Driver Assistance System) including vehicle collision avoidance or impact mitigation, following running based on the following distance, vehicle speed maintaining running, vehicle collision warning, vehicle lane departure warning, and the like. Cooperative control for the purpose.
- ADAS Advanced Driver Assistance System
- the microcomputer 12051 controls the driving force generation device, the steering mechanism, the braking device, and the like based on the information about the surroundings of the vehicle obtained by the outside information detection unit 12030 or the inside information detection unit 12040, so that the driver 120 It is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation.
- the microcomputer 12051 can output a control command to the body system control unit 12020 based on information on the outside of the vehicle acquired by the outside information detection unit 12030.
- the microcomputer 12051 controls the headlamp in accordance with the position of the preceding vehicle or the oncoming vehicle detected by the outside-of-vehicle information detection unit 12030, and performs cooperative control for the purpose of preventing glare such as switching a high beam to a low beam. It can be carried out.
- the sound image output unit 12052 transmits at least one of a sound signal and an image signal to an output device capable of visually or audibly notifying a passenger of the vehicle or the outside of the vehicle of information.
- an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
- the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
- FIG. 35 is a diagram illustrating an example of an installation position of the imaging unit 12031.
- the vehicle 12100 has imaging units 12101, 12102, 12103, 12104, and 12105 as the imaging unit 12031.
- the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
- the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 12100.
- the imaging units 12102 and 12103 provided in the side mirror mainly acquire images of the side of the vehicle 12100.
- the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
- the forward images acquired by the imaging units 12101 and 12105 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like.
- FIG. 35 shows an example of the imaging range of the imaging units 12101 to 12104.
- the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
- the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
- the imaging range 12114 indicates 14 shows an imaging range of an imaging unit 12104 provided in a rear bumper or a back door.
- a bird's-eye view image of the vehicle 12100 viewed from above is obtained by superimposing image data captured by the imaging units 12101 to 12104.
- At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
- at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements or an imaging element having pixels for detecting a phase difference.
- the microcomputer 12051 calculates a distance to each three-dimensional object in the imaging ranges 12111 to 12114 and a temporal change of the distance (relative speed with respect to the vehicle 12100). , It is possible to extract, as a preceding vehicle, a three-dimensional object that travels at a predetermined speed (for example, 0 km / h or more) in a direction substantially the same as that of the vehicle 12100, which is the closest three-dimensional object on the traveling path of the vehicle 12100. it can.
- a predetermined speed for example, 0 km / h or more
- microcomputer 12051 can set an inter-vehicle distance to be secured before the preceding vehicle and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform cooperative control for automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
- the microcomputer 12051 converts the three-dimensional object data relating to the three-dimensional object into other three-dimensional objects such as a motorcycle, a normal vehicle, a large vehicle, a pedestrian, a telephone pole, and the like based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating a risk of collision with each obstacle, and when the collision risk is equal to or more than the set value and there is a possibility of collision, via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver through forced driving and avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
- driving assistance for collision avoidance can be performed.
- At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared light.
- the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian exists in the captured images of the imaging units 12101 to 12104. The recognition of such a pedestrian is performed by, for example, extracting a feature point in an image captured by the imaging units 12101 to 12104 as an infrared camera, and performing a pattern matching process on a series of feature points indicating the outline of the object to determine whether the object is a pedestrian.
- the audio image output unit 12052 outputs a rectangular contour for emphasis to the recognized pedestrian.
- the display unit 12062 is controlled so that is superimposed.
- the sound image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
- the technology according to the present disclosure can be applied to the imaging unit 12031 among the configurations described above. Specifically, for example, a four-segment Bayer type RGB array is adopted as a pixel array of an image sensor constituting the image capturing unit 12031, and a re-mosaic process 11 according to the present disclosure is performed on a captured image acquired by the image sensor.
- the technology according to the present disclosure to the imaging unit 12031, for example, the object detection processing and the distance detection processing by the outside-of-vehicle information detection unit 12030 can be performed with higher accuracy.
- An image signal processing unit that performs signal processing on a pixel signal in the input image
- the image signal processing unit As the input image, a mosaic image in which a pixel block composed of a plurality of same-color pixels in which one lens is arranged in common is input, A first image signal is generated by performing an interpolation process on the entire surface of the input image based on a pixel signal of a pixel of a predetermined color included in the input image, Based on the input image, including a difference based on the relative position of the pixel of interest with respect to the lens, and generates a second image signal having a lower resolution than the first image signal, Based on a component obtained by subtracting the second image signal from the first image signal, a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
- Image processing device (2) The image signal processing unit, A low-pass filter process is performed by collectively using pixel signals of a plurality of pixels included in the pixel block to further generate a third image signal having a lower resolution than the first image signal, When the output color of the target pixel is the predetermined color, a pixel signal obtained by adding the third image signal to the component is estimated to be the pixel signal of the converted pixel (1).
- An image processing apparatus according to claim 1.
- the image signal processing unit When the output color of the target pixel is a color other than the predetermined color, The image processing according to (2), wherein a pixel signal of the converted pixel is estimated by a correlation process based on the component and the third image signal generated based on a pixel signal of a pixel other than the predetermined color. apparatus. (5) The image signal processing unit, A color balance is calculated based on a pixel signal of a pixel in a local area including the target pixel in the input image, and a pixel signal of a pixel included in the local area is normalized based on the calculated color balance.
- the image processing apparatus according to any one of (1) to (4), wherein a direction in which the interpolation process is performed is determined using the pixel signal thus obtained.
- the image signal processing unit The image processing device according to any one of (1) to (4), wherein a direction in which the interpolation process is performed is determined using a pixel signal of the input image whose color balance has been adjusted in advance.
- the image signal processing unit The image processing apparatus according to any one of (1) to (6), wherein the first image signal is generated by performing an interpolation process on the entire surface of the input image along a direction obtained based on the input image.
- the image signal processing unit A sensitivity correction process is performed on each pixel signal in the input image based on a known sensitivity correction value, and the signal processing is performed on each pixel signal that has been subjected to the sensitivity correction process.
- the image processing device according to any one of the above.
- (9) The image according to any one of (1) to (8), wherein the pixel block has four same-color pixels arranged in a grid pattern, and one lens is commonly arranged for the four same-color pixels. Processing equipment.
- the input image is Pixel blocks in which pixels of the same color are arranged in a grid of n pixels ⁇ n pixels (n is an integer of 2 or more) are arranged according to a pattern in which the pixel blocks of the same color pixels are not adjacent to each other, Any of the above (1) to (8), wherein one lens is commonly arranged for a grid-like arrangement of m pixels ⁇ m pixels (m is an integer of n or more and 2 or more) included in the pixel block.
- An image processing device according to any one of the above.
- An image processing apparatus including an image signal processing unit that performs signal processing on a pixel signal in an input image, As the input image, a mosaic image in which pixel blocks each composed of a plurality of same color pixels in which one lens is commonly arranged is input, A first image signal is generated by performing an interpolation process on the entire surface of the input image based on a pixel signal of a pixel of a predetermined color included in the input image, Based on the input image, including a difference based on the relative position of the pixel of interest with respect to the lens, and generates a second image signal having a lower resolution than the first image signal, Based on a component obtained by subtracting the second image signal from the first image signal, a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
- Image processing method (12) The image processing device, A low-pass filter process is performed by collectively using pixel signals of a plurality of pixels included in the pixel block to further generate a third image signal having a lower resolution than the first image signal, When the color of the output at the target pixel is the predetermined color, the pixel signal obtained by adding the third image signal to the component is estimated to be the pixel signal of the converted pixel (11).
- the image processing method according to 1.
- the image processing device The method according to (11) or (12), wherein the conversion pixel is generated based on the component for any of the pixel of the output color of the target pixel and the pixel of a color other than the predetermined color. Image processing method.
- the image processing device When the output color of the target pixel is a color other than the predetermined color, The image processing according to (12), wherein a pixel signal of the converted pixel is estimated by a correlation process based on the component and the third image signal generated based on a pixel signal of a pixel other than the predetermined color. Method. (15) The image processing device, A color balance is calculated based on a pixel signal of a pixel in a local area including the target pixel in the input image, and a pixel signal of a pixel included in the local area is normalized based on the calculated color balance. The image processing method according to any one of (11) to (14), wherein a direction in which the interpolation process is performed is determined using the pixel signal thus obtained.
- the image signal processing unit The image processing method according to any one of (11) to (14), wherein a direction in which the interpolation processing is performed is determined using a pixel signal of the input image whose color balance has been adjusted in advance.
- the image processing device The image processing method according to any one of (11) to (16), wherein the first image signal is generated by performing an interpolation process on the entire surface of the input image along a direction obtained based on the input image.
- the image signal processing unit, A sensitivity correction process is performed on each pixel signal in the input image based on a known sensitivity correction value, and the signal processing is performed on each pixel signal that has been subjected to the sensitivity correction process.
- the image processing method according to any one of the above.
- An image processing apparatus including an image signal processing unit that performs signal processing on a pixel signal in an input image, As the input image, a mosaic image in which pixel blocks each composed of a plurality of same color pixels in which one lens is commonly arranged is input, A first image signal is generated by performing an interpolation process on the entire surface of the input image based on a pixel signal of a pixel of a predetermined color included in the input image, Based on the input image, including a difference based on the relative position of the pixel of interest with respect to the lens, and generates a second image signal having a lower resolution than the first image signal, Based on a component obtained by subtracting the second image signal from the first image signal, a converted pixel whose position after conversion corresponds to the position of the target pixel is generated.
- a low-pass filter process is performed by collectively using pixel signals of a plurality of pixels included in the pixel block to further generate a third image signal having a lower resolution than the first image signal,
- a process of estimating a pixel signal obtained by adding the third image signal to the component as the pixel signal of the converted pixel is further performed.
- a color balance is calculated based on a pixel signal of a pixel in a local area including the target pixel in the input image, and a pixel signal of a pixel included in the local area is normalized based on the calculated color balance.
- the image processing program according to any one of (19) to (22).
- the image processing program for further executing a process of obtaining the direction using a pixel signal of the input image whose color balance has been adjusted in advance, The image processing program according to any one of (19) to (22).
- Imaging device 10 Imaging system 11, 11 'Remosaic processing 13 Sensitivity difference correction units 21, 21R, 21B, 21G Color filter 22
- Light receiving element 40
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
画像信号処理部(110)は、入力画像として、それぞれ1のレンズ(40)が共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像が入力される。画像信号処理部は、入力画像に含まれる所定色の画素の画素信号に基づき、入力画像の全面に補間処理を行って第1の画像信号を生成する。画像信号処理部は、入力画像に基づき、注目画素のレンズに対する相対位置に基づく差分を含み、且つ、第1の画像信号より解像度の低い第2の画像信号を生成する。画像信号処理部は、第1の画像信号から第2の画像信号を減じた成分に基づき、変換後の位置が注目画素の位置に対応する変換画素を生成する。
Description
本開示は、画像処理装置、画像処理方法および画像処理プログラムに関する。
ディジタルカメラなどの撮像装置に利用される撮像素子は、例えばR(赤色)、G(緑色)およびB(青色)の各色のカラーフィルタが装着され、各画素に特定波長の光を入射する構成となっている。このカラーフィルタの配列としては、2つのG色のカラーフィルタと、それぞれ1つのR色およびB色のカラーフィルタとを、同色のフィルタが隣接しないように、2画素×2画素の配列に配置したベイヤ(Bayer)配列が多く利用されている。
これに対して、ベイヤ配列と異なるカラーフィルタ配列も提案されている。このベイヤ配列と異なるカラーフィルタ配列の一つとして、ベイヤ配列の各画素を、2画素×2画素からなる4画素に分割したカラーフィルタ配列が知られている(例えば特許文献1)。この配列を、4分割ベイヤ型RGB配列と呼ぶ。
ところで、一般的には、撮像装置の信号処理回路は、ベイヤ配列による画素配列の撮像画像を前提としている。そのため、撮像素子に装着されるカラーフィルタの配列がベイヤ配列と異なる場合、撮像素子から出力される画像の画素配列を、ベイヤ配列による画素配列に変換して信号処理回路に入力することで、既存の信号処理回路をベイヤ配列と異なる画素配列に適用することが可能となる。このように、撮像画像の画素配列を異なる画素配列に変換する処理を、リモザイク処理と呼ぶ。
既存のリモザイク処理は、G色の画素(以下、G画素)の画素値を各方向に沿って補間し、全面がG画素であると見做す全面G画像信号を作成する。変換先の画素がG画素の場合、全面G画像信号の画素値をそのまま用いる。一方、変換先の画素がG画素以外、例えばR画素の場合、全面G画像信号の画素値と、R画素の画素値とに基づきR画素の画素値を推測する。変換先の画素がB画素の場合も同様である。
画素においては、入射された光を画素に集光させるために、カラーフィルタ上にマイクロレンズ(OCL:On Chip Lense)が設けられる。上述した4分割ベイヤ型RGB配列においては、2画素×2画素からなる同一色の4画素に対して1つのマイクロレンズを設ける構造が考えられる。
しかしながら、複数の画素に1つのマイクロレンズを設けた場合、1つの光束が複数の画素に入射されることによる、複数画素の画素信号間での位相のズレや、マイクロレンズの位置ズレに起因する、複数画素間での感度差が、G画素の画素信号に含まれることになる。また、上述したように、R画素およびB画素の画素値は、G画素の画素値を用いて算出されるため、R画素およびB画素の画素値にも、これら位相ズレおよび感度差が含まれることになる。そのため、4分割ベイヤ型RGB配列による画素信号をリモザイクした画像信号には、位相差や感度差に起因するアーティフィクトが生じるおそれがある。
本開示は、画素配列を異なる画素配列に変換する処理を高品質に実行可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本開示の画像処理装置は、入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、画像信号処理部は、入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、入力画像に含まれる所定色の画素の画素信号に基づき、入力画像の全面に補間処理を行って第1の画像信号を生成し、入力画像に基づき、注目画素のレンズに対する相対位置に基づく差分を含み、且つ、第1の画像信号より解像度の低い第2の画像信号を生成し、第1の画像信号から第2の画像信号を減じた成分に基づき、変換後の位置が注目画素の位置に対応する変換画素を生成する。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
[実施形態]
図1は、実施形態に係る画像処理装置の基本的な構成を示す図である。図1において、実施形態に係る画像処理装置としての撮像装置1は、撮像系10により撮像を行い得られた画像信号に対してリモザイク処理11を施し、リモザイク処理11が施された画像信号に対して出力処理12を行い出力する。
図1は、実施形態に係る画像処理装置の基本的な構成を示す図である。図1において、実施形態に係る画像処理装置としての撮像装置1は、撮像系10により撮像を行い得られた画像信号に対してリモザイク処理11を施し、リモザイク処理11が施された画像信号に対して出力処理12を行い出力する。
撮像系10は、それぞれ受光した光を電気信号に変換する複数の画素がアレイ状に配列された撮像素子と、撮像素子から出力された撮像信号に対してAD(Analog to Digital)変換、ノイズ除去、ゲイン調整などを行う信号処理回路と、を含む。撮像素子は、各画素に対してカラーフィルタおよびマイクロレンズが装着される。
図2は、実施形態に適用可能な画素の配列の例を示す図である。図2では、画素の配列を、赤色のカラーフィルタ21R、緑色のカラーフィルタ21G、および、青色のカラーフィルタ21Bの配列として示している。以降、特に記載の無い限り、カラーフィルタ21R、21Gおよび21Bが装着された画素を、それぞれR画素、G画素およびB画素と呼ぶ。
実施形態に係る画素の配列は、図2に示されるように、同一色による2画素×2画素が格子状に配列された画素ブロックを単位とし、R画素、G画素およびB画素による各画素ブロックが、ベイヤ(Bayer)配列に準じた画素配列20にて配置されて構成されている。以下では、特に記載の無い限り、このような画素配列20を、4分割ベイヤ型RGB配列と呼ぶ。
より具体的には、4分割ベイヤ型RGB配列は、R画素、G画素およびB画素による各画素ブロックが、R画素、G画素およびB画素の数が1:2:1の割合となり、且つ、同一色の画素による画素ブロックが隣接しないように、2×2の格子状に配列される。図2の例では、R画素による画素ブロックの右および下にG画素による画素ブロックが配置され、R画素による画素ブロックの対角に、B画素による画素ブロックが配置されている。
リモザイク処理11は、この4分割ベイヤ型RGB配列による画素信号の配列を、図3に示すベイヤ配列に変換し、ベイヤ配列によるモザイク画像を生成する。図3は、ベイヤ配列の例を示す図である。図3において、ベイヤ配列30は、2つのG画素と、それぞれ1つのR画素およびB画素とを含み、これら4つの画素が、G画素が隣接しないように、2画素×2画素の格子状に配列されて構成される。
リモザイク処理11によりベイヤ配列30に変換された画像信号は、出力処理12により例えばデモザイク処理され、各画素位置にR色、G色およびB色それぞれの輝度情報が含められる。
図4は、実施形態に係る、撮像素子に対するマイクロレンズの装着の例を示す図である。図4に示されるように、4分割ベイヤ型RGB配列による2画素×2画素の画素ブロックに対して1つのマイクロレンズ40を装着する。換言すれば、1つのマイクロレンズ40が画素ブロックに含まれる4つの画素に共通に配置される。マイクロレンズ40は、オンチップレンズ(OCL)として形成され、画素に入射した光が受光素子上に集光される際の集光効率を向上させている。
このように、画素ブロックに含まれる複数画素に対して1つのマイクロレンズ40が配置される構造において、像が受光素子の受光面上に暈けて集光される場合、すなわち、マイクロレンズ40の焦点が受光面と同一面上にある場合について考える。この場合、1つの光束による光が、画素ブロックに含まれる4つの画素で分離して光電変換され、位相差が発生する。
図5は、マイクロレンズ40を共有する複数の画素において位相差が発生する場合の例を模式的に示す図である。図5では、画素ブロックの、光の入射方向と平行な断面を示している。マイクロレンズ40を介して画素に入射された光は、カラーフィルタ21を介して各受光素子22に照射される。図5において、マイクロレンズ40の焦点23aが各受光素子22の境界部分にあり、各受光素子22は、受光面が焦点23aと同一面上にあるものとする。各受光素子22がマイクロレンズ40からの光を受光する受光位置23bおよび23cの位置の差に基づき、位相差が発生する。
また、製造誤差などの影響により、マイクロレンズ40が理想的な位置からずれて配置される場合が有り得る。この場合、画素ブロックに含まれる複数の画素に受光される受光量に差が生じ、この差が同一色内における感度差として現れる。
図6は、マイクロレンズ40の中心が画素ブロックの中心からずれている様子を模式的に示す図である。図6の各部の意味は、上述した図5と同様であるので、説明を省略する。図6において、マイクロレンズ40が各受光素子22に対して右側にずれて配置され、マイクロレンズ40の焦点23aも、右側にずれている。この場合、図6における左側の受光素子22における受光位置23b’と、右側の受光素子22における受光位置23c’とを比較すると、受光位置23c’の方が受光位置23b’よりも受光量が多くなる。このマイクロレンズ40の位置ずれによる受光量の差が、2つの受光素子22の感度差となる。
実施形態では、このような、複数の画素に対して1つのマイクロレンズ40を配した場合の位相差、感度差を抑制可能なリモザイク処理を提供することを可能としている。
(実施形態に適用可能な撮像装置の構成)
次に、実施形態に適用可能な撮像装置の構成の例について説明する。図7は、実施形態に適用可能な撮像装置の一例のハードウェア構成を示すブロック図である。図7において、撮像装置1は、それぞれバス1009により接続される、CPU(Central Processing Unit)1000と、ROM(Read Only Memory)1001と、RAM(Random Access Memory)1002と、撮像部1003と、ストレージ1004と、データI/F1005と、操作部1006と、表示制御部1007と、を含む。
次に、実施形態に適用可能な撮像装置の構成の例について説明する。図7は、実施形態に適用可能な撮像装置の一例のハードウェア構成を示すブロック図である。図7において、撮像装置1は、それぞれバス1009により接続される、CPU(Central Processing Unit)1000と、ROM(Read Only Memory)1001と、RAM(Random Access Memory)1002と、撮像部1003と、ストレージ1004と、データI/F1005と、操作部1006と、表示制御部1007と、を含む。
CPU1000は、ROM1001に予め記憶されたプログラムに従い、RAM1002をワークメモリとして用いて、この撮像装置1の全体の動作を制御する。撮像部1003は、図1の撮像系10に対応し、撮像を行い撮像画像による画像信号を出力する。撮像部1003から出力された画像信号は、RAM1002に記憶される。
ストレージ1004は、例えばフラッシュメモリであって、RAM1002に記憶される撮像画像による画像信号を転送して記憶、蓄積することができる。また、ストレージ1004は、CPU1000を動作させるためのプログラムを記憶させることもできる。さらには、ストレージ1004は、撮像装置1に内蔵される構成に限らず、撮像装置1に対して着脱可能な構成としてもよい。
データI/F1005は、撮像装置1が外部機器とデータの送受信を行うためのインタフェースである。データI/F1005としては、例えばUSB(Universal Serial Bus)を適用することができる。また、データI/F1005として、Bluetooth(登録商標)といった近距離無線通信を行うインタフェースを適用することもできる。
操作部1006は、撮像装置1に対するユーザ操作を受け付ける。操作部1006は、ユーザ入力を受け付ける入力デバイスとして、ダイヤルやボタンなどの操作子を含む。操作部1006は、入力デバイスとして、接触した位置に応じた信号を出力するタッチパネルを含んでもよい。表示制御部1007は、CPU1000により渡された表示制御信号に基づき、ディスプレイ1008が表示可能な表示信号を生成する。ディスプレイ1008は、例えばLCD(Liquid Crystal Display)を表示デバイスとして用い、表示制御部1007により生成された表示信号に従った画面を表示させる。
図8は、実施形態に適用可能な撮像部1003の一例の構成を示す図である。撮像部1003は、光学系1010と、撮像素子1011と、信号処理部1012と、駆動部1013と、を含む。光学系1010は、1枚以上のレンズと、オートフォーカス機構、絞り機構などを含む。撮像素子1011は、受光素子22と、カラーフィルタ21と、マイクロレンズ40とを含む画素がアレイ状に配列されて構成される。カラーフィルタ21の配列は、上述した同一色の画素が2画素×2画素の格子状に配列された画素ブロックを単位とする、4分割ベイヤ型RGB配列による画素配列20である。
信号処理部1012は、撮像素子1011から出力された信号に対してAD変換、ノイズ除去、ゲイン調整、ホワイトバランス処理などの信号処理を施し、撮像素子1011の出力に基づく画像信号を出力する。駆動部1013は、例えばCPU1000からの指示に従い、光学系1010(オートフォーカス機構、絞り機構など)、撮像素子1011および信号処理部1012を駆動する。
図9は、実施形態に係る画像処理装置としての撮像装置1の機能を説明するための一例の機能ブロック図である。図9において、撮像装置1は、撮像部100と、画像処理部101と、出力部102と、を含む。また、画像処理部101は、画像信号処理部110と、RGB信号処理部111と、を含む。
撮像部100は、上述した撮像部1003に対応し、撮像素子1011による撮像を行い、撮像により取得された撮像画像による画像信号を出力する。画像処理部101は、撮像部100から出力された、4分割ベイヤ型RGB配列の画像信号に対して、画像信号処理部110によりリモザイク処理11を施して画素の配列をベイヤ配列30に変換する。RGB信号処理部111は、画像信号処理部110によりベイヤ配列30に画素配列が変換された画像信号に対してデモザイク処理を施し、各画素がR色、G色およびB色それぞれの輝度情報を持つ画像信号に変換する。
出力部102は、例えば、画像処理部101により出力された画像信号を、所定のフォーマットの画像データとして出力する。出力部102から出力された画像データは、例えばストレージ1004に記憶される。
図10は、実施形態に係る画像信号処理部110の機能を説明するための機能ブロック図である。図10において、画像信号処理部110は、LCB(Local Color Balance)部200と、方向判定部201と、G補間部202と、第1LPF(Low Pass Filter)203と、第2LPF204と、色変換処理部205と、を含む。これらLCB部200、方向判定部201、G補間部202、第1LPF203、第2LPF204および色変換処理部205は、例えばCPU1000上で実施形態に係る画像処理プログラムが実行されることで実現される。これに限らず、LCB部200、方向判定部201、G補間部202、第1LPF203、第2LPF204および色変換処理部205は、例えばCPU1000の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
撮像装置1(画像信号処理部110)における実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでCD(Compact Disk)、フレキシブルディスク(FD)、DVD(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
当該プログラムは、LCB部200、方向判定部201、G補間部202、第1LPF203、第2LPF204および色変換処理部205を含むモジュール構成となっている。実際のハードウェアとしては、CPU1000がROM1001やストレージ1004などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部(LCB部200、方向判定部201、G補間部202、第1LPF203、第2LPF204および色変換処理部205)が主記憶装置上に生成されるようになっている。
画像信号処理部110に対して、撮像部100から出力された、4分割ベイヤ型RGB配列による画素配列を持つ画像信号が、入力画像信号として入力される。入力画像信号は、LCB部200、G補間部202および第2LPF204にそれぞれ入力される。
LCB部200は、入力画像信号の局所領域に含まれる各画素の色バランスを算出する。局所領域は、後述する方向判定部201において画素値のグラジエント(勾配)を求めるためのサイズ(5画素×5画素、6画素×6画素、7画素×7画素、など)と同程度のサイズの領域とすると好ましい。LCB部200は、局所領域に含まれるR、GおよびB画素の画素値に基づき色バランス調整(例えばホワイトバランス調整)を行い、G色に対するR色のゲインlcb_gain_rと、B色のゲインlcb_gain_bと、を求める。LCB部200は、入力画像信号と、R色およびB色のゲインlcb_gain_rおよびlcb_gain_bを方向判定部201に渡す。
方向判定部201は、入力画像信号に基づき、後述するG補間部202で用いる方向の判定を行う(詳細は後述する)。方向判定部201は、入力画像信号と、判定された方向を示す情報とをG補間部202に渡す。
G補間部202は、入力画像信号に含まれるG画素に基づき、方向判定部201から渡された方向に沿って、入力画像信号の全面に渡って補間処理(適宜、全面G補間処理と呼ぶ)を行う。すなわち、G補間部202から出力される画像信号(全面G画像信号と呼ぶ)は、G画像による画像ブロックにおける位相差および感度差を含む、高解像度の画像信号である。G補間部202は、全面G補間処理を行った全面G画像信号を、第1LPF203と、色変換処理部205と、に渡す。
第1LPF203は、G補間部202から渡された全面G画像信号に含まれる、入力画像信号におけるG画素以外の画素(R画素およびB画素)の画素位置に対応する位置の画素に対してローパスフィルタ処理(第1ローパスフィルタ処理と呼ぶ)を施す(詳細は後述する)。第1LPF203から出力される画像信号は、全面G画像信号より解像度が低く、且つ、G画像による画像ブロックにおける位相差および感度差を含む、低解像度の画像信号である。第1LPF203から出力される画像信号を、低解像度画像信号mG_xtalkと呼ぶ。第1LPF203で全面G画像信号が第1ローパスフィルタ処理された低解像度画像信号mG_xtalkは、色変換処理部205に渡される。
第2LPF204は、入力画像信号に対して、R、G、B各色の画素毎にローパスフィルタ処理(第2ローパスフィルタ処理と呼ぶ)を施し、R画素、B画素およびG画素それぞれによる低解像度画像を生成する。第2LPF204によりR画素、G画素およびB画素が第2ローパスフィルタ処理された画像信号を、それぞれ、低解像度画像信号mR、mGおよびmBと呼ぶ。低解像度画像信号mR、mGおよびmBは、それぞれ色変換処理部205に渡される。
色変換処理部205は、G補間部202から渡された全面G画像信号と、第1LPF203から渡された低解像度画像信号mG_xtalkと、第2LPF204から渡された各低解像度画像信号mR、mGおよびmBと、に基づき、色相関補間処理を施して、ベイヤ配列30のR画素、G画素およびB画素の位置における画素値Rout、GoutおよびBoutを生成する(詳細は後述する)。色変換処理部205は、生成した画素値Rout、GoutおよびBoutをRGB信号処理部111に渡す。
(実施形態に係る処理の詳細)
(方向判定部による処理)
次に、実施形態に係る画像信号処理部110における処理の詳細について説明する。先ず、方向判定部201の処理について説明する。方向判定部201は、注目画素の位置における画素値の傾斜(グラジエント)を各方向について検出し、検出されたグラジエントが最も小さい方向を判定する。方向判定部201は、図11に示されるような、同一色の画素間のグラジエント(同色間グラジエント)と、図12に示されるような、異なる色の画素間のグラジエント(異色間グラジエント)と、を検出する。
(方向判定部による処理)
次に、実施形態に係る画像信号処理部110における処理の詳細について説明する。先ず、方向判定部201の処理について説明する。方向判定部201は、注目画素の位置における画素値の傾斜(グラジエント)を各方向について検出し、検出されたグラジエントが最も小さい方向を判定する。方向判定部201は、図11に示されるような、同一色の画素間のグラジエント(同色間グラジエント)と、図12に示されるような、異なる色の画素間のグラジエント(異色間グラジエント)と、を検出する。
なお、図11および図12、ならびに、以下の同様の図面において、格子の左上のマス(画素)を原点として、図面の横方向をx方向、縦方向をy方向とし、画素単位で座標(x,y)を表すものとする。例えば、図11において、原点の画素は、座標(0,0)のR画素であり、画素(0,0)のように記述する。
図11の例では、G画素について、x方向に沿って、G画素(0,2)および(1,2)、G画素(4,2)および(5,2)、G画素(0,3)および(1,3)、ならびに、G画素(4,3)および(5,3)の同色の各組について、それぞれグラジエントを検出している。また、B画素について、B画素(2,2)および(3,2)、ならびに、B画素(2,3)および(3,3)の同色の各組について、グラジエントを検出している。
一方、図12の例では、x方向に沿って、G画素(1,2)およびB画素(2,2)、G画素(1,3)およびB画素(2,3)、B画素(3,2)およびG画素(4,2)、ならびに、B画素(3,3)およびG画素(4,3)の、異なる色による各組について、それぞれグラジエントを検出している。
ここで、同色間グラジエントの検出は、感度が同一の画素同士のグラジエント算出となる。これに対して、異色間グラジエントの検出は、そのままでは、感度が異なる画素同士でのグラジエント算出となり、画素の色毎の感度差に依存したグラジエントが算出されてしまう。
そのため、方向判定部201は、入力画像信号に含まれるR画素の画素値に対して、式(1)に示されるように、LCB部200により検出されたR色のゲインlcb_gain_rを乗じて、グラジエント算出に用いる画素値R’を算出する。同様に、方向判定部201は、入力画像信号に含まれるB画素の画素値に対して、式(2)に示されるように、LCB部200により検出されたB色のゲインlcb_gain_bを乗じて、グラジエント算出に用いる画素値B’を算出する。
R’=R×lcb_gain_r …(1)
B’=B×lcb_gain_b …(2)
B’=B×lcb_gain_b …(2)
図13は、入力画像信号のR画素およびB画素の画素値を、式(1)および(2)に従い算出した画素値R’およびB’に置き換えた様子を模式的に示す図である。R画素およびB画素の画素値が、それぞれ画素値R’および画素値B’に置き換えられ、R画素およびB画素と、G画素との感度差が抑制されていることが分かる。このように、R画素およびB画素の感度を、G画素の感度に合わせることで、異色間のグラジエント算出の精度を向上できる。
実施形態に適用可能な方向判定部201の方向判定処理について、より詳細に説明する。方向判定部201は、局所領域において、複数の方向に対してグラジエントを算出する。図14および図15は、実施形態に適用可能なグラジエント算出の方向の例を示す図である。図14および図15、ならびに、以下の同様の図において、局所領域のサイズを6画素×6画素としている。
方向判定部201は、図14に示されるように、水平方向(H)、垂直方向(V)、右上45°方向(A)、右下45°方向(D)の4方向に沿ってグラジエント算出を行う。さらに、方向判定部201は、図15に示されるように、右上22.5°方向(A2)、右上67.5°方向(A3)、右下22.5°方向(D2)および右下67.5°方向(D3)の4方向に沿ってグラジエント算出を行う。すなわち、実施形態では、方向判定部201は、22.5°ずつ角度の異なる8方向に沿って、グラジエント算出を行う。
図2を用いて説明した4分割ベイヤ型RGB配列は、図3に示したベイヤ型配列と比較して、同色成分のサンプリング間隔が疎であるため、折返しが1/2ナイキスト周波数で発生してしまう。図14および図15に示すように、8方向に沿ってそれぞれグラジエント算出を行うことで、このような周波数の繰り返しパターンを高精度に検出可能となる。
各方向について、グラジエント算出の例について説明する。図16は、6画素×6画素の局所領域における座標位置(2,2)に対応する水平方向(H)のグラジエント算出処理の例を示す図である。なお、以下の各式において、I(x,y)は座標(x,y)の位置の画素値である。abs()は、絶対値を示す。また、各式において、LCB部200で算出したゲインlcb_gain_rおよびlcb_gain_bは、G画素に対するゲイン(=1)と纏めて、値WBgainとして示されている。
水平方向(H)のグラジエントは、以下の各値に基づいて算出する。
・低周波成分水平方向(H)のグラジエント:gradH_low
・高周波成分水平方向(H)のグラジエント:gradH_high
・異色間成分水平方向(H)のグラジエント:gradH_color
・低周波成分水平方向(H)のグラジエント:gradH_low
・高周波成分水平方向(H)のグラジエント:gradH_high
・異色間成分水平方向(H)のグラジエント:gradH_color
図16に示す6画素×6画素の座標位置(2,2)に対応する水平方向(H)のグラジエント、すなわち、gradH(2,2)は、下記の式(3)に従って算出する。
なお、上述の式(3)において、値aH、bHおよびcHは、予め規定した重み係数である。一般に、入射光は、レンズを通過する際に、高周波成分で信号レベルが低下する。そのため、上記の重み係数の大小関係はaH>bHとすることが望ましい。また、1/2Nq(ナイキスト周波数)近傍で方向判定を間違えると強い偽色を発生することになる。この領域での誤判定を充分に抑制するため、cH>aHと設定することが望ましい。
垂直方向(V)のグラジエントは、以下の各値に基づいて算出する。
・低周波成分垂直方向(V)のグラジエント:gradV_low
・高周波成分垂直方向(V)のグラジエント:gradV_high
・異色間成分垂直方向(V)のグラジエント:gradV_color
・低周波成分垂直方向(V)のグラジエント:gradV_low
・高周波成分垂直方向(V)のグラジエント:gradV_high
・異色間成分垂直方向(V)のグラジエント:gradV_color
なお、例えば図16に示す6画素×6画素の座標位置(2,2)に対応する垂直方向(V)のグラジエント、すなわち、gradV(2,2)は、上述の式(3)における各座標位置を、垂直方向に対応して変更した式により算出される。
図17は、6画素×6画素の局所領域における座標位置(2,2)に対応する右上45°方向(A)のグラジエント算出処理の例を示す図である。右上45°方向(A)のグラジエントは、以下の各値に基づき算出する。
・中周波成分右上45°方向(A)のグラジエント:gradA_mid
・低周波成分右上45°方向(A)のグラジエント:gradA_low
・高周波成分右上45°方向(A)のグラジエント:gradA_high
・中周波成分右上45°方向(A)のグラジエント:gradA_mid
・低周波成分右上45°方向(A)のグラジエント:gradA_low
・高周波成分右上45°方向(A)のグラジエント:gradA_high
図17に示す6×6画素の座標位置(2,2)に対応する右上45°方向(A)のグラジエント、すなわち、gradA(2,2)は、下記の式(4)に従って算出する。
なお、式(4)において、値aA、bAおよびcAは、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式(4)における重み係数の大小関係はaA,bA>cAとすることが望ましい。
なお、例えば図17に示す6画素×6画素の座標位置(2,2)に対応する右下45°方向(D)のグラジエント、すなわち、gradD(2,2)は、上述の式(4)における各座標位置を、右下45°方向に対応して変更した式により算出される。
図18は、6画素×6画素の局所領域における座標位置(2,2)に対応する右上22.5°方向(A2)のグラジエント算出処理の例を示す図である。右上22.5°方向(A2)のグラジエントは、以下の各値に基づき算出する。
・中央成分右上22.5°方向(A2)のグラジエント:gradA2_center
・高周波成分右上22.5°方向(A2)のグラジエント:gradA2_high
・中央成分右上22.5°方向(A2)のグラジエント:gradA2_center
・高周波成分右上22.5°方向(A2)のグラジエント:gradA2_high
図18に示す6×6画素の座標位置(2,2)に対応する右上22.5°方向(A2)のグラジエント、すなわち、gradA2(2,2)は、下記の式(5)に従って算出する。
なお、式(5)において、値aA2およびbA2は、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式(5)における重み係数の大小関係はaA2>bA2とすることが望ましい。
なお、例えば図18に示す6画素×6画素の座標位置(2,2)に対応する右下22.5°方向(D2)のグラジエント、すなわち、gradD2(2,2)は、上述の式(5)における各座標位置を、右下22.5°方向に対応して変更した式により算出される。
図19は、6画素×6画素の局所領域における座標位置(2,2)に対応する右上67.5°方向(A3)のグラジエント算出処理の例を示す図である。右上67.5°方向(A3)のグラジエントは、以下の各値に基づき算出する。
・中央成分右上67.5°方向(A3)のグラジエント:gradA3_center
・高周波成分右上67.5°方向(A3)のグラジエント:gradA3_high
・中央成分右上67.5°方向(A3)のグラジエント:gradA3_center
・高周波成分右上67.5°方向(A3)のグラジエント:gradA3_high
図19に示す6×6画素の座標位置(2,2)に対応する右上67.5°方向(A3)のグラジエント、すなわち、gradA3(2,2)は、下記の式(6)に従って算出する。
なお、式(6)において、値aA3およびbA3は、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式(6)における重み係数の大小関係はaA3>bA3とすることが望ましい。
なお、例えば図19に示す6画素×6画素の座標位置(2,2)に対応する右下67.5°方向(D3)のグラジエント、すなわち、gradD2(2,2)は、上述の式(6)における各座標位置を、右下67.5°方向に対応して変更した式により算出される。
方向判定部201は、上述のようにして8方向について算出した各グラジエントのうち最小のグラジエントが算出された方向を判定し、判定された方向を示す情報を、判定の対象となった入力画像信号と共にG補間部202に渡す。
(G補間部による処理)
G補間部202は、入力画像信号に対し、方向判定部201から渡された方向に沿って、G画素の画素値に基づく全面G補間処理を施す。このとき、G補間部202は、R画素による画素ブロックと、B画素による画素ブロックについて、画素ブロックに含まれる各画素における位相差が残るように補間処理を行う。
G補間部202は、入力画像信号に対し、方向判定部201から渡された方向に沿って、G画素の画素値に基づく全面G補間処理を施す。このとき、G補間部202は、R画素による画素ブロックと、B画素による画素ブロックについて、画素ブロックに含まれる各画素における位相差が残るように補間処理を行う。
一例として、方向判定部201により水平方向(H)が最小のグラジエントを得た方向と判定されたものとする。図20は、B画素の画素ブロックにおける各位相に対して、G画素の画素値を用いて水平方向(H)に沿って補間処理を行う例を示す図である。B画素による画素ブロックにおける4つの位相(画素B0、B1、B2およびB3)に対するG画素による補間は、対象画素位置と補間に用いるG画素(G10~G13、G20~G23)の位置との距離に応じた係数に基づき、例えば下記の式(7)~(10)を用いて行う。
B0=(2×G11+1×G20)/3 …(7)
B1=(2×G20+1×G11)/3 …(8)
B2=(2×G13+1×G22)/3 …(9)
B3=(2×G22+1×G13)/3 …(10)
B1=(2×G20+1×G11)/3 …(8)
B2=(2×G13+1×G22)/3 …(9)
B3=(2×G22+1×G13)/3 …(10)
一般的に、画素ブロックにおける画素間の感度差および位相差は、局所領域では、各画素ブロックにおいて同様の傾向で現れる。図21は、実施形態に係る、水平方向(H)に沿った方向の補間処理を説明するための図である。図21に示されるように、B画素による画素ブロックの左右のG画素による画素ブロックの各画素G10~G13、G20~G23に、行方向の感度差/位相差が存在するものとする。図21において、(H)は、高い(High)画素値を示し、(L)は、(H)の画素に対して低い(Low)画素値を示している。図21の例では、画素G10およびG12、ならびに、画素G20およびG22の画素値が高く(H)、画素G11およびG13、ならびに、画素G21およびG23の画素値が低い(L)。
これらの画素値の高低は、例えば画素ブロック内における各画素の感度差/位相差に起因する。図21の例では、B画素による画素ブロックの左右のG画素による画素ブロックにおいて、左列の画素の画素値が高く、右列の画素の画素値が低い。これは、G画素による各画素ブロックにおいて、左列の画素の感度が右列の画素の感度より高い、または、左列の画素および右列の画素との間で位相差が発生していることを意味する。
この場合、例えば画素B0およびB1の感度差/位相差は、次式(11)および(12)により求められる。
B0=(2×G11(L)+1×G20(H))/3 …(11)
B1=(2×G20(H)+1×G11(L))/3 …(12)
B0=(2×G11(L)+1×G20(H))/3 …(11)
B1=(2×G20(H)+1×G11(L))/3 …(12)
画素B3およびB4についても、上述の式(11)および(12)を同様に適用することで、感度差/位相差を求めることができる。
垂直方向(V)についても、上述の水平方向(H)の補間と同様の処理となる。図22は、実施形態に係る、垂直方向(V)に沿った補間処理を説明するための図である。図22において、B画素による画素ブロックの上下のG画素による画素ブロックの各画素G30~G33、G40~G43に、行方向の感度差/位相差が存在するものとする。
この場合、例えば画素B0およびB1の感度差/位相差は、次式(13)および(14)により求められる。
B0=(2×G32(L)+1×G40(H))/3 …(13)
B1=(2×G33(H)+1×G41(L))/3 …(14)
B0=(2×G32(L)+1×G40(H))/3 …(13)
B1=(2×G33(H)+1×G41(L))/3 …(14)
画素B3およびB4についても、上述の式(13)および(14)を同様に適用することで、感度差/位相差を求めることができる。
上述のようにして入力画像信号の全面に渡って補間したG画素は、画素ブロック内において位相毎に異なる傾向の感度差/位相差が残る。また、その傾向は、G画素による補間の方向に依存する。
なお、上述したように、G補間部202は、方向判定部201により8方向から判定された方向に従い、全面G画像信号を生成するための補間処理を行う。図23は、各方向に沿った補間処理の例を示す図である。図23では、座標(2,2)のB画素の位置に注目している。方向判定部201により判定された方向がH(水平)方向またはV(垂直)方向の場合は、上述した図21または図22と同様になる。判定された方向がA(右上45°)方向の場合は、座標(3,1)、(2,2)および(1,3)を結ぶ方向に補間処理を行う。
一方、D(右下45°)方向、A2(右上22.5°)方向、D2(右下22.5°)方向、A3(右上67.5°)方向およびD3(右下67.5°)方向では、座標(2,2)のB画素に対して直線上に並ぶ近傍のG画素が存在しない。そのため、角度の条件を満たすG画素の組を2つ選択し、その2つの組それぞれについて、注目位置に対応する位置での補間値を算出し、算出された2つの補間値に基づき当該注目位置での補間値をさらに算出する。
(第1LPFによる処理)
次に、第1LPF203による処理について説明する。ここで、図24に示す画素配置を考える。すなわち、図24において、座標(2,2)の画素B0を含む画素ブロックを中心として、座標(0,0)の画素R10、座標(4,0)の画素R20、座標(0,4)の画素R30および座標(4,4)の画素R40をそれぞれ含む、R画素による4つの画素ブロックと、座標(0,2)の画素G10、座標(4,2)の画素G20、座標(2,0)の画素G30および座標(2,4)の画素G40をそれぞれ含む、G画素による4つの画素ブロックと、が配置されている。
次に、第1LPF203による処理について説明する。ここで、図24に示す画素配置を考える。すなわち、図24において、座標(2,2)の画素B0を含む画素ブロックを中心として、座標(0,0)の画素R10、座標(4,0)の画素R20、座標(0,4)の画素R30および座標(4,4)の画素R40をそれぞれ含む、R画素による4つの画素ブロックと、座標(0,2)の画素G10、座標(4,2)の画素G20、座標(2,0)の画素G30および座標(2,4)の画素G40をそれぞれ含む、G画素による4つの画素ブロックと、が配置されている。
この配置において、画素B0を注目画素とし、全面G補間処理が行われる方向が同じであれば、R画素による4つの画素ブロックの、画素B0に画素ブロック内で位置が対応するR画素(画素R10、R20、R30およびR40)は、画素B0と同様の感度差/位相差を含むことになる。そこで、画素B0と同一の方向に沿って全面G補間処理を施された全面G画像信号を対象に、第1LPF203により、例えば図25に示されるようなフィルタを用いてローパスフィルタ処理を施す。
図25に示されるフィルタは、画素B0、R10、R20、R30およびR40を含む領域を対象とし、画素B0、R10、R20、R30およびR40以外の画素に対応する係数を「0」とし、画素B0、ならびに、R10、R20、R30およびR40に対して、それぞれ所定の重み付け係数を設定したフィルタである。
図25のフィルタを用いたローパスフィルタ処理により、例えば画素B0と同様の傾向を持つ感度差/位相差を含む低解像度画像信号mG_xtalkを生成することができる。したがって、この図25のフィルタを、全面G画像信号の、R画素およびB画素に対応する各位置に対してそれぞれ適用することで、全面G画像信号に対応する低解像度画像信号mG_xtalkを生成することができる。
上述した、G補間部202により生成された高解像度の画像信号である全面G画像信号は、G画素による画像ブロックにおける位相差および感度差を含んでいる。したがって、次式(15)示されるように、全面G画像信号から、上述した低解像度画像信号mG_xtalkを減算することで、感度差/位相差をキャンセルした高周波成分による画像信号Ghpfを生成できる。
Ghpf=G-mG_xtalk …(15)
Ghpf=G-mG_xtalk …(15)
なお、図24では、B画素を注目画素とした場合について説明したが、R画素を注目画素とした場合も、同様にしてフィルタを構成して低解像度画像信号mG_xtalkを生成する。また、G画素を注目画素とした場合についても、同様の考え方に基づき、低解像度画像信号mG_xtalkを生成することができる。
(第2LPFによる処理)
次に、第2LPF204による処理について説明する。第2LPF204は、上述したように、入力画像信号に対して第2ローパスフィルタ処理を施して、低解像度画像信号mR、mGおよびmBを生成する。ここで、第2LPF204は、同一色の画素ブロックについて、画素ブロックに含まれる画素の画素値を加算した上で、入力画像信号による画像の全面に渡って第2ローパスフィルタ処理を施す。この第2ローパスフィルタ処理によっても、全面G画像信号より解像度の低い、低解像度の画像信号を、R、G、B各色について生成できる。
次に、第2LPF204による処理について説明する。第2LPF204は、上述したように、入力画像信号に対して第2ローパスフィルタ処理を施して、低解像度画像信号mR、mGおよびmBを生成する。ここで、第2LPF204は、同一色の画素ブロックについて、画素ブロックに含まれる画素の画素値を加算した上で、入力画像信号による画像の全面に渡って第2ローパスフィルタ処理を施す。この第2ローパスフィルタ処理によっても、全面G画像信号より解像度の低い、低解像度の画像信号を、R、G、B各色について生成できる。
また、画素ブロックを構成する2画素×2画素の単位では感度差/位相差を含む。一方、2画素×2画素の単位で画素値を足し合わせることで、感度差/位相差をキャンセルできる。第2LPF204は、このような傾向を利用して、感度差/位相差がキャンセルされた低解像度画像信号mR、mGおよびmBを生成する。
(色変換処理部による処理)
次に、色変換処理部205による処理について説明する。色変換処理部205は、G補間部202から渡された全面G画像信号と、第1LPF203から渡された低解像度画像信号mG_xtalkと、第2LPF204から渡された低解像度画像信号mR、mGおよびmBと、に基づき、変換先の画素位置の色に合わせて画素値の生成処理を行う。
次に、色変換処理部205による処理について説明する。色変換処理部205は、G補間部202から渡された全面G画像信号と、第1LPF203から渡された低解像度画像信号mG_xtalkと、第2LPF204から渡された低解像度画像信号mR、mGおよびmBと、に基づき、変換先の画素位置の色に合わせて画素値の生成処理を行う。
具体的には、色変換処理部205は、下記の式(16)、(17)および(18)に示す色相関補間処理により、ベイヤ配列30のR画素、G画素およびB画素の位置における画素値Rout、GoutおよびBoutを生成する。
上述のようにして得られた画素値Rout、GoutおよびBoutは、G画素に基づく高解像度画像信号である全面G画像信号において、高解像度を実現しつつ感度差/位相が除去され、リモザイク処理11をより高品質に実行できる。
位相差による影響が現れ易い場合の例として、ピントを合わせたい被写体が遠方にあり、その被写体に対して撮像装置の近傍に、障害物(金網など)が存在する場合が挙げられる。この場合、既存のリモザイク処理では、近傍の障害物に対して位相差による影響が顕著に現れる。これに対して、本開示に係るリモザイク処理11を適用することで、この近傍の障害物に現れる位相差による影響を抑制でき、より高品質な撮像画像を得ることが可能となる。
図26は、実施形態に係るリモザイク処理11を示す一例のフローチャートである。ステップS100で、画像信号処理部110は、4分割ベイヤ型RGB配列による入力画像信号から1つの画素の画素信号を取得し、取得した画素信号がG画素の画素信号であるか否かを判定する。画像信号処理部110は、取得した画素信号がG画素の画素信号ではないと判定した場合(ステップS100、「No」)、処理をステップS101に移行させる。
なお、ここでは、説明のため、ステップS100で取得した画素がB画素であるものとする。
ステップS101で、画像信号処理部110は、LCB部200により、入力画像信号の、ステップS100で取得した画素を中心とした局所領域に対して、カラーバランス処理を施し、G色に対するR色のゲインlcb_gain_rと、B色のゲインlcb_gain_bと、を求める。次のステップS102で、画像信号処理部110は、方向判定部201により、入力画像信号の当該局所領域を対象として、全面G画像信号を生成するための補間を行う方向を判定する処理を行う。次のステップS103で、画像信号処理部110は、G補間部202により、入力画像信号の当該局所領域に対して、ステップS102で判定された方向に従い補間処理を施し、全面G画像信号を得る。
次のステップS104で、画像信号処理部110は、第1LPF203により、ステップS103でG補間部202により生成された全面G画像信号の、ステップS100で取得したB画素の画素位置に対応する画素値と、近傍のR画素による画素ブロックにおける、当該B画素に画素ブロック内の位置が対応する画素値と、に基づき、当該B画素と同様の感度差/位相差を持つ低解像度画像信号mG_xtalkによる画素値を生成する。次のステップS105で、画像信号処理部110は、第2LPF204により、入力画像信号に基づき、G画素による低解像度画像信号mGを生成する。
次のステップS106で、画像信号処理部110は、ステップS100で取得した画素(この例ではB画素)の画素位置が、ベイヤ配列におけるG画素の位置であると推定できるか否かを判定する。色変換処理部205は、当該画素位置がG画素の位置ではないと推定した場合(ステップS106、「No」)、処理をステップS107に移行させる。
ステップS107で、画像信号処理部110は、さらに、当該画素位置がR画素およびB画素の何れの画素位置であるかを推定する。画像信号処理部110は、推定された画素位置に応じて、第2LPF204により、入力画像信号に基づきR画素による低解像度画像信号mR、または、B画素による低解像度画像信号mBを生成する(この例では低解像度画像信号mBとする)。画像信号処理部110は、色変換処理部205により、推定された画素位置に応じて、ステップS103で生成された全面G画像信号の当該画素位置の画素値と、ステップS104で生成された低解像度画像信号mG_xtalkにおける当該画素位置の画素値と、第2LPF204により生成された低解像度画像信号mRおよびmBのうち何れか(この例では低解像度画像信号mB)の当該画素位置の画素値と、を取得する。色変換処理部205は、取得したこれらの画素値に基づき、上述した式(16)および式(17)の何れかの計算を行い、画素値RoutおよびBoutの何れか(この例では画素値Bout)を推定する。
一方、色変換処理部205は、ステップS106で、当該画素位置がG画素の位置であると判定した場合(ステップS106、「Yes」)、処理をステップS108に移行させる。ステップS108で、色変換処理部205は、推定された画素位置に応じて、ステップS103で生成された全面G画像信号の当該画素位置の画素値と、ステップS104で生成された低解像度画像信号mG_xtalkにおける当該画素位置の画素値と、ステップS105で生成された低解像度画像信号mGの当該画素位置の画素値と、を取得する。色変換処理部205は、取得したこれらの画素値に基づき、上述した式(18)の計算を行い、画素値Goutを推定する。
ステップS107またはステップS108の処理の後、処理がステップS120に移行される。
一方、画像信号処理部110は、上述したステップS100で、取得した画素信号がG画素の画素信号であると判定した場合(ステップS100、「Yes」)、処理をステップS110に移行させる。ステップS110で、画像信号処理部110は、当該G画素の画素値と、当該G画素の近傍の、G画素による画素ブロックにおける、当該G画素に画素ブロック内の位置が対応する画素値と、に基づき、当該G画素と同様の感度差/位相差を持つ低解像度画像信号mG_xtalkによる画素値を生成する。次のステップS111で、画像信号処理部110は、第2LPF204により、入力画像信号に基づき、G画素による低解像度画像信号mGを生成する。
次のステップS112で、画像信号処理部110は、ステップS100で取得した画素(この例ではB画素)の画素位置が、ベイヤ配列におけるG画素の位置であると推定できるか否かを判定する。色変換処理部205は、当該画素位置がG画素の位置ではないと推定した場合(ステップS112、「No」)、処理をステップS113に移行させる。
ステップS113で、画像信号処理部110は、さらに、当該画素位置がR画素およびB画素の何れの画素位置であるかを推定する。画像信号処理部110は、推定された画素位置に応じて、第2LPF204により、入力画像信号に基づきR画素による低解像度画像信号mR、または、B画素による低解像度画像信号mBを生成する(この例では低解像度画像信号mBとする)。画像信号処理部110は、色変換処理部205により、推定された画素位置に応じて、ステップS100で取得されたG画素の画素値と、ステップS110で生成された低解像度画像信号mG_xtalkにおける当該画素位置の画素値と、第2LPF204により生成された低解像度画像信号mRおよびmBのうち何れか(例えば低解像度画像信号mB)の当該画素位置の画素値と、を取得する。色変換処理部205は、取得したこれらの画素値に基づき、上述した式(16)および式(17)の何れかの計算を行い、画素値RoutおよびBoutの何れか(例えば画素値Bout)を推定する。
一方、色変換処理部205は、ステップS112で、当該画素位置がG画素の位置であると判定した場合(ステップS112、「Yes」)、処理をステップS114に移行させる。ステップS114で、色変換処理部205は、推定された画素位置に応じて、ステップS100で取得されたG画素の画素値と、ステップS110で生成された低解像度画像信号mG_xtalkにおける当該画素位置の画素値と、ステップS111で生成された低解像度画像信号mGの当該画素位置の画素値と、を取得する。色変換処理部205は、取得したこれらの画素値に基づき、上述した式(18)の計算を行い、画素値Goutを推定する。
ステップS113またはステップS114の処理の後、処理がステップS120に移行される。
ステップS120で、画像信号処理部110は、ステップS107、ステップS108、ステップS113およびステップS114の何れかにおいて推定された、画素値Rout、GoutまたはBoutを、出力する画素値として選択する。選択された画素値は、ステップS100で取得された画素の画素位置に対応する、ベイヤ配列における画素位置の画素値として、RGB信号処理部111に渡される。
次のステップS121で、画像信号処理部110は、入力画像信号に含まれる全画素について処理が終了したか否かを判定する。画像信号処理部110は、全画素について処理が終了していないと判定した場合(ステップS121、「No」)、処理をステップS100に戻し、入力画像信号に含まれる次の1つの画素の画素信号を取得する。一方、画像信号処理部110は、ステップS121で全画素について処理が終了したと判定した場合(ステップS121、「Yes」)、この図26のフローチャートによる一連の処理を終了させる。
[実施形態の第1の変形例]
次に、実施形態の第1の変形例について説明する。上述した実施形態では、LCB部200により注目画素を含む局所領域に対して色バランス処理を行ったが、このLCB部200による処理は、省略することが可能である。図27は、実施形態の第1の変形例に係る画像信号処理部110’の機能を説明するための一例の機能ブロック図である。
次に、実施形態の第1の変形例について説明する。上述した実施形態では、LCB部200により注目画素を含む局所領域に対して色バランス処理を行ったが、このLCB部200による処理は、省略することが可能である。図27は、実施形態の第1の変形例に係る画像信号処理部110’の機能を説明するための一例の機能ブロック図である。
撮像部100から出力され、画像信号処理部110’に入力された画像信号は、方向判定部201と、G補間部202と、第2LPF204と、に渡される。G補間部202および第2LPF204での処理は、上述の実施形態で説明した処理と変わりはない。
撮像部100から直接的に方向判定部201に入力される画像信号は、撮像部1003が有する信号処理部1012において、画像信号の全体に対してホワイトバランス処理が施されている。実施形態の第1の変形例に係る画像信号処理部110’は、実施形態においてLCB部200で検出したR色およびB色のゲインlcb_gain_rおよびlcb_gain_bによるR画素およびB画素の画素値の補正を、このホワイトバランス処理による補正で代用する。
実施形態の第1の変形例に係る画像信号処理部110’は、ゲインlcb_gain_rおよびlcb_gain_bによるR画素およびB画素の画素値の補正が省略されているため、異色間グラジエント検出の精度は実施形態の構成に対して不利である。その一方で、実施形態の第1の変形例に係る画像信号処理部110’は、LCB部200を省略しているため、実施形態に係る画像信号処理部110に対して構成を簡略化でき、コストを抑制することが可能である。
[実施形態の第2の変形例]
次に、実施形態の第2の変形例について説明する。実施形態の第2の変形例では、上述した実施形態に係る撮像装置1の構成に対して、撮像素子1011における各画素の感度差を補正する構成を追加する。図28は、実施形態の第2の変形例に係る撮像装置の基本的な構成の例を示す図である。図28において、実施形態の第2の変形例に係る画像処理装置としての撮像装置1aは、図1を用いて説明した撮像装置1の構成に対して、撮像系10とリモザイク処理11との間に感度差補正部13が追加されている。
次に、実施形態の第2の変形例について説明する。実施形態の第2の変形例では、上述した実施形態に係る撮像装置1の構成に対して、撮像素子1011における各画素の感度差を補正する構成を追加する。図28は、実施形態の第2の変形例に係る撮像装置の基本的な構成の例を示す図である。図28において、実施形態の第2の変形例に係る画像処理装置としての撮像装置1aは、図1を用いて説明した撮像装置1の構成に対して、撮像系10とリモザイク処理11との間に感度差補正部13が追加されている。
撮像装置1aにおいて、撮像系10により撮像を行い得られた画像信号が感度差補正部13に入力される。感度差補正部13は、撮像素子1011において既知の、画素毎(受光素子22毎)の出力差すなわち感度差を補正する。例えば、撮像素子1011の製造時や出荷時などにおいて、各受光素子22の出力値の計測を行い、受光素子22毎に、出力値のバラツキを抑制するための係数を求める。感度差補正部13は、この受光素子22毎の係数を予め記憶したテーブル(キャリブレーションテーブル)を備え、撮像系10から入力された画像信号に対してこのキャリブレーションテーブルに記憶された各係数を適用する。これにより、各画素の感度差が補正される。
撮像系10により入力される画像信号には、キャリブレーションテーブルでは補正しきれない、画素毎の感度差が含まれる場合が有り得る。この、感度差補正部13で補正しきれない感度差などは、実施形態で説明したリモザイク処理11により除去することができる。実施形態の第2の変形例に係る構成によれば、感度差補正部13において撮像素子1011に予め存在する画素毎の感度差を補正し、さらに、実施形態に係るリモザイク処理11により感度差および位相差を除去している。そのため、この実施形態の第2の変形例に係る撮像装置1aの構成を適用することで、画素毎の感度差の抑制をより高精度に実現でき、より高品質の出力画像を得ることが可能となる。
[実施形態の第3の変形例]
次に、実施形態の第3の変形例について説明する。撮像素子1011から出力される画像信号に、特定の周波数パターンのノイズが重畳されている場合がある。実施形態の第3の変形例では、撮像素子1011から出力される画像信号に重畳される特定の周波数パターンのノイズが既知の場合に、このノイズを除去可能とする。
次に、実施形態の第3の変形例について説明する。撮像素子1011から出力される画像信号に、特定の周波数パターンのノイズが重畳されている場合がある。実施形態の第3の変形例では、撮像素子1011から出力される画像信号に重畳される特定の周波数パターンのノイズが既知の場合に、このノイズを除去可能とする。
図29は、実施形態の第3の変形例に係る撮像装置の基本的な構成の例を示す図である。図29において、実施形態の第3の変形例に係る画像処理装置としての撮像装置1bは、図1を用いて説明した撮像装置1の構成に含まれるリモザイク処理11がリモザイク処理11’に変更されている。撮像系10から出力された、既知の特定の周波数パターンでノイズが重畳された画像信号に対してリモザイク処理11’が施される。
リモザイク処理11’において、第1LPF203によるローパスフィルタ処理に用いる、図25を用いて説明したフィルタの構成を、既知の特定の周波数パターンに適用するように変形する。第1LPF203によりこのフィルタを用いて、低解像度画像信号mG_xtalkを生成する。G補間部202により生成された全面G画像信号から、この低解像度画像信号mG_xtalkを減算することで、感度差/位相差と、当該特定の周波数パターンのノイズとをキャンセルしした高周波成分による画像信号を生成できる。そのため、当該特定の周波数パターンのノイズがキャンセルされた、高品質の出力画像を得ることが可能となる。
[実施形態の第4の変形例]
次に、実施形態の第4の変形例について説明する。上述した実施形態では、画素ブロックが同一色による2画素×2画素が格子状に配列されて構成されるものとして説明したが、これはこの例に限定されない。すなわち、画素ブロックは、同一色によるn画素×n画素(nは2以上の整数)が格子状に配列されたブロックであってよい。
次に、実施形態の第4の変形例について説明する。上述した実施形態では、画素ブロックが同一色による2画素×2画素が格子状に配列されて構成されるものとして説明したが、これはこの例に限定されない。すなわち、画素ブロックは、同一色によるn画素×n画素(nは2以上の整数)が格子状に配列されたブロックであってよい。
図30は、3画素×3画素が格子状に配列された画素ブロック24の例を示す図である。また、図31A~図31Eは、4画素×4画素が格子状に配列された画素ブロック25a~25eの例を示す図である。なお、図30、および、図31A~図31Eにおいて、便宜上、画素ブロック24、および、画素ブロック25a~25eは、赤色のカラーフィルタ21Rが装着された画素(R画素)が配列されているものとして示されている。また、マイクロレンズ40は、2画素×2画素の単位で配置されるものとする。なお、図30、および、図31A~図31Eにおいて、マイクロレンズ40が掛からない各画素には、1画素のサイズに対応するマイクロレンズが配置される。
画素ブロック24、および、画素ブロック25a~25eに配置するマイクロレンズ40の数および位置は、適宜に選択することができる。図30は、3画素×3画素の画素ブロック24に対して、一部を占めるようにマイクロレンズ40が配置された例を示している。また、図31Aおよび図31Bは、4画素×4画素の画素ブロック25aおよび25bの隅または中央部に1つのマイクロレンズ40が配置された例を示している。さらに、図31Cは、4画素×4画素の画素ブロック25cの対角にそれぞれ1つのマイクロレンズ40が配置された例を示している。さらにまた、図31Dおよび図31Eは、4画素×4画素の画素ブロック25dおよび25eに、それぞれ3つ、および、4つのマイクロレンズ40が配置された例を示している。
リモザイク処理11において、第1LPF203によるローパスフィルタ処理に用いる、図25を用いて説明したフィルタの構成を、これら画素ブロック24、25a~25eのサイズと、画素ブロック24、25a~25eに対して配置されるマイクロレンズ40の数および位置と、に応じて適宜に変更する。第1LPF203により、このフィルタを用いて、低解像度画像信号mG_xtalkを生成する。
これにより、同一色によるn画素×n画素が格子状に配列された画素ブロックに、2画素×2画素に対応するマイクロレンズ40が適宜に配置された構成であっても、各画素の感度差/位相差がキャンセルされた、より高品質の出力画像を得ることが可能となる。
なお、複数画素に共有されるマイクロレンズ40は、2画素×2画素に対応するサイズに限らず、画素ブロックに収まるサイズであればよく、例えば4画素×4画素、3画素×3画素、といったサイズでもよい。
[内視鏡手術システムへの応用例]
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図32は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図32では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(Light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図33は、図32に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402は、撮像素子で構成される。撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(Dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡11100や、カメラヘッド11102の撮像部11402に適用され得る。具体的には、撮像部11402を構成する撮像素子の画素配列に例えば4分割ベイヤ型RGB配列を採用し、画像処理部11412により本開示に係るリモザイク処理11を施す。撮像部11402に本開示に係る技術を適用することにより、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
[移動体への応用例]
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図34は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図34に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)12053が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図34の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図35は、撮像部12031の設置位置の例を示す図である。
図35では、車両12100は、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。撮像部12101及び12105で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図35には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。具体的には、撮像部12031を構成する撮像素子の画素配列に例えば4分割ベイヤ型RGB配列を採用し、撮像素子により取得された撮像画像に対して本開示に係るリモザイク処理11を施す。撮像部12031に本開示に係る技術を適用することにより、例えば車外情報検出ユニット12030による物体検出処理や距離検出処理をより高精度に行うことが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
前記画像信号処理部は、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理装置。
(2)
前記画像信号処理部は、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記(1)に記載の画像処理装置。
(3)
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記(1)または(2)に記載の画像処理装置。
(4)
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記(2)に記載の画像処理装置。
(5)
前記画像信号処理部は、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
前記(1)乃至(4)の何れかに記載の画像処理装置。
(6)
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
前記(1)乃至(4)の何れかに記載の画像処理装置。
(7)
前記画像信号処理部は、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する
前記(1)乃至(6)の何れかに記載の画像処理装置。
(8)
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記(1)乃至(7)の何れかに記載の画像処理装置。
(9)
前記画素ブロックは、4の同一色画素が格子状に配列され、該4の同一色画素に対して共通に1のレンズが配される
前記(1)乃至(8)の何れかに記載の画像処理装置。
(10)
前記入力画像は、
同一色画素がn画素×n画素(nは2以上の整数)の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
該画素ブロックに含まれる、m画素×m画素(mはn以下且つ2以上の整数)の格子状の配列に対して共通に1のレンズが配される
前記(1)乃至(8)の何れかに記載の画像処理装置。
(11)
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理方法。
(12)
前記画像処理装置が、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記(11)に記載の画像処理方法。
(13)
前記画像処理装置が、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記(11)または(12)に記載の画像処理方法。
(14)
前記画像処理装置が、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記(12)に記載の画像処理方法。
(15)
前記画像処理装置が、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
前記(11)乃至(14)の何れかに記載の画像処理方法。
(16)
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
前記(11)乃至(14)の何れかに記載の画像処理方法。
(17)
前記画像処理装置が、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する
前記(11)乃至(16)の何れかに記載の画像処理方法。
(18)
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記(11)乃至(17)の何れかに記載の画像処理方法。
(19)
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
処理を実行させるための画像処理プログラム。
(20)
前記画像処理装置に、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する処理をさらに実行させるための、
前記(19)に記載の画像処理プログラム。
(21)
前記画像処理装置に、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する処理をさらに実行させるための、
前記(19)または(20)に記載の画像処理プログラム。
(22)
前記画像処理装置に、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する処理をさらに実行させるための、
前記(20)に記載の画像処理プログラム。
(23)
前記画像処理装置に、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記(19)乃至(22)の何れかに記載の画像処理プログラム。
(24)
前記画像処理装置に、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記(19)乃至(22)の何れかに記載の画像処理プログラム。
(25)
前記画像処理装置に、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する処理をさらに実行させるための、
前記(19)乃至(24)の何れかに記載の画像処理プログラム。
(26)
前記画像処理装置に、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する処理をさらに実行させるための、
前記(19)乃至(25)の何れかに記載の画像処理プログラム。
(1)
入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
前記画像信号処理部は、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理装置。
(2)
前記画像信号処理部は、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記(1)に記載の画像処理装置。
(3)
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記(1)または(2)に記載の画像処理装置。
(4)
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記(2)に記載の画像処理装置。
(5)
前記画像信号処理部は、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
前記(1)乃至(4)の何れかに記載の画像処理装置。
(6)
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
前記(1)乃至(4)の何れかに記載の画像処理装置。
(7)
前記画像信号処理部は、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する
前記(1)乃至(6)の何れかに記載の画像処理装置。
(8)
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記(1)乃至(7)の何れかに記載の画像処理装置。
(9)
前記画素ブロックは、4の同一色画素が格子状に配列され、該4の同一色画素に対して共通に1のレンズが配される
前記(1)乃至(8)の何れかに記載の画像処理装置。
(10)
前記入力画像は、
同一色画素がn画素×n画素(nは2以上の整数)の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
該画素ブロックに含まれる、m画素×m画素(mはn以下且つ2以上の整数)の格子状の配列に対して共通に1のレンズが配される
前記(1)乃至(8)の何れかに記載の画像処理装置。
(11)
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理方法。
(12)
前記画像処理装置が、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記(11)に記載の画像処理方法。
(13)
前記画像処理装置が、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記(11)または(12)に記載の画像処理方法。
(14)
前記画像処理装置が、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記(12)に記載の画像処理方法。
(15)
前記画像処理装置が、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
前記(11)乃至(14)の何れかに記載の画像処理方法。
(16)
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
前記(11)乃至(14)の何れかに記載の画像処理方法。
(17)
前記画像処理装置が、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する
前記(11)乃至(16)の何れかに記載の画像処理方法。
(18)
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記(11)乃至(17)の何れかに記載の画像処理方法。
(19)
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
処理を実行させるための画像処理プログラム。
(20)
前記画像処理装置に、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する処理をさらに実行させるための、
前記(19)に記載の画像処理プログラム。
(21)
前記画像処理装置に、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する処理をさらに実行させるための、
前記(19)または(20)に記載の画像処理プログラム。
(22)
前記画像処理装置に、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する処理をさらに実行させるための、
前記(20)に記載の画像処理プログラム。
(23)
前記画像処理装置に、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記(19)乃至(22)の何れかに記載の画像処理プログラム。
(24)
前記画像処理装置に、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記(19)乃至(22)の何れかに記載の画像処理プログラム。
(25)
前記画像処理装置に、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する処理をさらに実行させるための、
前記(19)乃至(24)の何れかに記載の画像処理プログラム。
(26)
前記画像処理装置に、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する処理をさらに実行させるための、
前記(19)乃至(25)の何れかに記載の画像処理プログラム。
1,1a,1b 撮像装置
10 撮像系
11,11’ リモザイク処理
13 感度差補正部
21,21R,21B,21G カラーフィルタ
22 受光素子
40 マイクロレンズ
101 画像処理部
100,1003 撮像部
110,110’ 画像信号処理部
111 RGB信号処理部
102 出力部
200 LCB部
201 方向判定部
202 G補間部
203 第1LPF
204 第2LPF
205 色変換処理部
1000 CPU
1011 撮像素子
1012 信号処理部
10 撮像系
11,11’ リモザイク処理
13 感度差補正部
21,21R,21B,21G カラーフィルタ
22 受光素子
40 マイクロレンズ
101 画像処理部
100,1003 撮像部
110,110’ 画像信号処理部
111 RGB信号処理部
102 出力部
200 LCB部
201 方向判定部
202 G補間部
203 第1LPF
204 第2LPF
205 色変換処理部
1000 CPU
1011 撮像素子
1012 信号処理部
Claims (19)
- 入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
前記画像信号処理部は、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理装置。 - 前記画像信号処理部は、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
請求項1に記載の画像処理装置。 - 前記画像信号処理部は、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
請求項1に記載の画像処理装置。 - 前記画像信号処理部は、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
請求項2に記載の画像処理装置。 - 前記画像信号処理部は、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
請求項1に記載の画像処理装置。 - 前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
請求項1に記載の画像処理装置。 - 前記画像信号処理部は、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する
請求項1に記載の画像処理装置。 - 前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
請求項1に記載の画像処理装置。 - 前記画素ブロックは、4の同一色画素が格子状に配列され、該4の同一色画素に対して共通に1のレンズが配される
請求項1に記載の画像処理装置。 - 前記入力画像は、
同一色画素がn画素×n画素(nは2以上の整数)の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
該画素ブロックに含まれる、m画素×m画素(mはn以下且つ2以上の整数)の格子状の配列に対して共通に1のレンズが配される
請求項1に記載の画像処理装置。 - 入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理方法。 - 前記画像処理装置が、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第1の画像信号より解像度の低い第3の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第3の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
請求項11に記載の画像処理方法。 - 前記画像処理装置が、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
請求項11に記載の画像処理方法。 - 前記画像処理装置が、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第3の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
請求項12に記載の画像処理方法。 - 前記画像処理装置が、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記補間処理を行う方向を求める
請求項11に記載の画像処理方法。 - 前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記補間処理を行う方向を求める
請求項11に記載の画像処理方法。 - 前記画像処理装置が、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第1の画像信号を生成する
請求項11に記載の画像処理方法。 - 前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
請求項11に記載の画像処理方法。 - 入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
前記入力画像として、それぞれ1のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第1の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第1の画像信号より解像度の低い第2の画像信号を生成し、
前記第1の画像信号から前記第2の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
処理を実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/250,744 US11847759B2 (en) | 2018-09-07 | 2019-09-03 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-168337 | 2018-09-07 | ||
JP2018168337A JP2020043435A (ja) | 2018-09-07 | 2018-09-07 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020050289A1 true WO2020050289A1 (ja) | 2020-03-12 |
Family
ID=69722375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/034673 WO2020050289A1 (ja) | 2018-09-07 | 2019-09-03 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11847759B2 (ja) |
JP (1) | JP2020043435A (ja) |
WO (1) | WO2020050289A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082232A1 (ja) * | 2017-10-23 | 2019-05-02 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法及びプログラム |
JP2020043435A (ja) * | 2018-09-07 | 2020-03-19 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
KR102649032B1 (ko) * | 2019-04-26 | 2024-03-20 | 엘지전자 주식회사 | 자율주행 차량의 영상 처리 방법 |
KR20210001324A (ko) * | 2019-06-27 | 2021-01-06 | 삼성전자주식회사 | 인공 신경망 모델 및 이를 포함하는 전자 장치 |
KR20210004229A (ko) | 2019-07-03 | 2021-01-13 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법 |
KR20210087809A (ko) * | 2020-01-03 | 2021-07-13 | 삼성전자주식회사 | 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법 |
KR20220053067A (ko) * | 2020-10-21 | 2022-04-29 | 삼성전자주식회사 | 왜곡을 발생시키는 렌즈를 갖는 카메라 시스템에서 이미지 해상도를 개선하는 장치 및 그 동작 방법 |
KR20220078283A (ko) * | 2020-12-03 | 2022-06-10 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법 |
JP7499695B2 (ja) * | 2020-12-24 | 2024-06-14 | ゼタテクノロジーズ株式会社 | 固体撮像装置、固体撮像装置の信号処理方法、および電子機器 |
CN114666469B (zh) * | 2020-12-24 | 2023-11-14 | 富泰华工业(深圳)有限公司 | 图像处理装置、方法及具有该图像处理装置的镜头模组 |
JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
US11350048B1 (en) | 2021-07-25 | 2022-05-31 | Shenzhen GOODIX Technology Co., Ltd. | Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors |
WO2023243429A1 (ja) * | 2022-06-13 | 2023-12-21 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子および電子機器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013066157A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013066146A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2015093332A1 (ja) * | 2013-12-20 | 2015-06-25 | 富士フイルム株式会社 | 撮像モジュール及び撮像装置 |
JP2016213715A (ja) * | 2015-05-11 | 2016-12-15 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012145664A (ja) * | 2011-01-11 | 2012-08-02 | Sony Corp | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
US8891866B2 (en) | 2011-08-31 | 2014-11-18 | Sony Corporation | Image processing apparatus, image processing method, and program |
JP6408372B2 (ja) * | 2014-03-31 | 2018-10-17 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及びその駆動制御方法、並びに、電子機器 |
JP6369233B2 (ja) * | 2014-09-01 | 2018-08-08 | ソニー株式会社 | 固体撮像素子及びその信号処理方法、並びに電子機器 |
US10387477B2 (en) * | 2017-05-30 | 2019-08-20 | Qualcomm Incorporated | Calibration for phase detection auto focus (PDAF) camera systems |
JP7086551B2 (ja) * | 2017-09-21 | 2022-06-20 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2020043435A (ja) * | 2018-09-07 | 2020-03-19 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
-
2018
- 2018-09-07 JP JP2018168337A patent/JP2020043435A/ja active Pending
-
2019
- 2019-09-03 WO PCT/JP2019/034673 patent/WO2020050289A1/ja active Application Filing
- 2019-09-03 US US17/250,744 patent/US11847759B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013066157A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013066146A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
WO2015093332A1 (ja) * | 2013-12-20 | 2015-06-25 | 富士フイルム株式会社 | 撮像モジュール及び撮像装置 |
JP2016213715A (ja) * | 2015-05-11 | 2016-12-15 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210217134A1 (en) | 2021-07-15 |
JP2020043435A (ja) | 2020-03-19 |
US11847759B2 (en) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020050289A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US10958847B2 (en) | Imaging device, image processing method, and image processing system | |
WO2018074250A1 (ja) | 半導体装置、製造方法、および電子機器 | |
JP7227235B2 (ja) | 撮像素子および撮像装置 | |
US11750932B2 (en) | Image processing apparatus, image processing method, and electronic apparatus | |
US11889206B2 (en) | Solid-state imaging device and electronic equipment | |
WO2019207978A1 (ja) | 撮像素子および撮像素子の製造方法 | |
JP2023061999A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2019040965A (ja) | 固体撮像装置およびその製造方法 | |
JP7034925B2 (ja) | 固体撮像装置および撮像方法 | |
WO2021171796A1 (ja) | 固体撮像装置及び電子機器 | |
WO2021075116A1 (ja) | 固体撮像装置及び電子機器 | |
WO2023095518A1 (ja) | 光検出装置及び電子機器 | |
WO2023080011A1 (ja) | 撮像装置及び電子機器 | |
WO2023079842A1 (ja) | 固体撮像装置、撮像システム及び撮像処理方法 | |
WO2022254845A1 (ja) | 信号処理方法、信号処理装置および撮像装置 | |
WO2023013156A1 (ja) | 撮像素子及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19857844 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19857844 Country of ref document: EP Kind code of ref document: A1 |