WO2016185598A1 - 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents
撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- WO2016185598A1 WO2016185598A1 PCT/JP2015/064578 JP2015064578W WO2016185598A1 WO 2016185598 A1 WO2016185598 A1 WO 2016185598A1 JP 2015064578 W JP2015064578 W JP 2015064578W WO 2016185598 A1 WO2016185598 A1 WO 2016185598A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- motion detection
- detection
- image
- unit
- pixel
- Prior art date
Links
- 238000003860 storage Methods 0.000 title claims description 23
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims abstract description 247
- 230000008859 change Effects 0.000 claims abstract description 60
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 38
- 230000002123 temporal effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 description 37
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Definitions
- the present invention relates to an imaging device, an image processing device, an image processing method, an image processing program, and a storage medium.
- An image processing method is known in which motion is detected between low-resolution converted images, and the motion detection result is taken over to perform motion detection with higher accuracy in a high-resolution image (see, for example, Patent Document 1).
- Patent Literature 1 In the image processing method of Patent Literature 1, a plurality of images having different resolutions are generated for all images, and the motion detection process is repeated while hierarchically propagating the motion detection result from the low resolution image to the high resolution image. Processing time is required.
- the present invention has been made in view of the above-described circumstances, and is an imaging device, an image processing device, an image processing method, an image processing program, and a storage medium that can perform high-precision motion detection processing while reducing processing time. I will provide a.
- One aspect of the present invention is an image capturing unit that acquires an image of a subject in time series, and a hierarchical motion detection that can detect a motion vector between images acquired by the image capturing unit using two or more layers having different resolutions.
- a pixel value change detection unit that divides the image acquired by the imaging unit into a plurality of partial areas and detects a temporal change in the pixel value in the detection pixel set in each partial area;
- Imaging including a hierarchical motion detection setting unit configured to set the number of hierarchies in the hierarchical motion detection unit to be larger in the partial region including the detection pixel having the larger temporal change detected by the value change detection unit.
- the pixel value change detection unit detects the time change of the pixel value in the detection pixel for each of the plurality of partial regions of the image acquired in time series by the imaging unit, and the time change of the detected pixel value
- the number of layers of motion detection processing of the partial area including the detection pixel is set on the basis of the size of. If the temporal change of the pixel value is small, a motion detection process is performed on the partial area including the detection pixel by an image of a higher resolution layer. If the temporal change of the pixel value is large, the part including the detection pixel For the region, the motion detection process is repeated while the motion detection result is hierarchically propagated from the lower resolution layer image to the high resolution layer image.
- motion detection processing can be performed using a high-resolution image without preparing a lower-resolution image, thereby shortening the processing time. be able to.
- the motion detection process is performed hierarchically by taking over the motion detection process from the lower resolution image, and high-precision motion detection is performed. Can do.
- the imaging unit and the pixel value change detection unit may be a circuit provided in an imaging device.
- the pixel value change detection circuit provided in the image pickup device also detects the time change of the pixel value in the detection pixel and outputs it. Therefore, the processing time can be shortened and the motion detection can be performed with high accuracy by the image processing circuit having a simple configuration.
- the pixel value change detection unit stores a storage circuit that stores an image of the previous frame acquired by the imaging unit, an image of the previous frame stored in the storage circuit, and a current You may provide the arithmetic circuit which calculates the difference with an image as the said time change.
- the image acquired by the imaging unit is stored in the storage circuit, and when the image of the next frame is acquired by the imaging unit, the image one frame before read from the storage circuit and the current
- the difference from the image is calculated as a time change of the pixel value of the detection pixel by the arithmetic circuit.
- the temporal change of the pixel value can be obtained by calculation, the processing time can be shortened, and highly accurate motion detection can be performed.
- the hierarchical motion detection setting unit is configured to apply the hierarchical to the partial region including the detection pixels whose time change detected by the pixel value change detection unit is a predetermined threshold value or less. You may set so that the motion detection process in a motion detection part may not be performed. By doing in this way, when the temporal change of the pixel value of the detection pixel is equal to or less than a predetermined threshold, the motion detection processing by the hierarchical motion detection unit is not performed on the partial region including the pixel value. A useless motion detection process in a small motion part is prevented, and the processing time can be further shortened.
- the hierarchical motion detection setting unit expands a search range of motion detection processing in the hierarchical motion detection unit as the magnitude of the temporal change detected by the pixel value change detection unit increases. You may set as follows. In this way, the smaller the change in the pixel value of the detection pixel with time, the narrower the search range, so the processing time can be shortened.
- Another aspect of the present invention is a hierarchical motion detection circuit capable of detecting a motion vector between images acquired in time series using images of two or more layers having different resolutions, and an image acquired one frame before.
- a memory circuit for storing the image an arithmetic circuit for calculating a difference between the image one frame before stored in the memory circuit and the current image, and a detection pixel having a large difference calculated by the arithmetic circuit
- An image processing apparatus includes a hierarchical motion detection setting circuit that sets the number of layers in the hierarchical motion detection circuit so that the number of partial areas increases.
- the image one frame before acquired in time series is stored in the storage circuit, and the difference between the two images is calculated by the calculation circuit when the current image is acquired.
- the hierarchical number of motion detection processing is set by the hierarchical motion detection setting circuit in a partial region including a detection pixel having a larger calculated difference. If the difference between the pixel values is small, a motion detection process using an image of a higher resolution is performed on the partial region including the detection pixel. If the temporal change of the pixel value is large, the partial region including the detection pixel. For the above, the motion detection process is repeated while the motion detection result is hierarchically propagated from the image of the lower resolution layer to the image of the higher resolution layer. Thereby, the processing time can be shortened and highly accurate motion detection can be performed.
- the hierarchical motion detection setting circuit detects motion in the hierarchical motion detection circuit for the partial region including the detection pixel in which the difference calculated by the arithmetic circuit is a predetermined threshold value or less. You may set so that a process may not be performed. In the above aspect, the hierarchical motion detection setting circuit expands a search range of motion detection processing in the hierarchical motion detection circuit as the magnitude of the temporal change detected by the pixel value change detection unit increases. You may set as follows.
- Another aspect of the present invention is a calculation step for calculating a difference between two images acquired in time series, and a portion including a detection pixel having a large difference based on the difference calculated by the calculation step.
- a motion vector between the two images is detected for each partial area.
- An image processing method including a hierarchical motion detection step.
- the hierarchical motion detection step may detect a motion vector by excluding the partial region including the detection pixel in which the difference calculated in the calculation step is a predetermined threshold value or less. . In the above aspect, the hierarchical motion detection step may detect a motion vector by expanding a search range as the difference calculated in the calculation step is larger.
- Another aspect of the present invention is a calculation step for calculating a difference between two images acquired in time series, and a portion including a detection pixel having a large difference based on the difference calculated by the calculation step.
- a motion vector between the two images is detected for each partial area.
- An image processing program for causing a computer to execute a hierarchical motion detection step.
- Another aspect of the present invention is a calculation step for calculating a difference between two images acquired in time series, and a portion including a detection pixel having a large difference based on the difference calculated by the calculation step.
- a motion vector between the two images is detected for each partial area.
- a non-transitory computer-readable storage medium storing an image processing program for causing a computer to execute a hierarchical motion detection step.
- FIG. 5A It is a mimetic diagram showing an imaging device concerning one embodiment of the present invention. It is a figure which shows typically the structure of the image pick-up element with which the imaging device of FIG. 1 is equipped. It is a figure explaining arrangement
- FIG. 5B It is a figure which shows the difference in the motion detection for every partial area based on the setting by FIG. 5B. It is a figure which shows the modification of FIG. 5A. It is a figure which shows the relationship between the time variation
- FIG. 13 It is a figure which shows the further another modification of the image pick-up element of FIG. It is a schematic diagram which shows the modification of the imaging device of FIG. It is a schematic diagram which shows the other modification of the imaging device of FIG. 13 is a flowchart for explaining an image processing method by an image processing apparatus provided in the imaging apparatus of FIG.
- an imaging apparatus 1 according to an embodiment of the present invention will be described below with reference to the drawings.
- an imaging apparatus 1 according to the present embodiment has an optical system 2 that collects light from a subject, and imaging that acquires an image by photographing the light collected by the optical system 2.
- An element 3 and an image processing device 4 that processes an image acquired by the imaging element 3 are provided.
- the imaging device 3 has a three-layer structure as shown in FIG.
- the first layer 5 on the surface is a PD layer formed by two-dimensionally arranging the photoelectric conversion elements 6a and 6b.
- Each photoelectric conversion element 6a, 6b receives light from a subject and outputs a current signal having a magnitude corresponding to the intensity of the light.
- the second layer 7 disposed below the first layer 5 is an RO layer including the readout circuit 8.
- the RO layer converts the current signal from each of the photoelectric conversion elements 6a and 6b of the PD layer into a voltage signal, and outputs an image signal in which the voltage signal is associated with the address of the pixel corresponding to the photoelectric conversion element 6a and 6b. It is designed to output.
- An imaging unit 3 a is configured by the first layer 5 and the second layer 7.
- the third layer 9 disposed below the second layer 7 includes a motion detection circuit (pixel value change detection unit) 10 that detects a temporal change in the pixel value read by the specific read circuit 8. .
- Each photoelectric conversion element 6a, 6b constitutes a pixel, and as shown in FIG. 3, a plurality of pixels having a predetermined interval function as detection pixels MV1 to MV9.
- the photoelectric conversion elements 6a and 6b are arranged vertically and horizontally, and the detection pixels MV1 to MV9 are arranged every four pixels in the vertical direction and the horizontal direction in order to simplify the description.
- 16 pixels in 4 rows and 4 columns including the photoelectric conversion elements 6a and 6b are defined as partial regions Q1 to Q9.
- the motion detection circuit 10 converts the voltage signal output from each of the detection pixels MV1 to MV9 into differential information by a differentiator, and generates a pulse train when the voltage signal changes in an increasing tendency or a decreasing tendency by the differential information.
- the number of pulses having an amplitude value greater than or equal to a predetermined threshold per unit time is output together with the addresses of the corresponding detection pixels MV1 to MV9. That is, in the present embodiment, the image sensor 3 outputs the image signal of the subject and the number of pulses and addresses in the plurality of detection pixels MV1 to MV9 arranged every four pixels. .
- the image processing device 4 includes an image storage unit 11 that stores the image signal of the subject output from the image sensor 3, a demosaicing unit 12 that performs a demosaicing process on the image signal stored in the image storage unit 11, Based on the number of pulses output from the image pickup device 3 and the compression encoding unit 13 that performs compression encoding processing on the image signal that has been subjected to mosaicing processing, the number of layers used in the hierarchical motion detection unit 14 described later is set.
- a hierarchical motion detection switching unit (hierarchical motion detection setting unit) 15 is provided.
- the compression encoding unit 13 includes a hierarchical motion detection unit 14.
- the hierarchical motion detection unit 14 performs a reduction process on the image signal input by the number of stages according to the number of layers sent from the hierarchical motion detection switching unit 15, so that the lowest resolution is obtained.
- the motion detection process is started on the first image, and the motion detection process on the high-resolution image is sequentially performed by taking over the motion detection result.
- the case of the number of layers 1 to 4 is shown.
- the high-resolution original image input from the demosaicing unit 12 is reduced in three stages.
- Motion detection processing is started for the lowest resolution image, and motion detection processing is performed while propagating the motion vector of the motion detection result to the two-stage reduced image, the one-stage reduced image, and the original image. The same applies when the number of hierarchies is 3 to 1.
- the hierarchical motion detection switching unit 15 determines the hierarchical motion of the partial areas Q1 to Q9 including the detection pixels MV1 to MV9 depending on whether or not the temporal change in the pixel values of the detection pixels MV1 to MV9 is larger than a predetermined threshold.
- the number of hierarchies in the motion detection process by the detection unit 14 is switched. For example, as shown in FIG. 5A, the time change of the pixel value output from the image sensor 3 for nine detection pixels MV1 to MV9 arranged every four pixels out of 12 ⁇ 12 pixels is increased. Accordingly, the classification is performed as shown in FIG. 5B.
- the hierarchical motion detection switching unit 15 Detection pixels MV1, MV2, MV4, MV8, MV9: a threshold value Th1 or less, Detection pixels MV3, MV6: larger than the threshold value Th1 and lower than the threshold value Th2, Detection pixel MV5: greater than threshold Th2 and less than or equal to threshold Th3,
- the detection pixel MV7 is larger than the threshold Th3, the number of layers is switched as shown in FIG. 5A.
- the number of layers R 0 and the detection pixels for the partial regions Q1, Q2, Q4, Q8, and Q9 including the detection pixels MV1, MV2, MV4, MV8, and MV9.
- the motion detection process is performed using only the original image with the highest resolution.
- motion detection processing is performed using the highest resolution original image, one-stage reduced image, and two-stage reduced image.
- an image signal is acquired by the imaging unit 3a, and the detection pixels MV1 to MV9 arranged at intervals are used for the detection.
- the temporal change of the pixel value at the position corresponding to the pixels MV1 to MV9 is acquired together with the addresses of the detection pixels MV1 to MV9.
- the image signal acquired by the imaging unit 3a is accumulated in the image accumulating unit 11 in the image processing device 4, and then sent to the demosaicing unit 12 for demosaicing processing.
- the image signal subjected to the demosaicing process is sent to the compression encoding unit 13 and subjected to the compression encoding process.
- a motion detection process is performed in the hierarchical motion detection unit 14, and a motion vector of the image is obtained.
- the motion detection process in the hierarchical motion detection unit 14 is performed with the magnitude of the temporal change in the pixel values of the detection pixels MV1 to MV9 output from the imaging unit 3a.
- the hierarchical motion detection switching unit 15 performs switching. That is, for the partial regions Q1, Q2, Q4, Q8, and Q9 including the detection pixels MV1, MV2, MV4, MV8, and MV9 in which the temporal change in the pixel values of the detection pixels MV1 to MV9 is equal to or less than the predetermined threshold Th1,
- the partial regions Q3, Q5, Q6, and Q7 including the detection pixels MV3, MV5, MV6, and MV7, in which the temporal change in the pixel values of the detection pixels MV1 to MV9 is greater than the threshold Th1, are determined according to the magnitude of the temporal change.
- the partial areas Q1, Q2, Q4, Q8, and Q9 having a small time change compared to the conventional case where the motion detection processing is performed with the same number of hierarchies for pixels in all areas.
- the processing time required for the motion detection process can be greatly reduced.
- Only the partial areas Q3, Q5, Q6, and Q7 having a large time change have an advantage that the motion vector can be detected with high accuracy by performing the motion detection process with a larger number of layers.
- the number of hierarchies in the motion detection process is switched according to the magnitude of the temporal change in the pixel values of the detection pixels MV1 to MV9, but in addition to this, the hierarchical motion detector 14
- the search range may be switched. That is, as shown in FIGS. 6A to 6C, the detection pixels MV1, MV2, MV4, MV8, and MV9 are classified according to threshold values according to the magnitude of temporal change in the pixel values of the detection pixels MV1 to MV9.
- the search range is ⁇ 0 pixel, and for the partial areas Q3 and Q6 that include the detection pixels MV3 and MV6, the partial area that includes the search range ⁇ 8 pixels and the detection pixel MV5
- the search range is set to ⁇ 16 pixels for Q5 and the search range ⁇ 32 pixels for the partial region Q7 including the detection pixel MV7.
- the search range in the motion detection process using the highest resolution image is illustrated, but in the motion detection process using the lower resolution image, the corresponding search range is set in consideration of the reduction ratio. That's fine.
- the detection pixels may be used as both. . That is, the signal may be branched by the same exposure, or may be shared by time division. In the case of time division, the acquired image signal may be transferred to the image memory and held so that it can be re-exposed.
- the signals of detection pixels may be averaged.
- the detection pixels are separated from each other, a phenomenon that the sampling period is low with respect to the aperture band occurs, and as a result, aliasing that detects the movement of the high-frequency pattern as the movement of the low-frequency pattern occurs. Arise.
- the signals of adjacent detection pixels may be integrated and subjected to addition averaging processing and then sent to the hierarchical motion detection switching unit 15.
- the detection pixel also serves as an image signal acquisition, as shown in FIG. 9, the signals of a plurality of adjacent pixels are integrated and averaged, and then sent to the hierarchical motion detection switching unit 15. May be.
- the PD layer has a color Bayer arrangement, the pixels of the same color (for example, G channel) may be averaged for each partial region, and the motion detection process may be switched according to the result.
- the imaging including the third layer 17 in which the photoelectric conversion elements 6b for detection pixels are arranged.
- Element 3 may be adopted. It is known that long-wavelength light is transmitted when the silicon substrate is thin. Using this, a part of the light transmitted through the first layer 16 and the second layer 7 reaches the third layer 17. be able to. Thereby, image signals from all the pixels of the first layer 16 can be used for image formation.
- the hierarchical motion detection process performed in the compression encoding unit 13 has been described, but instead, as shown in FIG. Prior to this, the motion detection processing may be performed in the hierarchical motion detection unit 14 for the registration processing between images performed by the alignment processing unit 20.
- the temporal change in the pixel value of the detection pixel is directly output from the imaging unit 3a, but instead, it is acquired in time series as shown in FIG.
- a difference calculation unit 18 for calculating a difference between two images is provided, and a difference value in a specific detection pixel output from the difference calculation unit 18 is set as a time change of the pixel value, based on the magnitude of the difference value.
- the hierarchical motion detection switching unit 15 may switch the number of layers in the motion detection process for each partial region.
- the present invention includes an image storage unit (storage circuit) 11 that stores images acquired in time series, and a difference calculation unit (calculation circuit) 18 that calculates a difference value between images acquired in time series.
- the pixel value change detection unit 21 the hierarchical motion detection switching unit (hierarchical motion detection setting circuit) 15 that switches so that the number of layers increases as the difference value increases, It can be conceptualized as an image processing device 4 that includes a hierarchical motion detection unit (hierarchical motion detection circuit) 14 that performs detection processing.
- the image processing method using the image processing apparatus 4 configured as described above includes an image input step S1 in which an image signal is input from the image sensor 3 and the image input step S1, as shown in FIG.
- An image storing step S2 for storing the input image signal in the image storage unit 11, an image reading step S3 for reading an image one frame before stored in the image storage unit 11, and an input image of the current frame
- a difference calculation step (calculation step) S4 for calculating a difference from the read image one frame before in the difference calculation unit 18 is provided.
- the number of layers in the hierarchical motion detection process is switched for each partial region according to the difference value between images acquired in time series. Since motion vectors between images are detected, the processing time can be shortened and high-precision motion detection can be performed compared to the conventional case in which motion detection processing of the same number of layers is performed for all regions. There is an advantage that you can.
- the image processing method according to the present embodiment can be implemented by an image processing program that can be executed by a computer in addition to the case where the image processing apparatus 4 is configured by a circuit as described above.
- the image processing method according to the present embodiment is performed by a processor such as a CPU executing the image processing program.
- the image processing program stored in the storage medium is read, and the read image processing program is executed by a processor such as a CPU.
- the storage medium stores programs, data, and the like, and the function can be realized by an optical disc (DVD, CD, etc.), a hard disk drive, or a memory (card type memory, ROM, etc.).
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
処理時間を抑えて高精度の動き検出処理を行うことを目的として、本発明に係る撮像装置(1)は、被写体の画像を時系列に取得する撮像部と、該撮像部により取得された画像間の動きベクトルを解像度の異なる2階層以上の画像を用いて検出できる階層的動き検出部(14)と、該撮像部により取得された画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、該画素値変化検出部により検出された時間変化が大きい検出用画素を含む部分領域ほど、階層的動き検出部(14)における階層数が多くなるように設定する階層的動き検出設定部(15)とを備える撮像装置(1)である。
Description
本発明は、撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。
低解像度変換した画像間で動きを検出した後、その動き検出結果を引き継いで高解像度画像においてさらに高精度の動き検出を行う画像処理方法が知られている(例えば、特許文献1参照。)。
特許文献1の画像処理方法では、全ての画像について、解像度の異なる複数の画像を生成し、低解像度画像から高解像度画像へと動き検出結果を階層的に伝搬させながら動き検出処理を繰り返すため、処理時間がかかる。
本発明は、上述した事情に鑑みてなされたものであって、処理時間を抑えて高精度の動き検出処理を行うことができる撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供する。
本発明は、上述した事情に鑑みてなされたものであって、処理時間を抑えて高精度の動き検出処理を行うことができる撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供する。
本発明の一態様は、被写体の画像を時系列に取得する撮像部と、該撮像部により取得された画像間の動きベクトルを解像度の異なる2階層以上の画像を用いて検出できる階層的動き検出部と、該撮像部により取得された前記画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、該画素値変化検出部により検出された前記時間変化が大きい前記検出用画素を含む前記部分領域ほど、前記階層的動き検出部における階層数が多くなるように設定する階層的動き検出設定部とを備える撮像装置である。
本態様によれば、撮像部により時系列に取得された画像の複数の部分領域毎に検出用画素における画素値の時間変化が画素値変化検出部により検出され、検出された画素値の時間変化の大きさに基づいて、その検出用画素を含む部分領域の動き検出処理の階層数が設定される。画素値の時間変化が小さければ、その検出用画素を含む部分領域についてはより高解像度の階層の画像による動き検出処理が行われ、画素値の時間変化が大きければ、その検出用画素を含む部分領域についてはより低解像度の階層の画像から高解像度の階層の画像へと動き検出結果が階層的に伝搬されながら動き検出処理が繰り返される。
すなわち、検出用画素の画素値の時間変化が小さい部分領域については、より低解像度の画像を用意することなく、高解像度の画像を用いて動き検出処理を行うことができ、処理時間を短縮することができる。一方、検出用画素の画素値の時間変化が大きい部分領域については、より低解像度の画像からの動き検出処理を引き継ぐことにより、動き検出を階層的に行って、高精度の動き検出を行うことができる。
上記態様においては、前記撮像部および前記画素値変化検出部が、撮像素子に備えられる回路であってもよい。
このようにすることで、撮像素子に備えられる撮像回路により画像が取得される際に、同じく撮像素子に備えられる画素値変化検出回路が、検出用画素における画素値の時間変化を検出して出力するので、簡易な構成の画像処理回路によって、処理時間を短縮し、かつ高精度の動き検出を行うことができる。
このようにすることで、撮像素子に備えられる撮像回路により画像が取得される際に、同じく撮像素子に備えられる画素値変化検出回路が、検出用画素における画素値の時間変化を検出して出力するので、簡易な構成の画像処理回路によって、処理時間を短縮し、かつ高精度の動き検出を行うことができる。
また、上記態様においては、前記画素値変化検出部が、前記撮像部により取得された1フレーム前の画像を記憶する記憶回路と、該記憶回路に記憶されている1フレーム前の画像と現在の画像との差分を前記時間変化として演算する演算回路とを備えていてもよい。
このようにすることで、撮像部により取得された画像が記憶回路に記憶され、次のフレームの画像が撮像部により取得されたときに、記憶回路から読み出された1フレーム前の画像と現在の画像との差分が、演算回路によって検出用画素の画素値の時間変化として演算される。特殊な撮像素子を用いることなく、演算によって画素値の時間変化を得ることができ、処理時間を短縮し、かつ高精度の動き検出を行うことができる。
このようにすることで、撮像部により取得された画像が記憶回路に記憶され、次のフレームの画像が撮像部により取得されたときに、記憶回路から読み出された1フレーム前の画像と現在の画像との差分が、演算回路によって検出用画素の画素値の時間変化として演算される。特殊な撮像素子を用いることなく、演算によって画素値の時間変化を得ることができ、処理時間を短縮し、かつ高精度の動き検出を行うことができる。
また、上記態様においては、前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出部における動き検出処理が行われないように設定してもよい。
このようにすることで、検出用画素の画素値の時間変化が所定の閾値以下の場合には、当該画素値を含む部分領域についての階層的動き検出部による動き検出処理が行われないので、動きの小さい部分における無駄な動き検出処理が防止され、処理時間をさらに短縮することができる。
このようにすることで、検出用画素の画素値の時間変化が所定の閾値以下の場合には、当該画素値を含む部分領域についての階層的動き検出部による動き検出処理が行われないので、動きの小さい部分における無駄な動き検出処理が防止され、処理時間をさらに短縮することができる。
また、上記態様においては、前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出部における動き検出処理の探索範囲を広げるように設定してもよい。
このようにすることで、検出用画素の画素値の時間変化が小さいほど探索範囲は狭くて済むので、処理時間を短縮することができる。
このようにすることで、検出用画素の画素値の時間変化が小さいほど探索範囲は狭くて済むので、処理時間を短縮することができる。
また、本発明の他の態様は、時系列に取得された画像間の動きベクトルを解像度の異なる2階層以上の画像を用いて検出できる階層的動き検出回路と、1フレーム前に取得された画像を記憶する記憶回路と、該記憶回路に記憶されている1フレーム前の画像と現在の画像との差分を演算する演算回路と、該演算回路により算出された前記差分が大きい検出用画素を含む部分領域ほど多くなるように、前記階層的動き検出回路における階層数を設定する階層的動き検出設定回路とを備える画像処理装置である。
本態様によれば、時系列に取得された1フレーム前の画像が記憶回路に記憶され、現在の画像が取得されたときに演算回路によって2つの画像の差分が演算される。そして、演算された差分が大きい検出用画素を含む部分領域ほど、多くの動き検出処理の階層数が階層的動き検出設定回路によって設定される。画素値の差分が小さければ、その検出用画素を含む部分領域についてはより高解像度の階層の画像による動き検出処理が行われ、画素値の時間変化が大きければ、その検出用画素を含む部分領域についてはより低解像度の階層の画像から高解像度の階層の画像へと動き検出結果が階層的に伝搬されながら動き検出処理が繰り返される。これにより、処理時間を短縮することができるとともに、高精度の動き検出を行うことができる。
上記態様においては、前記階層的動き検出設定回路は、前記演算回路により演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出回路における動き検出処理が行われないように設定してもよい。
また、上記態様においては、前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定してもよい。
また、上記態様においては、前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定してもよい。
また、本発明の他の態様は、時系列に取得された2枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、2枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとを含む画像処理方法である。
上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については除外して動きベクトルを検出してもよい。
また、上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出してもよい。
また、上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出してもよい。
また、本発明の他の態様は、時系列に取得された2枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、2枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムである。
また、本発明の他の態様は、時系列に取得された2枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、2枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体である。
本発明によれば、処理時間を抑えて高精度の動き検出処理を行うことができるという効果を奏する。
本発明の一実施形態に係る撮像装置1について、図面を参照して以下に説明する。
本実施形態に係る撮像装置1は、図1に示されるように、被写体からの光を集光する光学系2と、該光学系2により集光された光を撮影して画像を取得する撮像素子3と、該撮像素子3により取得された画像を処理する画像処理装置4とを備えている。
本実施形態に係る撮像装置1は、図1に示されるように、被写体からの光を集光する光学系2と、該光学系2により集光された光を撮影して画像を取得する撮像素子3と、該撮像素子3により取得された画像を処理する画像処理装置4とを備えている。
撮像素子3は、図2に示されるように、3層構造を備えている。
表面の第1層5は、光電変換素子6a,6bを2次元的に配列してなるPD層である。各光電変換素子6a,6bは、被写体からの光を受けて、該光の強度に応じた大きさを有する電流信号を出力するようになっている。
表面の第1層5は、光電変換素子6a,6bを2次元的に配列してなるPD層である。各光電変換素子6a,6bは、被写体からの光を受けて、該光の強度に応じた大きさを有する電流信号を出力するようになっている。
第1層5の下層に配置されている第2層7は、読み出し回路8を備えるRO層である。RO層は、PD層の各光電変換素子6a,6bからの電流信号を電圧信号に変換し、該電圧信号と該光電変換素子6a,6bに対応する画素のアドレスとを対応づけた画像信号を出力するようになっている。第1層5および第2層7により撮像部3aが構成されている。
第2層7の下層に配置されている第3層9は、特定の読み出し回路8により読み出された画素値の時間変化を検出する動き検出回路(画素値変化検出部)10を備えている。
第2層7の下層に配置されている第3層9は、特定の読み出し回路8により読み出された画素値の時間変化を検出する動き検出回路(画素値変化検出部)10を備えている。
各光電変換素子6a,6bは画素を構成し、図3に示されるように、そのうちの所定間隔をあけた複数の画素が検出用画素MV1からMV9として機能するようになっている。図3に示す例では、光電変換素子6a,6bは縦横に配列され、検出用画素MV1からMV9は、説明を簡単にするために、縦方向および横方向に4画素毎に配置されている。本実施形態においては、図5Cに示されるように、各光電変換素子6a,6bを含む4行4列の16個の画素を部分領域Q1からQ9として定義している。
動き検出回路10は、各検出用画素MV1からMV9から出力された電圧信号を微分器によって微分情報に変換し、微分情報により電圧信号が増加傾向または減少傾向に変化しているときにパルス列を発生させ、所定の閾値以上の振幅値を有するパルスの単位時間当たりの数を対応する検出用画素MV1からMV9のアドレスとともに出力するようになっている。すなわち、本実施形態においては、撮像素子3からは、被写体の画像信号と、4画素毎に配置された複数の検出用画素MV1からMV9におけるパルス数およびアドレスとが出力されるようになっている。
画像処理装置4は、撮像素子3から出力された被写体の画像信号を蓄積する画像蓄積部11と、該画像蓄積部11に蓄積された画像信号にデモザイキング処理を施すデモザイキング部12と、デモザイキング処理が施された画像信号に圧縮符号化処理を施す圧縮符号化部13と、撮像素子3から出力されたパルス数に基づいて後述する階層的動き検出部14において用いられる階層数を設定する階層的動き検出切替部(階層的動き検出設定部)15とを備えている。
デモザイキング部12では、入力された画像信号がベイヤ配列等の場合に、画素補間されるとともに、カラー化されるようになっている。
圧縮符号化部13は、階層的動き検出部14を備えている。
圧縮符号化部13は、階層的動き検出部14を備えている。
階層的動き検出部14は、図4に示されるように、階層的動き検出切替部15から送られてくる階層数に応じた段階数だけ入力された画像信号に縮小処理を行い、最も低解像度の画像において動き検出処理を開始し、その動き検出結果を引き継いで順次高解像度の画像における動き検出処理を行うようになっている。図4に示す例では、階層数1から4の場合が示されており、例えば、階層数4の場合には、デモザイキング部12から入力されてきた高解像度の元画像を3段階縮小処理した最も低解像度の画像において動き検出処理を開始し、2段階縮小画像、1段階縮小画像、元画像へと動き検出結果の動きベクトルを伝搬しながらそれぞれ動き検出処理を施すようになっている。階層数3から1の場合も同様である。
階層的動き検出切替部15は、検出用画素MV1からMV9の画素値の時間変化が所定の閾値より大きいか否かによって、該検出用画素MV1からMV9を含む部分領域Q1からQ9の階層的動き検出部14による動き検出処理における階層数を切り替えるようになっている。
例えば、図5Aに示されるように12×12個の画素のうち、4画素毎に配置された9個の検出用画素MV1からMV9について撮像素子3から出力された画素値の時間変化をその大きさによって、図5Bに示されるように分類する。
例えば、図5Aに示されるように12×12個の画素のうち、4画素毎に配置された9個の検出用画素MV1からMV9について撮像素子3から出力された画素値の時間変化をその大きさによって、図5Bに示されるように分類する。
すなわち、階層的動き検出切替部15は、
検出用画素MV1,MV2,MV4,MV8,MV9:閾値Th1以下、
検出用画素MV3,MV6:閾値Th1より大きく閾値Th2以下、
検出用画素MV5:閾値Th2より大きく閾値Th3以下、
検出用画素MV7:閾値Th3より大きい
場合には、図5Aに示されるように階層数を切り替えるようになっている。
検出用画素MV1,MV2,MV4,MV8,MV9:閾値Th1以下、
検出用画素MV3,MV6:閾値Th1より大きく閾値Th2以下、
検出用画素MV5:閾値Th2より大きく閾値Th3以下、
検出用画素MV7:閾値Th3より大きい
場合には、図5Aに示されるように階層数を切り替えるようになっている。
これにより、図5Aおよび図5Cに示されるように、検出用画素MV1,MV2,MV4,MV8,MV9を含む部分領域Q1,Q2,Q4,Q8,Q9については階層数R=0、検出用画素MV3,MV6を含む部分領域Q3,Q6については階層数R=1、検出用画素MV5を含む部分領域Q5については階層数R=2、検出用画素MV7を含む部分領域Q7についてはR=3と設定するようになっている。
階層数R=0と設定された部分領域Q1,Q2,Q4,Q8,Q9については、動きベクトルが存在しない静止領域として扱い、そもそも動き検出処理を行わないようになっている。階層数R=1と設定された部分領域Q3,Q6については、最高解像度の元画像のみを用いて動き検出処理が行われるようになっている。また、階層数R=2と設定された部分領域Q5については、最高解像度の元画像および1段階縮小された低解像度画像を用いて動き検出処理が行われるようになっている。さらに、階層数R=3と設定された部分領域Q7については、最高解像度の元画像、1段階縮小画像および2段階縮小画像を用いて動き検出処理が行われるようになっている。
このように構成された本実施形態に係る撮像装置1の作用について以下に説明する。
本実施形態に係る撮像装置1を用いて被写体の撮影を行うと、撮像部3aによって画像信号が取得されるとともに、間隔をあけて配列された複数の検出用画素MV1からMV9によって、当該検出用画素MV1からMV9に対応する位置の画素値の時間変化が検出用画素MV1からMV9のアドレスとともに取得される。
本実施形態に係る撮像装置1を用いて被写体の撮影を行うと、撮像部3aによって画像信号が取得されるとともに、間隔をあけて配列された複数の検出用画素MV1からMV9によって、当該検出用画素MV1からMV9に対応する位置の画素値の時間変化が検出用画素MV1からMV9のアドレスとともに取得される。
撮像部3aにより取得された画像信号は、画像処理装置4内の画像蓄積部11に蓄積された後、デモザイキング部12に送られてデモザイキング処理が施される。デモザイキング処理が施された画像信号は、圧縮符号化部13に送られて圧縮符号化処理が施される。
圧縮符号化部13における圧縮符号化処理においては、階層的動き検出部14において動き検出処理が行われ、画像の動きベクトルが求められる。
圧縮符号化部13における圧縮符号化処理においては、階層的動き検出部14において動き検出処理が行われ、画像の動きベクトルが求められる。
この場合において、本実施形態に係る撮像装置1によれば、階層的動き検出部14における動き検出処理が、撮像部3aから出力された検出用画素MV1からMV9の画素値の時間変化の大きさに応じて、階層的動き検出切替部15により切り替えられる。
すなわち、検出用画素MV1からMV9の画素値の時間変化が所定の閾値Th1以下である検出用画素MV1,MV2,MV4,MV8,MV9を含む部分領域Q1,Q2,Q4,Q8,Q9については、階層的動き検出切替部15において、階層数R=0と設定され、階層的動き検出部14においては動き検出処理が行われない。これにより、動き検出処理に要する処理時間を大幅に短縮することができる。
すなわち、検出用画素MV1からMV9の画素値の時間変化が所定の閾値Th1以下である検出用画素MV1,MV2,MV4,MV8,MV9を含む部分領域Q1,Q2,Q4,Q8,Q9については、階層的動き検出切替部15において、階層数R=0と設定され、階層的動き検出部14においては動き検出処理が行われない。これにより、動き検出処理に要する処理時間を大幅に短縮することができる。
また、検出用画素MV1からMV9の画素値の時間変化が閾値Th1より大きい検出用画素MV3,MV5,MV6,MV7を含む部分領域Q3,Q5,Q6,Q7については時間変化の大きさに応じて階層数をR=1からR=3の間で切り替えるようになっている。
このようにすることで、全ての領域にわたる画素について、同等の高い階層数で動き検出処理していた従来の場合と比較して、時間変化の小さい部分領域Q1,Q2,Q4,Q8,Q9についてはより少ない階層数で動き検出処理を行うことができ、動き検出処理に要する処理時間を大幅に短縮することができるという利点がある。そして、時間変化の大きい部分領域Q3,Q5,Q6,Q7についてのみ、より多い階層数で動き検出処理を行って、高精度に動きベクトルを検出することができるという利点がある。
このようにすることで、全ての領域にわたる画素について、同等の高い階層数で動き検出処理していた従来の場合と比較して、時間変化の小さい部分領域Q1,Q2,Q4,Q8,Q9についてはより少ない階層数で動き検出処理を行うことができ、動き検出処理に要する処理時間を大幅に短縮することができるという利点がある。そして、時間変化の大きい部分領域Q3,Q5,Q6,Q7についてのみ、より多い階層数で動き検出処理を行って、高精度に動きベクトルを検出することができるという利点がある。
なお、本実施形態においては、検出用画素MV1からMV9の画素値の時間変化の大きさに応じて動き検出処理における階層数を切り替えることとしたが、これに加えて、階層的動き検出部14の探索範囲を切り替えることにしてもよい。
すなわち、図6Aから図6Cに示されるように、検出用画素MV1からMV9の画素値の時間変化の大きさに応じて、閾値により分類し、検出用画素MV1,MV2,MV4,MV8,MV9を含む部分領域Q1,Q2,Q4,Q8,Q9については探索範囲:±0画素、検出用画素MV3,MV6を含む部分領域Q3,Q6については探索範囲±8画素、検出用画素MV5を含む部分領域Q5については探索範囲:±16画素、検出用画素MV7を含む部分領域Q7については探索範囲±32画素と設定するようになっている。
すなわち、図6Aから図6Cに示されるように、検出用画素MV1からMV9の画素値の時間変化の大きさに応じて、閾値により分類し、検出用画素MV1,MV2,MV4,MV8,MV9を含む部分領域Q1,Q2,Q4,Q8,Q9については探索範囲:±0画素、検出用画素MV3,MV6を含む部分領域Q3,Q6については探索範囲±8画素、検出用画素MV5を含む部分領域Q5については探索範囲:±16画素、検出用画素MV7を含む部分領域Q7については探索範囲±32画素と設定するようになっている。
図6Bにおいては、最高解像度の画像を用いた動き検出処理における探索範囲を例示したが、より低解像度の画像を用いた動き検出処理においては、縮小率を考慮して対応する探索範囲を設定すればよい。
また、本実施形態においては、画像信号を出力する画素とは別に検出用画素を配置した例を示したが、図7に示されるように、検出用画素が両者を兼用することにしてもよい。
すなわち、同一露光で信号を分岐してもよいし、時分割で兼用するようにしてもよい。時分割の場合には、取得された画像信号は画像メモリに転送して保持し、再露光できるようにすればよい。
すなわち、同一露光で信号を分岐してもよいし、時分割で兼用するようにしてもよい。時分割の場合には、取得された画像信号は画像メモリに転送して保持し、再露光できるようにすればよい。
また、動き検出のS/N比およびアンダーサンプリングによる折り返しを低減するために、検出用画素の信号を加算平均するようにしてもよい。検出用画素が離間している場合、開口の帯域に対してサンプリング周期が低いという現象が起こり、結果として、高周波のパターンの動きを低周波のパターンの動きとして検出してしまう折り返し(エイリアシング)が生じる。これを防ぐために、図8に示されるように、隣接する検出用画素の信号を統合し加算平均処理を行った後に階層的動き検出切替部15に送ることにすればよい。
また、検出用画素が画像信号取得を兼用する場合には、図9に示されるように、複数の隣接する画素の信号を統合して加算平均した後に階層的動き検出切替部15に送ることにしてもよい。
また、PD層がカラーのベイヤ配列の場合には、部分領域毎に同色(例えば、Gチャネル)の画素の加算平均を行い、その結果に応じて、動き検出処理を切り替えることにしてもよい。
また、PD層がカラーのベイヤ配列の場合には、部分領域毎に同色(例えば、Gチャネル)の画素の加算平均を行い、その結果に応じて、動き検出処理を切り替えることにしてもよい。
また、図10に示されるように、画像信号取得用の光電変換素子6aが配列された第1層16とは別に、検出用画素の光電変換素子6bが配列された第3層17を備える撮像素子3を採用してもよい。シリコン基板が薄い場合に長波長の光が透過することが知られており、これを利用して、第1層16および第2層7を透過した光の一部を第3層17に到達させることができる。これにより、第1層16の全ての画素からの画像信号を画像形成用に利用することができる。
また、本実施形態においては、圧縮符号化部13において行われる階層的動き検出処理について説明したが、これに代えて、図11に示されるように、合成処理部19によるフレーム間の画像合成処理に先立って、位置合わせ処理部20により行われる画像間の位置合わせ処理のために、階層的動き検出部14において動き検出処理を行うことにしてもよい。
また、本実施形態においては、検出用画素の画素値の時間変化を撮像部3aから直接出力させることとしたが、これに代えて、図12に示されるように、時系列的に取得された2枚の画像の差分を算出する差分算出部18を設け、該差分算出部18から出力された特定の検出用画素における差分値を画素値の時間変化として、差分値の大きさに基づいて、階層的動き検出切替部15が、動き検出処理における階層数を部分領域毎に切り替えることにしてもよい。
このようにすることで、撮像部3aとして検出用画素の画素値の時間変化を出力する特殊なものを用いることなく、後段の画像処理において実施することが可能となる。
すなわち、本発明は、時系列に取得された画像を記憶する画像蓄積部(記憶回路)11と、時系列に取得された画像の差分値を演算する差分算出部(演算回路)18とを備える画素値変化検出部21と、差分値が大きいほど階層数を多くするように切り替える階層的動き検出切替部(階層的動き検出設定回路)15と、切り替えられた階層数で、部分領域ごとに動き検出処理を行う階層的動き検出部(階層的動き検出回路)14とを備える画像処理装置4として概念することができる。
すなわち、本発明は、時系列に取得された画像を記憶する画像蓄積部(記憶回路)11と、時系列に取得された画像の差分値を演算する差分算出部(演算回路)18とを備える画素値変化検出部21と、差分値が大きいほど階層数を多くするように切り替える階層的動き検出切替部(階層的動き検出設定回路)15と、切り替えられた階層数で、部分領域ごとに動き検出処理を行う階層的動き検出部(階層的動き検出回路)14とを備える画像処理装置4として概念することができる。
そして、このように構成された画像処理装置4を用いた画像処理方法は、図13に示されるように、撮像素子3から画像信号が入力される画像入力ステップS1と、該画像入力ステップS1により入力された画像信号を画像蓄積部11に記憶する画像記憶ステップS2と、既に画像蓄積部11に記憶されている1フレーム前の画像を読み出す画像読出ステップS3と、入力された現フレームの画像と読み出した1フレーム前の画像との差分を差分算出部18において演算する差分演算ステップ(演算ステップ)S4とを備えている。
また、差分が演算されたときに、n=1にリセットし(ステップS5)、n=1からn=mまで、m個の検出用画素に対応する差分値Pnを各閾値Th1からTh4と比較する(ステップS6からS12)。まず、差分値Pnが閾値Th1以下であるか否かが判定され(ステップS6)、閾値Th1以下である場合には、n番目の検出用画素の階層数Rn=0とし(階層数設定ステップS7)、n=mか否かを判定する(ステップS15)。
差分値Pnが閾値Th1以下ではない場合には、差分値Pnが閾値Th2以下であるか否かが判定され(ステップS8)、閾値Th2以下である場合には、n番目の検出用画素の階層数Rn=1とし(階層数設定ステップS9)、n=mか否かを判定する(ステップS15)。
差分値Pnが閾値Th2以下ではない場合には、差分値Pnが閾値Th3以下であるか否かが判定され(ステップS10)、閾値Th3以下である場合には、n番目の検出用画素の階層数Rn=2とし(階層数設定ステップS11)、n=mか否かを判定する(ステップS15)。
差分値Pnが閾値Th2以下ではない場合には、差分値Pnが閾値Th3以下であるか否かが判定され(ステップS10)、閾値Th3以下である場合には、n番目の検出用画素の階層数Rn=2とし(階層数設定ステップS11)、n=mか否かを判定する(ステップS15)。
差分値Pnが閾値Th3以下ではない場合には、差分値Pnが閾値Th4以下であるか否かが判定され(ステップS12)、閾値Th4以下である場合には、n番目の検出用画素の階層数Rn=3とし(階層数設定ステップS13)、n=mか否かを判定する(ステップS15)。
差分値Pnが閾値Th4以下ではない場合には、n番目の検出用画素の階層数Rn=4とし(階層数設定ステップS14)、n=mか否かを判定する(ステップS15)
n=mではない場合には、nをインクリメントして(ステップS16)、ステップS6からの工程を繰り返す(階層的動き検出ステップS17)。n=mである場合には処理を終了する。
差分値Pnが閾値Th4以下ではない場合には、n番目の検出用画素の階層数Rn=4とし(階層数設定ステップS14)、n=mか否かを判定する(ステップS15)
n=mではない場合には、nをインクリメントして(ステップS16)、ステップS6からの工程を繰り返す(階層的動き検出ステップS17)。n=mである場合には処理を終了する。
このように、本実施形態に係る画像処理装置4および画像処理方法によれば、階層的動き検出処理における階層数を、時系列に取得した画像間の差分値に応じて部分領域毎に切り替えて画像間の動きベクトルを検出するので、全ての領域について同じ階層数の動き検出処理を行う従来の場合と比較して、処理時間を短縮することができるとともに、高精度の動き検出を行うことができるという利点がある。
なお、本実施形態に係る画像処理方法は、上記のように回路からなる画像処理装置4によって実行される場合の他、コンピュータにより実行することができる画像処理プログラムによっても実施することができる。この場合、CPU等のプロセッサが画像処理プログラムを実行することで、本実施形態に係る画像処理方法が実施される。
具体的には記憶媒体に記憶された画像処理プログラムが読み出され、読み出された画像処理プログラムがCPU等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク(DVD、CD等)、ハードディスクドライブあるいはメモリ(カード型メモリ、ROM等)などにより実現できる。
1 撮像装置
3 撮像素子
3a 撮像部
4 画像処理装置
10 動き検出回路(画素値変化検出部)
11 画像蓄積部(記憶回路)
14 階層的動き検出部(階層的動き検出回路)
15 階層的動き検出切替部(階層的動き検出設定部、階層的動き検出設定回路)
18 差分算出部(演算回路)
21 画素値変化検出部
S4 差分演算ステップ(演算ステップ)
S7,S9,S11,S13,S14 階層数設定ステップ
S17 階層的動き検出ステップ
MV1,MV2,MV3,MV4,MV5,MV6,MV7,MV8,MV9 検出用画素
Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9 部分領域
3 撮像素子
3a 撮像部
4 画像処理装置
10 動き検出回路(画素値変化検出部)
11 画像蓄積部(記憶回路)
14 階層的動き検出部(階層的動き検出回路)
15 階層的動き検出切替部(階層的動き検出設定部、階層的動き検出設定回路)
18 差分算出部(演算回路)
21 画素値変化検出部
S4 差分演算ステップ(演算ステップ)
S7,S9,S11,S13,S14 階層数設定ステップ
S17 階層的動き検出ステップ
MV1,MV2,MV3,MV4,MV5,MV6,MV7,MV8,MV9 検出用画素
Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9 部分領域
Claims (13)
- 被写体の画像を時系列に取得する撮像部と、
該撮像部により取得された画像間の動きベクトルを解像度の異なる2階層以上の画像を用いて検出できる階層的動き検出部と、
該撮像部により取得された前記画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、
該画素値変化検出部により検出された前記時間変化が大きい前記検出用画素を含む前記部分領域ほど、前記階層的動き検出部における階層数が多くなるように設定する階層的動き検出設定部とを備える撮像装置。 - 前記撮像部および前記画素値変化検出部が、撮像素子に備えられる回路である請求項1に記載の撮像装置。
- 前記画素値変化検出部が、前記撮像部により取得された1フレーム前の画像を記憶する記憶回路と、該記憶回路に記憶されている1フレーム前の画像と現在の画像との差分を前記時間変化として演算する演算回路とを備える請求項1に記載の撮像装置。
- 前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出部における動き検出処理が行われないように設定する請求項1から請求項3のいずれかに記載の撮像装置。
- 前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出部における動き検出処理の探索範囲を広げるように設定する請求項1から請求項4のいずれかに記載の撮像装置。
- 時系列に取得された画像間の動きベクトルを解像度の異なる2階層以上の画像を用いて検出できる階層的動き検出回路と、
1フレーム前に取得された画像を記憶する記憶回路と、
該記憶回路に記憶されている1フレーム前の画像と現在の画像との差分を演算する演算回路と、
該演算回路により算出された前記差分が大きい検出用画素を含む部分領域ほど多くなるように、前記階層的動き検出回路における階層数を設定する階層的動き検出設定回路とを備える画像処理装置。 - 前記階層的動き検出設定回路は、前記演算回路により演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出回路における動き検出処理が行われないように設定する請求項6に記載の画像処理装置。
- 前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定する請求項6または請求項7に記載の画像処理装置。
- 時系列に取得された2枚の画像の差分を演算する演算ステップと、
該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、2枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとを含む画像処理方法。 - 前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については除外して動きベクトルを検出する請求項9に記載の画像処理方法。
- 前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出する請求項9または請求項10に記載の画像処理方法。
- 時系列に取得された2枚の画像の差分を演算する演算ステップと、
該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、2枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラム。 - 時系列に取得された2枚の画像の差分を演算する演算ステップと、
該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、2枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/064578 WO2016185598A1 (ja) | 2015-05-21 | 2015-05-21 | 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
JP2017518698A JP6502485B2 (ja) | 2015-05-21 | 2015-05-21 | 撮像装置 |
US15/809,947 US10477236B2 (en) | 2015-05-21 | 2017-11-10 | Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/064578 WO2016185598A1 (ja) | 2015-05-21 | 2015-05-21 | 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/809,947 Continuation US10477236B2 (en) | 2015-05-21 | 2017-11-10 | Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016185598A1 true WO2016185598A1 (ja) | 2016-11-24 |
Family
ID=57319606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/064578 WO2016185598A1 (ja) | 2015-05-21 | 2015-05-21 | 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10477236B2 (ja) |
JP (1) | JP6502485B2 (ja) |
WO (1) | WO2016185598A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808388A (zh) * | 2017-10-19 | 2018-03-16 | 中科创达软件股份有限公司 | 包含运动目标的图像处理方法、装置及电子设备 |
CN111602384A (zh) * | 2018-10-29 | 2020-08-28 | 深圳市大疆创新科技有限公司 | 图像处理装置、摄像装置、移动体、图像处理方法以及程序 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6894707B2 (ja) * | 2017-01-06 | 2021-06-30 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
US10957068B2 (en) * | 2017-01-06 | 2021-03-23 | Canon Kabushiki Kaisha | Information processing apparatus and method of controlling the same |
WO2019008692A1 (ja) | 2017-07-05 | 2019-01-10 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
US11412136B2 (en) * | 2018-12-07 | 2022-08-09 | Samsung Electronics Co., Ltd. | Apparatus and method for operating multiple cameras for digital photography |
WO2021111542A1 (ja) | 2019-12-04 | 2021-06-10 | オリンパス株式会社 | 撮像装置 |
CN115423695B (zh) * | 2022-07-15 | 2024-05-31 | 清华大学 | 一种用于城市预测任务的街景图像采样方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0561975A (ja) * | 1991-08-31 | 1993-03-12 | Sony Corp | 信号マツチング装置 |
JP2008301085A (ja) * | 2007-05-30 | 2008-12-11 | Canon Inc | 動きベクトル探索装置及びその制御方法、コンピュータプログラム |
JP2009104284A (ja) * | 2007-10-22 | 2009-05-14 | Sony Corp | 画像処理装置および画像処理方法 |
JP2009296574A (ja) * | 2008-05-02 | 2009-12-17 | Canon Inc | 固体撮像装置 |
JP2010114597A (ja) * | 2008-11-05 | 2010-05-20 | Sony Corp | 動きベクトル検出装置、その処理方法およびプログラム |
JP2012257120A (ja) * | 2011-06-09 | 2012-12-27 | Nippon Hoso Kyokai <Nhk> | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3135692B2 (ja) | 1992-08-28 | 2001-02-19 | 株式会社日立製作所 | 階層的動画像信号符号化装置及び方法 |
JPH06105300A (ja) | 1992-09-21 | 1994-04-15 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
JPH06205389A (ja) | 1992-12-29 | 1994-07-22 | Casio Comput Co Ltd | 動きベクトル検出装置及び動きベクトル検出方法 |
JPH0730899A (ja) | 1993-07-12 | 1995-01-31 | Kyocera Corp | 階層的動きベクトル検出方式 |
JP3580612B2 (ja) | 1995-09-20 | 2004-10-27 | 富士通株式会社 | 動画像符号化装置の動き検出装置 |
US6823013B1 (en) * | 1998-03-23 | 2004-11-23 | International Business Machines Corporation | Multiple encoder architecture for extended search |
EP1119975B1 (en) * | 1998-10-13 | 2003-04-23 | STMicroelectronics Asia Pacific Pte Ltd. | Motion vector detection with local motion estimator |
EP1120976A4 (en) * | 1999-07-29 | 2006-03-29 | Mitsubishi Electric Corp | METHOD FOR DETECTING MOTION VECTOR |
US8107748B2 (en) * | 2005-09-16 | 2012-01-31 | Sony Corporation | Adaptive motion search range |
US9350928B2 (en) * | 2012-05-02 | 2016-05-24 | Semiconductor Components Industries, Llc | Image data compression using stacked-chip image sensors |
-
2015
- 2015-05-21 JP JP2017518698A patent/JP6502485B2/ja active Active
- 2015-05-21 WO PCT/JP2015/064578 patent/WO2016185598A1/ja active Application Filing
-
2017
- 2017-11-10 US US15/809,947 patent/US10477236B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0561975A (ja) * | 1991-08-31 | 1993-03-12 | Sony Corp | 信号マツチング装置 |
JP2008301085A (ja) * | 2007-05-30 | 2008-12-11 | Canon Inc | 動きベクトル探索装置及びその制御方法、コンピュータプログラム |
JP2009104284A (ja) * | 2007-10-22 | 2009-05-14 | Sony Corp | 画像処理装置および画像処理方法 |
JP2009296574A (ja) * | 2008-05-02 | 2009-12-17 | Canon Inc | 固体撮像装置 |
JP2010114597A (ja) * | 2008-11-05 | 2010-05-20 | Sony Corp | 動きベクトル検出装置、その処理方法およびプログラム |
JP2012257120A (ja) * | 2011-06-09 | 2012-12-27 | Nippon Hoso Kyokai <Nhk> | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808388A (zh) * | 2017-10-19 | 2018-03-16 | 中科创达软件股份有限公司 | 包含运动目标的图像处理方法、装置及电子设备 |
CN107808388B (zh) * | 2017-10-19 | 2021-10-12 | 中科创达软件股份有限公司 | 包含运动目标的图像处理方法、装置及电子设备 |
CN111602384A (zh) * | 2018-10-29 | 2020-08-28 | 深圳市大疆创新科技有限公司 | 图像处理装置、摄像装置、移动体、图像处理方法以及程序 |
CN111602384B (zh) * | 2018-10-29 | 2021-11-05 | 深圳市大疆创新科技有限公司 | 图像处理装置、摄像装置、移动体、图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US10477236B2 (en) | 2019-11-12 |
JP6502485B2 (ja) | 2019-04-17 |
US20180084274A1 (en) | 2018-03-22 |
JPWO2016185598A1 (ja) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016185598A1 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 | |
EP3093819B1 (en) | Imaging apparatus, imaging system, and signal processing method | |
US10154221B2 (en) | Imaging device, imaging system, mobile apparatus, and drive method of imaging device | |
CN108462844B (zh) | 用于像素合并和读出的方法和装置 | |
TWI516122B (zh) | 固態成像裝置,固態成像裝置之信號處理方法,及電子設備 | |
US20160337604A1 (en) | Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus | |
Cho et al. | A 3-D camera with adaptable background light suppression using pixel-binning and super-resolution | |
US10063762B2 (en) | Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color | |
CN107547807B (zh) | 用于减少空间闪烁伪影的装置和成像*** | |
US10674129B2 (en) | Imaging device and imaging system | |
US10033951B2 (en) | Image sensor that performs different readout operations and image capturing apparatus including image sensor | |
JP6021622B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010171666A (ja) | 固体撮像素子の駆動方法および固体撮像素子 | |
US20190182458A1 (en) | Imaging device and imaging system | |
US8542281B2 (en) | System and method for acquiring a still image from a moving image | |
US20130321657A1 (en) | System and method for acquiring a still image from a moving image | |
US10567712B2 (en) | Imaging device and imaging system | |
US11683598B1 (en) | Image sensor with on-chip occlusion detection and methods thereof | |
US11736827B2 (en) | Image sensing device | |
US9894288B2 (en) | Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program | |
WO2016080161A1 (ja) | 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置 | |
US20190089891A1 (en) | Image shift amount calculation apparatus and method, image capturing apparatus, defocus amount calculation apparatus, and distance calculation apparatus | |
JP2015023332A (ja) | 固体撮像素子及びその駆動方法、並びに電子機器 | |
US20240244346A1 (en) | Photographing device and control method thereof | |
WO2015115067A1 (en) | Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15892597 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017518698 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15892597 Country of ref document: EP Kind code of ref document: A1 |