WO2016185598A1 - 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents

撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 Download PDF

Info

Publication number
WO2016185598A1
WO2016185598A1 PCT/JP2015/064578 JP2015064578W WO2016185598A1 WO 2016185598 A1 WO2016185598 A1 WO 2016185598A1 JP 2015064578 W JP2015064578 W JP 2015064578W WO 2016185598 A1 WO2016185598 A1 WO 2016185598A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion detection
detection
image
unit
pixel
Prior art date
Application number
PCT/JP2015/064578
Other languages
English (en)
French (fr)
Inventor
古川　英治
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/064578 priority Critical patent/WO2016185598A1/ja
Priority to JP2017518698A priority patent/JP6502485B2/ja
Publication of WO2016185598A1 publication Critical patent/WO2016185598A1/ja
Priority to US15/809,947 priority patent/US10477236B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to an imaging device, an image processing device, an image processing method, an image processing program, and a storage medium.
  • An image processing method is known in which motion is detected between low-resolution converted images, and the motion detection result is taken over to perform motion detection with higher accuracy in a high-resolution image (see, for example, Patent Document 1).
  • Patent Literature 1 In the image processing method of Patent Literature 1, a plurality of images having different resolutions are generated for all images, and the motion detection process is repeated while hierarchically propagating the motion detection result from the low resolution image to the high resolution image. Processing time is required.
  • the present invention has been made in view of the above-described circumstances, and is an imaging device, an image processing device, an image processing method, an image processing program, and a storage medium that can perform high-precision motion detection processing while reducing processing time. I will provide a.
  • One aspect of the present invention is an image capturing unit that acquires an image of a subject in time series, and a hierarchical motion detection that can detect a motion vector between images acquired by the image capturing unit using two or more layers having different resolutions.
  • a pixel value change detection unit that divides the image acquired by the imaging unit into a plurality of partial areas and detects a temporal change in the pixel value in the detection pixel set in each partial area;
  • Imaging including a hierarchical motion detection setting unit configured to set the number of hierarchies in the hierarchical motion detection unit to be larger in the partial region including the detection pixel having the larger temporal change detected by the value change detection unit.
  • the pixel value change detection unit detects the time change of the pixel value in the detection pixel for each of the plurality of partial regions of the image acquired in time series by the imaging unit, and the time change of the detected pixel value
  • the number of layers of motion detection processing of the partial area including the detection pixel is set on the basis of the size of. If the temporal change of the pixel value is small, a motion detection process is performed on the partial area including the detection pixel by an image of a higher resolution layer. If the temporal change of the pixel value is large, the part including the detection pixel For the region, the motion detection process is repeated while the motion detection result is hierarchically propagated from the lower resolution layer image to the high resolution layer image.
  • motion detection processing can be performed using a high-resolution image without preparing a lower-resolution image, thereby shortening the processing time. be able to.
  • the motion detection process is performed hierarchically by taking over the motion detection process from the lower resolution image, and high-precision motion detection is performed. Can do.
  • the imaging unit and the pixel value change detection unit may be a circuit provided in an imaging device.
  • the pixel value change detection circuit provided in the image pickup device also detects the time change of the pixel value in the detection pixel and outputs it. Therefore, the processing time can be shortened and the motion detection can be performed with high accuracy by the image processing circuit having a simple configuration.
  • the pixel value change detection unit stores a storage circuit that stores an image of the previous frame acquired by the imaging unit, an image of the previous frame stored in the storage circuit, and a current You may provide the arithmetic circuit which calculates the difference with an image as the said time change.
  • the image acquired by the imaging unit is stored in the storage circuit, and when the image of the next frame is acquired by the imaging unit, the image one frame before read from the storage circuit and the current
  • the difference from the image is calculated as a time change of the pixel value of the detection pixel by the arithmetic circuit.
  • the temporal change of the pixel value can be obtained by calculation, the processing time can be shortened, and highly accurate motion detection can be performed.
  • the hierarchical motion detection setting unit is configured to apply the hierarchical to the partial region including the detection pixels whose time change detected by the pixel value change detection unit is a predetermined threshold value or less. You may set so that the motion detection process in a motion detection part may not be performed. By doing in this way, when the temporal change of the pixel value of the detection pixel is equal to or less than a predetermined threshold, the motion detection processing by the hierarchical motion detection unit is not performed on the partial region including the pixel value. A useless motion detection process in a small motion part is prevented, and the processing time can be further shortened.
  • the hierarchical motion detection setting unit expands a search range of motion detection processing in the hierarchical motion detection unit as the magnitude of the temporal change detected by the pixel value change detection unit increases. You may set as follows. In this way, the smaller the change in the pixel value of the detection pixel with time, the narrower the search range, so the processing time can be shortened.
  • Another aspect of the present invention is a hierarchical motion detection circuit capable of detecting a motion vector between images acquired in time series using images of two or more layers having different resolutions, and an image acquired one frame before.
  • a memory circuit for storing the image an arithmetic circuit for calculating a difference between the image one frame before stored in the memory circuit and the current image, and a detection pixel having a large difference calculated by the arithmetic circuit
  • An image processing apparatus includes a hierarchical motion detection setting circuit that sets the number of layers in the hierarchical motion detection circuit so that the number of partial areas increases.
  • the image one frame before acquired in time series is stored in the storage circuit, and the difference between the two images is calculated by the calculation circuit when the current image is acquired.
  • the hierarchical number of motion detection processing is set by the hierarchical motion detection setting circuit in a partial region including a detection pixel having a larger calculated difference. If the difference between the pixel values is small, a motion detection process using an image of a higher resolution is performed on the partial region including the detection pixel. If the temporal change of the pixel value is large, the partial region including the detection pixel. For the above, the motion detection process is repeated while the motion detection result is hierarchically propagated from the image of the lower resolution layer to the image of the higher resolution layer. Thereby, the processing time can be shortened and highly accurate motion detection can be performed.
  • the hierarchical motion detection setting circuit detects motion in the hierarchical motion detection circuit for the partial region including the detection pixel in which the difference calculated by the arithmetic circuit is a predetermined threshold value or less. You may set so that a process may not be performed. In the above aspect, the hierarchical motion detection setting circuit expands a search range of motion detection processing in the hierarchical motion detection circuit as the magnitude of the temporal change detected by the pixel value change detection unit increases. You may set as follows.
  • Another aspect of the present invention is a calculation step for calculating a difference between two images acquired in time series, and a portion including a detection pixel having a large difference based on the difference calculated by the calculation step.
  • a motion vector between the two images is detected for each partial area.
  • An image processing method including a hierarchical motion detection step.
  • the hierarchical motion detection step may detect a motion vector by excluding the partial region including the detection pixel in which the difference calculated in the calculation step is a predetermined threshold value or less. . In the above aspect, the hierarchical motion detection step may detect a motion vector by expanding a search range as the difference calculated in the calculation step is larger.
  • Another aspect of the present invention is a calculation step for calculating a difference between two images acquired in time series, and a portion including a detection pixel having a large difference based on the difference calculated by the calculation step.
  • a motion vector between the two images is detected for each partial area.
  • An image processing program for causing a computer to execute a hierarchical motion detection step.
  • Another aspect of the present invention is a calculation step for calculating a difference between two images acquired in time series, and a portion including a detection pixel having a large difference based on the difference calculated by the calculation step.
  • a motion vector between the two images is detected for each partial area.
  • a non-transitory computer-readable storage medium storing an image processing program for causing a computer to execute a hierarchical motion detection step.
  • FIG. 5A It is a mimetic diagram showing an imaging device concerning one embodiment of the present invention. It is a figure which shows typically the structure of the image pick-up element with which the imaging device of FIG. 1 is equipped. It is a figure explaining arrangement
  • FIG. 5B It is a figure which shows the difference in the motion detection for every partial area based on the setting by FIG. 5B. It is a figure which shows the modification of FIG. 5A. It is a figure which shows the relationship between the time variation
  • FIG. 13 It is a figure which shows the further another modification of the image pick-up element of FIG. It is a schematic diagram which shows the modification of the imaging device of FIG. It is a schematic diagram which shows the other modification of the imaging device of FIG. 13 is a flowchart for explaining an image processing method by an image processing apparatus provided in the imaging apparatus of FIG.
  • an imaging apparatus 1 according to an embodiment of the present invention will be described below with reference to the drawings.
  • an imaging apparatus 1 according to the present embodiment has an optical system 2 that collects light from a subject, and imaging that acquires an image by photographing the light collected by the optical system 2.
  • An element 3 and an image processing device 4 that processes an image acquired by the imaging element 3 are provided.
  • the imaging device 3 has a three-layer structure as shown in FIG.
  • the first layer 5 on the surface is a PD layer formed by two-dimensionally arranging the photoelectric conversion elements 6a and 6b.
  • Each photoelectric conversion element 6a, 6b receives light from a subject and outputs a current signal having a magnitude corresponding to the intensity of the light.
  • the second layer 7 disposed below the first layer 5 is an RO layer including the readout circuit 8.
  • the RO layer converts the current signal from each of the photoelectric conversion elements 6a and 6b of the PD layer into a voltage signal, and outputs an image signal in which the voltage signal is associated with the address of the pixel corresponding to the photoelectric conversion element 6a and 6b. It is designed to output.
  • An imaging unit 3 a is configured by the first layer 5 and the second layer 7.
  • the third layer 9 disposed below the second layer 7 includes a motion detection circuit (pixel value change detection unit) 10 that detects a temporal change in the pixel value read by the specific read circuit 8. .
  • Each photoelectric conversion element 6a, 6b constitutes a pixel, and as shown in FIG. 3, a plurality of pixels having a predetermined interval function as detection pixels MV1 to MV9.
  • the photoelectric conversion elements 6a and 6b are arranged vertically and horizontally, and the detection pixels MV1 to MV9 are arranged every four pixels in the vertical direction and the horizontal direction in order to simplify the description.
  • 16 pixels in 4 rows and 4 columns including the photoelectric conversion elements 6a and 6b are defined as partial regions Q1 to Q9.
  • the motion detection circuit 10 converts the voltage signal output from each of the detection pixels MV1 to MV9 into differential information by a differentiator, and generates a pulse train when the voltage signal changes in an increasing tendency or a decreasing tendency by the differential information.
  • the number of pulses having an amplitude value greater than or equal to a predetermined threshold per unit time is output together with the addresses of the corresponding detection pixels MV1 to MV9. That is, in the present embodiment, the image sensor 3 outputs the image signal of the subject and the number of pulses and addresses in the plurality of detection pixels MV1 to MV9 arranged every four pixels. .
  • the image processing device 4 includes an image storage unit 11 that stores the image signal of the subject output from the image sensor 3, a demosaicing unit 12 that performs a demosaicing process on the image signal stored in the image storage unit 11, Based on the number of pulses output from the image pickup device 3 and the compression encoding unit 13 that performs compression encoding processing on the image signal that has been subjected to mosaicing processing, the number of layers used in the hierarchical motion detection unit 14 described later is set.
  • a hierarchical motion detection switching unit (hierarchical motion detection setting unit) 15 is provided.
  • the compression encoding unit 13 includes a hierarchical motion detection unit 14.
  • the hierarchical motion detection unit 14 performs a reduction process on the image signal input by the number of stages according to the number of layers sent from the hierarchical motion detection switching unit 15, so that the lowest resolution is obtained.
  • the motion detection process is started on the first image, and the motion detection process on the high-resolution image is sequentially performed by taking over the motion detection result.
  • the case of the number of layers 1 to 4 is shown.
  • the high-resolution original image input from the demosaicing unit 12 is reduced in three stages.
  • Motion detection processing is started for the lowest resolution image, and motion detection processing is performed while propagating the motion vector of the motion detection result to the two-stage reduced image, the one-stage reduced image, and the original image. The same applies when the number of hierarchies is 3 to 1.
  • the hierarchical motion detection switching unit 15 determines the hierarchical motion of the partial areas Q1 to Q9 including the detection pixels MV1 to MV9 depending on whether or not the temporal change in the pixel values of the detection pixels MV1 to MV9 is larger than a predetermined threshold.
  • the number of hierarchies in the motion detection process by the detection unit 14 is switched. For example, as shown in FIG. 5A, the time change of the pixel value output from the image sensor 3 for nine detection pixels MV1 to MV9 arranged every four pixels out of 12 ⁇ 12 pixels is increased. Accordingly, the classification is performed as shown in FIG. 5B.
  • the hierarchical motion detection switching unit 15 Detection pixels MV1, MV2, MV4, MV8, MV9: a threshold value Th1 or less, Detection pixels MV3, MV6: larger than the threshold value Th1 and lower than the threshold value Th2, Detection pixel MV5: greater than threshold Th2 and less than or equal to threshold Th3,
  • the detection pixel MV7 is larger than the threshold Th3, the number of layers is switched as shown in FIG. 5A.
  • the number of layers R 0 and the detection pixels for the partial regions Q1, Q2, Q4, Q8, and Q9 including the detection pixels MV1, MV2, MV4, MV8, and MV9.
  • the motion detection process is performed using only the original image with the highest resolution.
  • motion detection processing is performed using the highest resolution original image, one-stage reduced image, and two-stage reduced image.
  • an image signal is acquired by the imaging unit 3a, and the detection pixels MV1 to MV9 arranged at intervals are used for the detection.
  • the temporal change of the pixel value at the position corresponding to the pixels MV1 to MV9 is acquired together with the addresses of the detection pixels MV1 to MV9.
  • the image signal acquired by the imaging unit 3a is accumulated in the image accumulating unit 11 in the image processing device 4, and then sent to the demosaicing unit 12 for demosaicing processing.
  • the image signal subjected to the demosaicing process is sent to the compression encoding unit 13 and subjected to the compression encoding process.
  • a motion detection process is performed in the hierarchical motion detection unit 14, and a motion vector of the image is obtained.
  • the motion detection process in the hierarchical motion detection unit 14 is performed with the magnitude of the temporal change in the pixel values of the detection pixels MV1 to MV9 output from the imaging unit 3a.
  • the hierarchical motion detection switching unit 15 performs switching. That is, for the partial regions Q1, Q2, Q4, Q8, and Q9 including the detection pixels MV1, MV2, MV4, MV8, and MV9 in which the temporal change in the pixel values of the detection pixels MV1 to MV9 is equal to or less than the predetermined threshold Th1,
  • the partial regions Q3, Q5, Q6, and Q7 including the detection pixels MV3, MV5, MV6, and MV7, in which the temporal change in the pixel values of the detection pixels MV1 to MV9 is greater than the threshold Th1, are determined according to the magnitude of the temporal change.
  • the partial areas Q1, Q2, Q4, Q8, and Q9 having a small time change compared to the conventional case where the motion detection processing is performed with the same number of hierarchies for pixels in all areas.
  • the processing time required for the motion detection process can be greatly reduced.
  • Only the partial areas Q3, Q5, Q6, and Q7 having a large time change have an advantage that the motion vector can be detected with high accuracy by performing the motion detection process with a larger number of layers.
  • the number of hierarchies in the motion detection process is switched according to the magnitude of the temporal change in the pixel values of the detection pixels MV1 to MV9, but in addition to this, the hierarchical motion detector 14
  • the search range may be switched. That is, as shown in FIGS. 6A to 6C, the detection pixels MV1, MV2, MV4, MV8, and MV9 are classified according to threshold values according to the magnitude of temporal change in the pixel values of the detection pixels MV1 to MV9.
  • the search range is ⁇ 0 pixel, and for the partial areas Q3 and Q6 that include the detection pixels MV3 and MV6, the partial area that includes the search range ⁇ 8 pixels and the detection pixel MV5
  • the search range is set to ⁇ 16 pixels for Q5 and the search range ⁇ 32 pixels for the partial region Q7 including the detection pixel MV7.
  • the search range in the motion detection process using the highest resolution image is illustrated, but in the motion detection process using the lower resolution image, the corresponding search range is set in consideration of the reduction ratio. That's fine.
  • the detection pixels may be used as both. . That is, the signal may be branched by the same exposure, or may be shared by time division. In the case of time division, the acquired image signal may be transferred to the image memory and held so that it can be re-exposed.
  • the signals of detection pixels may be averaged.
  • the detection pixels are separated from each other, a phenomenon that the sampling period is low with respect to the aperture band occurs, and as a result, aliasing that detects the movement of the high-frequency pattern as the movement of the low-frequency pattern occurs. Arise.
  • the signals of adjacent detection pixels may be integrated and subjected to addition averaging processing and then sent to the hierarchical motion detection switching unit 15.
  • the detection pixel also serves as an image signal acquisition, as shown in FIG. 9, the signals of a plurality of adjacent pixels are integrated and averaged, and then sent to the hierarchical motion detection switching unit 15. May be.
  • the PD layer has a color Bayer arrangement, the pixels of the same color (for example, G channel) may be averaged for each partial region, and the motion detection process may be switched according to the result.
  • the imaging including the third layer 17 in which the photoelectric conversion elements 6b for detection pixels are arranged.
  • Element 3 may be adopted. It is known that long-wavelength light is transmitted when the silicon substrate is thin. Using this, a part of the light transmitted through the first layer 16 and the second layer 7 reaches the third layer 17. be able to. Thereby, image signals from all the pixels of the first layer 16 can be used for image formation.
  • the hierarchical motion detection process performed in the compression encoding unit 13 has been described, but instead, as shown in FIG. Prior to this, the motion detection processing may be performed in the hierarchical motion detection unit 14 for the registration processing between images performed by the alignment processing unit 20.
  • the temporal change in the pixel value of the detection pixel is directly output from the imaging unit 3a, but instead, it is acquired in time series as shown in FIG.
  • a difference calculation unit 18 for calculating a difference between two images is provided, and a difference value in a specific detection pixel output from the difference calculation unit 18 is set as a time change of the pixel value, based on the magnitude of the difference value.
  • the hierarchical motion detection switching unit 15 may switch the number of layers in the motion detection process for each partial region.
  • the present invention includes an image storage unit (storage circuit) 11 that stores images acquired in time series, and a difference calculation unit (calculation circuit) 18 that calculates a difference value between images acquired in time series.
  • the pixel value change detection unit 21 the hierarchical motion detection switching unit (hierarchical motion detection setting circuit) 15 that switches so that the number of layers increases as the difference value increases, It can be conceptualized as an image processing device 4 that includes a hierarchical motion detection unit (hierarchical motion detection circuit) 14 that performs detection processing.
  • the image processing method using the image processing apparatus 4 configured as described above includes an image input step S1 in which an image signal is input from the image sensor 3 and the image input step S1, as shown in FIG.
  • An image storing step S2 for storing the input image signal in the image storage unit 11, an image reading step S3 for reading an image one frame before stored in the image storage unit 11, and an input image of the current frame
  • a difference calculation step (calculation step) S4 for calculating a difference from the read image one frame before in the difference calculation unit 18 is provided.
  • the number of layers in the hierarchical motion detection process is switched for each partial region according to the difference value between images acquired in time series. Since motion vectors between images are detected, the processing time can be shortened and high-precision motion detection can be performed compared to the conventional case in which motion detection processing of the same number of layers is performed for all regions. There is an advantage that you can.
  • the image processing method according to the present embodiment can be implemented by an image processing program that can be executed by a computer in addition to the case where the image processing apparatus 4 is configured by a circuit as described above.
  • the image processing method according to the present embodiment is performed by a processor such as a CPU executing the image processing program.
  • the image processing program stored in the storage medium is read, and the read image processing program is executed by a processor such as a CPU.
  • the storage medium stores programs, data, and the like, and the function can be realized by an optical disc (DVD, CD, etc.), a hard disk drive, or a memory (card type memory, ROM, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　処理時間を抑えて高精度の動き検出処理を行うことを目的として、本発明に係る撮像装置（１）は、被写体の画像を時系列に取得する撮像部と、該撮像部により取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出部（１４）と、該撮像部により取得された画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、該画素値変化検出部により検出された時間変化が大きい検出用画素を含む部分領域ほど、階層的動き検出部（１４）における階層数が多くなるように設定する階層的動き検出設定部（１５）とを備える撮像装置（１）である。

Description

撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
　本発明は、撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。
　低解像度変換した画像間で動きを検出した後、その動き検出結果を引き継いで高解像度画像においてさらに高精度の動き検出を行う画像処理方法が知られている（例えば、特許文献１参照。）。
特許第３５８０６１２号公報
　特許文献１の画像処理方法では、全ての画像について、解像度の異なる複数の画像を生成し、低解像度画像から高解像度画像へと動き検出結果を階層的に伝搬させながら動き検出処理を繰り返すため、処理時間がかかる。
　本発明は、上述した事情に鑑みてなされたものであって、処理時間を抑えて高精度の動き検出処理を行うことができる撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供する。
　本発明の一態様は、被写体の画像を時系列に取得する撮像部と、該撮像部により取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出部と、該撮像部により取得された前記画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、該画素値変化検出部により検出された前記時間変化が大きい前記検出用画素を含む前記部分領域ほど、前記階層的動き検出部における階層数が多くなるように設定する階層的動き検出設定部とを備える撮像装置である。
　本態様によれば、撮像部により時系列に取得された画像の複数の部分領域毎に検出用画素における画素値の時間変化が画素値変化検出部により検出され、検出された画素値の時間変化の大きさに基づいて、その検出用画素を含む部分領域の動き検出処理の階層数が設定される。画素値の時間変化が小さければ、その検出用画素を含む部分領域についてはより高解像度の階層の画像による動き検出処理が行われ、画素値の時間変化が大きければ、その検出用画素を含む部分領域についてはより低解像度の階層の画像から高解像度の階層の画像へと動き検出結果が階層的に伝搬されながら動き検出処理が繰り返される。
　すなわち、検出用画素の画素値の時間変化が小さい部分領域については、より低解像度の画像を用意することなく、高解像度の画像を用いて動き検出処理を行うことができ、処理時間を短縮することができる。一方、検出用画素の画素値の時間変化が大きい部分領域については、より低解像度の画像からの動き検出処理を引き継ぐことにより、動き検出を階層的に行って、高精度の動き検出を行うことができる。
　上記態様においては、前記撮像部および前記画素値変化検出部が、撮像素子に備えられる回路であってもよい。
　このようにすることで、撮像素子に備えられる撮像回路により画像が取得される際に、同じく撮像素子に備えられる画素値変化検出回路が、検出用画素における画素値の時間変化を検出して出力するので、簡易な構成の画像処理回路によって、処理時間を短縮し、かつ高精度の動き検出を行うことができる。
　また、上記態様においては、前記画素値変化検出部が、前記撮像部により取得された１フレーム前の画像を記憶する記憶回路と、該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を前記時間変化として演算する演算回路とを備えていてもよい。
　このようにすることで、撮像部により取得された画像が記憶回路に記憶され、次のフレームの画像が撮像部により取得されたときに、記憶回路から読み出された１フレーム前の画像と現在の画像との差分が、演算回路によって検出用画素の画素値の時間変化として演算される。特殊な撮像素子を用いることなく、演算によって画素値の時間変化を得ることができ、処理時間を短縮し、かつ高精度の動き検出を行うことができる。
　また、上記態様においては、前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出部における動き検出処理が行われないように設定してもよい。
　このようにすることで、検出用画素の画素値の時間変化が所定の閾値以下の場合には、当該画素値を含む部分領域についての階層的動き検出部による動き検出処理が行われないので、動きの小さい部分における無駄な動き検出処理が防止され、処理時間をさらに短縮することができる。
　また、上記態様においては、前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出部における動き検出処理の探索範囲を広げるように設定してもよい。
　このようにすることで、検出用画素の画素値の時間変化が小さいほど探索範囲は狭くて済むので、処理時間を短縮することができる。
　また、本発明の他の態様は、時系列に取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出回路と、１フレーム前に取得された画像を記憶する記憶回路と、該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を演算する演算回路と、該演算回路により算出された前記差分が大きい検出用画素を含む部分領域ほど多くなるように、前記階層的動き検出回路における階層数を設定する階層的動き検出設定回路とを備える画像処理装置である。
　本態様によれば、時系列に取得された１フレーム前の画像が記憶回路に記憶され、現在の画像が取得されたときに演算回路によって２つの画像の差分が演算される。そして、演算された差分が大きい検出用画素を含む部分領域ほど、多くの動き検出処理の階層数が階層的動き検出設定回路によって設定される。画素値の差分が小さければ、その検出用画素を含む部分領域についてはより高解像度の階層の画像による動き検出処理が行われ、画素値の時間変化が大きければ、その検出用画素を含む部分領域についてはより低解像度の階層の画像から高解像度の階層の画像へと動き検出結果が階層的に伝搬されながら動き検出処理が繰り返される。これにより、処理時間を短縮することができるとともに、高精度の動き検出を行うことができる。
　上記態様においては、前記階層的動き検出設定回路は、前記演算回路により演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出回路における動き検出処理が行われないように設定してもよい。
　また、上記態様においては、前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定してもよい。
　また、本発明の他の態様は、時系列に取得された２枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとを含む画像処理方法である。
　上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については除外して動きベクトルを検出してもよい。
　また、上記態様においては、前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出してもよい。
　また、本発明の他の態様は、時系列に取得された２枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムである。
　また、本発明の他の態様は、時系列に取得された２枚の画像の差分を演算する演算ステップと、該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体である。
　本発明によれば、処理時間を抑えて高精度の動き検出処理を行うことができるという効果を奏する。
本発明の一実施形態に係る撮像装置を示す模式図である。 図１の撮像装置に備えられる撮像素子の構造を模式的に示す図である。 図２の撮像素子における検出用画素の配置を説明する図である。 図１の撮像装置による階層的動き検出処理のイメージを示す図である。 図２の撮像素子の各検出用画素における画素値の時間変化量の分布例を示す図である。 図５Ａの各検出用画素の画素値の時間変化量と動き検出の設定との関係を示す図である。 図５Ｂによる設定に基づく部分領域毎の動き検出の相違を示す図である。 図５Ａの変形例を示す図である。 図６Ａの各検出用画素の画素値の時間変化量と動き検出の設定との関係を示す図である。 図６Ｂによる設定に基づく部分領域毎の動き検出の相違を示す図である。 図２の撮像素子の変形例を示す図である。 図２の撮像素子の他の変形例を示す図である。 図２の撮像素子のさらに他の変形例を示す図である。 図２の撮像素子のさらに他の変形例を示す図である。 図１の撮像装置の変形例を示す模式図である。 図１の撮像装置の他の変形例を示す模式図である。 図１２の撮像装置に備えられる画像処理装置による画像処理方法を説明するフローチャートである。
　本発明の一実施形態に係る撮像装置１について、図面を参照して以下に説明する。
　本実施形態に係る撮像装置１は、図１に示されるように、被写体からの光を集光する光学系２と、該光学系２により集光された光を撮影して画像を取得する撮像素子３と、該撮像素子３により取得された画像を処理する画像処理装置４とを備えている。
　撮像素子３は、図２に示されるように、３層構造を備えている。
　表面の第１層５は、光電変換素子６ａ，６ｂを２次元的に配列してなるＰＤ層である。各光電変換素子６ａ，６ｂは、被写体からの光を受けて、該光の強度に応じた大きさを有する電流信号を出力するようになっている。
　第１層５の下層に配置されている第２層７は、読み出し回路８を備えるＲＯ層である。ＲＯ層は、ＰＤ層の各光電変換素子６ａ，６ｂからの電流信号を電圧信号に変換し、該電圧信号と該光電変換素子６ａ，６ｂに対応する画素のアドレスとを対応づけた画像信号を出力するようになっている。第１層５および第２層７により撮像部３ａが構成されている。
　第２層７の下層に配置されている第３層９は、特定の読み出し回路８により読み出された画素値の時間変化を検出する動き検出回路（画素値変化検出部）１０を備えている。
　各光電変換素子６ａ，６ｂは画素を構成し、図３に示されるように、そのうちの所定間隔をあけた複数の画素が検出用画素ＭＶ１からＭＶ９として機能するようになっている。図３に示す例では、光電変換素子６ａ，６ｂは縦横に配列され、検出用画素ＭＶ１からＭＶ９は、説明を簡単にするために、縦方向および横方向に４画素毎に配置されている。本実施形態においては、図５Ｃに示されるように、各光電変換素子６ａ，６ｂを含む４行４列の１６個の画素を部分領域Ｑ１からＱ９として定義している。
　動き検出回路１０は、各検出用画素ＭＶ１からＭＶ９から出力された電圧信号を微分器によって微分情報に変換し、微分情報により電圧信号が増加傾向または減少傾向に変化しているときにパルス列を発生させ、所定の閾値以上の振幅値を有するパルスの単位時間当たりの数を対応する検出用画素ＭＶ１からＭＶ９のアドレスとともに出力するようになっている。すなわち、本実施形態においては、撮像素子３からは、被写体の画像信号と、４画素毎に配置された複数の検出用画素ＭＶ１からＭＶ９におけるパルス数およびアドレスとが出力されるようになっている。
　画像処理装置４は、撮像素子３から出力された被写体の画像信号を蓄積する画像蓄積部１１と、該画像蓄積部１１に蓄積された画像信号にデモザイキング処理を施すデモザイキング部１２と、デモザイキング処理が施された画像信号に圧縮符号化処理を施す圧縮符号化部１３と、撮像素子３から出力されたパルス数に基づいて後述する階層的動き検出部１４において用いられる階層数を設定する階層的動き検出切替部（階層的動き検出設定部）１５とを備えている。
　デモザイキング部１２では、入力された画像信号がベイヤ配列等の場合に、画素補間されるとともに、カラー化されるようになっている。
　圧縮符号化部１３は、階層的動き検出部１４を備えている。
　階層的動き検出部１４は、図４に示されるように、階層的動き検出切替部１５から送られてくる階層数に応じた段階数だけ入力された画像信号に縮小処理を行い、最も低解像度の画像において動き検出処理を開始し、その動き検出結果を引き継いで順次高解像度の画像における動き検出処理を行うようになっている。図４に示す例では、階層数１から４の場合が示されており、例えば、階層数４の場合には、デモザイキング部１２から入力されてきた高解像度の元画像を３段階縮小処理した最も低解像度の画像において動き検出処理を開始し、２段階縮小画像、１段階縮小画像、元画像へと動き検出結果の動きベクトルを伝搬しながらそれぞれ動き検出処理を施すようになっている。階層数３から１の場合も同様である。
　階層的動き検出切替部１５は、検出用画素ＭＶ１からＭＶ９の画素値の時間変化が所定の閾値より大きいか否かによって、該検出用画素ＭＶ１からＭＶ９を含む部分領域Ｑ１からＱ９の階層的動き検出部１４による動き検出処理における階層数を切り替えるようになっている。
　例えば、図５Ａに示されるように１２×１２個の画素のうち、４画素毎に配置された９個の検出用画素ＭＶ１からＭＶ９について撮像素子３から出力された画素値の時間変化をその大きさによって、図５Ｂに示されるように分類する。
　すなわち、階層的動き検出切替部１５は、
　検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９：閾値Ｔｈ１以下、
　検出用画素ＭＶ３，ＭＶ６：閾値Ｔｈ１より大きく閾値Ｔｈ２以下、
　検出用画素ＭＶ５：閾値Ｔｈ２より大きく閾値Ｔｈ３以下、
　検出用画素ＭＶ７：閾値Ｔｈ３より大きい
場合には、図５Ａに示されるように階層数を切り替えるようになっている。
　これにより、図５Ａおよび図５Ｃに示されるように、検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９を含む部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については階層数Ｒ＝０、検出用画素ＭＶ３，ＭＶ６を含む部分領域Ｑ３，Ｑ６については階層数Ｒ＝１、検出用画素ＭＶ５を含む部分領域Ｑ５については階層数Ｒ＝２、検出用画素ＭＶ７を含む部分領域Ｑ７についてはＲ＝３と設定するようになっている。
　階層数Ｒ＝０と設定された部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については、動きベクトルが存在しない静止領域として扱い、そもそも動き検出処理を行わないようになっている。階層数Ｒ＝１と設定された部分領域Ｑ３，Ｑ６については、最高解像度の元画像のみを用いて動き検出処理が行われるようになっている。また、階層数Ｒ＝２と設定された部分領域Ｑ５については、最高解像度の元画像および１段階縮小された低解像度画像を用いて動き検出処理が行われるようになっている。さらに、階層数Ｒ＝３と設定された部分領域Ｑ７については、最高解像度の元画像、１段階縮小画像および２段階縮小画像を用いて動き検出処理が行われるようになっている。
　このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
　本実施形態に係る撮像装置１を用いて被写体の撮影を行うと、撮像部３ａによって画像信号が取得されるとともに、間隔をあけて配列された複数の検出用画素ＭＶ１からＭＶ９によって、当該検出用画素ＭＶ１からＭＶ９に対応する位置の画素値の時間変化が検出用画素ＭＶ１からＭＶ９のアドレスとともに取得される。
　撮像部３ａにより取得された画像信号は、画像処理装置４内の画像蓄積部１１に蓄積された後、デモザイキング部１２に送られてデモザイキング処理が施される。デモザイキング処理が施された画像信号は、圧縮符号化部１３に送られて圧縮符号化処理が施される。
　圧縮符号化部１３における圧縮符号化処理においては、階層的動き検出部１４において動き検出処理が行われ、画像の動きベクトルが求められる。
　この場合において、本実施形態に係る撮像装置１によれば、階層的動き検出部１４における動き検出処理が、撮像部３ａから出力された検出用画素ＭＶ１からＭＶ９の画素値の時間変化の大きさに応じて、階層的動き検出切替部１５により切り替えられる。
　すなわち、検出用画素ＭＶ１からＭＶ９の画素値の時間変化が所定の閾値Ｔｈ１以下である検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９を含む部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については、階層的動き検出切替部１５において、階層数Ｒ＝０と設定され、階層的動き検出部１４においては動き検出処理が行われない。これにより、動き検出処理に要する処理時間を大幅に短縮することができる。
　また、検出用画素ＭＶ１からＭＶ９の画素値の時間変化が閾値Ｔｈ１より大きい検出用画素ＭＶ３，ＭＶ５，ＭＶ６，ＭＶ７を含む部分領域Ｑ３，Ｑ５，Ｑ６，Ｑ７については時間変化の大きさに応じて階層数をＲ＝１からＲ＝３の間で切り替えるようになっている。
　このようにすることで、全ての領域にわたる画素について、同等の高い階層数で動き検出処理していた従来の場合と比較して、時間変化の小さい部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９についてはより少ない階層数で動き検出処理を行うことができ、動き検出処理に要する処理時間を大幅に短縮することができるという利点がある。そして、時間変化の大きい部分領域Ｑ３，Ｑ５，Ｑ６，Ｑ７についてのみ、より多い階層数で動き検出処理を行って、高精度に動きベクトルを検出することができるという利点がある。
　なお、本実施形態においては、検出用画素ＭＶ１からＭＶ９の画素値の時間変化の大きさに応じて動き検出処理における階層数を切り替えることとしたが、これに加えて、階層的動き検出部１４の探索範囲を切り替えることにしてもよい。
　すなわち、図６Ａから図６Ｃに示されるように、検出用画素ＭＶ１からＭＶ９の画素値の時間変化の大きさに応じて、閾値により分類し、検出用画素ＭＶ１，ＭＶ２，ＭＶ４，ＭＶ８，ＭＶ９を含む部分領域Ｑ１，Ｑ２，Ｑ４，Ｑ８，Ｑ９については探索範囲：±０画素、検出用画素ＭＶ３，ＭＶ６を含む部分領域Ｑ３，Ｑ６については探索範囲±８画素、検出用画素ＭＶ５を含む部分領域Ｑ５については探索範囲：±１６画素、検出用画素ＭＶ７を含む部分領域Ｑ７については探索範囲±３２画素と設定するようになっている。
　図６Ｂにおいては、最高解像度の画像を用いた動き検出処理における探索範囲を例示したが、より低解像度の画像を用いた動き検出処理においては、縮小率を考慮して対応する探索範囲を設定すればよい。
　また、本実施形態においては、画像信号を出力する画素とは別に検出用画素を配置した例を示したが、図７に示されるように、検出用画素が両者を兼用することにしてもよい。
　すなわち、同一露光で信号を分岐してもよいし、時分割で兼用するようにしてもよい。時分割の場合には、取得された画像信号は画像メモリに転送して保持し、再露光できるようにすればよい。
　また、動き検出のＳ／Ｎ比およびアンダーサンプリングによる折り返しを低減するために、検出用画素の信号を加算平均するようにしてもよい。検出用画素が離間している場合、開口の帯域に対してサンプリング周期が低いという現象が起こり、結果として、高周波のパターンの動きを低周波のパターンの動きとして検出してしまう折り返し（エイリアシング）が生じる。これを防ぐために、図８に示されるように、隣接する検出用画素の信号を統合し加算平均処理を行った後に階層的動き検出切替部１５に送ることにすればよい。
　また、検出用画素が画像信号取得を兼用する場合には、図９に示されるように、複数の隣接する画素の信号を統合して加算平均した後に階層的動き検出切替部１５に送ることにしてもよい。
　また、ＰＤ層がカラーのベイヤ配列の場合には、部分領域毎に同色（例えば、Ｇチャネル）の画素の加算平均を行い、その結果に応じて、動き検出処理を切り替えることにしてもよい。
　また、図１０に示されるように、画像信号取得用の光電変換素子６ａが配列された第１層１６とは別に、検出用画素の光電変換素子６ｂが配列された第３層１７を備える撮像素子３を採用してもよい。シリコン基板が薄い場合に長波長の光が透過することが知られており、これを利用して、第１層１６および第２層７を透過した光の一部を第３層１７に到達させることができる。これにより、第１層１６の全ての画素からの画像信号を画像形成用に利用することができる。
　また、本実施形態においては、圧縮符号化部１３において行われる階層的動き検出処理について説明したが、これに代えて、図１１に示されるように、合成処理部１９によるフレーム間の画像合成処理に先立って、位置合わせ処理部２０により行われる画像間の位置合わせ処理のために、階層的動き検出部１４において動き検出処理を行うことにしてもよい。
　また、本実施形態においては、検出用画素の画素値の時間変化を撮像部３ａから直接出力させることとしたが、これに代えて、図１２に示されるように、時系列的に取得された２枚の画像の差分を算出する差分算出部１８を設け、該差分算出部１８から出力された特定の検出用画素における差分値を画素値の時間変化として、差分値の大きさに基づいて、階層的動き検出切替部１５が、動き検出処理における階層数を部分領域毎に切り替えることにしてもよい。
　このようにすることで、撮像部３ａとして検出用画素の画素値の時間変化を出力する特殊なものを用いることなく、後段の画像処理において実施することが可能となる。
　すなわち、本発明は、時系列に取得された画像を記憶する画像蓄積部（記憶回路）１１と、時系列に取得された画像の差分値を演算する差分算出部（演算回路）１８とを備える画素値変化検出部２１と、差分値が大きいほど階層数を多くするように切り替える階層的動き検出切替部（階層的動き検出設定回路）１５と、切り替えられた階層数で、部分領域ごとに動き検出処理を行う階層的動き検出部（階層的動き検出回路）１４とを備える画像処理装置４として概念することができる。
　そして、このように構成された画像処理装置４を用いた画像処理方法は、図１３に示されるように、撮像素子３から画像信号が入力される画像入力ステップＳ１と、該画像入力ステップＳ１により入力された画像信号を画像蓄積部１１に記憶する画像記憶ステップＳ２と、既に画像蓄積部１１に記憶されている１フレーム前の画像を読み出す画像読出ステップＳ３と、入力された現フレームの画像と読み出した１フレーム前の画像との差分を差分算出部１８において演算する差分演算ステップ（演算ステップ）Ｓ４とを備えている。
　また、差分が演算されたときに、ｎ＝１にリセットし（ステップＳ５）、ｎ＝１からｎ＝ｍまで、ｍ個の検出用画素に対応する差分値Ｐｎを各閾値Ｔｈ１からＴｈ４と比較する（ステップＳ６からＳ１２）。まず、差分値Ｐｎが閾値Ｔｈ１以下であるか否かが判定され（ステップＳ６）、閾値Ｔｈ１以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝０とし（階層数設定ステップＳ７）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
　差分値Ｐｎが閾値Ｔｈ１以下ではない場合には、差分値Ｐｎが閾値Ｔｈ２以下であるか否かが判定され（ステップＳ８）、閾値Ｔｈ２以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝１とし（階層数設定ステップＳ９）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
　差分値Ｐｎが閾値Ｔｈ２以下ではない場合には、差分値Ｐｎが閾値Ｔｈ３以下であるか否かが判定され（ステップＳ１０）、閾値Ｔｈ３以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝２とし（階層数設定ステップＳ１１）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
　差分値Ｐｎが閾値Ｔｈ３以下ではない場合には、差分値Ｐｎが閾値Ｔｈ４以下であるか否かが判定され（ステップＳ１２）、閾値Ｔｈ４以下である場合には、ｎ番目の検出用画素の階層数Ｒｎ＝３とし（階層数設定ステップＳ１３）、ｎ＝ｍか否かを判定する（ステップＳ１５）。
　差分値Ｐｎが閾値Ｔｈ４以下ではない場合には、ｎ番目の検出用画素の階層数Ｒｎ＝４とし（階層数設定ステップＳ１４）、ｎ＝ｍか否かを判定する（ステップＳ１５）
　ｎ＝ｍではない場合には、ｎをインクリメントして（ステップＳ１６）、ステップＳ６からの工程を繰り返す（階層的動き検出ステップＳ１７）。ｎ＝ｍである場合には処理を終了する。
　このように、本実施形態に係る画像処理装置４および画像処理方法によれば、階層的動き検出処理における階層数を、時系列に取得した画像間の差分値に応じて部分領域毎に切り替えて画像間の動きベクトルを検出するので、全ての領域について同じ階層数の動き検出処理を行う従来の場合と比較して、処理時間を短縮することができるとともに、高精度の動き検出を行うことができるという利点がある。
　なお、本実施形態に係る画像処理方法は、上記のように回路からなる画像処理装置４によって実行される場合の他、コンピュータにより実行することができる画像処理プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像処理プログラムを実行することで、本実施形態に係る画像処理方法が実施される。
　具体的には記憶媒体に記憶された画像処理プログラムが読み出され、読み出された画像処理プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。
　１　撮像装置
　３　撮像素子
　３ａ　撮像部
　４　画像処理装置
　１０　動き検出回路（画素値変化検出部）
　１１　画像蓄積部（記憶回路）
　１４　階層的動き検出部（階層的動き検出回路）
　１５　階層的動き検出切替部（階層的動き検出設定部、階層的動き検出設定回路）
　１８　差分算出部（演算回路）
　２１　画素値変化検出部
　Ｓ４　差分演算ステップ（演算ステップ）
　Ｓ７，Ｓ９，Ｓ１１，Ｓ１３，Ｓ１４　階層数設定ステップ
　Ｓ１７　階層的動き検出ステップ
　ＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４，ＭＶ５，ＭＶ６，ＭＶ７，ＭＶ８，ＭＶ９　検出用画素
　Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５，Ｑ６，Ｑ７，Ｑ８，Ｑ９　部分領域

Claims (13)

  1. 　被写体の画像を時系列に取得する撮像部と、
    　該撮像部により取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出部と、
    　該撮像部により取得された前記画像を複数の部分領域に分割し、各該部分領域に設定された検出用画素における画素値の時間変化を検出する画素値変化検出部と、
    　該画素値変化検出部により検出された前記時間変化が大きい前記検出用画素を含む前記部分領域ほど、前記階層的動き検出部における階層数が多くなるように設定する階層的動き検出設定部とを備える撮像装置。
  2. 　前記撮像部および前記画素値変化検出部が、撮像素子に備えられる回路である請求項１に記載の撮像装置。
  3. 　前記画素値変化検出部が、前記撮像部により取得された１フレーム前の画像を記憶する記憶回路と、該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を前記時間変化として演算する演算回路とを備える請求項１に記載の撮像装置。
  4. 　前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出部における動き検出処理が行われないように設定する請求項１から請求項３のいずれかに記載の撮像装置。
  5. 　前記階層的動き検出設定部は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出部における動き検出処理の探索範囲を広げるように設定する請求項１から請求項４のいずれかに記載の撮像装置。
  6. 　時系列に取得された画像間の動きベクトルを解像度の異なる２階層以上の画像を用いて検出できる階層的動き検出回路と、
    　１フレーム前に取得された画像を記憶する記憶回路と、
    　該記憶回路に記憶されている１フレーム前の画像と現在の画像との差分を演算する演算回路と、
    　該演算回路により算出された前記差分が大きい検出用画素を含む部分領域ほど多くなるように、前記階層的動き検出回路における階層数を設定する階層的動き検出設定回路とを備える画像処理装置。
  7. 　前記階層的動き検出設定回路は、前記演算回路により演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については、前記階層的動き検出回路における動き検出処理が行われないように設定する請求項６に記載の画像処理装置。
  8. 　前記階層的動き検出設定回路は、前記画素値変化検出部により検出された前記時間変化の大きさが大きいほど前記階層的動き検出回路における動き検出処理の探索範囲を広げるように設定する請求項６または請求項７に記載の画像処理装置。
  9. 　時系列に取得された２枚の画像の差分を演算する演算ステップと、
    　該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
    　該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとを含む画像処理方法。
  10. 　前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が所定の閾値以下の前記検出用画素を含む前記部分領域については除外して動きベクトルを検出する請求項９に記載の画像処理方法。
  11. 　前記階層的動き検出ステップが、前記演算ステップにより演算された前記差分が大きいほど探索範囲を広げて動きベクトルを検出する請求項９または請求項１０に記載の画像処理方法。
  12. 　時系列に取得された２枚の画像の差分を演算する演算ステップと、
    　該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
    　該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラム。
  13. 　時系列に取得された２枚の画像の差分を演算する演算ステップと、
    　該演算ステップにより演算された差分に基づいて、差分が大きい検出用画素を含む部分領域ほど多くなるように階層数を設定する階層数設定ステップと、
    　該階層数設定ステップにより設定された階層数を用いて、前記部分領域毎に、２枚の前記画像間の動きベクトルを検出する階層的動き検出ステップとをコンピュータに実行させる画像処理プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
PCT/JP2015/064578 2015-05-21 2015-05-21 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 WO2016185598A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/064578 WO2016185598A1 (ja) 2015-05-21 2015-05-21 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP2017518698A JP6502485B2 (ja) 2015-05-21 2015-05-21 撮像装置
US15/809,947 US10477236B2 (en) 2015-05-21 2017-11-10 Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064578 WO2016185598A1 (ja) 2015-05-21 2015-05-21 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/809,947 Continuation US10477236B2 (en) 2015-05-21 2017-11-10 Image acquisition device, image processing device, image processing method, image processing program, and storage medium for generating high resolution image from low resolution images

Publications (1)

Publication Number Publication Date
WO2016185598A1 true WO2016185598A1 (ja) 2016-11-24

Family

ID=57319606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064578 WO2016185598A1 (ja) 2015-05-21 2015-05-21 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体

Country Status (3)

Country Link
US (1) US10477236B2 (ja)
JP (1) JP6502485B2 (ja)
WO (1) WO2016185598A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808388A (zh) * 2017-10-19 2018-03-16 中科创达软件股份有限公司 包含运动目标的图像处理方法、装置及电子设备
CN111602384A (zh) * 2018-10-29 2020-08-28 深圳市大疆创新科技有限公司 图像处理装置、摄像装置、移动体、图像处理方法以及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) * 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
WO2019008692A1 (ja) 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US11412136B2 (en) * 2018-12-07 2022-08-09 Samsung Electronics Co., Ltd. Apparatus and method for operating multiple cameras for digital photography
WO2021111542A1 (ja) 2019-12-04 2021-06-10 オリンパス株式会社 撮像装置
CN115423695B (zh) * 2022-07-15 2024-05-31 清华大学 一种用于城市预测任务的街景图像采样方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561975A (ja) * 1991-08-31 1993-03-12 Sony Corp 信号マツチング装置
JP2008301085A (ja) * 2007-05-30 2008-12-11 Canon Inc 動きベクトル探索装置及びその制御方法、コンピュータプログラム
JP2009104284A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置および画像処理方法
JP2009296574A (ja) * 2008-05-02 2009-12-17 Canon Inc 固体撮像装置
JP2010114597A (ja) * 2008-11-05 2010-05-20 Sony Corp 動きベクトル検出装置、その処理方法およびプログラム
JP2012257120A (ja) * 2011-06-09 2012-12-27 Nippon Hoso Kyokai <Nhk> 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3135692B2 (ja) 1992-08-28 2001-02-19 株式会社日立製作所 階層的動画像信号符号化装置及び方法
JPH06105300A (ja) 1992-09-21 1994-04-15 Matsushita Electric Ind Co Ltd 画像符号化装置
JPH06205389A (ja) 1992-12-29 1994-07-22 Casio Comput Co Ltd 動きベクトル検出装置及び動きベクトル検出方法
JPH0730899A (ja) 1993-07-12 1995-01-31 Kyocera Corp 階層的動きベクトル検出方式
JP3580612B2 (ja) 1995-09-20 2004-10-27 富士通株式会社 動画像符号化装置の動き検出装置
US6823013B1 (en) * 1998-03-23 2004-11-23 International Business Machines Corporation Multiple encoder architecture for extended search
EP1119975B1 (en) * 1998-10-13 2003-04-23 STMicroelectronics Asia Pacific Pte Ltd. Motion vector detection with local motion estimator
EP1120976A4 (en) * 1999-07-29 2006-03-29 Mitsubishi Electric Corp METHOD FOR DETECTING MOTION VECTOR
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
US9350928B2 (en) * 2012-05-02 2016-05-24 Semiconductor Components Industries, Llc Image data compression using stacked-chip image sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561975A (ja) * 1991-08-31 1993-03-12 Sony Corp 信号マツチング装置
JP2008301085A (ja) * 2007-05-30 2008-12-11 Canon Inc 動きベクトル探索装置及びその制御方法、コンピュータプログラム
JP2009104284A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置および画像処理方法
JP2009296574A (ja) * 2008-05-02 2009-12-17 Canon Inc 固体撮像装置
JP2010114597A (ja) * 2008-11-05 2010-05-20 Sony Corp 動きベクトル検出装置、その処理方法およびプログラム
JP2012257120A (ja) * 2011-06-09 2012-12-27 Nippon Hoso Kyokai <Nhk> 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808388A (zh) * 2017-10-19 2018-03-16 中科创达软件股份有限公司 包含运动目标的图像处理方法、装置及电子设备
CN107808388B (zh) * 2017-10-19 2021-10-12 中科创达软件股份有限公司 包含运动目标的图像处理方法、装置及电子设备
CN111602384A (zh) * 2018-10-29 2020-08-28 深圳市大疆创新科技有限公司 图像处理装置、摄像装置、移动体、图像处理方法以及程序
CN111602384B (zh) * 2018-10-29 2021-11-05 深圳市大疆创新科技有限公司 图像处理装置、摄像装置、移动体、图像处理方法

Also Published As

Publication number Publication date
US10477236B2 (en) 2019-11-12
JP6502485B2 (ja) 2019-04-17
US20180084274A1 (en) 2018-03-22
JPWO2016185598A1 (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
WO2016185598A1 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
US10154221B2 (en) Imaging device, imaging system, mobile apparatus, and drive method of imaging device
CN108462844B (zh) 用于像素合并和读出的方法和装置
TWI516122B (zh) 固態成像裝置，固態成像裝置之信號處理方法，及電子設備
US20160337604A1 (en) Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus
Cho et al. A 3-D camera with adaptable background light suppression using pixel-binning and super-resolution
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像***
US10674129B2 (en) Imaging device and imaging system
US10033951B2 (en) Image sensor that performs different readout operations and image capturing apparatus including image sensor
JP6021622B2 (ja) 画像処理装置及び画像処理方法
JP2010171666A (ja) 固体撮像素子の駆動方法および固体撮像素子
US20190182458A1 (en) Imaging device and imaging system
US8542281B2 (en) System and method for acquiring a still image from a moving image
US20130321657A1 (en) System and method for acquiring a still image from a moving image
US10567712B2 (en) Imaging device and imaging system
US11683598B1 (en) Image sensor with on-chip occlusion detection and methods thereof
US11736827B2 (en) Image sensing device
US9894288B2 (en) Image forming method for forming a high-resolution image, and a related image forming apparatus and image forming program
WO2016080161A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
US20190089891A1 (en) Image shift amount calculation apparatus and method, image capturing apparatus, defocus amount calculation apparatus, and distance calculation apparatus
JP2015023332A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
US20240244346A1 (en) Photographing device and control method thereof
WO2015115067A1 (en) Solid-state image sensor, motion information acquisition apparatus, and imaging apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15892597

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518698

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15892597

Country of ref document: EP

Kind code of ref document: A1