WO2021230157A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2021230157A1
WO2021230157A1 PCT/JP2021/017540 JP2021017540W WO2021230157A1 WO 2021230157 A1 WO2021230157 A1 WO 2021230157A1 JP 2021017540 W JP2021017540 W JP 2021017540W WO 2021230157 A1 WO2021230157 A1 WO 2021230157A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
information processing
unit
foreground
Prior art date
Application number
PCT/JP2021/017540
Other languages
English (en)
French (fr)
Inventor
裕大 櫻井
和憲 神尾
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/998,156 priority Critical patent/US20230169674A1/en
Publication of WO2021230157A1 publication Critical patent/WO2021230157A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • This disclosure relates to information processing devices, information processing methods, and information processing programs.
  • an information processing device includes a prediction unit.
  • the prediction unit is based on the image and the motion information of the image pickup device detected by the motion detection device. Predict the position of the subject behind in the image.
  • FIG. 1 is an explanatory diagram of a noise removing method according to the present disclosure.
  • the information processing apparatus for example, when an image of the current frame captured in time series, an image of one frame before, and an image of two frames before are input, the information processing apparatus is composed of three images of the subject. Calculate the motion vector.
  • the information processing device creates a motion vector warp image in which the position of the subject in each image is moved to the same position based on the calculated motion vector. Then, the information processing apparatus generates a noise-removed image by adding (synthesizing) a plurality of frames of the three motion vector warp images.
  • the information processing device can generate a high-quality image because, for example, by adding a plurality of frames, the image of the subject, which was unclear in each image due to the influence of noise, can be made clear. can.
  • the information processing device estimates the motion vector of the subject with high accuracy by using, for example, an IMU (Inertial Measurement Unit) that captures the posture / position information of the camera and a distance sensor.
  • IMU Inertial Measurement Unit
  • FIG. 2 is a three-dimensional relationship diagram of the image pickup device, the image plane, and the subject according to the present disclosure.
  • the image coordinates X S of the subject 101 in the image 102 on the translation vector t of the imaging device 100, and the two pieces of information a distance ⁇ to the subject 101 Determined by the following equation (1).
  • the motion vector [Delta] X S in the image 102 of the subject 101 is calculated by the following equation (2).
  • the motion vector [Delta] X S in the image 102 of the object 101 when the object 101 is stationary can be limited to a straight line called the epipolar line L shown in FIG. 2, which is calculated by the following formula (3) .. Therefore, when the information processing device performs noise removal of an image, the noise removal performance can be significantly improved by using the IMU and the distance sensor together.
  • FIG. 3 is a schematic explanatory diagram of information processing according to the present disclosure.
  • the information processing device acquires motion information including the position and orientation of the image pickup device 100 from a device motion information sensor 111 such as an IMU, and acquires a visible light image from the image pickup sensor 110 of the image pickup device 100.
  • the device motion information sensor 111 is an example of a motion detection device that detects motion information of the image pickup apparatus 100.
  • the information processing apparatus determines the search range of the motion vector of the subject in the visible light image based on the acquired motion information (step S1). After that, the information processing apparatus estimates the motion vector of the subject within the determined search range (step S2). The information processing apparatus uses the estimated motion vector of the subject to improve the image quality by adding a plurality of frames as shown in FIG.
  • the information processing apparatus can estimate the motion vector of the subject, the unknown number in the above equation (1) is only the distance ⁇ to the subject, so that the distance ⁇ can be estimated at the same time as the motion vector (step). S3).
  • the information processing apparatus can perform more accurate motion vector estimation of the subject by reflecting the estimated distance ⁇ in the search range determination process in the next frame.
  • the information processing device acquires the distance ⁇ from the distance sensor 112 and determines the search range of the distance ⁇ in the next frame. It can be reflected in the processing.
  • the information processing apparatus estimates the motion vector of the subject for each of the visible light images sequentially input from the image pickup sensor 110, creates the motion vector warp image shown in FIG. 1 based on the motion vector, and performs multiple frame addition. (Step S4).
  • the motion detection device is an IMU
  • the motion detection device is, for example, a GPS (Global Positioning System) sensor or the like as long as it is a sensor capable of detecting the motion information of the image pickup device 100. It may be a sensor of.
  • the image pickup apparatus 100 is not limited to the visible light camera, and may be another camera such as an infrared light camera.
  • the information processing unit can substitute the IMU with another sensor, and can also acquire the motion information of the image pickup sensor 110 by using the IMU and the other sensor together. Specifically, when the image pickup by the image pickup sensor 110 takes a long time, the information processing apparatus uses another sensor together in order to correct the measurement error of the IMU.
  • the information processing device can use the IMU and GPS together to provide highly accurate motion information of the image pickup sensor 110. Can be obtained.
  • the information processing apparatus may include a distance sensor 112 (see FIG. 3) for acquiring the distance ⁇ to the subject in the processing system.
  • the distance sensor 112 include a ToF (Time of Flight) type distance measuring sensor, LiDAR, LADAR, a stereo camera, and the like. Since the information processing device can estimate the motion vector of the subject more accurately by using the distance sensor 112 together, it is possible to generate a higher image quality image.
  • ToF Time of Flight
  • the information processing apparatus can process images sequentially acquired from the image pickup sensor 110 in time series in real time, but can also perform processing on a computer connected via a network, for example. Further, the information processing apparatus can store the information obtained from each sensor in a recording medium and execute it on a computer as post-processing.
  • the movement of the image pickup sensor 110 or the movement of the subject 101 may cause an occlusion in which the subject 101 is hidden behind the foreground.
  • 4A and 4B are explanatory views of the occlusion according to the present disclosure.
  • the information processing apparatus performs prediction processing of pixel information of the subject of interest in the occlusion unit frame.
  • the information processing device detects that the subject of interest is obscured by the foreground, it retains the image information immediately before that.
  • the information processing device holds the pixel information of the subject of interest in the occlusion section frame in the frame memory over a plurality of frames, and moves the pixel position of the subject of interest on the same frame memory each time the frame advances.
  • the information processing apparatus can acquire the motion information of the image pickup sensor 110 and acquire or estimate the distance ⁇ to the subject 101, the movement destination in the image of the subject 101, that is, the motion vector (formula (2)) is based on the above equation (1).
  • the end point of (see) can be set to one point.
  • the information processing device determines the exposed pixel position of the attention subject in the current frame and the estimated attention in the occlusion section frame held in the frame memory. Matches with the pixel position of the subject and adds multiple frames.
  • the information processing device In order to estimate the pixel position of the subject of interest in the occlusion frame with high accuracy, the information processing device detects the moving subject in advance before estimating the pixel position of the subject of interest in the occlusion frame.
  • the information processing unit searches for a motion vector of the subject 101 estimated using an image compressed by reducing the resolution and a motion vector of the subject 101 estimated using the motion information of the image pickup sensor 110 acquired from the IMU. Compare ranges. Then, the information processing apparatus determines that the motion subject exists when the estimated motion vector deviates greatly from the search range.
  • the information processing apparatus can separately estimate the pixel position of the attention subject in the occlusion section frame caused by the movement of the moving subject and the movement of the image sensor 110.
  • FIG. 5 is a flowchart showing an example of processing executed by the information processing apparatus according to the present disclosure. As shown in FIG. 5, the information processing apparatus obtains candidates for a search range of the motion vector of the subject 101 from the motion information of the image sensor 110 acquired from the device motion information sensor 111 and the image acquired from the image sensor 110. (Step S101).
  • the information processing apparatus determines whether or not the subject 101 is a moving subject by comparing the search ranges (step S102). Then, when the information processing apparatus determines that the subject is a moving subject (step S102, Yes), the information processing apparatus acquires the moving subject region in the image (step S103), and shifts the processing to step S104.
  • step S104 the information processing apparatus performs occlusion exposure detection. Specifically, the information processing apparatus detects the pixels of the subject 101 exposed from the occlusion portion, which is a region where the subject is hidden by the foreground in the image, and determines the final search range.
  • the information processing apparatus estimates the motion vector of the subject 101 based on the search range (step S105). After that, the information processing apparatus determines whether or not the end point of the estimated motion vector overlaps the foreground in the image (step S106). That is, the information processing apparatus determines whether or not the subject 101 in the image is hidden by the foreground.
  • step S106 determines that the end point of the motion vector overlaps the foreground
  • step S107 the information processing apparatus detects the occlusion and retains the image information of the occlusion portion.
  • the information processing apparatus predicts the pixel movement of the occlusion unit (step S108). Specifically, the information processing apparatus predicts the pixel position of the subject 101 in the next frame from the motion information of the image pickup sensor 110 acquired from the apparatus motion information sensor 111 and the distance ⁇ to the subject 101. That is, the information processing apparatus predicts the moving position of the subject 101 hidden behind the foreground in the next frame image.
  • the information processing apparatus determines whether or not the subject 101 is exposed from the occlusion portion (foreground) (step S109). Then, when the information processing apparatus determines that the subject 101 is exposed (steps S109, Yes), the information processing apparatus shifts the processing to step S104.
  • the information processing apparatus determines that the subject 101 is not exposed (steps S109, No).
  • the information processing apparatus shifts the process to step S108.
  • the pixels of the subject determined to be exposed are used for estimating the motion vector of the subject in the next frame.
  • step S106 when the information processing apparatus determines that the end points of the motion vectors do not overlap the foreground (steps S106, No), the plurality of frames are added (step S110), and it is determined whether or not the processing is completed (step S106). Step S111).
  • the coefficient used by the information processing apparatus for addition is controlled by the reliability determined based on the update history in the occlusion unit and the like. The details of the reliability will be described later.
  • step S111, No the information processing apparatus shifts the processing to step S101. Further, when the information processing apparatus determines that the processing is completed (step S111, Yes), the information processing apparatus ends the processing.
  • FIG. 6 is a block diagram showing the overall configuration of the information processing apparatus according to the present disclosure.
  • the information processing device 1 includes a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and various circuits.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the information processing apparatus 1 includes a search range determination unit 2 and a motion vector estimation unit 3 that function by executing a program stored in a ROM by a CPU using RAM as a work area. ,
  • the occlusion prediction unit 4 and the high-precision restoration unit 5 are provided.
  • a part or all of the search range determination unit 2, the motion vector estimation unit 3, the occlusion prediction unit 4, and the high-precision restoration unit 5 included in the information processing device 1 are ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable). It may be configured by hardware such as Gate Array).
  • the search range determination unit 2, the motion vector estimation unit 3, the occlusion prediction unit 4, and the high-precision restoration unit 5 included in the information processing apparatus 1 realize or execute the information processing operations described below, respectively.
  • the internal configuration of the information processing apparatus 1 is not limited to the configuration shown in FIG. 6, and may be any other configuration as long as it is configured to perform information processing described later.
  • the search range determination unit 2 includes a motion subject detection unit 21, an occlusion exposure detection unit 22, and the like.
  • the motion vector estimation unit 3 includes an occlusion shielding detection unit 31 and the like.
  • the high-precision restoration unit 5 includes a reliability calculation unit 51, an addition unit 52, and the like.
  • the motion information of the image pickup sensor 110 detected by the device motion information sensor 111 and the images captured in time series by the image pickup sensor 110 are sequentially input to the search range determination unit 2.
  • the search range determination unit 2 determines the search range of the subject 101 in the image, and outputs the determined search range area (search area) to the motion vector estimation unit 3. The details of the search range determination unit 2 will be described later with reference to FIG. 7.
  • the motion vector estimation unit 3 estimates the motion vector of the subject 101 in the search area in the image and outputs it to the high-precision restoration unit 5. Further, the motion vector estimation unit 3 outputs the occlusion area pixel information in the image to the occlusion prediction unit 4 when the subject 101 is hidden behind the foreground.
  • the motion vector estimation unit 3 predicts the next frame search area based on the estimated motion vector of the subject 101, and outputs the predicted search area to the search range determination unit 2. The details of the motion vector estimation unit 3 will be described later with reference to FIG.
  • the occlusion prediction unit 4 predicts the exposure prediction area where the subject 101 is exposed (appears) from behind the foreground based on the occlusion area pixel information, and outputs the exposure prediction area to the search range determination unit 2. Further, the occlusion prediction unit 4 calculates the reliability of the pixel of the subject 101 in the image based on the occlusion region pixel information and outputs it to the high-precision restoration unit 5. The details of the occlusion prediction unit 4 will be described later with reference to FIG.
  • the high-precision restoration unit 5 creates a motion vector warp image (see FIG. 1) from a time-series image based on the motion vector of the subject 101 input from the motion vector estimation unit 3, and restores the image by adding a plurality of frames. Output the image. At this time, the high-precision restoration unit 5 adds a plurality of frames at a ratio according to the reliability input from the occlusion prediction unit 4. The details of the high-precision restoration unit 5 will be described later with reference to FIG.
  • FIG. 7 is a block diagram showing the configuration of the search range determination unit according to the present disclosure.
  • the search range determination unit 2 includes a search range candidate prediction unit 23, a motion subject detection unit 21, and an occlusion exposure detection unit 22.
  • the search range candidate prediction unit 23 derives a search range candidate for the motion vector of the subject 101 in the image based on the motion information of the image sensor 110 input from the device motion information sensor 111. Further, although not shown here, the search range candidate prediction unit 23 searches for a search range candidate for the motion vector of the subject 101 based on a reduced image (compressed image) of the image input from the image pickup sensor 110. Derived.
  • the search range candidate prediction unit 23 predicts the search range candidate using the next frame pixel position predicted by the next frame pixel position prediction unit 33 in the motion vector estimation unit 3.
  • the next frame pixel position is the position of the pixel of the subject 101 in the current frame predicted from the image one frame before.
  • the search range candidate prediction unit 23 outputs the search range candidates derived by each of the above two methods to the motion subject detection unit 21.
  • the search range candidate prediction unit 23 determines the epipolar line (number 3), which is the search range of the motion vector, based on the motion information of the image pickup sensor 110 acquired from the device motion information sensor 111.
  • the information on the end point of the motion vector can be acquired from the next frame pixel position prediction unit 33 by the above equation (1) and used.
  • the moving subject detection unit 21 compares the search range candidates derived by each of the two methods, detects the area of the moving subject in the image, and outputs the detected area of the moving subject to the occlusion exposure detection unit 22.
  • the motion subject detection unit 21 efficiently and accurately detects the motion subject by obtaining the motion vector of the subject 101 from the image compressed by reducing the resolution and comparing it with the epipolar line. The details of the motion subject detection unit 21 will be described later with reference to FIG.
  • the occlusion exposure detection unit 22 predicts the position in the image where the subject shielded by the foreground is exposed from behind the foreground, and outputs the prediction result to the matching unit 32 in the motion vector estimation unit 3. At this time, the occlusion exposure detection unit 22 predicts the position of the subject 101 exposed from behind the foreground in the image by using the exposure prediction area input from the occlusion prediction unit 4. Details of the occlusion exposure detection unit 22 will be described later with reference to FIG.
  • FIG. 8 is a block diagram showing a configuration of a motion subject detection unit according to the present disclosure.
  • 9A and 9B are explanatory views of a moving subject detection method according to the present disclosure.
  • the motion subject detection unit 21 includes a reduced image motion vector estimation unit 24 and a search range comparison unit 25.
  • the reduced image motion vector estimation unit 24 reduces and compresses the resolutions of the current frame and the past frame acquired from the image pickup sensor 110, estimates the motion vector by block matching, and outputs the motion vector to the search range comparison unit 25.
  • the search range comparison unit 25 compares the motion vector indicated by the solid arrow estimated from the reduced image (compressed image) with the search range candidate indicated by the dotted line input from the search range candidate prediction unit 23. do. Then, as shown in FIG. 9B, when the search range comparison unit 25 detects a pixel region in which the estimated motion vector greatly deviates from the search range candidate, the search range comparison unit 25 regards the region as a moving subject 101 and considers the moving subject to be a moving subject. Record on the area map 26.
  • the search range comparison unit 25 includes a motion vector of the subject 101 along the epipolar line shown by the dotted line in FIG. 9B estimated from the motion information of the image pickup sensor 110 based on the following equation (4), and a reduced image (reduced image).
  • the search range comparison unit 25 outputs the recorded information of the motion subject area map 26 to the occlusion exposure detection unit 22 in the subsequent stage.
  • the search range comparison unit 25 may feed back the information of the moving subject area map 26 to the search range comparison unit 25 and use it for detecting the moving subject from the next time onward. For the pixels in which the subject movement is recognized, the search range is determined based on the motion vector indicated by the solid arrow obtained in the reduced image (compressed image).
  • FIG. 10 is a block diagram showing a configuration of an occlusion exposure detection unit according to the present disclosure.
  • 11A and 11B are explanatory views of a method for detecting a subject exposed from the foreground according to the present disclosure.
  • the occlusion exposure detection unit 22 includes a first exposure prediction unit 27, a second exposure prediction unit 28, and a search destination change unit 29.
  • occlusion is generated by the movement of the subject 101 and the movement of the image pickup sensor 110. Therefore, the occlusion exposure detection unit 22 independently predicts the exposure for each of the movement of the subject 101 and the movement of the image pickup sensor 110.
  • the first exposure prediction unit 27 predicts occlusion caused by a moving subject. As shown in FIGS. 10 and 11A, the first exposure prediction unit 27 acquires a motion subject area map 26 (see FIG. 8) from the motion subject detection unit 21, and exposes the exposure unit based on the amount of movement of the subject in the image. Predict. At this time, the first exposure prediction unit 27 predicts the exposure unit by the following equation (5).
  • the second exposure prediction unit 28 predicts occlusion due to the movement of the image pickup sensor 110.
  • the second exposure prediction unit 28 acquires distance information from the occlusion prediction unit 4 and the next frame pixel position prediction unit 33, respectively, and when the foreground subject is not recognized, the subject 101 from the occlusion unit Detects the exposure of.
  • the second exposure prediction unit 28 predicts the exposure unit by the following equation (6).
  • the first exposure prediction unit 27 and the second exposure prediction unit 28 output information indicating the position of the predicted exposure unit in the image to the search destination change unit 29.
  • the search destination changing unit 29 integrates the information of the exposure unit input from the first exposure prediction unit 27 and the second exposure prediction unit 28, respectively. If the pixel of interest is not an exposed portion, the search destination changing unit 29 sets the search destination of the motion vector in the past frame, and the pixel position corrected by the search range correction unit 20 described in the modification described later, or the moving subject. The search range obtained by the detection unit 21 is adopted. If it corresponds to the exposed part, the occlusion part memory that is sequentially updated by the occlusion prediction part 4 is set as the search destination.
  • the search range determination unit 2 may include a search range correction unit 20 that considers an error in motion information or predicted position information measured by a device motion information sensor 111 such as an IMU. ..
  • a search range correction unit 20 that considers an error in motion information or predicted position information measured by a device motion information sensor 111 such as an IMU. ..
  • a plurality of methods are assumed for setting the error range, but in one embodiment, the search range is expanded by assuming an error distribution around the search range candidate obtained in the previous stage. In addition to using a value given in advance for setting the standard deviation of the error distribution, the value may be adjusted for each elapsed time of shooting.
  • the search range candidate predicted by the search range candidate prediction unit 23 and the motion vector estimated by the motion vector estimation unit 3 are compared and reflected in the setting of the error range in the next frame. Processing is expected.
  • a process may be considered in which the average value of the End Point Error (EPE) calculated by the following equation (7) is regarded as the standard deviation ⁇ of the error distribution, and the inside of the concentric circles having a radius of 2 ⁇ or 3 ⁇ is regarded as the search range.
  • EPE End Point Error
  • FIG. 12 is a block diagram showing a configuration of a motion vector estimation unit according to the present disclosure.
  • 13A and 13B are explanatory views of a method for detecting a subject hidden behind the foreground according to the present disclosure.
  • the motion vector estimation unit 3 includes a buffer memory 34, a matching unit 32, an occlusion shielding detection unit 31, a distance estimation unit 35, and a next frame pixel position prediction unit 33.
  • the motion vector estimation unit 3 estimates the motion vector of the subject 101 based on the search destination / search range determined by the search range determination unit 2.
  • the matching unit 32 estimates a motion vector for the current frame from the past frame held in the buffer memory 34, acquires pixel information of the occlusion unit memory from the occlusion prediction unit 4, and matches with the current frame.
  • the distance estimation unit 35 estimates the distance ⁇ from the image sensor 110 to the subject 101 based on the motion vector and the epipolar line (see equation (3)). ..
  • the next frame pixel position prediction unit 33 substitutes the distance ⁇ input from the distance estimation unit 35 and the motion information input from the device motion information sensor 111 such as the IMU into the equation (1), and the subject 101 in the next frame Predict the pixel position.
  • the next frame pixel position prediction unit 33 can significantly limit the search range in the next frame by the search range determination unit 2 by outputting the predicted pixel position to the search range determination unit 2.
  • the occlusion occlusion detection unit 31 detects a region where the subject 101 is obscured by the foreground by using the motion vector estimated by the matching unit 32.
  • the occlusion shielding detection unit 31 determines that the region where the end point of the motion vector input from the matching unit 32 overlaps the foreground is an occlusion (shielding region) based on the following equation (8) (see FIGS. 13A and 13B).
  • the occlusion shielding detection unit 31 outputs the pixel information in the region determined to be occlusion to the occlusion prediction unit 4 and the warp image creation unit 53 in the high-precision restoration unit 5.
  • the motion vector estimation unit 3 can estimate the motion vector by block matching or the gradient method, but can also estimate the motion vector by inference based on learning data.
  • the motion vector estimation unit 3 may be configured to incorporate a filtering process before the matching unit 32 when the image quality deterioration of the input image is remarkable.
  • a filtering process for example, a bilateral filter can be used.
  • the distance estimation unit 35 may use the distance sensor 112 together for the distance estimation. Multiple embodiments are envisioned for the integration of the obtained distance information. For example, the distance estimation unit 35 can adjust the weighting of the estimated distance by the motion vector and the measurement distance obtained from the distance sensor 112 according to the brightness of the environment.
  • the distance estimation unit 35 can also adjust the weighting according to the magnitude of the motion vector in consideration of the accuracy of the estimated distance by the motion vector. Further, the distance estimation unit 35 can also determine an appropriate coefficient in consideration of a plurality of performance deterioration factors by pre-learning using a data set.
  • FIG. 14 is a block diagram showing the configuration of the occlusion prediction unit according to the present disclosure.
  • 15A and 15B are explanatory views of the motion vector estimation method according to the present disclosure.
  • the occlusion prediction unit 4 includes an occlusion unit memory 41, an occlusion pixel position prediction unit 42, and an occlusion prediction reliability calculation unit 43.
  • the occlusion unit memory 41 acquires and stores the luminance value and the distance information of the subject 101 of interest shielded by the foreground input from the motion vector estimation unit 3.
  • the occlusion pixel position prediction unit 42 is shielded by the foreground by using the motion information of the image pickup sensor 110 input from the device motion information sensor 111 such as the IMU and the distance information to the subject 101 estimated before shielding. Even if there is a subject 101, the movement of the subject 101 can be predicted over several frames.
  • the occlusion pixel position prediction unit 42 predicts the pixel position of the subject 101 in the next frame based on the equation (1) by using the motion information and the distance information of the image pickup sensor 110.
  • the occlusion pixel position prediction unit 42 moves the luminance value and the distance information of the pixel to the predicted pixel position of the subject 101a.
  • the sequentially updated information is overwritten in the occlusion unit memory 41, but the updated pixel information and the pixel information newly input from the motion vector estimation unit 3 are the same memory. Written above.
  • the occlusion pixel position prediction unit 42 leaves only the pixel information with a short distance.
  • the occlusion pixel position prediction unit 42 outputs distance information to the second exposure prediction unit 28 of the occlusion exposure detection unit 22 each time it is updated, and when exposure is predicted, the luminance value in the pixel is a motion vector estimation unit. It is output to the matching unit 32 of 3.
  • the occlusion prediction reliability calculation unit 43 uses, for example, the following equation (9) to calculate the reliability according to the number of times the pixel position is updated and the moving distance.
  • the occlusion pixel position prediction unit 42 transmits the calculated reliability to the reliability calculation unit 51 in the high-precision restoration unit 5 in the subsequent stage.
  • the occlusion pixel position prediction unit 42 deletes the pixel information from the occlusion unit memory 41.
  • the occlusion pixel position prediction unit 42 deletes the pixel information from the occlusion unit memory 41 even when the subject 101 goes out of the frame.
  • the occlusion section memory 41 holds only the minimum pixel information necessary for interpolation of the occlusion section.
  • the occlusion prediction unit 4 acquires a motion vector in the region from the motion vector estimation unit 3 and estimates the pixel position of the subject 101 in the next frame based on the motion vector. You can also do it. At the time of estimation in this case, it is necessary to assume that the occluded moving subject continues the same motion for several frames.
  • the occlusion prediction unit 4 can obtain the direction and speed of the movement of a moving subject in the real world when the distance ⁇ is accurately obtained. If there is uncertainty in the distance, the occlusion prediction unit 4 may process it on the assumption that it does not obtain the motion of the motion subject in the real world and keeps the same motion vector on the image.
  • the occlusion prediction unit 4 may sequentially change the reliability value according to the estimation result by the motion vector estimation unit 3.
  • the occlusion prediction unit 4 can acquire the error amount in the template when the block matching is performed by the motion vector estimation unit 3. Further, the occlusion prediction unit 4 controls the reliability value according to the matching error amount in the occlusion exposure detection unit 22, so that the high-precision restoration unit 5 in the subsequent stage performs appropriate addition processing according to the shooting environment. It will be realized.
  • the occlusion prediction reliability calculation unit 43 can also determine the reliability value by prior learning.
  • FIG. 16 is a block diagram showing a configuration of a high-precision restoration unit according to the present disclosure.
  • the high-precision restoration unit 5 includes a warp image creation unit 53, a warp reliability calculation unit 54, a reliability calculation unit 51, an addition coefficient determination unit 55, and an addition unit 52.
  • the warp image creation unit 53 warps the added image of the past frame to the pixel position of the current frame based on the motion vector input from the motion vector estimation unit 3. For example, the addition unit 52 uses the following equation (10) to add a warp image to the current frame to generate a processed image.
  • the warp image creation unit 53 outputs the generated processed image to the buffer memory. Such processed image is used for addition in the next frame.
  • the warp reliability calculation unit 54 calculates the reliability according to the density of the pixels and outputs it to the reliability calculation unit 51.
  • the reliability calculation unit 51 integrates the reliability input from the warp reliability calculation unit 54 and the reliability input from the occlusion prediction reliability calculation unit 43, and outputs the sum to the addition coefficient determination unit 55.
  • the reliability calculation unit 51 calculates the reliability of the position of the subject in the image behind the foreground according to the elapsed time since the subject 101 is hidden behind the foreground. For example, the reliability calculation unit 51 calculates the lower reliability as the elapsed time from the subject 101 hiding behind the foreground becomes longer.
  • the addition coefficient determination unit 55 determines the addition coefficient of the image to be used when the addition unit 52 performs the addition of a plurality of frames, and outputs the addition coefficient to the addition unit 52.
  • the reliability value may be determined by prior learning.
  • the addition unit 52 restores the image by frame-adding a plurality of images at a ratio according to the reliability calculated by the reliability calculation unit 51 based on the addition coefficient input from the addition coefficient determination unit 55.
  • the addition unit 52 adds frames by increasing the addition ratio as the image has higher reliability.
  • the information processing apparatus 1 can realize performance improvement in a plurality of image processing techniques by adding a plurality of frames using a motion vector.
  • the information processing apparatus 1 can realize performance improvement of noise removal technology, super-resolution technology, rain removal technology, and high dynamic range technology.
  • FIG. 17 is an explanatory diagram of a usage example of the multi-frame addition according to the present disclosure.
  • the information processing apparatus 1 it is possible to create a warp image to the current frame even for a subject shielded by the foreground in the past frame.
  • the information processing apparatus 1 can obtain a processed image from which noise has been removed without deteriorating the image quality such as blurring by adding the warp image.
  • the information processing apparatus 1 can execute the above-mentioned processing in real time on a device such as a camera by reducing the processing cost using the frame memory.
  • the information processing apparatus 1 improves the robustness to the occlusion section by predicting the movement of the subject in the occlusion section, so that it is possible to prevent the generation of a double image due to the addition of a plurality of frames.
  • the information processing apparatus 1 can perform the addition of a plurality of frames even in the vicinity of the occlusion section. Further, the information processing apparatus 1 can also deal with occlusion caused by a moving subject.
  • the information processing device 1 can estimate the distance to the subject at the same time as estimating the motion vector of the subject in the image.
  • the highly accurate distance information estimated by the information processing apparatus 1 is useful in that it can be applied to a plurality of image processing techniques.
  • the highly accurate distance information estimated by the information processing apparatus 1 can be applied to a fog removal technique, a background blurring technique, and an autofocus technique.
  • the information processing device 1 can reach the subject if there is at least a sensor capable of measuring the motion information of the monocular image pickup device 100 and the image pickup sensor 110 such as the IMU. Distance can be measured.
  • the information processing device 1 holds the information of the background image in the occlusion section over a plurality of frames, it is possible to improve the distance measurement performance by adding a plurality of frames even in the vicinity of the occlusion section.
  • the present technology can also have the following configurations.
  • An information processing device having a prediction unit for predicting a position in the image.
  • (2) The prediction unit The information processing apparatus according to (1), wherein the compressed image is used to predict the position of the subject in the image behind the foreground.
  • a detection unit that detects the position of the subject in the image from the image
  • An estimation unit that estimates the motion vector of the subject behind the foreground based on the position of the subject in the image before hiding behind the foreground and the motion information of the image pickup device detected by the motion detection device.
  • the prediction unit The information processing apparatus according to (1), wherein the position of the subject in the image behind the foreground is predicted based on the motion vector estimated by the estimation unit. (4) The estimation unit Based on the motion vector, the distance from the image pickup device to the subject is estimated. The prediction unit The information processing apparatus according to (3) above, which predicts the position of the subject in the image behind the foreground based on the distance estimated by the estimation unit. (5) The detector is In (4), the position of the subject appearing from behind the foreground in the image is detected based on the distance estimated by the estimation unit and the motion information of the image pickup device detected by the motion detection device. The information processing device described.
  • the estimation unit When the subject is not hidden behind the foreground, the motion vector of the subject estimated based on the motion information of the image pickup device and the motion vector of the subject estimated based on the images captured in the time series.
  • Estimate The prediction unit When the angle between the direction of the motion vector based on the motion information and the direction of the motion vector based on the image exceeds the threshold value, the position of the subject behind the foreground in the image based on the motion vector based on the image.
  • the information processing apparatus according to (3) above.
  • a reliability calculation unit that calculates the reliability of the position of the subject in the image behind the foreground according to the elapsed time since the subject is hidden behind the foreground.
  • the information processing apparatus which has a restoration unit that restores the image by frame-adding a plurality of the images at a ratio according to the reliability calculated by the reliability calculation unit.
  • Information processing equipment When the subject of the image captured in time series by the image pickup device is hidden behind the foreground, the subject behind the foreground is based on the image and the motion information of the image pickup device detected by the motion detection device. An information processing method for executing a process of predicting a position in the image.
  • An information processing program that executes a process of predicting a position in the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る情報処理装置（１）は、予測部（オクルージョン予測部４）を備える。予測部（オクルージョン予測部４）は、撮像装置（１００）によって時系列に撮像される画像の被写体（１０１）が前景の背後に隠れた場合に、画像における被写体（１０１）が前景の背後に隠れる前の画像と、動き検出装置（装置動き情報センサ１１１）によって検出される撮像装置（１００）の動き情報とに基づいて、前景の背後における被写体（１０１）の画像における位置を予測する。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本開示は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
　被写体の画像を時系列に撮像する場合、被写体が前景の背後に隠れてオクルージョンが発生することがある。このため、オクルージョンを考慮して被写体の動きベクトルを推定し、複数フレームの画像を加算することによって、画質を向上させる画像処理装置がある（例えば、特許文献１参照）。
特開２００８－４２６５９号公報
　しかしながら、上記の従来技術では、前景の背後における被写体の動きベクトルを推定することができないため、オクルージョン発生時の画質向上に改善の余地がある。
　そこで、本開示では、オクルージョン発生時の画質を向上させることができる情報処理装置、情報処理方法、および情報処理プログラムを提案する。
　本開示によれば、情報処理装置が提供される。情報処理装置は、予測部を備える。予想部は、撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する。
本開示に係るノイズ除去方法の説明図である。 本開示に係る撮像装置と画像面、被写体の立体的な関係図である。 本開示に係る情報処理の概要説明図である。 本開示に係るオクルージョンの説明図である。 本開示に係るオクルージョンの説明図である。 本開示に係る情報処理装置が実行する処理の一例を示すフローチャートである。 本開示に係る情報処理装置の全体構成を示すブロック図である。 本開示に係る探索範囲決定部の構成を示すブロック図である。 本開示に係る動き被写体検出部の構成を示すブロック図である。 本開示に係る動き被写体の検出方法の説明図である。 本開示に係る動き被写体の検出方法の説明図である。 本開示に係るオクルージョン露出検出部の構成を示すブロック図である。 本開示に係る前景から露出する被写体の検出方法の説明図である。 本開示に係る前景から露出する被写体の検出方法の説明図である。 本開示に係る動きベクトル推定部の構成を示すブロック図である。 本開示に係る前景の背後に隠れる被写体の検出方法の説明図である。 本開示に係る前景の背後に隠れる被写体の検出方法の説明図である。 本開示に係るオクルージョン予測部の構成を示すブロック図である。 本開示に係る動きベクトルの推定方法の説明図である。 本開示に係る動きベクトルの推定方法の説明図である。 本開示に係る高精度復元部の構成を示すブロック図である。 本開示に係る複数枚フレーム加算の利用例の説明図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
［１．ノイズ除去方法］
　まず、図１を参照し、本開示に係る情報処理装置が行うノイズ除去方法について説明する。図１は、本開示に係るノイズ除去方法の説明図である。図１に示すように、情報処理装置は、例えば、時系列に撮像された現フレームの画像、１フレーム前の画像、および２フレーム前の画像が入力される場合、３枚の画像から被写体の動きベクトルを算出する。
　続いて、情報処理装置は、算出した動きベクトルに基づいて、各画像における被写体の位置を同一の位置まで移動させた動きベクトルワープ画像を作成する。そして、情報処理装置は、３枚の動きベクトルワープ画像を複数フレーム加算（合成）することによって、ノイズ除去画像を生成する。
　このように、情報処理装置は、例えば、複数フレーム加算を行うことにより、ノイズの影響で各画像では不鮮明だった被写体の像を鮮明にすることができるため、高画質な画像を生成することができる。
　情報処理装置は、例えば、カメラの姿勢・位置情報を捉えるＩＭＵ（慣性計測装置：Inertial　Measurement　Unit）や距離センサなどを併用することによって、被写体の動きベクトルを高精度に推定する。
　図２は、本開示に係る撮像装置と画像面、被写体の立体的な関係図である。図２に示すように、被写体１０１が静止している場合、画像１０２上における被写体１０１の画像内座標ＸＳは、撮像装置１００の並進ベクトルｔ、および被写体１０１までの距離λの２つの情報から、下記式（１）によって決定される。
Figure JPOXMLDOC01-appb-M000001
　撮像装置１００の動き情報がＩＭＵによって判明している場合、被写体１０１の画像１０２における動きベクトルΔＸＳは、下記式（２）によって算出される。
Figure JPOXMLDOC01-appb-M000002
　そして、被写体１０１の画像１０２における動きベクトルΔＸＳは、被写体１０１が静止している場合、下記式（３）によって算出される図２に示したエピポーラ線Ｌと呼ばれる直線上に限定することができる。
Figure JPOXMLDOC01-appb-M000003
 　このため、情報処理装置は、画像のノイズ除去を行う場合に、ＩＭＵや距離センサを併用することによって、ノイズ除去性能を大幅に向上させることができる。
［２．情報処理の概要］
　図３は、本開示に係る情報処理の概要説明図である。情報処理装置は、例えば、ＩＭＵなどの装置動き情報センサ１１１から撮像装置１００の位置・姿勢を含む動き情報を取得し、撮像装置１００の撮像センサ１１０から可視光画像を取得する。装置動き情報センサ１１１は、撮像装置１００の動き情報を検出する動き検出装置の一例である。
　続いて、情報処理装置は、取得した動き情報に基づき、可視光画像における被写体の動きベクトルの探索範囲を決定する（ステップＳ１）。その後、情報処理装置は、決定した探索範囲内において、被写体の動きベクトル推定を行う（ステップＳ２）。情報処理装置は、推定した被写体の動きベクトルを、図１に示した複数フレーム加算による高画質化に利用する。
　ここで、情報処理装置は、被写体の動きベクトルを推定できれば、上記式（１）における未知数が被写体までの距離λのみとなるため、動きベクトルと同時に距離λを推定することが可能である（ステップＳ３）。情報処理装置は、推定した距離λを次フレームでの探索範囲決定処理に反映することによって、より高精度な被写体の動きベクトル推定を行うことができる。
　なお、情報処理装置は、撮像センサ１１０から被写体までの距離λを計測する距離センサ１１２が接続される場合には、距離センサ１１２から距離λを取得し、距離λを次フレームでの探索範囲決定処理に反映することができる。
　情報処理装置は、撮像センサ１１０から順次入力される可視光画像について、それぞれ被写体の動きベクトルを推定し、動きベクトルに基づいて、図１に示す動きベクトルワープ画像を作成し、複数フレーム加算を行う（ステップＳ４）。
［３．動き検出装置の変形例］
　なお、ここでは、動き検出装置がＩＭＵである場合について説明するが、動き検出装置は、撮像装置１００の動き情報を検出可能なセンサであれば、例えば、ＧＰＳ（Global　Positioning　System）センサなどの他のセンサであってもよい。また、撮像装置１００は、可視光カメラに限定されるものではなく、例えば、赤外光カメラなどの他のカメラであってもよい。
　情報処理装置は、ＩＭＵを他のセンサで代用することができ、また、ＩＭＵと他センサの併用によって、撮像センサ１１０の動き情報を取得することも可能である。具体的には、情報処理装置は、撮像センサ１１０による撮像が長時間にわたる場合には、ＩＭＵの計測誤差を補正するために他センサの併用をする。
　例えば、情報処理装置は、撮像センサ１１０が車載カメラである場合など、撮像センサ１１０の移動量が十分に大きい状況では、ＩＭＵとＧＰＳとを併用することによって、撮像センサ１１０の高精度な動き情報を取得することができる。
　さらに、情報処理装置は、上記構成に加えて、被写体までの距離λを取得する距離センサ１１２（図３参照）を処理系に含んでもよい。距離センサ１１２の例としては、例えば、ＴｏＦ（Time　of　Flight）方式の測距センサや、ＬｉＤＡＲ、ＬＡＤＡＲ、ステレオカメラなどが挙げられる。情報処理装置は、距離センサ１１２を併用することより、被写体の動きベクトルをより正確に推定することができるので、さらに高画質な画像を生成することができる。
　また、情報処理装置は、撮像センサ１１０から順次時系列に取得する画像をリアルタイム処理することが可能であるが、例えば、ネットワークを介して接続された計算機上で処理を行うこともできる。また、情報処理装置は、各センサから得た情報を記録媒体に保存し、後処理として計算機上で実施することも可能である。
［４．課題］
　ここで、情報処理装置が、図３に示す処理を行う場合、撮像センサ１１０の移動、または、被写体１０１の移動によって、被写体１０１が前景の背後に隠れるオクルージョンが発生することがある。図４Ａおよび図４Ｂは、本開示に係るオクルージョンの説明図である。
　図４Ａに示すように、注目被写体が前景の背後から現れる場合、現在フレームにおける注目被写体は、１フレーム前まで前景によって遮蔽されているため、動きベクトルが正しく推定されない。その結果、情報処理装置は、複数フレーム加算を行うとオクルージョン部周辺において二重像などの顕著な画質劣化が発生する。
［５．情報処理装置の動作］
　そこで、情報処理装置は、図４Ｂに示すように、オクルージョン部フレームにおける注目被写体の画素情報の予測処理を行う。情報処理装置は、注目被写体が前景によって遮蔽されたことを検知した場合、その直前の画像情報を保持する。
　情報処理装置は、オクルージョン部フレームにおける注目被写体の画素情報を、複数フレーム間にわたってフレームメモリ上に保持し、フレームが進む度に注目被写体の画素位置を同一フレームメモリ上で移動させる。
　情報処理装置は、撮像センサ１１０の動き情報を取得し、被写体１０１までの距離λを取得または推定できれば、上記式（１）によって被写体１０１の画像における移動先、すなわち、動きベクトル（式（２）参照）の終点を一点に定めることができる。
　これにより、情報処理装置は、次にフレームにおける被写体１０１の画素位置予測が可能である。また、情報処理装置は、図４Ｂに示すように、オクルージョン部フレームから注目被写体が露出する場合に、現在フレームにおける注目被写体の露出した画素位置と、フレームメモリに保持したオクルージョン部フレームにおける推定した注目被写体の画素位置とをマッチングし、複数フレーム加算する。
　情報処理装置は、オクルージョン部フレームにおける注目被写体の画素位置を高精度に推定するため、オクルージョン部フレームにおける注目被写体の画素位置の推定を行う前に、予め動き被写体の検出を行う。
　例えば、情報処理装置は、解像度を縮小して圧縮した画像を使用して推定する被写体１０１の動きベクトルと、ＩＭＵから取得する撮像センサ１１０の動き情報を用いて推定する被写体１０１の動きベクトルの探索範囲を比較する。そして、情報処理装置は、推定した動きベクトルが探索範囲を大きく逸脱していた場合に、動き被写体が存在すると判断する。
　このように、情報処理装置は、動き被写体を検出することにより、動き被写体、撮像センサ１１０の動きそれぞれに起因するオクルージョン部フレームにおける注目被写体の画素位置を別々に推定することができる。
［６．情報処理装置の処理フロー］
　図５は、本開示に係る情報処理装置が実行する処理の一例を示すフローチャートである。図５に示すように、情報処理装置は、装置動き情報センサ１１１から取得する撮像センサ１１０の動き情報と、撮像センサ１１０から取得する画像から、被写体１０１の動きベクトルの探索範囲の候補をそれぞれ求める（ステップＳ１０１）。
　続いて、情報処理装置は、探索範囲を比較することによって、被写体１０１が動き被写体か否かを判定する（ステップＳ１０２）。そして、情報処理装置は、動き被写体であると判定する場合（ステップＳ１０２，Ｙｅｓ）、画像における動き被写体領域を取得し（ステップＳ１０３）、処理をステップＳ１０４へ移す。
　また、情報処理装置は、動き被写体でないと判定する場合（ステップＳ１０２，Ｎｏ）、処理をステップＳ１０４へ移す。ステップＳ１０４において、情報処理装置は、オクルージョン露出検出を行う。具体的には、情報処理装置は、画像中の前景によって被写体が隠れている領域であるオクルージョン部から露出する被写体１０１の画素を検出し、最終的な探索範囲を決定する。
　続いて、情報処理装置は、探索範囲に基づいて被写体１０１の動きベクトルを推定する（ステップＳ１０５）。その後、情報処理装置は、推定した動きベクトルの終点が画像中の前景に重なるか否かを判定する（ステップＳ１０６）。つまり、情報処理装置は、画像中の被写体１０１が前景によって隠れるか否かを判定する。
　そして、情報処理装置は、動きベクトルの終点が前景に重なると判定する場合（ステップＳ１０６，Ｙｅｓ）、オクルージョンを検出し、オクルージョン部の画像情報を保持する（ステップＳ１０７）。
　続いて、情報処理装置は、オクルージョン部画素移動予測を行う（ステップＳ１０８）。具体的には、情報処理装置は、装置動き情報センサ１１１から取得する撮像センサ１１０の動き情報と、被写体１０１までの距離λから次フレームにおける被写体１０１の画素位置を予測する。つまり、情報処理装置は、前景の背後に隠れた被写体１０１の次フレーム画像における移動位置を予測する。
　その後、情報処理装置は、被写体１０１がオクルージョン部（前景）から露出するか否かを判定する（ステップＳ１０９）。そして、情報処理装置は、被写体１０１が露出すると判定する場合（ステップＳ１０９，Ｙｅｓ）、処理をステップＳ１０４へ移す。
　情報処理装置は、被写体１０１が露出しないと判定する場合（ステップＳ１０９，Ｎｏ）、処理をステップＳ１０８へ移す。露出すると判定される被写体の画素は、次フレームにおける被写体の動きベクトルの推定に利用される。
　また、ステップＳ１０６において、情報処理装置は、動きベクトルの終点が前景に重ならないと判定する場合（ステップＳ１０６，Ｎｏ）、複数フレーム加算を行い（ステップＳ１１０）、処理終了か否かを判定する（ステップＳ１１１）。情報処理装置が加算に用いる係数は、オクルージョン部での更新履歴などに基づき決定される信頼度によって制御される。信頼度の詳細については、後述する。
　そして、情報処理装置は、処理終了でないと判定する場合（ステップＳ１１１，Ｎｏ）、処理をステップＳ１０１へ移す。また、情報処理装置は、処理終了であると判定する場合（ステップＳ１１１，Ｙｅｓ）、処理を終了する。
［７．情報処理装置の構成］
［７．１．情報処理装置の構成］
　図６は、本開示に係る情報処理装置の全体構成を示すブロック図である。情報処理装置１は、ＣＰＵ（Central　Processing　Unit）、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）などを有するマイクロコンピュータや各種の回路を含む。
　図６に示すように、情報処理装置１は、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより機能する探索範囲決定部２と、動きベクトル推定部３と、オクルージョン予測部４と、高精度復元部５とを備える。
　なお、情報処理装置１が備える探索範囲決定部２、動きベクトル推定部３、オクルージョン予測部４、および高精度復元部５は、一部または全部がＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアで構成されてもよい。
　情報処理装置１が備える探索範囲決定部２、動きベクトル推定部３、オクルージョン予測部４、および高精度復元部５は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、情報処理装置１の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　探索範囲決定部２は、動き被写体検出部２１、オクルージョン露出検出部２２などを備える。動きベクトル推定部３は、オクルージョン遮蔽検出部３１などを備える。高精度復元部５は、信頼度算出部５１、加算部５２などを備える。
　探索範囲決定部２には、装置動き情報センサ１１１によって検出される撮像センサ１１０の動き情報と、撮像センサ１１０によって時系列に撮像される画像とが順次入力される。探索範囲決定部２は、画像における被写体１０１の探索範囲を決定し、決定した探索範囲の領域（探索領域）を動きベクトル推定部３へ出力する。探索範囲決定部２の詳細については、図７を参照して後述する。
　動きベクトル推定部３は、画像における探索領域内の被写体１０１の動きベクトルを推定して高精度復元部５へ出力する。また、動きベクトル推定部３は、被写体１０１が前景の背後に隠れる場合に、画像におけるオクルージョン領域画素情報をオクルージョン予測部４へ出力する。
　また、動きベクトル推定部３は、推定した被写体１０１の動きベクトルに基づいて、次フレーム探索領域を予測し、予測した探索領域を探索範囲決定部２へ出力する。動きベクトル推定部３の詳細については、図１２を参照して後述する。
　オクルージョン予測部４は、オクルージョン領域画素情報に基づいて、前景の背後から被写体１０１が露出（出現）する露出予測領域を予測して探索範囲決定部２へ出力する。また、オクルージョン予測部４は、オクルージョン領域画素情報に基づいて、画像における被写体１０１の画素の信頼度を算出して高精度復元部５へ出力する。オクルージョン予測部４の詳細については、図１４を参照して後述する。
　高精度復元部５は、動きベクトル推定部３から入力される被写体１０１の動きベクトルに基づいて、時系列の画像から動きベクトルワープ画像（図１参照）を作成し、複数フレーム加算することによって復元した画像を出力する。このとき、高精度復元部５は、オクルージョン予測部４から入力される信頼度に応じた比率で複数フレーム加算する。高精度復元部５の詳細については、図１６を参照して後述する。
［７．２．探索範囲決定部の構成］
　図７は、本開示に係る探索範囲決定部の構成を示すブロック図である。図７に示すように、探索範囲決定部２は、探索範囲候補予測部２３と、動き被写体検出部２１と、オクルージョン露出検出部２２とを備える。
　探索範囲候補予測部２３は、装置動き情報センサ１１１から入力される撮像センサ１１０の動き情報に基づいて、画像における被写体１０１の動きベクトルの探索範囲候補を導出する。また、ここでは、図示を省略しているが、探索範囲候補予測部２３は、撮像センサ１１０から入力される画像の縮小画像（圧縮画像）に基づいて、被写体１０１の動きベクトルの探索範囲候補を導出する。
　このとき、探索範囲候補予測部２３は、動きベクトル推定部３内の次フレーム画素位置予測部３３によって予測される次フレーム画素位置を使用して、探索範囲候補を予測する。次フレーム画素位置は、１フレーム前の画像から予測された現フレームにおける被写体１０１の画素の位置である。探索範囲候補予測部２３は、上記の２手法のそれぞれによって導出した探索範囲候補を動き被写体検出部２１へ出力する。
　具体的には、探索範囲候補予測部２３では、装置動き情報センサ１１１から取得した撮像センサ１１０の動き情報に基づき、動きベクトルの探索範囲であるエピポーラ線（数３）を決定する。被写体１０１までの距離λが推定できている場合には、次フレーム画素位置予測部３３から動きベクトルの終点の情報を上記式（１）によって取得し利用できる。
　動き被写体検出部２１は、２手法それぞれで導出された探索範囲候補を比較し、画像中の移動被写体の領域を検出し、検出した移動被写体の領域をオクルージョン露出検出部２２へ出力する。
　被写体１０１が動きを有するとき、画像内での被写体１０１の移動は、エピポーラ線（数３）上に限定されない。そこで、動き被写体検出部２１は、解像度を縮小して圧縮した画像から被写体１０１の動きベクトルを求めてエピポーラ線と比較することで、効率的かつ正確に動き被写体を検出する。動き被写体検出部２１の詳細については、図８を参照して後述する。
　オクルージョン露出検出部２２は、前景で遮蔽された被写体が前景の背後から露出する画像中の位置を予測し、予測結果を動きベクトル推定部３内のマッチング部３２へ出力する。このとき、オクルージョン露出検出部２２は、オクルージョン予測部４から入力される露出予測領域を使用して、前景の背後から露出する被写体１０１の画像中の位置を予測する。オクルージョン露出検出部２２の詳細については、図１０を参照して後述する。
［７．３．動き被写体検出部の構成］
　図８は、本開示に係る動き被写体検出部の構成を示すブロック図である。図９Ａおよび図９Ｂは、本開示に係る動き被写体の検出方法の説明図である。図８に示すように、動き被写体検出部２１は、縮小画像動きベクトル推定部２４と、探索範囲比較部２５とを備える。
　縮小画像動きベクトル推定部２４は、撮像センサ１１０から取得した現在フレーム、過去フレームの解像度を縮小して圧縮し、ブロックマッチングにより動きベクトルを推定し、探索範囲比較部２５へ出力する。
　図９Ａに示すように、探索範囲比較部２５は、縮小画像（圧縮画像）から推定された実線矢印で示す動きベクトルを、探索範囲候補予測部２３から入力される点線で示す探索範囲候補と比較する。そして、探索範囲比較部２５は、図９Ｂに示すように、推定された動きベクトルが探索範囲候補から大きく逸脱する画素領域を検出した場合には、その領域を動く被写体１０１とみなして、動き被写体領域マップ２６に記録する。
　具体的には、探索範囲比較部２５は、下記式（４）に基づき、撮像センサ１１０の動き情報から推定される図９Ｂに点線で示すエピポーラ線に沿う被写体１０１の動きベクトルと、縮小画像（圧縮画像）から推定された被写体１０１の実線矢印で示す動きベクトルとのなす角度が閾値を超える場合に、動く被写体１０１と判断する。
Figure JPOXMLDOC01-appb-M000004
 　探索範囲比較部２５は、記録した動き被写体領域マップ２６の情報を後段のオクルージョン露出検出部２２へ出力する。なお、探索範囲比較部２５は、動き被写体領域マップ２６の情報を探索範囲比較部２５にフィードバックし、次回以降の動き被写体検出に利用してもよい。被写体動きを認めた画素については、縮小画像（圧縮画像）で得た実線矢印で示す動きベクトルに基づいて、探索範囲を決定する。
［７．４．オクルージョン露出検出部の構成］
　図１０は、本開示に係るオクルージョン露出検出部の構成を示すブロック図である。図１１Ａおよび図１１Ｂは、本開示に係る前景から露出する被写体の検出方法の説明図である。図１１に示すように、オクルージョン露出検出部２２は、第１露出予測部２７と、第２露出予測部２８と、探索先変更部２９とを備える。
　図１１Ａおよび図１１Ｂに示すように、オクルージョンは、被写体１０１の移動と撮像センサ１１０の移動とによって発生する。このため、オクルージョン露出検出部２２は、被写体１０１の移動および撮像センサ１１０の移動のそれぞれについて、独立に露出予測を行う。
　第１露出予測部２７は、動き被写体に起因するオクルージョンを予測する。図１０および図１１Ａに示すように、第１露出予測部２７は、動き被写体検出部２１から動き被写体領域マップ２６（図８参照）を取得し、画像中における被写体の移動量に基づいて露出部を予測する。このとき、第１露出予測部２７は、下記式（５）によって露出部を予測する。
Figure JPOXMLDOC01-appb-M000005
　一方、第２露出予測部２８は、撮像センサ１１０の動きによるオクルージョンを予測する。図１１Ｂに示すように、第２露出予測部２８は、オクルージョン予測部４と次フレーム画素位置予測部３３からそれぞれ距離情報を取得し、前景被写体が認められない場合に、オクルージョン部からの被写体１０１の露出を検出する。このとき、第２露出予測部２８は、下記式（６）によって露出部を予測する。
Figure JPOXMLDOC01-appb-M000006
 　第１露出予測部２７および第２露出予測部２８は、予測した露出部の画像における位置を示す情報を探索先変更部２９に出力する。
　探索先変更部２９は、第１露出予測部２７および第２露出予測部２８から、それぞれ入力される露出部の情報を統合する。探索先変更部２９は、注目画素が露出部でないならば動きベクトルの探索先を過去フレームに設定し、後述の変形例において説明する探索範囲修正部２０によって修正される画素位置、または、動き被写体検出部２１で得た探索範囲を採用する。露出部に該当する場合には、オクルージョン予測部４で逐次更新されるオクルージョン部メモリを探索先に設定する。
［７．５．探索範囲決定部の変形例］
　探索範囲決定部２は、探索範囲候補予測部２３の直後に、ＩＭＵなどの装置動き情報センサ１１１により計測される動き情報や予測位置情報の誤差を考慮する探索範囲修正部２０を備えてもよい。誤差範囲の設定には複数の定め方が想定されるが、１つの実施例では、前段で求めた探索範囲候補の周辺に誤差分布を仮定して探索範囲を拡大する。誤差分布の標準偏差の設定には、事前に与えた値を用いる他、撮影の経過時間毎に値を調整してもよい。
　探索範囲修正部２０の変形例として、探索範囲候補予測部２３によって予測される探索範囲候補と、動きベクトル推定部３によって推定される動きベクトルとを比較し、次フレームにおける誤差範囲の設定に反映する処理が想定される。
　例えば、下記式（７）によって算出されるＥｎｄ　Ｐｏｉｎｔ　Ｅｒｒｏｒ（ＥＰＥ）の平均値を誤差分布の標準偏差σとみなし、半径２σ、あるいは３σの同心円内を探索範囲とみなす処理が考えられる。この処理により、ＩＭＵなどの装置動き情報センサ１１１により計測される動き情報や予測位置情報における誤差が与える実際の影響を見積もることが可能となる。
Figure JPOXMLDOC01-appb-M000007
［７．６．動きベクトル推定部］
　図１２は、本開示に係る動きベクトル推定部の構成を示すブロック図である。図１３Ａおよび図１３Ｂは、本開示に係る前景の背後に隠れる被写体の検出方法の説明図である。
　図１２に示すように、動きベクトル推定部３は、バッファメモリ３４と、マッチング部３２と、オクルージョン遮蔽検出部３１と、距離推定部３５と、次フレーム画素位置予測部３３とを備える。
　動きベクトル推定部３は、探索範囲決定部２によって決定された探索先・探索範囲に基づき被写体１０１の動きベクトルを推定する。マッチング部３２は、バッファメモリ３４に保持された過去フレームから現在フレームに対して動きベクトルを推定し、オクルージョン予測部４からオクルージョン部メモリの画素情報を取得して現在フレームとマッチングする。
　距離推定部３５は、注目画素の被写体１０１が静止している場合には、動きベクトルと、エピポーラ線（式（３）参照）に基づいて、撮像センサ１１０から被写体１０１までの距離λを推定する。
　次フレーム画素位置予測部３３は、距離推定部３５から入力される距離λと、ＩＭＵなどの装置動き情報センサ１１１から入力される動き情報を式（１）に代入し、次フレームにおける被写体１０１の画素位置を予測する。次フレーム画素位置予測部３３は、予測した画素位置を探索範囲決定部２に出力することによって、探索範囲決定部２による次フレームにおける探索範囲を大幅に限定することができる。
　オクルージョン遮蔽検出部３１は、マッチング部３２によって推定される動きベクトルを用いて、被写体１０１が前景に遮蔽される領域を検出する。オクルージョン遮蔽検出部３１は、マッチング部３２から入力される動きベクトルの終点が前景と重なる領域を、下記式（８）に基づいてオクルージョン（遮蔽領域）と判断する（図１３Ａおよび図１３Ｂ参照）。
Figure JPOXMLDOC01-appb-M000008
 　オクルージョン遮蔽検出部３１は、オクルージョンと判断した領域における画素情報をオクルージョン予測部４と、高精度復元部５内のワープ画像作成部５３に出力する。
［７．７．動きベクトル推定部の変形例］
　動きベクトル推定部３は、ブロックマッチングや勾配法によって動きベクトルの推定を行うことができるが、学習データに基づく推論によっても動きベクトルを推定することもできる。
　動きベクトル推定部３は、入力画像の画質劣化が顕著な場合、マッチング部３２の前にフィルタリング処理を組み込む構成であってもよい。フィルタリングには多くの手法があるが、例えば、バイラテラルフィルタを利用することができる。
　また、距離推定部３５は、距離推定に距離センサ１１２を併用してもよい。得られる距離情報の統合には、複数の実施例が想定される。例えば、距離推定部３５は、環境の明るさに応じて、動きベクトルによる推定距離と距離センサ１１２から得られる計測距離の重み付けを調整することができる。
　また、距離推定部３５は、動きベクトルによる推定距離の精度を考慮して、動きベクトルの大きさによって上記重み付けを調整することもできる。さらに、距離推定部３５は、データセットを利用した事前学習により、複数の性能劣化要因を考慮した適切な係数を決定することもできる。
［７．８．オクルージョン予測部］
　図１４は、本開示に係るオクルージョン予測部の構成を示すブロック図である。図１５Ａおよび図１５Ｂは、本開示に係る動きベクトルの推定方法の説明図である。
　図１４に示すように、オクルージョン予測部４は、オクルージョン部メモリ４１と、オクルージョン画素位置予測部４２と、オクルージョン予測信頼度算出部４３とを備える。オクルージョン部メモリ４１は、動きベクトル推定部３から入力される前景に遮蔽された注目する被写体１０１の輝度値と距離情報を取得して格納する。
　オクルージョン画素位置予測部４２は、ＩＭＵなどの装置動き情報センサ１１１から入力される撮像センサ１１０の動き情報、および遮蔽前に推定された被写体１０１までの距離情報を利用することによって、前景に遮蔽されている被写体１０１が有っても、数フレームにわたって被写体１０１の移動を予測することができる。オクルージョン画素位置予測部４２は、撮像センサ１１０の動き情報、および距離情報を利用して、式（１）に基づき、次フレームにおける被写体１０１の画素位置を予測する。
　そして、図１５Ａおよび図１５Ｂに示すように、オクルージョン画素位置予測部４２は、予測した被写体１０１ａの画素位置に対し、当該画素の輝度値と距離情報を移動させる。オクルージョン予測部４では、逐次更新される情報が、オクルージョン部メモリ４１に上書きされるが、このとき更新された画素情報と、新たに動きベクトル推定部３から入力される画素情報は、同一のメモリ上に書込まれる。
　オクルージョン画素位置予測部４２は、更新時に画素位置が重なる場合には、距離が近い画素情報のみを残す。オクルージョン画素位置予測部４２は、更新のたびに距離情報をオクルージョン露出検出部２２の第２露出予測部２８に出力し、露出が予測される場合には、当該画素における輝度値を動きベクトル推定部３のマッチング部３２に出力する。
　オクルージョン予測信頼度算出部４３は、例えば、下記式（９）を使用し、画素位置の更新回数と移動距離に応じて信頼度を算出する。
Figure JPOXMLDOC01-appb-M000009
 　オクルージョン画素位置予測部４２は、算出する信頼度を、後段の高精度復元部５内の信頼度算出部５１に送信する。オクルージョン画素位置予測部４２は、信頼度がある閾値を下回った場合には、当該画素情報をオクルージョン部メモリ４１から削除する。
　また、オクルージョン画素位置予測部４２は、被写体１０１がフレーム外に出る場合にも、当該画素情報をオクルージョン部メモリ４１から削除する。これにより、オクルージョン部メモリ４１には、オクルージョン部の補間に最低限必要な画素情報のみが保持される。
［７．９．オクルージョン予測部の変形例］
　オクルージョン予測部４は、画像中に動き被写体が存在する場合には、当該領域の動きベクトルを動きベクトル推定部３から取得し、動きベクトルに基づいて、次フレームにおける被写体１０１の画素位置を推定することもできる。この場合の推定時には、遮蔽されている動き被写体が数フレームにわたって同じ運動を続けるという仮定が必要である。
　オクルージョン予測部４は、距離λが正確に求まっている場合には、実世界における動き被写体の運動の向きと速度を求めることが可能である。オクルージョン予測部４は、距離に不確かさが存在する場合には、実世界での動き被写体の運動を求めず、画像上で同一の動きベクトルを持ち続けると仮定して処理してもよい。
　また、オクルージョン予測部４は、信頼度の値は、動きベクトル推定部３による推定結果に応じて逐次的に変更してもよい。オクルージョン予測部４は、動きベクトル推定部３によってブロックマッチングが行われる場合、テンプレートにおける誤差量を取得できる。また、オクルージョン予測部４は、オクルージョン露出検出部２２におけるマッチングの誤差量に応じて信頼度の値を制御することにより、後段の高精度復元部５において、撮影環境に応じた適切な加算処理が実現される。なお、オクルージョン予測信頼度算出部４３は、事前の学習によって信頼度の値を決定することもできる。
［７．１０．高精度復元部］
　図１６は、本開示に係る高精度復元部の構成を示すブロック図である。図１６に示すように、高精度復元部５は、ワープ画像作成部５３と、ワープ信頼度算出部５４と、信頼度算出部５１と、加算係数決定部５５と、加算部５２とを備える。
　ワープ画像作成部５３は、動きベクトル推定部３から入力される動きベクトルに基づいて、過去フレームの加算画像を現在フレームの画素位置へワープする。加算部５２は、例えば、下記式（１０）を使用し、ワープ画像を現在フレームに加算して処理画像を生成する。
Figure JPOXMLDOC01-appb-M000010
 　ワープ画像作成部５３は、生成した処理画像をバッファメモリへ出力する。かかる処理画像は、次フレームでの加算に利用される。
　ワープ画像作成部５３では、ワープ画像の作成時に、視差の影響により画素間隔に粗密が生じることがある。このため、ワープ信頼度算出部５４は、画素の粗密に応じて信頼度を算出し、信頼度算出部５１へ出力する。
　信頼度算出部５１は、ワープ信頼度算出部５４から入力される信頼度と、オクルージョン予測信頼度算出部４３から入力される信頼度とを統合して、加算係数決定部５５に出力する。信頼度算出部５１は、被写体１０１が前景の背後に隠れてからの経過時間に応じて、前景の背後における被写体の画像における位置の信頼度を算出する。例えば、信頼度算出部５１は、被写体１０１が前景の背後に隠れてからの経過時間が長いほど低い信頼度を算出する。加算係数決定部５５は、加算部５２による複数フレーム加算が行われる場合に、使用される画像の加算係数を決定して加算部５２に出力する。なお、信頼度の値は、事前の学習によって決定されてもよい。
　加算部５２は、加算係数決定部５５から入力される加算係数に基づき、信頼度算出部５１によって算出される信頼度に応じた比率によって複数の画像をフレーム加算して画像を復元する。加算部５２は、信頼度の高い画像ほど加算する比率を大きくしてフレーム加算する。
［８．情報処理装置の適用例、および、その効果］
　上述してきたように、情報処理装置１は、動きベクトルを用いて複数枚フレームを加算することにより、複数の画像処理技術における性能改善を実現することができる。例えば、情報処理装置１は、ノイズ除去技術、超解像技術、雨除去技術、ハイダイナミックレンジ技術の性能改善を実現することができる。
　図１７は、本開示に係る複数枚フレーム加算の利用例の説明図である。図１７に示すように、情報処理装置１によれば、過去フレームで前景に遮蔽されていた被写体に対しても、現在フレームへのワープ画像を作成することができる。これにより、情報処理装置１は、ワープ画像を加算することによって、ボヤケなどの画質劣化を伴わずに、ノイズ除去した処理画像を得ることができる。
　また、情報処理装置１は、フレームメモリを用いた処理コストの削減により、カメラなどのデバイス上において上記した処理をリアルタイムで実行することが可能となる。
　また、情報処理装置１は、オクルージョン部における被写体の移動を予測することにより、オクルージョン部に対するロバスト性が向上するので、複数枚フレーム加算による二重像の発生を防ぐことができる。
　また、情報処理装置１は、オクルージョン部における背景画像の情報を複数フレームにわたって保持することで、オクルージョン部周辺においても複数枚フレーム加算を行うことができる。また、情報処理装置１は、動き被写体に起因するオクルージョンにも対応することができる。
　また、情報処理装置１は、画像における被写体の動きベクトルの推定と同時に、被写体までの距離を推定することができる。情報処理装置１によって推定される高精度な距離情報は、複数の画像処理技術に応用できる点で有用である。例えば、情報処理装置１によって推定される高精度な距離情報は、霧除去技術、背景ぼかし技術、オートフォーカス技術に応用することが可能である。
　また、情報処理装置１は、距離センサ１１２やステレオカメラの増設が難しいデバイスにおいても、少なくとも単眼の撮像装置１００とＩＭＵなどの撮像センサ１１０の動き情報を計測できるセンサが有れば、被写体までの距離の計測が可能になる。
　また、情報処理装置１は、オクルージョン部における背景画像の情報を複数フレームにわたって保持するので、オクルージョン部周辺でも複数枚フレーム加算による測距性能改善を実現できる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する予測部
　を有する情報処理装置。
（２）
　前記予測部は、
　圧縮された前記画像を使用して、前景の背後における前記被写体の前記画像における位置を予測する
　前記（１）に記載の情報処理装置。
（３）
　前記画像から被写体の前記画像における位置を検出する検出部と、
　前景の背後に隠れる以前の前記被写体の前記画像における位置と、前記動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の動きベクトルを推定する推定部と
　を備え、
　前記予測部は、
　前記推定部によって推定される前記動きベクトルに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
　前記（１）に記載の情報処理装置。
（４）
　前記推定部は、
　前記動きベクトルに基づいて、前記撮像装置から前記被写体までの距離を推定し、
　前記予測部は、
　前記推定部によって推定される距離に基づいて、前景の背後における前記被写体の前記画像における位置を予測する
　前記（３）に記載の情報処理装置。
（５）
　前記検出部は、
　前記推定部によって推定される距離と、前記動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後から出現する前記被写体の前記画像における位置を検出する
　前記（４）に記載の情報処理装置。
（６）
　前記推定部は、
　前記被写体が前景の背後に隠れていない場合に、前記撮像装置の動き情報に基づいて推定する前記被写体の動きベクトルと、前記時系列に撮像される画像に基づいて推定する前記被写体の動きベクトルとを推定し、
　前記予測部は、
　前記動き情報に基づく動きベクトルの方向と、前記画像に基づく動きベクトルの方向とのなす角度が閾値を超える場合、前記画像に基づく動きベクトルに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
　前記（３）に記載の情報処理装置。
（７）
　前記被写体が前景の背後に隠れてからの経過時間に応じて、前景の背後における前記被写体の前記画像における位置の信頼度を算出する信頼度算出部と、
　前記信頼度算出部によって算出される信頼度に応じた比率によって複数の前記画像をフレーム加算して前記画像を復元する復元部と
　を有する前記（１）に記載の情報処理装置。
（８）
　情報処理装置が、
　撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
　処理を実行する情報処理方法。
（９）
　情報処理装置に、
　撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
　処理を実行させる情報処理プログラム。
　１　情報処理装置
　２　探索範囲決定部
　２１　動き被写体検出部
　２２　オクルージョン露出検出部
　３　動きベクトル推定部
　３１　オクルージョン遮蔽検出部
　４　オクルージョン予測部
　５　高精度復元部
　５１　信頼度算出部
　５２　加算部

Claims (9)

  1. 　撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する予測部
    　を有する情報処理装置。
  2. 　前記予測部は、
    　圧縮された前記画像を使用して、前景の背後における前記被写体の前記画像における位置を予測する
    　請求項１に記載の情報処理装置。
  3. 　前記画像から被写体の前記画像における位置を検出する検出部と、
    　前景の背後に隠れる以前の前記被写体の前記画像における位置と、前記動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の動きベクトルを推定する推定部と
    　を備え、
    　前記予測部は、
    　前記推定部によって推定される前記動きベクトルに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
    　請求項１に記載の情報処理装置。
  4. 　前記推定部は、
    　前記動きベクトルに基づいて、前記撮像装置から前記被写体までの距離を推定し、
    　前記予測部は、
    　前記推定部によって推定される距離に基づいて、前景の背後における前記被写体の前記画像における位置を予測する
    　請求項３に記載の情報処理装置。
  5. 　前記検出部は、
    　前記推定部によって推定される距離と、前記動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後から出現する前記被写体の前記画像における位置を検出する
    　請求項４に記載の情報処理装置。
  6. 　前記推定部は、
    　前記被写体が前景の背後に隠れていない場合に、前記撮像装置の動き情報に基づいて推定する前記被写体の動きベクトルと、前記時系列に撮像される画像に基づいて推定する前記被写体の動きベクトルとを推定し、
    　前記予測部は、
    　前記動き情報に基づく動きベクトルの方向と、前記画像に基づく動きベクトルの方向とのなす角度が閾値を超える場合、前記画像に基づく動きベクトルに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
    　請求項３に記載の情報処理装置。
  7. 　前記被写体が前景の背後に隠れてからの経過時間に応じて、前景の背後における前記被写体の前記画像における位置の信頼度を算出する信頼度算出部と、
    　前記信頼度算出部によって算出される信頼度に応じた比率によって複数の前記画像をフレーム加算して前記画像を復元する復元部と
    　を有する請求項１に記載の情報処理装置。
  8. 　情報処理装置が、
    　撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
    　処理を実行する情報処理方法。
  9. 　情報処理装置に、
    　撮像装置によって時系列に撮像される画像の被写体が前景の背後に隠れた場合に、前記画像と、動き検出装置によって検出される前記撮像装置の動き情報とに基づいて、前景の背後における前記被写体の前記画像における位置を予測する
    　処理を実行させる情報処理プログラム。
PCT/JP2021/017540 2020-05-15 2021-05-07 情報処理装置、情報処理方法、および情報処理プログラム WO2021230157A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/998,156 US20230169674A1 (en) 2020-05-15 2021-05-07 Information processing device, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020086352 2020-05-15
JP2020-086352 2020-05-15

Publications (1)

Publication Number Publication Date
WO2021230157A1 true WO2021230157A1 (ja) 2021-11-18

Family

ID=78525831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017540 WO2021230157A1 (ja) 2020-05-15 2021-05-07 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (2)

Country Link
US (1) US20230169674A1 (ja)
WO (1) WO2021230157A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7351027B2 (ja) 2021-01-15 2023-09-26 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12001958B2 (en) * 2020-03-19 2024-06-04 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175289A (ja) * 2011-02-18 2012-09-10 Canon Inc 画像処理装置、及びその制御方法
JP2016046666A (ja) * 2014-08-22 2016-04-04 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
JP2016173795A (ja) * 2015-03-18 2016-09-29 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012175289A (ja) * 2011-02-18 2012-09-10 Canon Inc 画像処理装置、及びその制御方法
JP2016046666A (ja) * 2014-08-22 2016-04-04 キヤノン株式会社 撮像装置およびその制御方法、並びにプログラム
JP2016173795A (ja) * 2015-03-18 2016-09-29 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7351027B2 (ja) 2021-01-15 2023-09-26 富士フイルム株式会社 撮像装置、撮像方法、及び、撮像プログラム

Also Published As

Publication number Publication date
US20230169674A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
Kale et al. Moving object tracking using optical flow and motion vector estimation
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
US5777690A (en) Device and method for detection of moving obstacles
US5259040A (en) Method for determining sensor motion and scene structure and image processing system therefor
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20170087814A (ko) 영상 블러링 제거 방법 및 장치
JP6116765B1 (ja) 物体検出装置及び物体検出方法
JP2015524946A (ja) 画像解像度が改善された超解像画像を形成するための方法及び測定装置
WO2021108626A1 (en) System and method for correspondence map determination
US11210846B2 (en) Three-dimensional model processing method and three-dimensional model processing apparatus
CN112270748B (zh) 基于图像的三维重建方法及装置
JP2961272B1 (ja) 特徴ベクトルを利用した物体の認識装置および方法
CN109313808B (zh) 图像处理***
JP2017011397A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102173244B1 (ko) Surf 특징점 추적 기반 영상 안정화 시스템
JP2019062340A (ja) 像振れ補正装置および制御方法
JP2019176261A (ja) 画像処理装置
JP2019083407A (ja) 像振れ補正装置およびその制御方法、撮像装置
WO2022124017A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
JPH08249472A (ja) 移動物体検知装置及び移動物体検知方法
JP2002008024A (ja) ２次元連続画像に３次元物体の画像を埋め込んだ合成画像の作成方法及び同装置
WO2019244360A1 (ja) 計測情報処理装置
KR20230045319A (ko) 엑스레이 영상의 실시간 노이즈 제거 장치 및 이를 이용한 노이즈 제거 방법
JP2023108433A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21804825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21804825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP