WO2020130070A1 - 検出装置、情報処理装置、検出方法、及び情報処理プログラム - Google Patents

検出装置、情報処理装置、検出方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2020130070A1
WO2020130070A1 PCT/JP2019/049798 JP2019049798W WO2020130070A1 WO 2020130070 A1 WO2020130070 A1 WO 2020130070A1 JP 2019049798 W JP2019049798 W JP 2019049798W WO 2020130070 A1 WO2020130070 A1 WO 2020130070A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
texture
area
detection
Prior art date
Application number
PCT/JP2019/049798
Other languages
English (en)
French (fr)
Inventor
智志 長谷川
源洋 中川
橋本　雅司
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2020561503A priority Critical patent/JP7140209B2/ja
Publication of WO2020130070A1 publication Critical patent/WO2020130070A1/ja
Priority to US17/350,803 priority patent/US11967094B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present invention relates to a detection device, an information processing device, a detection method, and an information processing program.
  • a technique has been proposed in which the detection result of detecting an object is input to a computer to acquire the three-dimensional shape of the object (eg, refer to Patent Document 1).
  • a computer to acquire the three-dimensional shape of the object
  • shape information is obtained. Areas with missing information occur.
  • the texture detection unit that detects the texture information of the target object from the first position, and the position detection unit that detects the depth information from the second position different from the first position to each point on the target object. And a data loss region for which depth information is acquired and texture information is not acquired, and a region detection unit that detects the data loss region based on the detection result of the texture detection unit and the detection result of the position detection unit, and for the data loss region.
  • a detection device is provided that includes an addition unit that adds specific texture information.
  • the texture detection unit that detects the texture information of the target region from the first position, and the depth information from a predetermined point to each point in the target region are stored from the second position different from the first position.
  • the depth information is acquired, and the area detection unit that detects the data loss area in which the texture information is not acquired, and the data.
  • a detection device including: an addition unit that adds specific texture information to a defective region.
  • an information processing apparatus including an area detection unit that detects a data loss area in which depth information is acquired and texture information is not acquired, and an addition unit that adds specific texture information to the data loss area Provided.
  • the detection result of detecting the texture information of the target area from the first position and the depth information from a predetermined point to each point in the target area are detected from the second position different from the first position. Based on the detection result, an area detection unit that detects a data loss area where depth information is acquired and texture information is not acquired, and an addition unit that adds specific texture information to the data loss area are provided.
  • An information processing device is provided.
  • detecting texture information of an object from a first position detecting depth information from a second position different from the first position to each point on the object, and depth information. Detecting a data-missing area for which data has been acquired and texture information has not been acquired based on the detection result of the texture information and the detection result of the depth information, and adding specific texture information to the data-missing area.
  • a detection method including: According to the aspect of the present invention, the texture information of the target area is detected from the first position, and the depth information from a predetermined point to each point in the target area is detected from the second position different from the first position.
  • a detection method includes detecting a data loss region and adding specific texture information to the data loss region.
  • the computer detects the detection result of detecting the texture information of the object from the first position, and the detection of detecting the depth information from the second position different from the first position to each point on the object.
  • An information processing program that executes, based on the result, detection of a data-missing area in which depth information is acquired and texture information is not acquired, and addition of specific texture information to the data-missing area Will be provided.
  • the computer receives the detection result of detecting the texture information of the target region from the first position and the depth information from a predetermined point to each point in the target region from the second position different from the first position. Based on the detected result, the detection of the data loss area where the depth information is acquired and the texture information is not acquired, and the addition of the specific texture information to the data loss area are executed.
  • An information processing program is provided.
  • FIG. 1 is a figure which shows an example which displayed the model information which concerns on 1st Embodiment
  • (B) is a figure which shows another example which displayed the model information which concerns on 1st Embodiment. It is a figure which shows the example which displayed two model information. It is a figure which shows an example of the detection apparatus which concerns on 2nd Embodiment. It is a flow chart which shows the detection method concerning a 2nd embodiment. It is a figure which shows an example of the detection apparatus which concerns on 3rd Embodiment. It is a flowchart which shows the detection method which concerns on 3rd Embodiment. It is a figure which shows an example of the detection apparatus which concerns on 4th Embodiment. It is a figure which shows an example of the detection system which concerns on 5th Embodiment.
  • FIG. 1 is a diagram illustrating an example of a detection device 1 according to the first embodiment.
  • the detection device 1 detects information that is a source of model information (eg, three-dimensional CG model data).
  • the detection device 1 detects the target area AR including the object X1 to be modeled.
  • the target area AR includes, for example, an object X1 (first object) that is a target of modeling and an object X2 such as a wall that is a background of the object X1.
  • the object X2 may be the second object to be modeled.
  • the model information includes shape information and texture information of the object X1.
  • the shape information includes point cloud data and surface information.
  • the shape information may include depth information.
  • the detection device 1 optically detects the target area AR.
  • the detection device 1 may include one or both of a camera and a motion capture.
  • the detection device 1 may include a stationary device (eg, fixed-point camera).
  • the detection device 1 may include a portable device (eg, information terminal, smartphone, tablet, camera-equipped mobile phone, wearable terminal).
  • the detection device 1 includes an imaging unit (texture detection unit) 2, a position detection unit (position sensor) 3, and an information processing unit 4.
  • the detection device 1 detects the target area AR by a detection unit (sensors such as the image pickup unit 2 and the position detection unit 3).
  • the imaging unit 2 detects the target area AR from the first position Vp1 by imaging.
  • the imaging unit 2 detects the texture information of the target area AR from the first position Vp1.
  • the position detection unit 3 obtains depth information from a predetermined point (eg, second position Vp2) to each point in the target area AR for a plurality of points on the surface of the object (object X1, object X2) in the target area AR. To detect.
  • the position detection unit 3 detects the depth information of each point in the target area AR from the second position Vp2 different from the first position Vp1.
  • the information processing unit 4 executes coordinate conversion processing for converting coordinates of a plurality of points based on depth information at a plurality of points on the surface of the object (object X1, object X2) detected by the position detection unit 3. Good.
  • the coordinates of the plurality of points may be used as the position information detected by the position detection unit 3.
  • the position detection unit 3 detects position information including depth information.
  • the detection device 1 includes a main body BD, and the imaging unit 2 and the position detection unit 3 are supported (fixed) on the main body BD.
  • the body portion BD (support member, fixing member) includes, for example, a body or a housing.
  • the body BD may hold (eg, house) at least one of the imaging unit 2 and at least one of the position detection units 3 or both.
  • the main body BD may hold (eg, house) at least a part of the information processing unit 4.
  • the first position Vp1 of the image pickup unit 2 and the second position Vp2 of the position detection unit 3 are provided on the main body BD.
  • the main body BD may not hold at least one of the image pickup unit 2, the position detection unit 3, and the information processing unit 4. At least one of the imaging unit 2, the position detection unit 3, and the information processing unit 4 may be provided separately from the main body BD. Further, the detection device 1 may not include the main body BD.
  • the target area AR is detected by the detection unit (imaging unit 2, position detection unit 3) from a single viewpoint where the detection device 1 is arranged. This viewpoint includes a first position Vp1, a second position Vp2, and a point where the image pickup unit 2 and the position detection unit 3 are arranged. Further, the detection units (the image pickup unit 2 and the position detection unit 3) are arranged according to the optical axis of the received light or the detection direction.
  • FIG. 2 is a diagram showing an example of the image capturing unit 2 and the position detecting unit 3 according to the first embodiment.
  • the image pickup unit 2 includes an optical system 5 and an image pickup element 6.
  • the optical system 5 is, for example, an imaging optical system or an imaging optical system.
  • the image sensor 6 includes, for example, a CMOS image sensor or a CCD image sensor.
  • the image sensor 6 has a plurality of pixels arranged two-dimensionally. The image sensor 6 images the target area AR via the optical system 5.
  • the image pickup unit 2 detects the light L1 (eg, visible light) in the first wavelength band.
  • the image capturing unit 2 outputs image data (for example, RGB data) including color information to the information processing unit 4 as texture information which is the image capturing result (detection result).
  • image data includes, for example, pixel data of each of the plurality of pixels.
  • the pixel data is, for example, data in which a red (R) pixel value, a green (G) pixel value, and a blue (B) pixel value are combined.
  • the position detection unit 3 detects depth information (distance, position information) from a predetermined point (eg, second position Vp2) to each point in the target area AR.
  • the position detection unit 3 includes, for example, a depth sensor, and as depth information (position information), the distance (distance measurement data) between the second position Vp2 (position of the position detection unit 3) and each point in the target area AR (distance measurement data) (example). , Depth, depth, depth).
  • the position information includes depth information, but may include point coordinates (eg, point group data described below) and information on lines or surfaces defined by a plurality of points (eg, surface information described below).
  • the position detection unit 3 includes an irradiation unit 7, an optical system 8, and an image sensor 9.
  • the irradiation unit 7 irradiates (eg, projects) the light L2 (eg, pattern light, irradiation light) in the second wavelength band on the target area AR.
  • the light L2 includes, for example, infrared light and has a different wavelength band from the light L1 detected by the imaging unit 2.
  • the optical system 8 is, for example, an imaging optical system or an imaging optical system.
  • the image sensor 9 includes, for example, a CMOS image sensor or a CCD image sensor.
  • the image sensor 9 has a plurality of pixels arranged two-dimensionally.
  • the image sensor 6 images the target area AR via the optical system 8.
  • the image sensor 9 detects the light L3 (infrared light, return light) emitted from the target area AR by the irradiation of the light L2.
  • the position detection unit 3 captures an image based on, for example, a pattern of the light L2 emitted from the irradiation unit 7 (eg, intensity distribution) and a pattern of the light L3 detected by the image sensor 9 (intensity distribution, captured image). The depth from the point on the target area AR corresponding to each pixel of the element 9 to each pixel of the image sensor 9 is detected.
  • the position detection unit 3 outputs to the information processing unit 4 a depth map (eg, depth image, depth information, position information) representing the depth distribution in the target area AR as the detection result.
  • the optical axis 5A of the optical system 5 of the image pickup unit 2 is different from the optical axis 8A of the optical system 8 of the position detection unit 3.
  • the visual field (first position Vp1, first visual field, imaging range, detection range) of the imaging unit 2 is different from the visual field (second position Vp2, second visual field, detection range) of the position detection unit 3. (For example, some areas of the field of view overlap and some do not).
  • the image pickup unit 2 may have the same optical axis as the position detection unit 3.
  • FIG. 3 is a diagram illustrating another example of the image capturing unit 2 and the position detecting unit 3 according to the first embodiment.
  • the image pickup unit 2 includes an optical system 5, a dichroic mirror 11, and an image pickup element 9.
  • the optical system 5 is shared by the image pickup unit 2 and the position detection unit 3.
  • the dichroic mirror 11 reflects the light L1 in the first wavelength band and transmits the light L3 in the second wavelength band different from the first wavelength band (light L1).
  • the image sensor 6 detects the light L1 reflected by the dichroic mirror 11 by imaging.
  • the image sensor 9 detects the light L3 transmitted through the dichroic mirror 11 by imaging.
  • the visual field of the image pickup unit 2 is substantially the same as the visual field of the position detection unit 3, for example.
  • the position detection unit 3 may be a device that detects depth information by the TOF (time of flight) method.
  • the position detection unit 3 may be a device that detects depth information by a method other than the TOF method.
  • the position detection unit 3 may be, for example, a device including a laser scanner (eg, laser range finder) and detecting depth information by laser scanning.
  • the position detection unit 3 may be, for example, a device that includes a phase difference sensor and that detects depth information by a phase difference method.
  • the position detection unit 3 may be, for example, a device that detects depth information by a DFD (depth from defocus) method.
  • the position detection unit 3 may be a device that detects depth information by triangulation using captured images captured from a plurality of positions by a stereo camera or the like. In this case, the position detection unit 3 may use the imaged image by the imager 2 as the imaged image from one position.
  • the position detection unit 3 may be a device that detects the depth information (position information) by combining two or more of the plurality of detection methods described above.
  • the position detection unit 3 may detect the depth information (position information) of the target area AR by a method other than the optical method (eg, scanning with ultrasonic waves).
  • the visual field of the image pickup unit 2 is different from the visual field of the position detection unit 3 in the case of the configuration of FIG. 2, for example.
  • the first detection range (first visual field, imaging range) by the imaging unit 2 is different from the second detection range (second visual field) by the position detection unit 3.
  • the texture by the imaging unit 2 is included in the target region AR.
  • FIG. 4 is a diagram showing an example of the positional relationship between the image capturing unit (texture detecting unit) 2 and the position detecting unit 3 and the data loss area according to the first embodiment.
  • the position detection unit 3 detects the optical axis (viewpoint, position) of the image pickup unit 2 when detecting.
  • the points based on the depth information may be arranged on the same vector. Therefore, the correspondence between each point and the texture information becomes unknown.
  • the texture information by the imaging unit 2 is included in the target area AR.
  • the data (eg, position information, depth information data) from the position detection unit 3 is acquired (detected), but the data (eg, image data, pixel data) from the image pickup unit 2 is acquired. This is an area that has not been acquired (detected) (including an area with a small amount of data even if data is obtained).
  • the data loss area AR1 includes, for example, an area behind the object X1 from the first position Vp1. Further, the data loss area AR1 includes, for example, an area (eg, rear area) excluding an area (eg, front area) that can be seen from the first position Vp1 in the surface area of the object X1.
  • FIG. 5 is a diagram showing a detection result of the captured image IM and the depth information according to the first embodiment.
  • symbol DM is a depth map (depth image, depth information, depth information, data of a plurality of depths) corresponding to the detection result of the position information.
  • the depth map DM is represented by, for example, image format data.
  • the depth map DM is stored in the storage unit 24 (see FIG. 1).
  • the pixel value of each pixel in the depth map DM represents, for example, the depth (distance) from the area in the real space corresponding to the pixel on the depth map DM to the position detection unit 3.
  • the depth map DM is represented in gray scale.
  • a relatively dark (low pixel value) area indicates that the distance from the position detection unit 3 is long (deep depth) as compared with a relatively bright (high pixel value) area. ..
  • the captured image IM is, for example, a full-color image.
  • Reference numeral AR2 is a data acquisition area corresponding to the object X1 on the captured image IM.
  • the data acquisition area AR2 includes the object X1 shown in the captured image IM.
  • Reference numeral AR3 is a data acquisition area corresponding to the object X2 on the captured image IM.
  • the data acquisition area AR3 includes the object X2 shown in the captured image IM.
  • each pixel belonging to the data loss area AR1 does not have RGB data.
  • the data loss area AR1 includes an area in which RGB data does not exist in the captured image IM and depth information (position information) exists in the depth map DM.
  • data eg, RGB data
  • depth information eg, measured value, detection
  • the area excluding the data loss area AR1 is the data acquisition area AR4.
  • data eg, RGB data
  • depth information eg, measurement value, detection result
  • the data acquisition area AR4 includes, for example, an area of the detection range (field of view, imaging range) of the imaging unit 2 that overlaps with the detection range (field of view) of the position detection unit 3.
  • the data acquisition area AR4 includes an area in which the imaged image data (for example, RGB data) is obtained from the imaging unit 2 and the depth information (for example, measured value, detection result) is not obtained from the position detection unit 3. .
  • the code AR5 is a data acquisition area corresponding to the object X1 (see FIG. 1).
  • Reference numeral AR6 is a data acquisition area corresponding to the object X2 (see FIG. 1).
  • the depth information (positional information) of the surface of the object X1 exists in the data acquisition area AR5 in the depth map DM, the shadow of the object X1 when viewed from the position of the position detection unit 3 (the second position Vp2 in FIG. 1). There is no depth information (positional information) of the area corresponding to (behind).
  • the data loss area AR1 may be different due to the difference in illumination (eg, illuminance, illumination angle, etc.) or the position shift even if the image pickup unit 2 and the position detection unit 3 have the same position as shown in FIG. May exist.
  • the detection range (imaging range) of the imaging unit 2 is illuminated by illumination light (eg, visible light) such as natural light, ambient light, and light of an interior light.
  • the detection range of the position detection unit 3 is illuminated by, for example, light (eg, infrared light) emitted from the irradiation unit 7.
  • the area not illuminated in the detection range of the imaging unit 2 (for example, the area behind the object or a part of the object) is a data-missing area. Become AR1.
  • the data loss area AR1 may exist depending on the wavelength difference between the light (eg, visible light) detected by the imaging unit 2 and the light (eg, infrared light) detected by the position detection unit 3.
  • the optical property (eg, reflectance, transmittance, absorptance) in the target area AR may differ depending on the wavelength band of the light to be detected, and thus the data loss area AR1 may occur.
  • a data loss region AR1 where data can be obtained from the position detection unit 3 but data is hard to obtain from the imaging unit 2 is obtained.
  • the information processing unit 4 (information processing device) according to the embodiment, based on the depth information (positional information) of each point or each portion in the data loss area AR1 as described above, the data loss area. Specific texture information is added to AR1.
  • the specific texture information added by the information processing unit 4 is used for modeling the data loss area AR1, for example.
  • the information processing unit 4 is communicably connected to each of the imaging unit 2 and the position detection unit 3.
  • the imaging unit 2 outputs the data of the captured image IM (see FIG. 5) of the target area AR as the imaging result (detection result) to the information processing unit 4 as texture information, for example.
  • the position detection unit 3 outputs, for example, the depth map DM (see FIG.
  • the information processing section 4 adds specific texture information to the data loss area AR1 based on the data of the captured image IM output from the image capturing section 2 and the depth map DM output from the position detecting section 3.
  • the information processing unit 4 includes a region detection unit 21, a model information generation unit 22, an addition unit 23, and a storage unit 24.
  • the area detection unit 21 detects (eg, specifies, extracts) the data acquisition area AR4 and the data loss area AR1 based on the captured image IM by the imaging unit 2 and the detection result of the position detection unit 3.
  • the process of detecting (eg, identifying and extracting) the data acquisition region AR4 and the data loss region AR1 will be appropriately referred to as a region detection process.
  • the area detection unit 21 associates the depth information (position information) on the depth map DM with the position information on the captured image IM based on the relative position between the imaging unit 2 and the position detection unit 3, and the data loss area. Detect AR1. For example, the area detection unit 21 performs relative movement between the area on the captured image IM and the area on the depth map DM by homography conversion (projection conversion, perspective conversion) based on the relative position of the imaging unit 2 and the position detection unit 3. Identify the location.
  • the area detection unit 21 is the closest point to the first position (Vp1) among the points whose distance to the line connecting the point of the target area AR and the first position (Vp1) is not more than the threshold value.
  • the other points are discriminated as the points belonging to the data loss area AR1.
  • the area detection unit 21 detects the data loss area AR1 based on the distance from the second position (Vp2) detected by the position detection unit 3 as position information to each point of the target area AR.
  • the area detection unit 21 detects the data loss area AR1 based on the distance (coordinates) from the second position (Vp2) detected by the position detection unit 3 as depth information (position information) to each point in the target area AR. ..
  • the area detection unit 21 determines, for each area (eg, one or a plurality of positions) on the depth map DM, whether or not a corresponding area exists on the captured image IM.
  • the area detection unit 21 includes the area (eg, one or a plurality of positions) selected from the depth map DM in the data acquisition area AR5 when the corresponding area exists in the captured image IM. To determine.
  • the area detection unit 21 includes the area (eg, one or a plurality of positions) selected from the depth map DM in the data loss area AR1 when the corresponding area does not exist in the captured image IM. It is determined that In the depth map DM, the data acquisition area AR7 is an area detected by the position detection unit 3 as depth information (position information) from the second position (Vp2), and includes an area that does not exist on the captured image IM.
  • the model information generation unit 22 generates model information using the imaging result of the imaging unit 2 and the detection result of the position detection unit 3.
  • different single positions eg, axes at which the object X1 is detected (eg, optical axis) are different from each other, axes at which the object X1 is detected (eg, , The optical axes are not parallel to each other) (based on the detection results of the detection units of the detection device 1 arranged at different single viewpoints)
  • the model information generation unit 22 generates As for the model information, a part of the data (depth information, texture information) of the entire circumference of the object X1 is missing.
  • unnatural texture information is added to the data-missing area AR1 when visualizing (eg, rendering processing) model information in which such a part is missing, the entire model information becomes unnatural or looks good. It becomes worse and lowers the utility value.
  • specific texture information predetermined texture information
  • the model information generation unit 22 colors (or encloses with a line) the portion of the specified data loss area AR1 or the boundary of the portion, or displays gradation.
  • the model information for visualizing (eg, rendering processing) by emphasizing the data loss area AR1 may be generated.
  • the model information generation unit 22 performs, for example, computer graphic processing (CG processing) on at least a part of the object in the target area AR, and calculates model information (eg, three-dimensional CG model data).
  • the model information includes at least one of shape information and texture information of the object in the target area AR.
  • the model information generation unit 22 uses the shape information in the data loss area AR1 based on the position information detected by the position detection unit 3, the texture information based on the imaging result of the imaging unit 2, and the addition unit 23 described later in the data loss area AR1. Model information is generated by associating with the added specific texture information.
  • the model information generation unit 22 executes point cloud data processing for calculating point cloud data as shape information.
  • the point cloud data includes three-dimensional coordinates of a plurality of points on the object (eg, the object X1 and the object X2) in the target area AR. Further, the model information generation unit 22 may calculate the point cloud data in the data acquisition area AR7 (see FIG. 5) using the detection result of the position detection unit 3 (eg, depth measurement value).
  • the model information generation unit 22 may calculate the point cloud data for a part of the data acquisition area AR7.
  • the point cloud data other than a part of the data acquisition area AR7 may be calculated by a processing unit (eg, second model information generation unit) different from the model information generation unit 22.
  • the point cloud data of the entire data acquisition area AR7 may be acquired by combining the point cloud data calculated by the model information generation unit 22 and the point cloud data calculated by the second model information generation unit.
  • the model information generation unit 22 reads out the data of the depth map DM from the storage unit 24, and calculates the point cloud data by perspective transformation from the depth map DM to a plane image.
  • the model information generation unit 22 may include a first pixel (first point on the object) corresponding to predetermined depth information and a second pixel (second point on the object) adjacent to the first pixel. ) And are connected. Further, the model information generation unit 22 similarly connects the second pixel and the third pixel for the third pixel (third point on the object) adjacent to the second pixel.
  • the model information generation unit 22 calculates the point cloud data having the predetermined depth information based on the pixels by sequentially connecting the adjacent pixels corresponding to the predetermined depth information. Then, the model information generation unit 22 stores the calculated point cloud data in the storage unit 24.
  • the model information generation unit 22 also executes surface processing for calculating surface information as shape information.
  • the surface information includes at least one of polygon data, vector data, and draw data, for example.
  • the surface information includes coordinates of a plurality of points on the surface of the object and connection information between the plurality of points.
  • the connection information (eg, attribute information) includes, for example, information that associates points at both ends of a line corresponding to a ridgeline (eg, edge) of the object surface with each other. Further, the connection information includes, for example, information that associates a plurality of lines corresponding to the contour of the object surface (surface) with each other.
  • the model information generation unit 22 estimates a surface between a point selected from a plurality of points included in the point cloud data and a point in the vicinity thereof in the surface processing. Further, the model information generation unit 22 converts the point cloud data into polygon data having plane information between the points in the surface processing. The model information generation unit 22 converts the point cloud data into polygon data, for example, by an algorithm using the least square method. This algorithm may be, for example, an algorithm published in the point cloud processing library. The model information generation unit 22 stores the calculated surface information in the storage unit 24, for example.
  • the model information generation unit 22 generates texture information of the surface defined by the three-dimensional point coordinates and its related information.
  • the texture information includes, for example, at least one information of characters and figures on the surface of an object, a pattern, a texture, a pattern, information defining irregularities, a specific image, and a color (eg, chromatic color, achromatic color).
  • the model information generation unit 22 stores the generated texture information in the storage unit 24.
  • the model information generation unit 22 may generate image spatial information (eg, lighting conditions, light source information) as model information.
  • the light source information is, for example, the position of a light source that emits illumination light with reference to an object (object), the direction in which light is emitted from this light source to the object (irradiation direction), the wavelength of light emitted from this light source, And information on at least one item of the light source types.
  • the model information generation unit 22 may calculate the light source information using, for example, a model assuming Lambertian reflection, a model including Albedo estimation, or the like.
  • the model information generation unit 22 stores at least a part of the generated (for example, calculated) model information in the storage unit 24. Note that the model information generation unit 22 does not have to generate a part of the model information described above.
  • the adding unit 23 adds specific texture information to the data loss area AR1 detected by the area detecting unit 21.
  • the adding unit 23 is a supplementing unit that supplements the data loss region AR1 with specific texture information, or a supplementing unit that supplements the data loss region AR1 with specific texture information.
  • In the data loss area AR1 in the depth information (position information) of each point detected by the position detection unit 3, when a plurality of points are present on the line starting from the first position (Vp1) (see FIG. 4), It includes a plurality of points except the closest point from one position (Vp1).
  • the adding unit 23 adds specific texture information to an area defined by a plurality of points included in the data loss area AR1.
  • the texture information is attached only to the surface formed at the closest point from the RGB viewpoint based on the depth information, and to the other surfaces, Paste specific texture information (eg, white, gray) of a predetermined pattern.
  • Paste specific texture information eg, white, gray
  • the adding unit 23 executes a texture adding process for adding specific texture information to the data loss area AR1.
  • the specific texture information is different from the texture information of the object (for example, the object X1) detected by the imaging unit 2.
  • the specific texture information may be predetermined specific texture information, or may be generated by the addition unit 23 according to the data loss area AR1.
  • the predetermined specific texture information may be based on the information stored in the storage unit 24 before the imaging unit 2 images the object.
  • the specific texture information may be selected by the adding unit 23 from one or more candidates of the specific texture information stored in the storage unit 24.
  • the specific texture information may be the same common texture information that is predetermined for a plurality of data loss areas. By using the specific texture information stored in the storage unit 24, the load required for the texture addition processing by the addition unit 23 can be reduced.
  • the specific texture information includes any one of gray (eg, 18% gray in gray scale), white, black, a single color, or a combination of two or more.
  • the specific texture information may be a color other than white, for example, when the texture (RGB data) of the object X1 is white.
  • the specific texture information emphasizes the boundary between the front object (eg, object X1) and the rear object (eg, object X2) (makes the object X1 clear with respect to the object X2). It may be a color, a pattern, or the like.
  • a gradation may be set for the specific texture information. When gradation is set for specific texture information, for example, the side closer to the object (eg, object X1) may be set darker, or the side far from the object (eg, object X1) may be set darker. May be done.
  • the adding unit 23 may generate the specific texture information such that the points in the point cloud data where the RGB data exist are complemented by gradation. Further, the adding unit 23, based on the entire RGB image of the captured image IM from the first position Vp1 by the image capturing unit 2 or the information of the object X2 obtained by removing the information of the object X1 from the RGB image, the brightness and the saturation. Specific texture information (eg, texture information of a single color) specified by taking one of the hues or an average of the plurality of hues may be generated.
  • Specific texture information eg, texture information of a single color specified by taking one of the hues or an average of the plurality of hues may be generated.
  • the adding unit 23 based on the information of the object X2, which is obtained by removing the information of the object X1 from the RGB image of the captured image IM from the first position Vp1, includes points near the data loss area AR1 (RGB among the point cloud data.
  • the specific texture information may be generated using a color (for example, RGB data) of a point (where data exists).
  • FIG. 6 is a flowchart showing the detection method according to the first embodiment.
  • the imaging unit 2 images the target area AR including the object X1.
  • the position detection unit 3 detects depth information (position information) from a predetermined point to each point in the target area AR.
  • the process of step S2 may be executed before the process of step S1. Further, the process of step S2 may be executed in parallel with at least a part of the process of step S1.
  • step S3 the area detection unit 21 executes area detection processing for detecting the data loss area AR1.
  • the area detection unit 21 detects the data loss area AR1 based on the imaging result (detection result) of the imaging unit 2 obtained in step S1 and the detection result of the position detection unit 3 obtained in step S2.
  • the area detection unit 21 may execute area detection processing for detecting the data acquisition area AR4 and the data loss area AR1.
  • step S4 the adding unit 23 adds specific texture information to the data loss area AR1.
  • the specific texture information is different from the texture of the object (for example, the objects X1 and X2).
  • the adding unit 23 selects, for example, specific texture information to be added to the data loss area AR1 from candidates of the specific texture information stored in the storage unit 24.
  • the addition unit 23 may read predetermined specific texture information from the storage unit 24 to specify the specific texture information for the data loss area AR1, or the data may be acquired from the RGB data of the data acquisition area AR4.
  • Specific texture information to be given to the loss area AR1 may be determined and selected from a plurality of specific texture information candidates stored in the storage unit 24.
  • step S5 the model information generation unit 22 generates model information.
  • step S5 for example, the processes of steps S6 to S9 are executed.
  • step S6 the model information generation unit 22 generates point cloud data as model information.
  • step S7 the model information generation unit 22 uses the point cloud data generated in step S6 to generate surface information as model information.
  • step S8 the model information generating unit 22 uses the captured image obtained from the image capturing unit 2 to generate texture information.
  • step S9 the model information generation unit 22 generates model information in which the shape information such as the point cloud data, the texture information and the specific texture information are associated with each other.
  • FIG. 7 is a flowchart showing the area detection processing according to the first embodiment.
  • the area detection unit 21 (see FIG. 1) associates the position on the depth map DM with the position on the captured image IM.
  • the region detection unit 21 selects a region (appropriately referred to as a first region) from the depth map DM.
  • the area detection unit 21 determines whether or not an area corresponding to the first area (hereinafter, referred to as a second area) is in the captured image IM.
  • step S14 determines whether the RGB data of the second area is NAN. To do.
  • the fact that the RGB data is “NAN” means that the RGB data does not exist (Not A Number).
  • step S14 determines that the RGB data of the second area is not NAN (has a significant value) (step S14; No)
  • step S13 determines in step S13 that the second area corresponding to the first area does not exist in the captured image IM (step S13; No), or in step S14, the RGB data of the second area is NAN. If it is determined (step S14; Yes), the first area is registered as an area belonging to the data loss area AR1.
  • the area detection unit 21 determines whether or not to change the selection of the first area in step S17.
  • the area detection unit 21 determines that, for example, some of the areas scheduled in the depth map DM have not been detected (step S15 or step S16) whether they belong to the data acquisition area AR4 or the data loss area AR1. In this case, it is determined to change the selection of the first area (step S17; Yes).
  • the area detection unit 21 returns to the processing of step S12, selects the next area (first area) from the depth map DM, and the subsequent processing. repeat.
  • step S17 determines in step S17 that the detection of whether all the areas scheduled in the depth map DM belong to the data acquisition area AR4 or the data loss area AR1 (step S15 or step S16) is completed Then, it is determined that the selection of the first area is not changed (step S17; No).
  • the storage unit 24 stores information for distinguishing the data loss area AR1 and the data acquisition area AR4. Then, the series of processing is completed.
  • the information for distinguishing between the data loss area AR1 and the data acquisition area AR4 is represented by “0” indicating that it belongs to the data loss area AR1 for each depth information (positional information) of the depth map DM, and is stored in the data acquisition area AR4. It is flag data that represents belonging to "1".
  • FIG. 8A is a diagram showing an example in which the model information according to the first embodiment is displayed
  • FIG. 8B is a diagram showing another example in which the model information according to the first embodiment is displayed.
  • FIGS. 8A and 8B respectively show examples in which the model information MD1 and MD2 are displayed as CG images on the screen of the display unit.
  • the model information generating unit 22 causes the object X1 to be included in the data acquisition area AR2 of the shape information, as illustrated in FIG. 8A.
  • the object X2 is pasted to the data acquisition area AR3
  • gray specific texture information is pasted to the data loss area AR1 to generate model information MD1.
  • the model information MD1 for example, when the pattern, shape, etc. of the object X1 are complex, the data loss area AR1 becomes gray, so the pattern, shape, etc. of the object X1 are emphasized, and a sense of discomfort (unnaturalness of the object X1) is generated. Can be reduced.
  • the model information generating unit 22 causes the model information generating unit 22 to include the data acquisition area AR2 in the shape information, as shown in FIG. 8B.
  • the texture (RGB data) of the object X1 is attached to the data acquisition area AR3
  • the texture (RGB data) of the object X2 is attached to the data acquisition area AR3
  • specific texture information eg, gray gradation of gray
  • model information MD2 for example, when the pattern, shape, etc.
  • the data loss region AR1 has a gradation that becomes lighter as it moves away from the object X1, so that the pattern, shape, etc. of the object X1 are emphasized, and a sense of discomfort appears. (Unnaturalness of the object X1) can be reduced.
  • the data loss area AR1 of FIG. 1 is an area that can be detected by the position detection unit 3 (second position Vp2).
  • the predetermined texture information is not added to the data loss area AR1.
  • the RGB data of the data loss area AR1 is lacking, and the information processing unit 4 may associate the texture information using the RGB data of another point with the shape information in the data loss area AR1.
  • the rendering process is executed based on such model information, for example, even if the shape information of the object X2 is obtained in the data loss area AR1, RGB of the object X1 (that is, at other points) is acquired in the data loss area AR1.
  • Data may be pasted and a ghost (see ghost G in FIG. 9) may be displayed behind an object (eg, object X1).
  • the detection apparatus 1 adds specific texture information to the data loss area AR1, it is possible to generate model information by associating the shape information of the data loss area AR1 with the specific texture information, for example. ..
  • model information For example, when a rendering process is executed using this model information, a specific texture is expressed in the data loss area AR1, and the pattern, shape, etc. of the object (eg, the object X1) are emphasized, which causes a sense of discomfort (unnaturalness of the object. ) Can be reduced.
  • FIG. 9 shows an example in which the model information MD1 and the model information MD are displayed as CG images on the screen of the display unit.
  • the model information MD1 in which the specific texture information is added to the data loss area AR1 according to the present embodiment is displayed on the left side of the screen D, and the specific texture in the data loss area AR1.
  • the model information MD to which no information is added is displayed on the right side of the screen D, and the CG images of the model information MD1 and the model information MD are displayed side by side on one screen D.
  • the texture of the surface of the object X1 is pasted on the back of the object X1, and a ghost G is generated from the back of the object X1 to the object X2.
  • the ghost G may occur continuously from the object X1 to the object X2, for example. Therefore, the object X1 and the object X2 are connected in a row, which causes a feeling of strangeness as the model information of the object X1.
  • a gray texture based on specific texture information is pasted behind the object X1. Therefore, the pattern, shape, etc. of the object X1 are emphasized, or it is recognized that the object X1 is separated from the object X2, and the discomfort can be reduced as the model information of the object X1.
  • step S4 may add predetermined texture information to the data loss area AR1 shown in step S4 in the generation of model information in step S5.
  • the information processing unit 4 may be provided as a device (eg, information processing device) different from the detection device 1.
  • the information processing unit 4 (information processing device) may be provided separately from one or both of the image pickup unit 2 and the position detection unit 3.
  • the area detection unit 21 may be provided in the image pickup unit 2 and the position detection unit 3.
  • the information processing unit 4 (information processing device) may not include the model information generation unit 22.
  • the model information generation unit 22 may be provided in a device different from the information processing unit 4.
  • the information processing unit 4 may include, for example, a cloud computer.
  • the information processing unit 4 may be connected to each of the imaging unit 2 and the position detection unit 3 via, for example, the Internet line.
  • the information processing unit 4 stores information obtained from the image pickup result of the image pickup unit 2 (eg, imaged image data) and information obtained from the detection result of the position detection unit 3 (eg, depth map, point cloud data). You may acquire via an internet line and may perform the above-mentioned process based on the acquired data.
  • the information processing unit 4 may output the processing result (eg, model information) to an external device (eg, display device, server, other computer system) via the Internet line.
  • an external device eg, display device, server, other computer system
  • FIG. 10 is a diagram illustrating an example of the detection device 1A according to the second embodiment.
  • the detection device 1A includes a texture estimation unit 25.
  • the texture estimating unit 25 estimates the specific texture information added by the adding unit 23 to the data loss area AR1.
  • the texture estimation unit 25 executes, for example, a texture estimation process of estimating specific texture information to be added to the data loss area AR1 based on the information (eg, RGB data) acquired by the imaging unit 2.
  • specific texture information to be added to the data loss area AR1 is estimated from the texture information of the object (eg, the objects X1 and X2) acquired by the imaging unit 2.
  • the texture estimation unit 25 has a surface (eg, plane, curved surface) having continuity between the position information of the data acquisition area AR4 and the depth information (position information) acquired in the data loss area AR1. , Sphere) is extracted (specified). Since texture information is obtained in the data acquisition area AR4 among the surfaces having continuity, specific texture information in the data loss area AR1 is estimated so as to be continuous with this texture.
  • the specific texture information estimated by the texture estimating unit 25 has, for example, the same color or pattern as the texture information acquired in the data acquisition area AR4, and the data acquisition when added to the data loss area AR1. It is continuous with the texture information of the area AR4.
  • the texture estimation unit 25 calculates an average color in the RGB data of the object (eg, the object X1) in the texture information of the data acquisition area AR4.
  • the texture estimating unit 25 determines a color having a relationship of emphasizing (embossing) the average color of this object. This color determination may be performed using, for example, at least one of brightness, saturation, and chromaticity, or a plurality of patterns may be stored in the storage unit 24 in advance, and the texture estimation unit 25 may store the patterns. You may select from the pattern memorize
  • the texture estimation unit 25 estimates specific texture information to which the determined color is added.
  • the texture estimation unit 25 when there are a plurality of objects (eg, objects X1 and X2), texture information (RGB data) of the object X1 and texture information (RGB) of the object X2. Data) may be used to estimate specific texture information that specifies a color change or a pattern change such that a color or a pattern continuously changes between the object X1 and the object X2.
  • objects eg, objects X1 and X2
  • RGB data texture information of the object X1
  • RGB texture information of the object X2.
  • Data may be used to estimate specific texture information that specifies a color change or a pattern change such that a color or a pattern continuously changes between the object X1 and the object X2.
  • the texture estimation unit 25 may estimate a plurality of specific texture information and allow the user to select from a plurality of candidates for the specific texture information.
  • the texture estimation unit 25 may switchably display a plurality of specific texture information candidates on the screen of the display unit.
  • a state in which a specific texture information candidate is added to the data loss area AR1 may be displayed. The user may select desired (suitable, non-comfortable, and less unnatural) specific texture information in the data loss area AR1 while looking at the screen of the display unit.
  • FIG. 11 is a flowchart showing the detection method according to the second embodiment.
  • the imaging unit 2 images the target area AR including the object X1.
  • the position detection unit 3 detects depth information (position information) from a predetermined point to each point in the target area AR.
  • the process of step S2 may be executed before the process of step S1. Further, the process of step S2 may be executed in parallel with at least a part of the process of step S1.
  • step S3 the area detection unit 21 executes area detection processing for detecting the data loss area AR1.
  • the area detection unit 21 detects the data loss area AR1 based on the imaging result (detection result) of the imaging unit 2 obtained in step S1 and the detection result of the position detection unit 3 obtained in step S2.
  • the area detection unit 21 may execute area detection processing for detecting the data acquisition area AR4 and the data loss area AR1.
  • step S21 the texture estimation unit 25 estimates specific texture information to be added to the data loss area AR1.
  • the texture estimation unit 25 executes texture estimation processing for estimating texture information added to the data loss area AR1.
  • the texture estimation unit 25 may store the estimated specific texture information in the storage unit 24. Further, in step S21, the texture estimation unit 25 may display the estimated specific texture information on the screen of the display unit and ask the user whether or not the specific texture information can be used. In this case, the user can determine whether or not the specific texture information can be used by looking at the specific texture information displayed on the screen of the display unit.
  • step S22 the adding unit 23 adds the specific texture information estimated by the texture estimating unit 25 to the data loss area AR1.
  • the model information generation unit 22 generates model information.
  • step S5 the processes of steps S6 to S9 are executed.
  • step S6 the model information generation unit 22 generates point cloud data as model information.
  • step S7 the model information generation unit 22 uses the point cloud data generated in step S6 to generate surface information as model information.
  • step S8 the model information generating unit 22 uses the captured image obtained from the image capturing unit 2 to generate texture information.
  • step S9 the model information generation unit 22 generates model information in which the shape information such as the point cloud data, the texture information and the specific texture information are associated with each other.
  • a 3D model (CG image) in which specific texture information is pasted in the data loss area AR1 is generated (see FIGS. 8A and 8B).
  • a sense of discomfort is reduced as compared with a 3D model in which an inappropriate texture (eg, ghost G shown in FIG. 9) is attached to the data loss area AR1.
  • the specific texture information is estimated by the texture estimating unit 25, so that specific texture information matching the object to be modeled (eg, the object X1) can be added to the data loss area AR1. It is possible to further reduce the discomfort (unnaturalness).
  • FIG. 12 is a diagram illustrating an example of the detection device 1B according to the third embodiment.
  • the detection device 1B includes two detection units, a detection unit including the imaging unit 2A and the position detection unit 3A, and a detection unit including the imaging unit 2B and the position detection unit 3B.
  • the image pickup unit 2A and the position detection unit 3A are set to positions Vp1A and Vp1B (not shown), and the image pickup unit 2B and the position detection unit 3B are set to positions Vp2A and Vp2B (not shown) different from the positions Vp1A and Vp1B, respectively. It is set.
  • the case where the number of detection units is two is shown, but the number of detection units may be three or more.
  • the information processing unit 4 includes an area detection unit 21, a model information generation unit 22, an addition unit 23, a storage unit 24, and a model information integration unit (model integration unit) 26.
  • the model information generation unit 22 generates the first shape information (first model information) of the object (for example, the object X1) from the position information of the target area AR detected by the position detection unit 3A.
  • the model information generation unit 22 generates point cloud data from the depth information (position information, first depth map) detected by the position detection unit 3A, and uses the point cloud data to generate the first shape information (eg, the first shape information). Surface information).
  • the model information generation unit 22 may generate the first texture information using the captured image captured by the imaging unit 2A, and may generate the first shape information associated with the first texture information.
  • the model information generation unit 22 also generates second shape information (second model information) of the object (for example, the object X1) from the position information of the target area AR detected by the position detection unit 3B.
  • the model information generation unit 22 generates point cloud data from the depth information (position information, second depth map) detected by the position detection unit 3B, and uses this point cloud data to generate the second shape information (eg, the second shape information). Surface information).
  • the model information generation unit 22 may generate the second texture information using the captured image captured by the imaging unit 2B, and may generate the second shape information associated with the second texture information.
  • the model information integration unit 26 executes model information integration processing that integrates the first shape information and the second shape information.
  • the model information integration processing for example, the first shape information generated based on the result (first detection result) of detecting the object X1 from the positions Vp1A and Vp1B and the result of detecting the object X1 from the positions Vp2A and Vp2B (Integrated shape information (integrated model information) is generated by integrating with the second shape information generated based on the second detection result).
  • the model information integration unit 26 acquires the third shape information (third model information) generated from the positions (third position) other than the image pickup units 2A and 2B and the position detection units 3A and 3B to obtain the first shape.
  • One or both of the information and the second shape information may be integrated to generate the integrated shape information.
  • the model information integration unit 26 associates, for example, a first feature point of the shape indicated by the first shape information with a second feature point of the shape indicated by the second shape information, to obtain the first shape information,
  • the second shape information is integrated.
  • the first feature point is a portion of the shape indicated by the first shape information, which is distinguishable from other portions. For example, a portion defined as a surface in the surface information can be distinguished from other surfaces by the shape of the outer circumference thereof.
  • the second feature point is a portion of the shape indicated by the second shape information, which is distinguishable from other portions.
  • the model information integration unit 26 detects the first feature point using at least one of the first shape information and the first texture information associated with the first shape information, and detects the position of the first feature point and its position. First feature point data indicating the feature amount (first feature amount) of the feature point is calculated.
  • the model information integration unit 26 stores, for example, the first feature point data in the storage unit 24 as information of one item of the first shape information.
  • the model information integration unit 26 detects the second feature point using at least one of the second shape information and the second texture information associated with the second shape information, and detects the position of the second feature point, for example.
  • second feature point data indicating the feature amount (second feature amount) of the feature point.
  • the model information integration unit 26 stores the second feature point data in the storage unit 24 as information of one item of the second shape information, for example.
  • the model information integration unit 26 calculates feature points and feature amounts by, for example, the SIFT (Scale-Invariant Feature Transform) method or the SURF (Speeded Up Robust Features) method.
  • the above-mentioned feature point data (eg, first feature point data, second feature point data) is data including at least the feature amount of the feature point.
  • the model information integration unit 26 matches and integrates the first feature point data having the first feature amount of the first shape information and the second feature point data having the second feature amount of the second shape information, and integrating the third feature point data.
  • Integrated shape information including feature point data is calculated.
  • the third feature point data is data obtained by matching the first feature point data (eg, first feature amount) and the second feature point data (eg, second feature amount).
  • the third feature point data is, for example, a data in a wider range than the first feature point and the second feature point, including a portion of the object X1 where the first feature point data and the second feature point data overlap.
  • the shape indicated by the integrated shape information may be a partial model showing a part of the object X1.
  • the image pickup units 2A and 2B and the position detection units 3A and 3B perform detection from their respective positions.
  • the integrated shape information generated by the model information generation unit 22 is one perimeter of the object X1. Part data (position information, texture information) is missing.
  • the integrated shape information is information obtained by integrating the first shape information and the second shape information, and the first texture information associated with the first shape information and the second texture information associated with the second shape information. Integrated texture information obtained by integrating and may be associated.
  • the model information generation unit 22 stores the calculated integrated shape information in the storage unit 24.
  • the area detection unit 21 detects the data loss area AR1 based on the imaged image captured by the imager 2A and the imaged image captured by the imager 2B (or the integrated texture information described above) and the integrated shape information described above (eg, identification, Extract.
  • the data loss area AR1 is an area in which the shape information (depth information, position information) of the object (eg, the object X1) is acquired (detected) in the integrated shape information, but the texture information is not acquired (detected). is there.
  • the data loss area AR1 is smaller than the data loss area obtained based on the detection results of the image pickup section 2A and the position detection section 3A, and smaller than the data loss area obtained based on the detection results of the image pickup section 2B and the position detection section 3B. ..
  • the adding unit 23 adds specific texture information to the data loss area AR1 detected by the area detecting unit 21.
  • the specific texture information added to the data loss area AR1 is different from the texture information of the object (for example, the object X1) detected by the imaging units 2A and 2B.
  • the specific texture information may be predetermined specific texture information or may be specific texture information estimated according to the data loss area AR1.
  • the model information generation unit 22 generates first texture information based on the imaging result of the imaging unit 2A and second texture information based on the imaging result of the imaging unit 2B. If the integrated texture information described above is generated when generating the integrated shape information, the integrated texture information may be used.
  • the model information generation unit 22 calculates model information (eg, three-dimensional CG model data).
  • the model information includes at least one of shape information and texture information of the object in the target area AR.
  • the model information generation unit 22 stores the calculated model information in the storage unit 24.
  • FIG. 13 is a flowchart showing the detection method according to the third embodiment.
  • the imaging units 2A and 2B respectively image the target areas AR including the object X1.
  • the position detectors 3A and 3B detect the depth information (position information) of each point from the predetermined point to the target area AR.
  • the process of step S2 may be executed before the process of step S1. Further, the process of step S2 may be executed in parallel with at least a part of the process of step S1.
  • step S31 the model information generation unit 22 generates the first shape information based on the depth information (position information) detected by the position detection unit 3A. Further, in step S31, the model information generation unit 22 generates the second shape information based on the position information detected by the position detection unit 3B. In step S31, for example, the processes of steps S6 and S7 are executed. In step S6, the model information generating unit 22 generates the first point cloud data as the first shape information and the second point cloud data as the second shape information. In step S7, the model information generation unit 22 generates the first surface information as the first shape information using the first point cloud data generated in step S6, and the second shape using the second point cloud data. The second surface information is generated as information.
  • the model information integration unit 26 executes a model information integration process that integrates the first shape information and the second shape information.
  • the model information integration unit 26 integrates the first shape information (first surface information) and the second shape information (second surface information) to generate integrated shape information.
  • the model information integration unit 26 may generate integrated texture information by integrating the first texture information based on the captured image of the imaging unit 2A and the second texture information based on the captured image of the imaging unit 2B.
  • the area detecting unit 21 detects the data loss area AR1 based on the image captured by the image capturing unit 2A and the image captured by the image capturing unit 2B (or the integrated texture information) and the integrated shape information.
  • step S33 the area detection unit 21 executes area detection processing for detecting the data loss area AR1.
  • the area detection unit 21 is based on the captured images (or the integrated texture information described above) of the imaging units 2A and 2B obtained in step S1 and the detection results of the position detection units 3A and 3B obtained in step S2. Then, the data loss area AR1 is detected.
  • step S34 the adding unit 23 adds specific texture information to the data loss area AR1.
  • step S35 the model information generation unit 22 generates model information.
  • step S35 for example, the processes of steps S8 and S9 are executed.
  • step S8 the model information generation unit 22 generates texture information using the picked-up images obtained from the image pickup units 2A and 2B, respectively. If integrated texture information is generated in step S32, the integrated texture information is used.
  • step S9 the model information generation unit 22 generates model information in which the integrated shape information is associated with the texture information and the specific texture information.
  • a 3D model (CG image) in which specific texture information is pasted in the data loss area AR1 is generated (see FIGS. 8A and 8B).
  • the specific texture information is added to the data loss area AR1. By doing so, the sense of discomfort (unnaturalness of the object) can be reduced.
  • the position detection units 3A and 3B detect the depth information (distance, position information) of the data loss area AR1, but the shape information of the data loss area AR1 (eg, coordinates of points on the object surface, Point cloud data) may be estimated.
  • the information processing unit 4 information processing device
  • the information processing section 4 may be connected to each of the image pickup sections 2A and 2B and the position detection sections 3A and 3B via, for example, the Internet line.
  • the information processing unit 4 includes information (eg, captured image data) obtained from the imaging results of the imaging units 2A and 2B and information (eg, depth map, point cloud data) obtained from the detection results of the position detecting units 3A and 3B. ) And are acquired via an internet line, and the above-mentioned processing may be executed based on the acquired data.
  • information eg, captured image data
  • information eg, depth map, point cloud data
  • FIG. 14 is a diagram illustrating an example of the detection device 1C according to the fourth embodiment.
  • the detection device 1C includes an accuracy information setting unit (accuracy information generation unit) 27.
  • the accuracy information setting unit 27 sets accuracy information regarding the accuracy of the texture of each point whose position information is acquired by the position detection unit 3 in the data acquisition area AR7 (see FIG. 5).
  • the accuracy information setting unit 27 executes accuracy setting processing for setting accuracy information regarding the accuracy of a binary texture for each point for which depth information (position information) is acquired.
  • the accuracy setting process for example, when represented by binary accuracy information, the accuracy of the point for which the texture is obtained among the points for which the depth information (positional information) is acquired is set to 1, and the texture is not obtained.
  • the accuracy of the points is set to 0, and the accuracy information is set for all or some of the points for which position information is acquired.
  • the accuracy is represented by, for example, a numerical value in a predetermined range (eg, 0 or more and 1 or less, 0% or more and 100% or less).
  • the accuracy indicates, for example, that the higher the numerical value, the higher the reliability of the information (the information is likely).
  • the number of accuracy gradations may be three or more (three values or more).
  • the accuracy information setting unit 27 sets each point for which depth information (positional information) is obtained in the data loss area AR1 as accuracy information with an accuracy of 0.
  • the accuracy information setting unit 27 sets each point for which the depth information (positional information) is obtained excluding the data loss area AR1 as the accuracy information of accuracy 1. Further, the accuracy information setting unit 27 may set accuracy information with an accuracy of 0.5 with respect to the point that the specific texture information is added to the data loss area AR1 by the adding unit 23.
  • the accuracy information setting unit 27 stores the generated accuracy information in the storage unit 24.
  • the model information generation unit 22 may generate the accuracy map of the object (for example, the object X1) based on the accuracy information of each point set by the accuracy information setting unit 27.
  • the accuracy map may be, for example, a form in which the degree of accuracy is represented by shading for each point of the model information (eg, shape information, point cloud data, surface information) generated by the model information generation unit 22.
  • This accuracy map indicates that the accuracy of the texture is small (or the texture is uncertain) in the model information. The user can easily visually recognize that there is an uncertain portion of the texture in a part of the model information by this accuracy map.
  • the accuracy information setting unit when the detection device 1C includes a plurality of imaging units 2A and 2B, position detection units 3A and 3B, and a model information integration unit 26 as shown in the third embodiment (see FIG. 12), the accuracy information setting unit.
  • the texture information can be associated with the integrated shape information integrated by the model information integration unit 26.
  • the accuracy information setting unit 27 sets accuracy information regarding the accuracy of the texture from the imaged image of the imaging unit 2A for each point of the first shape information based on the detection result of the position detection unit 3A. Further, the accuracy information setting unit 27 sets accuracy information regarding the accuracy of texture from the imaged image of the imaging unit 2B for each point of the second shape information based on the detection result of the position detection unit 3B.
  • the model information integration unit 26 overlaps the first shape information with the second shape information in a partial area (same area). ), the texture information of the partial region is associated with the texture information having the high accuracy of each point (or without the texture information having the low accuracy). For example, if there is texture information with a probability of 1 and texture information with a probability of 0 for a partial area, the model information integration unit 26 associates the texture information with a probability of 1 as the texture information for this partial area.
  • the model information integration unit 26 sets the texture information with a probability of 1 to this partial area.
  • the texture information is updated by associating it with the texture information.
  • the model information integration unit 26 can generate model information in which an appropriate texture is associated with the partial area.
  • FIG. 15 is a diagram showing an example of the detection system 51 according to the fifth embodiment.
  • the detection system 51 includes the detection device 1, an input device 52, a display device 53, and an information processing device 54.
  • the image capturing section 2, the position detecting section 3, and the information processing section 4 are provided in, for example, one main body section BD (eg, case, holding section, body, support section). At least one of the imaging unit 2 (imaging device), the position detection unit 3 (position detection device), and the information processing unit 4 (information processing device) may not be provided in the main body BD.
  • the information processing device 54 includes a communication unit 55, a storage unit 56, a rendering processing unit 57, and a control unit 58.
  • the communication unit 55 includes, for example, at least one of a USB port, a network card, and a communication device that performs wireless communication of radio waves or infrared rays.
  • the communication unit 55 can communicate with the detection device 1.
  • the storage unit 56 includes, for example, a removable storage medium such as a USB memory and a mass storage device such as an external or internal hard disk.
  • the storage unit 56 stores, for example, at least a part of data of the information received via the communication unit 55, an imaging control program for controlling the detection device 1, an information processing program for executing each process of the information processing device 54, and the like. ..
  • the rendering processing unit 57 includes, for example, a graphics processing unit (GPU).
  • the rendering processing unit 57 may have a mode in which the CPU and the memory execute each process according to the image processing program.
  • the rendering processing unit 57 performs at least one of a drawing process, a texture mapping process, and a shading process, for example.
  • the rendering processing unit 57 can calculate an estimated image (eg, a reconstructed image) of a shape defined by the shape information of the model information viewed from an arbitrary position.
  • the shape indicated by the shape information is called a model shape.
  • the rendering processing unit 57 can reconstruct the model shape (eg, estimated image) from the model information (eg, shape information) by drawing processing, for example.
  • the rendering processing unit 57 stores, for example, the calculated estimated image data in the storage unit 56.
  • the rendering processing unit 57 can calculate an estimated image in which the image indicated by the texture information of the model information is attached to the surface of the object on the estimated image, for example.
  • the rendering processing unit 57 can calculate an estimated image in which a texture different from the target object is attached to the surface of the object on the estimated image.
  • the rendering processing unit 57 can calculate, for example, an estimated image in which the shadow formed by the light source indicated by the light source information of the model information is added to the object on the estimated image.
  • the rendering processing unit 57 can calculate an estimated image in which a shadow formed by an arbitrary light source is added to an object on the estimated image in the shading process.
  • the control unit 58 controls, for example, each unit of the information processing device 54, the detection device 1, the input device 52, and the display device 53.
  • the control unit 58 controls, for example, the communication unit 55 to cause the detection device 1 to transmit a command (control signal) or setting information.
  • the control unit 58 causes the storage unit 56 to store the information received by the communication unit 55 from the detection device 1, for example.
  • the control unit 58 controls, for example, the rendering processing unit 57 to execute the rendering process.
  • the input device 52 is used to input various information (eg, data, commands) to the information processing device 54.
  • the user can input various information to the information processing device 54 by operating the input device 52.
  • the input device 52 includes, for example, at least one of a keyboard, a mouse, a trackball, a touch panel, and a voice input device (eg, microphone).
  • the display device 53 displays this image based on the image data output from the information processing device 54.
  • the information processing device 54 outputs the data of the estimated image generated by the rendering processing unit 57 to the display device 53.
  • the display device 53 displays the estimated image based on the estimated image data output from the information processing device 54.
  • the display device 53 includes, for example, a liquid crystal display.
  • the display device 53 and the input device 52 may be touch panels or the like.
  • the detection system 51 does not have to include the input device 52.
  • the detection system 51 may have a form in which various commands and information are input via the communication unit 55.
  • the detection system 51 may not include the display device 53.
  • the detection system 51 may output the data of the estimated image generated by the rendering process to an external display device, and the display device may display the estimated image.
  • the information processing unit 4 may be provided in the same device as the information processing device 54.
  • the information processing unit 4 and the information processing device 54 may be provided in the same computer system.
  • the information processing device in the present embodiment provides the detection result of detecting the texture information of the target area from the first position and the depth information (position information) of each point from the predetermined point to the target area.
  • An area detection unit 21 for detecting a data loss area in which depth information (position information) is acquired (detected) and texture information is not acquired (detected) based on a detection result detected from a second position different from the one position.
  • an adding unit 23 that adds texture information to the data loss area.
  • the information processing unit 4 includes, for example, a computer system.
  • the information processing unit 4 reads an information processing program stored in a storage device (eg, the storage unit 24) and executes various processes according to this information processing program.
  • This information processing program causes, for example, a computer to detect the detection result of the texture information of the target region from the first position and the detection result of the position information of each point of the target region from the second position different from the first position. Based on this, the detection of a data loss area where the position information is detected and the texture information is not detected, and the addition of texture information to the data loss area are executed.
  • This information processing program may be recorded and provided in a computer-readable storage medium (eg, a non-transitory recording medium, non-transitory tangible media).
  • the model information is generated by one detection device 1 or the like, but, for example, the model information is generated by using a plurality of detection devices 1 or the like arranged at different viewpoints (positions). You may. In this case, after the model information generated by each detection device 1 or the like is integrated by any one of the detection devices 1 or the like or another processing device or the like, the data loss area AR1 is detected, and the texture information specific to this data loss area AR1 is detected.
  • the configuration in which the imaging unit 2 and the position detection unit 3 are provided in one detection device 1 is described as an example, but the configuration is not limited to this.
  • the detection device 1 may include a detection device A including the image pickup unit 2 and a detection device B including the position detection unit 3.
  • the detection device A and the detection device B may have the same configuration as the detection device 1 except that the imaging unit 2 or the position detection unit 3 is not provided.
  • the detection device A and the detection device B are connected to each other so as to be able to transmit and receive data, the imaging data acquired by the imaging unit 2 of the detection device A can be transmitted to the detection device B, and the position detection unit 3 of the detection device B.
  • the depth information acquired by the above can be transmitted to the detection device A.
  • the detection device A and the detection device B have different viewpoints (positions), the position of the imaging unit 2 of the detection device A is the first position Vp1, and the position detection unit 3 of the detection device B sets the position to the second position Vp2.
  • the imaging data acquired by the imaging unit 2 of the detection device A and the depth information acquired by the position detection unit 3 of the detection device B are collected and processed by the information processing unit 4 of the detection device A or the detection device B, and are described above.
  • the data loss area AR1 is detected, and model information in which specific texture information is added to the data loss area AR1 is generated.
  • Japanese Patent Application No. 2018-239536 which is a Japanese patent application, and all the documents cited in the above-mentioned embodiments and the like is incorporated as a part of the description of the text, as long as it is permitted by law.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】モデルに対する違和感を軽減する。 【解決手段】検出装置は、対象物のテクスチャ情報を第１位置から検出するテクスチャ検出部と、第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出する位置検出部と、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を、テクスチャ検出部の検出結果及び位置検出部の検出結果に基づいて検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える。

Description

検出装置、情報処理装置、検出方法、及び情報処理プログラム
　本発明は、検出装置、情報処理装置、検出方法、及び情報処理プログラムに関する。
　物体を検出した検出結果をコンピュータに入力し、物体の３次元形状を取得する技術が提案されている（例、特許文献１参照）。しかしながら、例えば、物体（対象領域）の形状情報とテクスチャ情報とを検出する場合、物体の形状情報を検出する位置と、テクスチャ情報を検出する位置とが異なると、形状情報を得ているがテクスチャ情報が欠損した領域が生じる。モデル情報の算出において、このようなテクスチャ情報が欠損する領域は、少ないことが望まれる。
特開２０１０－１３４５４６号公報
　本発明の態様に従えば、対象物のテクスチャ情報を第１位置から検出するテクスチャ検出部と、第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出する位置検出部と、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を、テクスチャ検出部の検出結果及び位置検出部の検出結果に基づいて検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える検出装置が提供される。
　本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出するテクスチャ検出部と、所定の点から対象領域における各点までのデプス情報を、第１位置とは異なる第２位置から検出する位置検出部と、テクスチャ検出部の検出結果及び位置検出部の検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える検出装置が提供される。
　本発明の態様に従えば、対象物のテクスチャ情報を第１位置から検出した検出結果、及び第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置が提供される。
　本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域における各点までのデプス情報を第１位置とは異なる第２位置から検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置が提供される。
　本発明の態様に従えば、対象物のテクスチャ情報を第１位置から検出することと、第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出することと、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を、テクスチャ情報の検出結果及びデプス情報の検出結果に基づいて検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法が提供される。
　本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出することと、所定の点から対象領域における各点までのデプス情報を、第１位置とは異なる第２位置から検出することと、テクスチャ情報を第１位置から検出した検出結果及びデプス情報を第２位置から検出した検出結果に基づいて、第１位置から位置情報が検出され、かつ第２位置からテクスチャ情報が検出されないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法が提供される。
　本発明の態様に従えば、コンピュータに、対象物のテクスチャ情報を第１位置から検出した検出結果、及び第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラムが提供される。
　本発明の態様に従えば、コンピュータに、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域における各点までのデプス情報を第１位置と異なる第２位置から検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラムが提供される。
第１実施形態に係る検出装置の一例を示す図である。 第１実施形態に係るテクスチャ検出部及び位置検出部の一例を示す図である。 第１実施形態に係るテクスチャ検出部及び位置検出部の他の例を示す図である。 第１実施形態に係るテクスチャ検出部及び位置検出部の位置関係とデータ欠損領域との一例を示す図である。 第１実施形態に係る撮像画像及びデプスの検出結果の一例を示す図である。 第１実施形態に係る検出方法を示すフローチャートである。 第１実施形態に係る領域検出処理を示すフローチャートである。 （Ａ）は第１実施形態に係るモデル情報を表示した一例を示す図、（Ｂ）は第１実施形態に係るモデル情報を表示した他の例を示す図である。 ２つのモデル情報を表示した例を示す図である。 第２実施形態に係る検出装置の一例を示す図である。 第２実施形態に係る検出方法を示すフローチャートである。 第３実施形態に係る検出装置の一例を示す図である。 第３実施形態に係る検出方法を示すフローチャートである。 第４実施形態に係る検出装置の一例を示す図である。 第５実施形態に係る検出システムの一例を示す図である。
［第１実施形態］
　第１実施形態について説明する。図１は、第１実施形態に係る検出装置１の一例を示す図である。検出装置１は、モデル情報（例、３次元のＣＧモデルデータ）の元になる情報を検出する。検出装置１は、モデル化の対象の物体Ｘ１を含む対象領域ＡＲを検出する。対象領域ＡＲは、例えば、モデル化の対象の物体Ｘ１（第１の物体）と、物体Ｘ１の背景になる壁などの物体Ｘ２とを含む。物体Ｘ２は、モデル化の対象の第２の物体でもよい。モデル情報は、物体Ｘ１の形状情報とテクスチャ情報とを含む。形状情報は、点群データとサーフェス情報とを含む。形状情報は、デプス情報を含んでもよい。
　検出装置１は、対象領域ＡＲを光学的に検出する。検出装置１は、カメラとモーションキャプチャとの一方又は双方を含んでもよい。検出装置１は、据え置き型の装置（例、定点カメラ）を含んでもよい。また、検出装置１は、携帯可能な装置（例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末）を含んでもよい。
　検出装置１は、撮像部（テクスチャ検出部）２と、位置検出部（位置センサ）３と、情報処理部４と、を備える。検出装置１は、検出部（撮像部２、位置検出部３などのセンサ）によって、対象領域ＡＲを検出する。撮像部２は、第１位置Ｖｐ１から対象領域ＡＲを、撮像によって検出する。本実施形態において、撮像部２は、対象領域ＡＲのテクスチャ情報を第１位置Ｖｐ１から検出する。位置検出部３は、対象領域ＡＲにおける物体（物体Ｘ１、物体Ｘ２）の表面上の複数の点について、所定の点（例、第２位置Ｖｐ２）から対象領域ＡＲにおける各点までのデプス情報を検出する。本実施形態において、位置検出部３は、第１位置Ｖｐ１とは異なる第２位置Ｖｐ２から対象領域ＡＲにおける各点のデプス情報を検出する。情報処理部４は、位置検出部３が検出した物体（物体Ｘ１、物体Ｘ２）の表面上の複数の点におけるデプス情報に基づいて、複数の点の座標に変換する座標変換処理を実行してもよい。複数の点の座標は、位置検出部３が検出した位置情報として用いられてもよい。
　位置検出部３は、デプス情報を含む位置情報を検出する。本実施形態において、検出装置１は本体部ＢＤを備え、撮像部２及び位置検出部３は、本体部ＢＤに支持（固定）される。本体部ＢＤ（支持部材、固定部材）は、例えば、ボディあるいは筐体を含む。本体部ＢＤは、撮像部２の少なくとも一部と位置検出部３の少なくとも一部との一方又は双方を保持（例、収容）してもよい。また、本体部ＢＤは、情報処理部４の少なくとも一部を保持（例、収容）してもよい。撮像部２における第１位置Ｖｐ１、位置検出部３における第２位置Ｖｐ２は、本体部ＢＤに設けられる。なお、本体部ＢＤは、撮像部２、位置検出部３、及び情報処理部４の少なくとも１つを保持しなくてもよい。撮像部２、位置検出部３、及び情報処理部４の少なくとも１つは、本体部ＢＤと別に設けられてもよい。また、検出装置１は、本体部ＢＤを備えなくてもよい。本実施形態では、検出装置１が配置されている単一の視点から検出部（撮像部２、位置検出部３）により対象領域ＡＲを検出する。この視点は、撮像部２、位置検出部３が配置される第１位置Ｖｐ１、第２位置Ｖｐ２、点を含む。また、検出部（撮像部２、位置検出部３）は、受光する光の光軸、又は検出方向に合わせて配置される。
　図２は、第１実施形態に係る撮像部２及び位置検出部３の一例を示す図である。撮像部２は、光学系５及び撮像素子６を備える。光学系５は、例えば、結像光学系、撮像光学系である。撮像素子６は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子６は、二次元的に配列された複数の画素を有する。撮像素子６は、光学系５を介して、対象領域ＡＲを撮像する。
　撮像部２は、第１波長帯の光Ｌ１（例、可視光）を検出する。撮像部２は、その撮像結果（検出結果）であるテクスチャ情報として、色の情報を含む画像データ（例、ＲＧＢデータ）を情報処理部４に出力する。画像データは、例えば、複数の画素のそれぞれの画素データを含む。画素データは、例えば、赤（Ｒ）の画素値と、緑（Ｇ）の画素値と、青（Ｂ）の画素値とを一組にしたデータである。
　位置検出部３は、所定の点（例、第２位置Ｖｐ２）から対象領域ＡＲにおける各点のまでのデプス情報（距離、位置情報）を検出する。位置検出部３は、例えば、デプスセンサを含み、デプス情報として（位置情報として）、第２位置Ｖｐ２（位置検出部３の位置）と対象領域ＡＲにおける各点との距離（測距データ）（例、デプス、奥行き、深度）を検出する。例えば、位置情報は、デプス情報を含むが、点の座標（例、後述する点群データ）、複数の点により規定される線又は面の情報（例、後述するサーフェス情報）を含んでもよい。
　位置検出部３は、照射部７、光学系８、及び撮像素子９を備える。照射部７は、対象領域ＡＲに第２波長帯の光Ｌ２（例、パターン光、照射光）を照射（例、投影）する。光Ｌ２は、例えば、赤外光を含み、撮像部２が検出する光Ｌ１と波長帯が異なる。光学系８は、例えば、結像光学系、撮像光学系である。撮像素子９は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子９は、二次元的に配列された複数の画素を有する。撮像素子６は、光学系８を介して、対象領域ＡＲを撮像する。撮像素子９は、光Ｌ２の照射によって対象領域ＡＲから放射される光Ｌ３（赤外光、戻り光）を検出する。
　位置検出部３は、例えば、照射部７から照射される光Ｌ２のパターン（例、強度分布）と、撮像素子９によって検出された光Ｌ３のパターン（強度分布、撮像画像）に基づいて、撮像素子９の各画素に対応する対象領域ＡＲ上の点から、撮像素子９の各画素までのデプスを検出する。位置検出部３は、その検出結果として、対象領域ＡＲにおけるデプスの分布を表したデプスマップ（例、デプス画像、奥行き情報、位置情報）を情報処理部４に出力する。図２において、撮像部２の光学系５の光軸５Ａは、位置検出部３の光学系８の光軸８Ａとは異なる。この場合、撮像部２による視野（第１位置Ｖｐ１、第１の視野、撮像範囲、検出範囲）は、位置検出部３による視野（第２位置Ｖｐ２、第２の視野、検出範囲）とは異なる（例、視野のうち重なる領域と重ならない領域とがある）。
　実施形態に係る撮像部２は、位置検出部３と光軸が同じでもよい。図３は、第１実施形態に係る撮像部２及び位置検出部３の他の例を示す図である。図３に示すように、例えば、撮像部２は、光学系５、ダイクロイックミラー１１、及び撮像素子９を備える。光学系５は、撮像部２と位置検出部３とで共用である。ダイクロイックミラー１１は、第１波長帯の光Ｌ１が反射し、第１波長帯（光Ｌ１）とは異なる第２波長帯の光Ｌ３が透過する。撮像素子６は、ダイクロイックミラー１１で反射した光Ｌ１を撮像によって検出する。撮像素子９は、ダイクロイックミラー１１を透過した光Ｌ３を撮像によって検出する。撮像部２の視野は、例えば、位置検出部３の視野と実質的に同じである。
　なお、位置検出部３は、ＴＯＦ（time of flight）法によってデプス情報を検出するデバイスでもよい。また、位置検出部３は、ＴＯＦ法以外の手法でデプス情報を検出するデバイスでもよい。位置検出部３は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによってデプス情報を検出するデバイスでもよい。位置検出部３は、例えば、位相差センサを含み、位相差法によってデプス情報を検出するデバイスでもよい。位置検出部３は、例えば、ＤＦＤ(depth from defocus)法によってデプス情報を検出するデバイスでもよい。
　また、位置検出部３は、例えば、ステレオカメラなどによって複数の位置から撮像した撮像画像を用いて、三角測量によってデプス情報を検出するデバイスでもよい。この場合、位置検出部３は、撮像部２による撮像画像を１位置からの撮像画像として利用してもよい。位置検出部３は、上述した複数の検出法のうち２以上を組み合わせて、デプス情報（位置情報）を検出するデバイスでもよい。位置検出部３は、光学的な手法以外の手法（例、超音波によるスキャン）で対象領域ＡＲのデプス情報（位置情報）を検出してもよい。
　図１の説明に戻り、撮像部２の視野は、例えば、図２の構成の場合、位置検出部３の視野と異なる。撮像部２による第１の検出範囲（第１の視野、撮像範囲）は、位置検出部３による第２の検出範囲（第２の視野）と異なる。ここで、撮像部２と位置検出部３とで検出範囲が異なる場合（又は、第１の検出範囲において物体Ｘ１の陰になる領域が含まれる場合）、対象領域ＡＲに、撮像部２によるテクスチャ情報が、部分的に欠損するデータ欠損領域（例、オクル－ジョン領域、遮蔽領域）ＡＲ１が存在する場合がある。
　図４は、第１実施形態に係る撮像部（テクスチャ検出部）２及び位置検出部３の位置関係とデータ欠損領域との一例を示す図である。図４に示すように、撮像部２の光軸と、位置検出部３の光軸とが異なる場合には、撮像部２の光軸（視点、位置）から見ると、位置検出部３が検出したデプス情報に基づく各点が同一ベクトル上に並んでしまう場合がある。そのため、それぞれの点とテクスチャ情報との対応関係が不明となる。つまり、撮像部２と位置検出部３とで検出範囲が異なる場合（又は、第２の検出範囲において物体Ｘ１の陰になる領域が含まれる場合）、対象領域ＡＲに、撮像部２によるテクスチャ情報が部分的に欠損するデータ欠損領域（例、テクスチャ欠損領域）ＡＲ１が存在する場合がある。データ欠損領域ＡＲ１では、位置検出部３からのデータ（例、位置情報、デプス情報のデータ）は取得（検出）されているが、撮像部２からのデータ（例、画像データ、画素データ）は取得（検出）されていない（データが得られても、データ量の少ない領域を含む）領域である。データ欠損領域ＡＲ１は、例えば、第１位置Ｖｐ１から物体Ｘ１の陰になる領域を含む。また、データ欠損領域ＡＲ１は、例えば、物体Ｘ１の表面領域のうち、第１位置Ｖｐ１から見通すことが可能な領域（例、前面の領域）を除いた領域（例、背面の領域）を含む。
　図５は、第１実施形態に係る撮像画像ＩＭ及びデプス情報の検出結果を示す図である。図５において符号ＤＭは、位置情報の検出結果に相当するデプスマップ（デプス画像、デプス情報、奥行き情報、複数のデプスのデータ）である。デプスマップＤＭは、例えば画像形式のデータで表される。デプスマップＤＭは、記憶部２４（図１参照）に記憶される。デプスマップＤＭにおける各画素の画素値は、例えば、デプスマップＤＭ上の画素に相当する実空間上の領域から位置検出部３までのデプス（距離）を表す。例えば、デプスマップＤＭは、グレースケールで表される。デプスマップＤＭにおいて、相対的に暗い（画素値が低い）領域は、相対的に明るい（画素値が高い）領域に比べて、位置検出部３からの距離が長い（深度が深い）ことを表す。
　撮像画像ＩＭは、例えば、フルカラーの画像である。符号ＡＲ２は、撮像画像ＩＭ上の物体Ｘ１に相当するデータ取得領域である。データ取得領域ＡＲ２は、撮像画像ＩＭに写っている物体Ｘ１を含む。また、符号ＡＲ３は、撮像画像ＩＭ上の物体Ｘ２に相当するデータ取得領域である。データ取得領域ＡＲ３は、撮像画像ＩＭに写っている物体Ｘ２を含む。
　ここで、撮像画像ＩＭにおいて、データ欠損領域ＡＲ１に属する各画素は、ＲＧＢデータを有していない。データ欠損領域ＡＲ１は、撮像画像ＩＭにおいてＲＧＢデータが存在せず、かつデプスマップＤＭにおいてデプス情報（位置情報）が存在する領域を含む。データ欠損領域ＡＲ１は、撮像部２（図１参照）から撮像画像のデータ（例、ＲＧＢデータ）が得られず、かつ位置検出部３（図１参照）からデプス情報（例、測定値、検出結果）が得られる領域である。
　撮像画像ＩＭにおいて、データ欠損領域ＡＲ１を除いた領域は、データ取得領域ＡＲ４である。データ取得領域ＡＲ４は、撮像部２（図１参照）から撮像画像のデータ（例、ＲＧＢデータ）が得られ、かつ位置検出部３（図１参照）からデプス情報（例、測定値、検出結果）が得られる領域を含む。データ取得領域ＡＲ４は、例えば、撮像部２による検出範囲（視野、撮像範囲）のうち、位置検出部３の検出範囲（視野）と重複する領域を含む。また、データ取得領域ＡＲ４は、撮像部２から撮像画像のデータ（例、ＲＧＢデータ）が得られ、かつ位置検出部３からデプス情報（例、測定値、検出結果）が得られない領域を含む。
　デプスマップＤＭにおいて、符号ＡＲ５は、物体Ｘ１（図１参照）に相当するデータ取得領域である。符号ＡＲ６は、物体Ｘ２（図１参照）に相当するデータ取得領域である。デプスマップＤＭにおけるデータ取得領域ＡＲ５において、物体Ｘ１の表面のデプス情報（位置情報）は存在するが、位置検出部３の位置（図１の第２位置Ｖｐ２）から見た場合に物体Ｘ１の陰（背後）に相当する領域のデプス情報（位置情報）が存在しない。
　なお、データ欠損領域ＡＲ１は、例えば、図３のように撮像部２と位置検出部３とで位置が同じであっても照明の違い（例、照度、照明角度など）や位置ずれ等によって、存在する場合がある。例えば、撮像部２の検出範囲（撮像範囲）は、自然光、環境光、室内灯の光などの照明光（例、可視光）によって照明される。また、位置検出部３の検出範囲は、例えば、照射部７から照射される光（例、赤外光）によって照明される。こうした場合、例えば、位置検出部３の検出範囲において照明される領域のうち、撮像部２の検出範囲において照明されない領域（例、物体又は物体の一部の陰になる領域）は、データ欠損領域ＡＲ１になる。
　また、データ欠損領域ＡＲ１は、撮像部２が検出する光（例、可視光）と位置検出部３が検出する光（例、赤外光）との波長の違いによって、存在する場合がある。例えば、対象領域ＡＲにおける光学特性（例、反射率、透過率、吸収率）が、検出される光の波長帯によって異なることによって、データ欠損領域ＡＲ１が生じる場合がある。例えば、赤外光が反射し、可視光が吸収される領域は、位置検出部３からデータが得られるが、撮像部２からデータが得られにくいデータ欠損領域ＡＲ１になる。
　図１の説明に戻り、実施形態に係る情報処理部４（情報処理装置）は、上述のようなデータ欠損領域ＡＲ１における各点又は各部分のデプス情報（位置情報）に基づいて、データ欠損領域ＡＲ１に対して、特定のテクスチャ情報を付加する。情報処理部４が付加した特定のテクスチャ情報は、例えば、データ欠損領域ＡＲ１のモデル化に利用される。情報処理部４は、撮像部２及び位置検出部３のそれぞれと通信可能に接続される。撮像部２は、撮像結果（検出結果）として、対象領域ＡＲの撮像画像ＩＭ（図５参照）のデータを、例えば、テクスチャ情報として情報処理部４に出力する。位置検出部３は、検出結果として、例えば、対象領域ＡＲのデプスマップＤＭ（図５参照）を情報処理部４に出力する。情報処理部４は、撮像部２から出力された撮像画像ＩＭのデータと、位置検出部３から出力されたデプスマップＤＭとに基づいて、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加する。
　情報処理部４は、領域検出部２１と、モデル情報生成部２２と、付加部２３と、記憶部２４とを備える。領域検出部２１は、撮像部２による撮像画像ＩＭ及び位置検出部３の検出結果に基づいて、データ取得領域ＡＲ４及びデータ欠損領域ＡＲ１を検出（例、特定、抽出）する。以下の説明において、データ取得領域ＡＲ４及びデータ欠損領域ＡＲ１を検出（例、特定、抽出）する処理を、適宜、領域検出処理と称する。
　領域検出部２１は、撮像部２と位置検出部３との相対位置に基づいて、デプスマップＤＭ上のデプス情報（位置情報）と撮像画像ＩＭ上の位置情報とを対応付けて、データ欠損領域ＡＲ１を検出する。例えば、領域検出部２１は、撮像部２と位置検出部３との相対位置に基づくホモグラフィー変換（射影変換、透視変換）によって、撮像画像ＩＭ上の領域とデプスマップＤＭ上の領域との相対位置を特定する。
　領域検出部２１は、領域検出処理において、対象領域ＡＲの点と、第１位置（Ｖｐ１）と、を結ぶ線までの距離が閾値以下の点のうち、第１位置（Ｖｐ１）に最も近い点以外の点をデータ欠損領域ＡＲ１に属する点として判別する。領域検出部２１は、位置検出部３が位置情報として検出する第２位置（Ｖｐ２）から対象領域ＡＲの各点までの距離に基づいて、データ欠損領域ＡＲ１を検出する。領域検出部２１は、位置検出部３がデプス情報（位置情報）として検出する第２位置（Ｖｐ２）から対象領域ＡＲの各点までの距離（座標）に基づいて、データ欠損領域ＡＲ１を検出する。
　領域検出部２１は、領域検出処理において、デプスマップＤＭ上の領域（例、１つ又は複数の位置）ごとに、対応する領域が撮像画像ＩＭ上に存在するか否かを判定する。領域検出部２１は、デプスマップＤＭから選択される領域（例、１つ又は複数の位置）について、対応する領域が撮像画像ＩＭ上に存在する場合に、この領域がデータ取得領域ＡＲ５に含まれると判定する。また、領域検出部２１は、デプスマップＤＭから選択される領域（例、１つ又は複数の位置）について、対応する領域が撮像画像ＩＭ上に存在しない場合、この領域がデータ欠損領域ＡＲ１に含まれると判定する。デプスマップＤＭにおいて、データ取得領域ＡＲ７は、第２位置（Ｖｐ２）から位置検出部３がデプス情報（位置情報）として検出した領域であり、撮像画像ＩＭ上に存在しない領域を含む。
　モデル情報生成部２２は、撮像部２の撮像結果及び位置検出部３の検出結果を用いて、モデル情報を生成する。本実施形態では、撮像部２及び位置検出部３において、それぞれ別の単一の位置（例、物体Ｘ１を検出する軸（例、光軸）が互いに異なる位置、物体Ｘ１を検出する軸（例、光軸）が互いに平行ではない位置）からの検出結果に基づくため（それぞれ別の単一視点に配置された検出装置１の検出部による検出結果に基づくため）、モデル情報生成部２２が生成するモデル情報は、物体Ｘ１の全周のうち一部のデータ（デプス情報、テクスチャ情報）が欠損している。このような一部が欠損したモデル情報を可視化（例、レンダリング処理）した際に、データ欠損領域ＡＲ１に不自然なテクスチャ情報が付加されると、モデル情報の全体が不自然となり、又は見栄えが悪くなり、利用価値を低下させることになる。本実施形態では、データ欠損領域ＡＲ１に後述する特定のテクスチャ情報（所定テクスチャ情報）を付加することにより、モデル情報全体としての不自然さを軽減し、又は見栄えが悪くなるのを抑制することが可能となる。また、モデル情報生成部２２は、データ欠損領域ＡＲ１が特定された後に、特定されたデータ欠損領域ＡＲ１の部分又はその部分の境界を色付けする（又は線で囲う等）、又はグラデーション表示させる等でデータ欠損領域ＡＲ１を強調して可視化（例、レンダリング処理）させるモデル情報を生成してもよい。
　モデル情報生成部２２は、例えば、対象領域ＡＲにおける物体の少なくとも一部をコンピュータグラフィック処理（ＣＧ処理）し、モデル情報（例、３次元のＣＧモデルデータ）を算出する。モデル情報は、対象領域ＡＲにおける物体の形状情報とテクスチャ情報との少なくとも一方を含む。モデル情報生成部２２は、位置検出部３が検出した位置情報に基づくデータ欠損領域ＡＲ１における形状情報と、撮像部２の撮像結果に基づくテクスチャ情報、及びデータ欠損領域ＡＲ１において後述する付加部２３により付加された特定のテクスチャ情報と、を関連付けてモデル情報を生成する。
　モデル情報生成部２２は、形状情報として点群データを算出する点群データ処理を実行する。点群データは、対象領域ＡＲにおける物体（例、物体Ｘ１、物体Ｘ２）上の複数の点の３次元座標を含む。また、モデル情報生成部２２は、位置検出部３の検出結果（例、デプスの測定値）を用いて、データ取得領域ＡＲ７（図５参照）における点群データを算出してもよい。
　モデル情報生成部２２は、データ取得領域ＡＲ７の一部について点群データを算出してもよい。データ取得領域ＡＲ７の一部以外の点群データについては、モデル情報生成部２２と異なる処理部（例、第２のモデル情報生成部）が算出してもよい。例えば、モデル情報生成部２２が算出する点群データと、第２のモデル情報生成部が算出する点群データとの合成によって、データ取得領域ＡＲ７全体の点群データが取得されてもよい。
　モデル情報生成部２２は、記憶部２４からデプスマップＤＭのデータを読み出し、デプスマップＤＭから平面画像への透視変換などによって、点群データを算出する。例えば、モデル情報生成部２２は、所定のデプス情報に対応する第１の画素（物体上の第１の点）と、第１の画素に隣接する第２の画素（物体上の第２の点）とを連結させる。さらに、モデル情報生成部２２は、第２の画素に隣接する第３の画素（物体上の第３の点）についても同様に、第２の画素と第３の画素とを連結する。モデル情報生成部２２は、上述のように、所定のデプス情報に対応し隣接する画素を順に連結することによって、画素をもとに所定のデプス情報を有する点群データを算出する。そして、モデル情報生成部２２は、算出した点群データを記憶部２４に記憶させる。
　また、モデル情報生成部２２は、形状情報としてサーフェス情報を算出するサーフェス処理を実行する。サーフェス情報は、例えば、ポリゴンデータ、ベクタデータ、及びドローデータの少なくとも１つを含む。サーフェス情報は、物体の表面上の複数の点の座標と、複数の点間の連結情報とを含む。連結情報（例、属性情報）は、例えば、物体表面の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。また、連結情報は、例えば、物体表面（サーフェス）の輪郭に相当する複数の線を互いに関連付ける情報を含む。
　モデル情報生成部２２は、サーフェス処理において、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定する。また、モデル情報生成部２２は、サーフェス処理において、点群データを点間の平面情報を持つポリゴンデータに変換する。モデル情報生成部２２は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。モデル情報生成部２２は、例えば、算出したサーフェス情報を記憶部２４に記憶させる。
　また、モデル情報生成部２２は、３次元の点座標及びその関連情報で規定された面のテクスチャ情報を生成する。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。モデル情報生成部２２は、生成したテクスチャ情報を記憶部２４に記憶させる。
　モデル情報生成部２２は、モデル情報として、画像の空間情報（例、照明条件、光源情報）を生成してもよい。光源情報は、例えば、物体（対象物）を基準とした照明光を照射する光源の位置、この光源から物体へ光が照射される方向（照射方向）、この光源から照射される光の波長、及びこの光源の種類のうち少なくとも１項目の情報を含む。モデル情報生成部２２は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。モデル情報生成部２２は、生成（例、算出）したモデル情報の少なくとも一部を記憶部２４に記憶させる。なお、モデル情報生成部２２は、上述したモデル情報の一部を生成しなくてもよい。
　付加部２３は、領域検出部２１が検出したデータ欠損領域ＡＲ１に対して特定のテクスチャ情報を付加する。付加部２３は、データ欠損領域ＡＲ１に対して特定のテクスチャ情報を補足する補足部、又は、データ欠損領域ＡＲ１に対して特定のテクスチャ情報を補完する補完部である。データ欠損領域ＡＲ１は、位置検出部３が検出した各点のデプス情報（位置情報）において、第１位置（Ｖｐ１）を起点とする線上に複数の点が存在する場合（図４参照）、第１位置（Ｖｐ１）から最も近い点を除いた点を複数含んでいる。付加部２３は、データ欠損領域ＡＲ１に含まれた複数の点で規定される領域に対して特定のテクスチャ情報を付加する。このような場合、例えば、本実施形態は、モデル情報に対して、デプス情報に基づいてＲＧＢ視点で一番手前の点で作られた面にだけテクスチャ情報を貼り、それ以外の面には、予め定めたパターンの特定のテクスチャ情報(例、白、グレー)を貼る。
　付加部２３は、データ欠損領域ＡＲ１に対して特定のテクスチャ情報を付加するテクスチャ付加処理を実行する。特定のテクスチャ情報は、撮像部２が検出する物体（例、物体Ｘ１）のテクスチャ情報とは異なる。特定のテクスチャ情報は、予め定められた特定のテクスチャ情報であってもよいし、データ欠損領域ＡＲ１に応じて付加部２３により生成されてもよい。
　予め定められた特定のテクスチャ情報は、撮像部２が物体を撮像するよりも前に記憶部２４に記憶された情報に基づいてもよい。特定のテクスチャ情報は、記憶部２４に記憶された１つ又は複数の特定のテクスチャ情報の候補の中から付加部２３により選択されてもよい。特定のテクスチャ情報は、複数のデータ欠損領域に対して予め決められた共通の同じテクスチャ情報であってもよい。記憶部２４に記憶される特定のテクスチャ情報を用いることにより、付加部２３によるテクスチャ付加処理に要する負荷を軽くできる。特定のテクスチャ情報は、グレー（例、グレースケールにおける１８％グレー）、白、黒、単一色のいずれか１つ、又は複数が組み合わされたものを含む。特定のテクスチャ情報は、例えば、物体Ｘ１のテクスチャ（ＲＧＢデータ）が白である場合に、白以外の色であってもよい。特定のテクスチャ情報は、前側の物体（例、物体Ｘ１）と、後ろ側の物体（例、物体Ｘ２）との境界を強調するような（物体Ｘ１を物体Ｘ２に対して明確にするような）色、模様等であってもよい。特定のテクスチャ情報は、グラデーションが設定されてもよい。特定のテクスチャ情報にグラデーションが設定される場合、例えば、物体（例、物体Ｘ１）に近い側が濃くなるように設定されてもよいし、物体（例、物体Ｘ１）に遠い側が濃くなるように設定されてもよい。
　特定のテクスチャ情報を生成する場合、付加部２３は、点群データのうちＲＧＢデータが存在する点同士の間をグラデーションで補完するような特定のテクスチャ情報を生成してもよい。また、付加部２３は、撮像部２による第１位置Ｖｐ１からの撮像画像ＩＭのＲＧＢ画像全体、又は、そのＲＧＢ画像から物体Ｘ１の情報を除いた物体Ｘ２の情報に基づいて、明度、彩度、色相のいずれか１つ、又は、これら複数の平均をとって特定された特定のテクスチャ情報（例、単一色のテクスチャ情報）を生成してもよい。また、付加部２３は、第１位置Ｖｐ１からの撮像画像ＩＭのＲＧＢ画像から物体Ｘ１の情報を除いた物体Ｘ２の情報に基づいて、データ欠損領域ＡＲ１の近傍の点（点群データのうちＲＧＢデータが存在する点）の色（例、ＲＧＢデータ）を用いて特定のテクスチャ情報を生成してもよい。
　次に、実施形態に係る検出装置１の動作に基づき、実施形態に係る検出方法について説明する。図６は、第１実施形態に係る検出方法を示すフローチャートである。検出装置１の各部については、適宜、図１を参照する。ステップＳ１において、撮像部２は、物体Ｘ１を含む対象領域ＡＲを撮像する。ステップＳ２において、位置検出部３は、所定の点から対象領域ＡＲの各点までのデプス情報（位置情報）を検出する。なお、ステップＳ２の処理は、ステップＳ１の処理よりも前に実行されてもよい。また、ステップＳ２の処理は、ステップＳ１の処理の少なくとも一部と並行して、実行されてもよい。
　ステップＳ３において、領域検出部２１は、データ欠損領域ＡＲ１を検出する領域検出処理を実行する。領域検出部２１は、ステップＳ１で得られる撮像部２の撮像結果（検出結果）と、ステップＳ２で得られる位置検出部３の検出結果とに基づいて、データ欠損領域ＡＲ１を検出する。なお、ステップＳ３において、領域検出部２１は、データ取得領域ＡＲ４とデータ欠損領域ＡＲ１とを検出する領域検出処理を実行してもよい。
　ステップＳ４において、付加部２３は、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加する。特定のテクスチャ情報は、物体（例、物体Ｘ１、Ｘ２）のテクスチャとは異なる。付加部２３は、例えば、記憶部２４に記憶されている特定のテクスチャ情報の候補の中からデータ欠損領域ＡＲ１に付与する特定のテクスチャ情報を選定する。ステップＳ４において、付加部２３は、予め定められた特定のテクスチャ情報を記憶部２４から読み出してデータ欠損領域ＡＲ１に対する特定のテクスチャ情報を特定してもよいし、データ取得領域ＡＲ４のＲＧＢデータからデータ欠損領域ＡＲ１に付与すべき特定のテクスチャ情報を判定し、記憶部２４に記憶されている複数の特定のテクスチャ情報の候補の中から選択してもよい。
　ステップＳ５において、モデル情報生成部２２は、モデル情報を生成する。ステップＳ５は、例えば、ステップＳ６からステップＳ９の処理が実行される。ステップＳ６において、モデル情報生成部２２は、モデル情報として点群データを生成する。ステップＳ７において、モデル情報生成部２２は、ステップＳ６で生成した点群データを用いて、モデル情報としてサーフェス情報を生成する。ステップＳ８において、モデル情報生成部２２は、撮像部２から得られる撮像画像を用いて、テクスチャ情報を生成する。ステップＳ９において、モデル情報生成部２２は、点群データ等の形状情報と、テクスチャ情報及び特定のテクスチャ情報とを関連付けたモデル情報を生成する。
　次に、図７を参照しつつ、図６のステップＳ３の処理について説明する。図７は、第１実施形態に係る領域検出処理を示すフローチャートである。ステップＳ１１において、領域検出部２１（図１参照）は、デプスマップＤＭ上の位置と撮像画像ＩＭ上の位置とを対応付ける。ステップＳ１２において、領域検出部２１は、デプスマップＤＭから領域（適宜、第１領域という）を選択する。ステップＳ１３において、領域検出部２１は、第１領域と対応する領域（適宜、第２領域という）が撮像画像ＩＭにあるか否かを判定する。
　領域検出部２１は、第１領域に対応する第２領域が撮像画像ＩＭに存在すると判定した場合（ステップＳ１３；Ｙｅｓ）、ステップＳ１４において第２領域のＲＧＢデータがＮＡＮであるか否かを判定する。ＲＧＢデータが「ＮＡＮ」であることは、ＲＧＢデータが存在しないこと（Ｎｏｔ　Ａ　Ｎｕｍｂｅｒ）を表す。領域検出部２１は、第２領域のＲＧＢデータがＮＡＮでない（有意な値を有する）と判定した場合（ステップＳ１４；Ｎｏ）、ステップＳ１５において第１領域をデータ取得領域ＡＲ４に属する領域として登録する。
　領域検出部２１は、ステップＳ１３において第１領域に対応する第２領域が撮像画像ＩＭに存在しないと判定した場合（ステップＳ１３；Ｎｏ）、又はステップＳ１４において第２領域のＲＧＢデータがＮＡＮであると判定した場合（ステップＳ１４；Ｙｅｓ）、第１領域をデータ欠損領域ＡＲ１に属する領域として登録する。
　領域検出部２１は、ステップＳ１５の処理後又はステップＳ１６の処理後に、ステップＳ１７において第１領域の選択を変更するか否かを判定する。領域検出部２１は、例えば、デプスマップＤＭにおいて予定された一部の領域について、データ取得領域ＡＲ４又はデータ欠損領域ＡＲ１に属するかの検出（ステップＳ１５またはステップＳ１６）が完了していないと判定した場合に、第１領域の選択を変更すると判定する（ステップＳ１７；Ｙｅｓ）。領域検出部２１は、第１領域の選択を変更すると判定した場合（ステップＳ１７；Ｙｅｓ）、ステップＳ１２の処理に戻り、デプスマップＤＭから次の領域（第１領域）を選択し、以降の処理を繰り返す。
　領域検出部２１は、ステップＳ１７において、デプスマップＤＭにおいて予定された全部の領域について、データ取得領域ＡＲ４又はデータ欠損領域ＡＲ１に属するかの検出（ステップＳ１５またはステップＳ１６）が完了したと判定した場合に、第１領域の選択を変更しないと判定する（ステップＳ１７；Ｎｏ）。領域検出部２１は、第１領域の選択を変更しないと判定した場合（ステップＳ１７；Ｎｏ）、データ欠損領域ＡＲ１とデータ取得領域ＡＲ４とを区別する情報を記憶部２４（図１参照）に記憶させ、一連の処理を終了する。データ欠損領域ＡＲ１とデータ取得領域ＡＲ４とを区別する情報は、例えば、デプスマップＤＭのデプス情報（位置情報）ごとに、データ欠損領域ＡＲ１に属することを「０」で表し、データ取得領域ＡＲ４に属することを「１」で表すフラグデータである。
　図６及び図７に示す一連の処理が実行されることにより、図８に示すようなモデル情報が生成される。図８（Ａ）は第１実施形態に係るモデル情報を表示した一例を示す図、図８（Ｂ）は第１実施形態に係るモデル情報を表示した他の例を示す図である。図８（Ａ）及び図８（Ｂ）は、モデル情報ＭＤ１、ＭＤ２をＣＧ画像として表示部の画面に表示した例をそれぞれ示している。
　付加部２３が、グレーの特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加した場合、図８（Ａ）に示すように、モデル情報生成部２２は、形状情報のうちデータ取得領域ＡＲ２には物体Ｘ１のテクスチャ（ＲＧＢデータ）を張り付け、データ取得領域ＡＲ３には物体Ｘ２のテクスチャ（ＲＧＢデータ）を張り付け、データ欠損領域ＡＲ１にはグレーの特定のテクスチャ情報を張り付けたモデル情報ＭＤ１を生成する。モデル情報ＭＤ１は、例えば、物体Ｘ１の模様、形状等が複雑な場合、データ欠損領域ＡＲ１がグレーとなるので、物体Ｘ１の模様、形状等が強調され、違和感（物体Ｘ１の不自然さ）を軽減できる。
　また、付加部２３が、グラデーションを設定した特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加した場合、図８（Ｂ）に示すように、モデル情報生成部２２は、形状情報のうちデータ取得領域ＡＲ２には物体Ｘ１のテクスチャ（ＲＧＢデータ）を張り付け、データ取得領域ＡＲ３には物体Ｘ２のテクスチャ（ＲＧＢデータ）を張り付け、データ欠損領域ＡＲ１にはグラデーションを設定した特定のテクスチャ情報（例、グレーのグラデーション）を張り付けたモデル情報ＭＤ２を生成する。モデル情報ＭＤ２は、例えば、物体Ｘ１の模様、形状等が複雑な場合、データ欠損領域ＡＲ１では物体Ｘ１から遠ざかるにつれて薄くなるグラデーションとなっているので、物体Ｘ１の模様、形状等が強調され、違和感（物体Ｘ１の不自然さ）を軽減できる。
　本実施形態において、図１のデータ欠損領域ＡＲ１は、位置検出部３（第２位置Ｖｐ２）から検出可能な領域である。ここで、データ欠損領域ＡＲ１に所定テクスチャ情報が付加されないとする。この場合、例えば、データ欠損領域ＡＲ１のＲＧＢデータが欠如し、情報処理部４は、データ欠損領域ＡＲ１に他の点のＲＧＢデータを用いたテクスチャ情報を形状情報に対応付ける場合がある。このようなモデル情報に基づいてレンダリング処理を実行する場合、例えば、データ欠損領域ＡＲ１に物体Ｘ２の形状情報が得られていても、データ欠損領域ＡＲ１に物体Ｘ１の（すなわち他の点の）ＲＧＢデータが貼り付けられて、物体（例、物体Ｘ１）の後方にゴースト（図９のゴーストＧ参照）が表示されることがある。
　本実施形態に係る検出装置１は、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加するので、例えば、データ欠損領域ＡＲ１の形状情報と特定のテクスチャ情報とを関連付けてモデル情報を生成することができる。例えば、このモデル情報を用いてレンダリング処理を実行すると、データ欠損領域ＡＲ１に特定のテクスチャが表現され、物体（例、物体Ｘ１）の模様、形状等を強調するので、違和感（物体の不自然さ）を軽減できる。
　図９は、モデル情報ＭＤ１とモデル情報ＭＤとをＣＧ画像として表示部の画面に表示した例を示している。図９に示す例において、表示部の画面Ｄにおいて、本実施形態によりデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加したモデル情報ＭＤ１を画面Ｄの左側に表示し、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加していないモデル情報ＭＤを画面Ｄの右側に表示して、モデル情報ＭＤ１とモデル情報ＭＤとのＣＧ画像を１つの画面Ｄに並べて表示している。
　モデル情報ＭＤの表示画像では、物体Ｘ１の後方に物体Ｘ１の表面のテクスチャが貼り付けられ、物体Ｘ１の後方から物体Ｘ２にかけてゴーストＧが生じており、物体Ｘ１のモデル情報として違和感（物体の不自然さ）がある表示となっている。ゴーストＧは、例えば、物体Ｘ１から物体Ｘ２にかけて連続して生じる場合がある。そのため、物体Ｘ１と物体Ｘ２とが一続きとなって物体Ｘ１のモデル情報としては違和感を生じさせる要因となる。一方、モデル情報ＭＤ１の表示画像では、物体Ｘ１の後方に特定のテクスチャ情報に基づくグレーのテクスチャが貼り付けられている。そのため、物体Ｘ１の模様、形状等が強調され、又は物体Ｘ１が物体Ｘ２から分離していることが認識され、物体Ｘ１のモデル情報として違和感を軽減できる。
　なお、本実施形態の情報処理部４において、付加部２３は、モデル情報生成部２２と別に設けられることに限定されず、付加部２３がモデル情報生成部２２に含まれていてもよい。この場合、上記した図６のフローチャートにおいて、ステップＳ４は、ステップＳ５におけるモデル情報の生成において、ステップＳ４に示すデータ欠損領域ＡＲ１に対する所定テクスチャ情報の付加を行ってもよい。
　また、情報処理部４は、検出装置１と別の装置（例、情報処理装置）として提供されてもよい。例えば、情報処理部４（情報処理装置）は、撮像部２と位置検出部３との一方又は双方と別に提供されてもよい。また、領域検出部２１を撮像部２、位置検出部３に備えるようにしてもよい。また、情報処理部４（情報処理装置）は、モデル情報生成部２２を備えなくてもよい。モデル情報生成部２２は、情報処理部４と別の装置に設けられてもよい。
　情報処理部４は、例えば、クラウドコンピュータを含んでもよい。情報処理部４は、例えばインターネット回線を介して、撮像部２及び位置検出部３のそれぞれと接続されてもよい。情報処理部４は、撮像部２の撮像結果から得られる情報（例、撮像画像のデータ）と、位置検出部３の検出結果から得られる情報（例、デプスマップ、点群データ）とを、インターネット回線を介して取得し、取得したデータに基づいて上述の処理を実行してもよい。情報処理部４は、例えば、その処理結果（例、モデル情報）について、インターネット回線を介して、外部の装置（例、表示装置、サーバ、他のコンピュータシステム）に出力してもよい。
［第２実施形態］
　次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第２実施形態に係る検出装置１Ａの一例を示す図である。本実施形態において、検出装置１Ａはテクスチャ推定部２５を備える。テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加部２３が付加する特定のテクスチャ情報を推定する。テクスチャ推定部２５は、例えば、撮像部２が取得した情報（例、ＲＧＢデータ）に基づいて、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定するテクスチャ推定処理を実行する。
　テクスチャ推定処理は、例えば、撮像部２が取得した物体（例、物体Ｘ１、Ｘ２）のテクスチャ情報から、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定する。テクスチャ推定処理の一例として、テクスチャ推定部２５は、データ取得領域ＡＲ４の位置情報と、データ欠損領域ＡＲ１において取得しているデプス情報（位置情報）とで連続性のある面（例、平面、曲面、球面）を抽出（特定）する。この連続性のある面のうち、データ取得領域ＡＲ４ではテクスチャ情報を得ているので、このテクスチャと連続するようにデータ欠損領域ＡＲ１における特定のテクスチャ情報を推定する。テクスチャ推定部２５が推定する特定のテクスチャ情報は、例えば、データ取得領域ＡＲ４において取得しているテクスチャ情報の色、模様等が同一又はほぼ同一であり、データ欠損領域ＡＲ１に付加したときにデータ取得領域ＡＲ４のテクスチャ情報と連続する。
　また、テクスチャ推定処理の他の例として、テクスチャ推定部２５は、データ取得領域ＡＲ４のテクスチャ情報のうち物体（例、物体Ｘ１）のＲＧＢデータにおいて平均の色を算出する。テクスチャ推定部２５は、この物体の平均の色を強調する（浮き立たせる）関係の色を判定する。この色の判定は、例えば、明度、彩度、色度の少なくとも１つを用いて判定してもよいし、予め記憶部２４に複数のパターンを記憶しておき、テクスチャ推定部２５が、記憶部２４に記憶されたパターンから選定してもよい。テクスチャ推定部２５は、判定した色を付与した特定のテクスチャ情報を推定する。
　また、テクスチャ推定処理の他の例として、テクスチャ推定部２５は、複数の物体（例、物体Ｘ１、Ｘ２）がある場合、物体Ｘ１のテクスチャ情報（ＲＧＢデータ）と、物体Ｘ２のテクスチャ情報（ＲＧＢデータ）とを用いて、物体Ｘ１と物体Ｘ２との間で色、模様が連続的に変化するような色変化又は模様の変化を特定した特定のテクスチャ情報を推定してもよい。
　また、テクスチャ推定部２５は、特定のテクスチャ情報を複数推定し、使用者が複数の特定のテクスチャ情報の候補の中から選択可能であってもよい。この場合、テクスチャ推定部２５は、表示部の画面に複数の特定のテクスチャ情報の候補を切り替え可能に表示させてもよい。表示部の画面には、特定のテクスチャ情報の候補をデータ欠損領域ＡＲ１に付加した状態を表示させてもよい。使用者は、表示部の画面を見ながら、データ欠損領域ＡＲ１において好ましい（適した、違和感のない、不自然さが少ない）特定のテクスチャ情報を選択可能としてもよい。
　次に、第２実施形態に係る検出装置１Ａの動作に基づき、実施形態に係る検出方法について説明する。図１１は、第２実施形態に係る検出方法を示すフローチャートである。検出装置１Ａの各部については、適宜、図１０を参照する。なお、上述した図６に示すフローチャートと同様の処理については、同じ符号を付している。ステップＳ１において、撮像部２は、物体Ｘ１を含む対象領域ＡＲを撮像する。ステップＳ２において、位置検出部３は、所定の点から対象領域ＡＲの各点までのデプス情報（位置情報）を検出する。なお、ステップＳ２の処理は、ステップＳ１の処理よりも前に実行されてもよい。また、ステップＳ２の処理は、ステップＳ１の処理の少なくとも一部と並行して、実行されてもよい。
　ステップＳ３において、領域検出部２１は、データ欠損領域ＡＲ１を検出する領域検出処理を実行する。領域検出部２１は、ステップＳ１で得られる撮像部２の撮像結果（検出結果）と、ステップＳ２で得られる位置検出部３の検出結果とに基づいて、データ欠損領域ＡＲ１を検出する。なお、ステップＳ３において、領域検出部２１は、データ取得領域ＡＲ４とデータ欠損領域ＡＲ１とを検出する領域検出処理を実行してもよい。
　ステップＳ２１において、テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定する。テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加するテクスチャ情報を推定するテクスチャ推定処理を実行する。テクスチャ推定部２５は、推定した特定のテクスチャ情報を記憶部２４に記憶させてもよい。また、ステップＳ２１において、テクスチャ推定部２５は、推定した特定のテクスチャ情報を表示部の画面に表示させ、使用者に特定のテクスチャ情報の使用の可否を求めてもよい。この場合、使用者は、表示部の画面に表示された特定のテクスチャ情報を見て、特定のテクスチャ情報の使用の可否を判断することができる。
　ステップＳ２２において、付加部２３は、テクスチャ推定部２５が推定した特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加する。ステップＳ５において、モデル情報生成部２２は、モデル情報を生成する。ステップＳ５は、例えば、ステップＳ６からＳ９の処理が実行される。ステップＳ６において、モデル情報生成部２２は、モデル情報として点群データを生成する。ステップＳ７において、モデル情報生成部２２は、ステップＳ６で生成した点群データを用いて、モデル情報としてサーフェス情報を生成する。ステップＳ８において、モデル情報生成部２２は、撮像部２から得られる撮像画像を用いて、テクスチャ情報を生成する。ステップＳ９において、モデル情報生成部２２は、点群データ等の形状情報と、テクスチャ情報及び特定のテクスチャ情報とを関連付けたモデル情報を生成する。
　図１１に示す一連の処理を実行することにより、データ欠損領域ＡＲ１に特定のテクスチャ情報が貼り付けられた３Ｄモデル（ＣＧ画像）が生成される（図８（Ａ）、（Ｂ）参照）。このように、本実施形態によれば、データ欠損領域ＡＲ１に不適切なテクスチャ（例、図９に示すゴーストＧ）が貼り付けられた３Ｄモデルに比べて違和感（物体の不自然さ）を軽減できる。また、本実施形態によれば、特定のテクスチャ情報をテクスチャ推定部２５が推定するので、モデル化する物体（例、物体Ｘ１）に合わせた特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加することができ、より一層違和感（不自然さ）を軽減できる。
［第３実施形態］
　次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１２は、第３実施形態に係る検出装置１Ｂの一例を示す図である。本実施形態において、検出装置１Ｂは、撮像部２Ａ及び位置検出部３Ａを含む検出部と、撮像部２Ｂ及び位置検出部３Ｂを含む検出部との２つの検出部を備えている。撮像部２Ａ及び位置検出部３Ａは、位置Ｖｐ１Ａ、Ｖｐ１Ｂ（図示せず）に設定され、撮像部２Ｂ及び位置検出部３Ｂは、位置Ｖｐ１Ａ、Ｖｐ１Ｂとそれぞれ異なる位置Ｖｐ２Ａ、Ｖｐ２Ｂ（図示せず）に設定されている。なお、本実施形態では、検出部が２つの場合を示しているが、検出部の数が３つ以上であってもよい。
　情報処理部４は、領域検出部２１と、モデル情報生成部２２と、付加部２３と、記憶部２４と、モデル情報統合部（モデル統合部）２６とを備える。モデル情報生成部２２は、位置検出部３Ａが検出した対象領域ＡＲの位置情報から物体（例、物体Ｘ１）の第１形状情報（第１モデル情報）を生成する。モデル情報生成部２２は、位置検出部３Ａが検出したデプス情報（位置情報、第１デプスマップ）から点群データを生成し、この点群データを用いて、第１形状情報（例、第１サーフェス情報）を生成する。モデル情報生成部２２は、撮像部２Ａが撮像した撮像画像を用いて第１テクスチャ情報を生成し、この第１テクスチャ情報を関連付けた第１形状情報を生成してもよい。
　また、モデル情報生成部２２は、位置検出部３Ｂが検出した対象領域ＡＲの位置情報から物体（例、物体Ｘ１）の第２形状情報（第２モデル情報）を生成する。モデル情報生成部２２は、位置検出部３Ｂが検出したデプス情報（位置情報、第２デプスマップ）から点群データを生成し、この点群データを用いて、第２形状情報（例、第２サーフェス情報）を生成する。モデル情報生成部２２は、撮像部２Ｂが撮像した撮像画像を用いて第２テクスチャ情報を生成し、この第２テクスチャ情報を関連付けた第２形状情報を生成してもよい。
　モデル情報統合部２６は、第１形状情報と第２形状情報とを統合するモデル情報統合処理を実行する。モデル情報統合処理は、例えば、物体Ｘ１を位置Ｖｐ１Ａ、Ｖｐ１Ｂから検出した結果（第１の検出結果）に基づいて生成される第１形状情報と、物体Ｘ１を位置Ｖｐ２Ａ、Ｖｐ２Ｂから検出した結果（第２の検出結果）に基づいて生成される第２形状情報と統合して、統合形状情報（統合モデル情報）を生成する。また、モデル情報統合部２６は、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂ以外の位置（第３位置）から生成された第３形状情報（第３モデル情報）を取得して第１形状情報及び第２形状情報の一方又は双方を統合させて統合形状情報を生成してもよい。
　モデル情報統合部２６は、例えば、第１形状情報が示す形状のうちの第１特徴点と、第２形状情報が示す形状のうちの第２特徴点とを対応させて、第１形状情報と第２形状情報とを統合する。第１特徴点は、第１形状情報が示す形状のうち他の部分と識別可能な部分である。例えば、サーフェス情報において面に定義されている部分は、その外周の形状などにより、他の面と識別可能である。第２特徴点は、第２形状情報が示す形状のうち他の部分と識別可能な部分である。
　また、モデル情報統合部２６は、第１形状情報と、第１形状情報に関連付けられた第１テクスチャ情報との少なくとも一方を使って第１特徴点を検出し、第１特徴点の位置とその特徴点の特徴量（第１特徴量）とを示す第１特徴点データを算出する。モデル情報統合部２６は、例えば、第１特徴点データを第１形状情報の１項目の情報として、記憶部２４に記憶させる。また、モデル情報統合部２６は、例えば、第２形状情報と、第２形状情報に関連付けられた第２テクスチャ情報との少なくとも一方を使って第２特徴点を検出し、第２特徴点の位置とその特徴点の特徴量（第２特徴量）とを示す第２特徴点データを算出する。モデル情報統合部２６は、例えば、第２特徴点データを第２形状情報の１項目の情報として、記憶部２４に記憶させる。
　モデル情報統合部２６は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform)法又はＳＵＲＦ（Speeded Up Robust Features）法により特徴点及び特徴量を算出する。なお、上記の特徴点データ（例、第１特徴点データ、第２特徴点データ)は、少なくとも特徴点の特徴量を含むデータである。
　モデル情報統合部２６は、第１形状情報の第１特徴量を有する第１特徴点データと、第２形状情報の第２特徴量を有する第２特徴点データとをマッチングさせて統合した第３特徴点データを含む統合形状情報を算出する。第３特徴点データは、第１特徴点データ（例、第１特徴量)と第２特徴点データ（例、第２特徴量)とをマッチングさせたデータである。第３特徴点データは、例えば、物体Ｘ１のうち、第１特徴点データと第２特徴点データとが重なる部分を含み、第１特徴点及び第２特徴点よりも広い範囲のデータである。なお、統合形状情報が示す形状は、物体Ｘ１の一部を示す部分モデルであってもよい。
　本実施形態では、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂにおいて、それぞれの位置から検出を行っているが、モデル情報生成部２２が生成する統合形状情報は、物体Ｘ１の全周の一部のデータ（位置情報、テクスチャ情報）が欠損している。また、統合形状情報は、第１形状情報と第２形状情報とを統合した情報であり、第１形状情報に関連付けられた第１テクスチャ情報と、第２形状情報に関連付けられた第２テクスチャ情報とを統合した統合テクスチャ情報が関連付けられてもよい。モデル情報生成部２２は、算出した統合形状情報を記憶部２４に記憶させる。
　領域検出部２１は、撮像部２Ａによる撮像画像及び撮像部２Ｂによる撮像画像（又は上記した統合テクスチャ情報）と、上記した統合形状情報とに基づいて、データ欠損領域ＡＲ１を検出（例、特定、抽出）する。このデータ欠損領域ＡＲ１は、統合形状情報において物体（例、物体Ｘ１）の形状情報（デプス情報、位置情報）が取得（検出）されているが、テクスチャ情報が取得（検出）されていない領域である。このデータ欠損領域ＡＲ１は、撮像部２Ａ及び位置検出部３Ａの検出結果に基づいて得られるデータ欠損領域より小さく、撮像部２Ｂ及び位置検出部３Ｂの検出結果に基づいて得られるデータ欠損領域より小さい。
　付加部２３は、領域検出部２１が検出したデータ欠損領域ＡＲ１に対して特定のテクスチャ情報を付加する。データ欠損領域ＡＲ１に付加する特定のテクスチャ情報は、撮像部２Ａ、２Ｂが検出する物体（例、物体Ｘ１）のテクスチャ情報とは異なる。特定のテクスチャ情報は、予め定められた特定のテクスチャ情報であってもよいし、データ欠損領域ＡＲ１に応じて推定された特定のテクスチャ情報であってもよい。
　モデル情報生成部２２は、撮像部２Ａの撮像結果に基づく第１テクスチャ情報と、撮像部２Ｂの撮像結果に基づく第２テクスチャ情報とを生成する。なお、統合形状情報を生成する際に上記した統合テクスチャ情報が生成されている場合は、その統合テクスチャ情報が用いられてもよい。モデル情報生成部２２は、モデル情報（例、３次元のＣＧモデルデータ）を算出する。モデル情報は、対象領域ＡＲにおける物体の形状情報とテクスチャ情報との少なくとも一方を含む。モデル情報生成部２２は、算出したモデル情報を記憶部２４に記憶させる。
　次に、実施形態に係る検出装置１Ｂの動作に基づき、実施形態に係る検出方法について説明する。図１３は、第３実施形態に係る検出方法を示すフローチャートである。検出装置１Ｂの各部については、適宜、図１２を参照する。なお、上述した図６に示すフローチャートと同様の処理については、同じ符号を付している。ステップＳ１において、撮像部２Ａ、２Ｂは、物体Ｘ１を含む対象領域ＡＲをそれぞれ撮像する。ステップＳ２において、位置検出部３Ａ、３Ｂは、所定の点から対象領域ＡＲまでの各点のデプス情報（位置情報）をそれぞれ検出する。なお、ステップＳ２の処理は、ステップＳ１の処理よりも前に実行されてもよい。また、ステップＳ２の処理は、ステップＳ１の処理の少なくとも一部と並行して、実行されてもよい。
　ステップＳ３１において、モデル情報生成部２２は、位置検出部３Ａが検出したデプス情報（位置情報）に基づいて第１形状情報を生成する。また、ステップＳ３１において、モデル情報生成部２２は、位置検出部３Ｂが検出した位置情報に基づいて第２形状情報を生成する。ステップＳ３１は、例えば、ステップＳ６、Ｓ７の処理が実行される。ステップＳ６において、モデル情報生成部２２は、第１形状情報として第１点群データを生成し、第２形状情報として第２点群データを生成する。ステップＳ７において、モデル情報生成部２２は、ステップＳ６で生成した第１点群データを用いて、第１形状情報として第１サーフェス情報を生成し、第２点群データを用いて、第２形状情報として第２サーフェス情報を生成する。
　ステップＳ３２において、モデル情報統合部２６は、第１形状情報と第２形状情報とを統合するモデル情報統合処理を実行する。モデル情報統合部２６は、第１形状情報（第１サーフェス情報）と第２形状情報（第２サーフェス情報）とを統合して統合形状情報を生成する。モデル情報統合部２６は、撮像部２Ａの撮像画像に基づく第１テクスチャ情報と、撮像部２Ｂの撮像画像に基づく第２テクスチャ情報とを統合した統合テクスチャ情報を生成してもよい。ステップＳ３３において、領域検出部２１は、撮像部２Ａによる撮像画像及び撮像部２Ｂによる撮像画像（又は統合テクスチャ情報）と、統合形状情報とに基づいて、データ欠損領域ＡＲ１を検出する。
　ステップＳ３３において、領域検出部２１は、データ欠損領域ＡＲ１を検出する領域検出処理を実行する。領域検出部２１は、ステップＳ１で得られる撮像部２Ａ、２Ｂのそれぞれの撮像画像（又は上記した統合テクスチャ情報）と、ステップＳ２で得られる位置検出部３Ａ、３Ｂのそれぞれの検出結果とに基づいて、データ欠損領域ＡＲ１を検出する。
　ステップＳ３４において、付加部２３は、特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加する。ステップＳ３５において、モデル情報生成部２２は、モデル情報を生成する。ステップＳ３５は、例えば、ステップＳ８、Ｓ９の処理が実行される。ステップＳ８において、モデル情報生成部２２は、撮像部２Ａ、２Ｂからそれぞれ得られる撮像画像を用いて、テクスチャ情報を生成する。なお、ステップＳ３２において、統合テクスチャ情報が生成されている場合は、その統合テクスチャ情報が用いられる。ステップＳ９において、モデル情報生成部２２は、統合形状情報と、テクスチャ情報及び特定のテクスチャ情報とを関連付けたモデル情報を生成する。
　図１３に示す一連の処理を実行することにより、データ欠損領域ＡＲ１に特定のテクスチャ情報が貼り付けられた３Ｄモデル（ＣＧ画像）が生成される（図８（Ａ）、（Ｂ）参照）。このように、本実施形態によれば、複数の検出部から物体の形状情報及びテクスチャ情報を取得してもデータ欠損領域ＡＲ１が存在する場合に、このデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加することで違和感（物体の不自然さ）を軽減できる。
　なお、本実施形態において、位置検出部３Ａ、３Ｂは、データ欠損領域ＡＲ１のデプス情報（距離、位置情報）を検出するが、データ欠損領域ＡＲ１の形状情報（例、物体表面の点の座標、点群データ）を推定してもよい。また、情報処理部４（情報処理装置）は、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂのいずれかと別に提供されてもよい。また、情報処理部４は、例えばインターネット回線を介して、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂのそれぞれと接続されてもよい。情報処理部４は、撮像部２Ａ、２Ｂの撮像結果から得られる情報（例、撮像画像のデータ）と、位置検出部３Ａ、３Ｂの検出結果から得られる情報（例、デプスマップ、点群データ）とを、インターネット回線を介して取得し、取得したデータに基づいて上述の処理を実行してもよい。
［第４実施形態］
　次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１４は、第４実施形態に係る検出装置１Ｃの一例を示す図である。本実施形態において、検出装置１Ｃは確度情報設定部（確度情報生成部）２７を備える。確度情報設定部２７は、データ取得領域ＡＲ７（図５参照）において位置検出部３が位置情報を取得している各点のテクスチャの確度に関する確度情報を設定する。
　確度情報設定部２７は、デプス情報（位置情報）を取得している各点について、例えば２値のテクスチャの確度に関する確度情報を設定する確度設定処理を実行する。確度設定処理は、例えば、２値の確度情報で表す場合、デプス情報（位置情報）を取得している各点のうちテクスチャが得られている点の確度を１とし、テクスチャが得られていない点の確度を０として、位置情報を取得している全ての点又は一部の点について、それぞれ確度情報を設定する。確度は、例えば、所定の範囲の数値（例、０以上１以下、０％以上１００％以下）で表される。確度は、例えば、数値が高いほど情報の信頼度が高い（情報が確からしい）ことを表す。なお、確度の階調の数は、３以上（３値以上）であってもよい。
　確度情報設定部２７は、データ欠損領域ＡＲ１においてデプス情報（位置情報）を得ている各点を、確度０の確度情報に設定する。確度情報設定部２７は、データ欠損領域ＡＲ１を除いてデプス情報（位置情報）を得ている各点を、確度１の確度情報に設定する。また、確度情報設定部２７は、付加部２３によりデータ欠損領域ＡＲ１に対して特定のテクスチャ情報が付加される点について、確度０．５の確度情報を設定してもよい。確度情報設定部２７は、生成した確度情報を記憶部２４に記憶させる。
　モデル情報生成部２２は、確度情報設定部２７が設定した各点の確度情報に基づいて、物体（例、物体Ｘ１）の確度マップを生成してもよい。確度マップは、例えば、モデル情報生成部２２が生成したモデル情報（例、形状情報、点群データ、サーフェス情報）の各点について、確度の大きさを濃淡で表した形態であってもよい。この確度マップは、モデル情報においてテクスチャの確度が小さい（又はテクスチャが不確かであること）を示す。使用者は、この確度マップによりモデル情報の一部にテクスチャの不確かな部分があることを容易に視認することができる。
　また、検出装置１Ｃが上記した第３実施形態で示すような複数の撮像部２Ａ、２Ｂ、位置検出部３Ａ、３Ｂ、及びモデル情報統合部２６を備える場合（図１２参照）、確度情報設定部２７が設定した確度情報を用いて、モデル情報統合部２６により統合した統合形状情報にテクスチャ情報を関連付けることができる。確度情報設定部２７は、位置検出部３Ａの検出結果に基づく第１形状情報の各点について、撮像部２Ａの撮像画像からテクスチャの確度に関する確度情報を設定する。また、確度情報設定部２７は、位置検出部３Ｂの検出結果に基づく第２形状情報の各点について、撮像部２Ｂの撮像画像からテクスチャの確度に関する確度情報を設定する。
　モデル情報統合部２６は、第１形状情報と第２形状情報とを統合した統合形状情報に対してテクスチャ情報を関連付ける際に、第１形状情報と第２形状情報とが重なる部分領域（同一領域）について、各点の確度が大きいテクスチャ情報を用いて（又は確度が小さいテクスチャ情報を用いずに）、部分領域のテクスチャ情報を関連付ける。例えば、部分領域に関して、確度１のテクスチャ情報と、確度０のテクスチャ情報とがある場合、モデル情報統合部２６は、確度１のテクスチャ情報をこの部分領域のテクスチャ情報として関連付ける。また、例えば、確度０のテクスチャ情報が関連付けられた部分領域に関して、確度１のテクスチャ情報と、確度０のテクスチャ情報とがある場合、モデル情報統合部２６は、確度１のテクスチャ情報をこの部分領域のテクスチャ情報として関連付けてテクスチャ情報を更新する。その結果、モデル情報統合部２６は、部分領域について適切なテクスチャを関連付けたモデル情報を生成できる。
［第５実施形態］
　第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１５は、第５実施形態に係る検出システム５１の一例を示す図である。検出システム５１は、検出装置１、入力装置５２、表示装置５３、及び情報処理装置５４を備える。撮像部２、位置検出部３、及び情報処理部４は、例えば、１つの本体部ＢＤ（例、筐体、保持部、ボディ、支持部）に設けられる。撮像部２（撮像装置）、位置検出部３（位置検出装置）、及び情報処理部４（情報処理装置）の少なくとも１つは、本体部ＢＤに設けられなくてもよい。
　情報処理装置５４は、通信部５５、記憶部５６、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波又は赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、検出装置１と通信可能である。
　記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、検出装置１を制御する撮像制御プログラム、情報処理装置５４の各処理を実行させる情報処理プログラムなどを記憶する。
　レンダリング処理部５７は、例えば、グラフィックス　プロセッシング　ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵ及びメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
　レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の位置から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物と別のテクスチャを貼り付けた推定画像を算出することができる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
　制御部５８は、例えば、情報処理装置５４の各部、検出装置１、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、検出装置１に指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が検出装置１から受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。
　入力装置５２は、情報処理装置５４に対する各種情報（例、データ、指令）の入力に利用される。ユーザは、入力装置５２を操作することによって、情報処理装置５４に対して各種情報を入力可能である。入力装置５２は、例えば、キーボード、マウス、トラックボール、タッチパネル、及び音声入力デバイス（例、マイク）の少なくとも一つを含む。
　表示装置５３は、情報処理装置５４から出力される画像のデータに基づいて、この画像を表示する。例えば、情報処理装置５４は、レンダリング処理部５７が生成した推定画像のデータを表示装置５３に出力する。表示装置５３は、情報処理装置５４から出力された推定画像のデータに基づいて、推定画像を表示する。表示装置５３は、例えば、液晶ディスプレイを含む。表示装置５３および入力装置５２は、タッチパネルなどでもよい。
　なお、検出システム５１は、入力装置５２を備えなくてもよい。例えば、検出システム５１は、各種の指令、情報が通信部５５を介して入力される形態でもよい。また、検出システム５１は、表示装置５３を備えなくてもよい。例えば、検出システム５１は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。情報処理部４は、情報処理装置５４と同じ装置に設けられてもよい。例えば、情報処理部４と情報処理装置５４とは、同じコンピュータシステムに設けられてもよい。
　また、本実施形態における情報処理装置（処理装置）は、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域までの各点のデプス情報（位置情報）を第１位置と異なる第２位置から検出した検出結果に基づいて、デプス情報（位置情報）が取得（検出）されかつテクスチャ情報が取得（検出）されていないデータ欠損領域を検出する領域検出部２１と、データ欠損領域に対してテクスチャ情報を付加する付加部２３と、を備える。
　上述の実施形態において、情報処理部４は、例えばコンピュータシステムを含む。情報処理部４は、記憶装置（例、記憶部２４）に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、例えば、コンピュータに、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び対象領域の各点の位置情報を第１位置と異なる第２位置から検出した検出結果に基づいて、位置情報が検出されかつテクスチャ情報が検出されないデータ欠損領域を検出することと、データ欠損領域に対してテクスチャ情報を付加することと、を実行させる。この情報処理プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。
　なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、上記した実施形態では、１台の検出装置１等によりモデル情報を生成しているが、例えば、異なる視点（位置）に配置された複数台の検出装置１等を用いてモデル情報を生成してもよい。この場合、各検出装置１等で生成したモデル情報を、いずれかの検出装置１等又は別の処理装置などで統合した後にデータ欠損領域ＡＲ１を検出し、このデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加してもよい。また、上記した実施形態では、１台の検出装置１に撮像部２及び位置検出部３を備える構成を例に挙げて説明しているが、この構成に限定されない。例えば、検出装置１は、撮像部２を備える検出装置Ａと、位置検出部３を備える検出装置Ｂとで構成されてもよい。検出装置Ａ及び検出装置Ｂは、撮像部２又は位置検出部３がない以外は検出装置１と同様の構成を備えていてもよい。検出装置Ａと検出装置Ｂとはデータの送受信が可能に接続されており、検出装置Ａの撮像部２により取得した撮像データを検出装置Ｂに送信可能であり、検出装置Ｂの位置検出部３により取得したデプス情報を検出装置Ａに送信可能である。また、検出装置Ａと検出装置Ｂとは視点（位置）が異なり、検出装置Ａの撮像部２の位置が第１位置Ｖｐ１であり、検出装置Ｂの位置検出部３が位置を第２位置Ｖｐ２である。検出装置Ａの撮像部２により取得した撮像データ、及び検出装置Ｂの位置検出部３により取得したデプス情報は、検出装置Ａ又は検出装置Ｂの情報処理部４に集められて処理され、上記した実施形態と同様に、データ欠損領域ＡＲ１が検出され、そのデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加したモデル情報が生成される。また、法令で許容される限りにおいて、日本特許出願である特願２０１８－２３９５３６、及び、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１、１Ａ、１Ｂ、１Ｃ・・・検出装置、２、２Ａ、２Ｂ・・・撮像部（テクスチャ検出部）、３、３Ａ、３Ｂ・・・位置検出部、４・・・情報処理部（情報処理装置）、２１・・・領域検出部、２２・・・モデル情報生成部、２３・・・付加部、２４・・・記憶部、２５・・・テクスチャ推定部、２６・・・モデル情報統合部、２７・・・確度情報設定部、ＡＲ・・・対象領域、ＡＲ１・・・データ欠損領域

Claims (20)

  1. 　対象物のテクスチャ情報を第１位置から検出するテクスチャ検出部と、
    　前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出する位置検出部と、
    　前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を、前記テクスチャ検出部の検出結果及び前記位置検出部の検出結果に基づいて検出する領域検出部と、
    　前記データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、
    　を備える検出装置。
  2. 　前記領域検出部は、前記対象物の点と前記第１位置とを結ぶ線までの距離が閾値以下の点のうち、前記第１位置に最も近い点以外の点を前記データ欠損領域に属する点として検出する、
    　請求項１に記載の検出装置。
  3. 　前記位置検出部は、前記第２位置から前記対象物の各点までの距離を前記デプス情報として検出し、
    　前記領域検出部は、前記位置検出部が検出した距離に基づいて、前記データ欠損領域を検出する、
    　請求項１又は請求項２に記載の検出装置。
  4. 　複数の前記デプス情報から前記対象物の各点の座標を算出する情報処理部を備え、
    　前記領域検出部は、前記情報処理部が算出した座標に基づいて、前記データ欠損領域を検出する、
    　請求項１から請求項３のいずれか一項に記載の検出装置。
  5. 　前記テクスチャ検出部は、前記対象物において前記データ欠損領域に対応する領域と前記第１位置との間に配置される物体のテクスチャ情報を検出し、
    　前記付加部は、前記データ欠損領域に対して、前記テクスチャ検出部の検出結果から得られる前記物体のテクスチャ情報とは異なる前記特定のテクスチャ情報を付加する、
    　請求項１から請求項４のいずれか一項に記載の検出装置。
  6. 　前記付加部が付加する前記特定のテクスチャ情報の候補を記憶する記憶部を備え、
    　前記付加部は、前記記憶部に記憶された前記特定のテクスチャ情報の候補から選択される前記特定のテクスチャ情報を前記データ欠損領域に付加する、
    　請求項１から請求項５のいずれか一項に記載の検出装置。
  7. 　前記テクスチャ検出部は、カラーのテクスチャ情報を検出し、
    　前記特定のテクスチャ情報の候補は、グレースケールの前記特定のテクスチャ情報を含む、
    　請求項１から請求項６のいずれか一項に記載の検出装置。
  8. 　前記特定のテクスチャ情報を推定するテクスチャ推定部、を備える、請求項１から請求項７のいずれか一項に記載の検出装置。
  9. 　前記テクスチャ推定部は、前記テクスチャ検出部の検出結果に基づいて、前記データ欠損領域に前記付加部が付加する前記特定のテクスチャ情報を推定する、請求項８に記載の検出装置。
  10. 　前記テクスチャ推定部は、前記データ欠損領域において取得された前記デプス情報と、前記データ欠損領域を除いた領域の前記デプス情報とで連続性のある面に基づいて、前記データ欠損領域における前記特定のテクスチャ情報を推定する、請求項８又は請求項９に記載の検出装置。
  11. 　前記テクスチャ推定部は、複数の物体の間で、色、及び模様の少なくとも一つを連続的に変化させた前記特定のテクスチャ情報を推定する、請求項８から請求項１０のいずれか一項に記載の検出装置。
  12. 　前記領域検出部が検出した前記データ欠損領域に基づいて、前記対象物の各領域におけるテクスチャ情報の確度情報を生成する確度情報生成部を備える、
    　請求項１から請求項１１のいずれか一項に記載の検出装置。
  13. 　前記確度情報生成部は、前記領域検出部が検出した前記データ欠損領域のテクスチャ情報の確度情報を、前記対象物の各領域におけるテクスチャ情報において相対的に低い値に設定する、
    　請求項１２に記載の検出装置。
  14. 　前記確度情報生成部は、前記領域検出部が検出した前記データ欠損領域に基づいて前記付加部が付加した前記特定のテクスチャ情報の確度情報を、前記対象物の各領域におけるテクスチャ情報において相対的に低い値に設定する、
    　請求項１２又は請求項１３に記載の検出装置。
  15. 　前記対象物の各点のデプス情報を前記第２位置から検出して得られるモデル情報と、前記対象物の各点のデプス情報を前記第２位置とは異なる第３位置から検出して得られるモデル情報と、を前記確度情報生成部が生成した確度情報に基づいて統合するモデル統合部を備える、
    　請求項１２から請求項１４のいずれか一項に記載の検出装置。
  16. 　対象物のテクスチャ情報を第１位置から検出した検出結果、及び前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出した検出結果に基づいて、前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、
    　前記データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置。
  17. 　前記付加部は、前記第１位置から検出した検出結果である撮像画像の全体、又は、前記撮像画像から物体の情報を除いた他の物体の情報に基づいて、明度、彩度、色相のいずれか１つ、又は、これら複数の平均をとって前記特定のテクスチャ情報を生成する、請求項１６に記載の情報処理装置。
  18. 　前記付加部は、前記第１位置から検出した検出結果である撮像画像から物体の情報を除いた他の物体の情報に基づいて、前記データ欠損領域の近傍の色を用いて前記特定のテクスチャ情報を生成する、請求項１６に記載の情報処理装置。
  19. 　対象物のテクスチャ情報を第１位置から検出することと、
    　前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出することと、
    　前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を、前記テクスチャ情報の検出結果及び前記デプス情報の検出結果に基づいて検出することと、
    　前記データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法。
  20. 　コンピュータに、
    　対象物のテクスチャ情報を第１位置から検出した検出結果、及び前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出した検出結果に基づいて、前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を検出することと、
    　前記データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラム。
PCT/JP2019/049798 2018-12-21 2019-12-19 検出装置、情報処理装置、検出方法、及び情報処理プログラム WO2020130070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020561503A JP7140209B2 (ja) 2018-12-21 2019-12-19 検出装置、情報処理装置、検出方法、及び情報処理プログラム
US17/350,803 US11967094B2 (en) 2018-12-21 2021-06-17 Detecting device, information processing device, detecting method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018239536 2018-12-21
JP2018-239536 2018-12-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/350,803 Continuation US11967094B2 (en) 2018-12-21 2021-06-17 Detecting device, information processing device, detecting method, and information processing program

Publications (1)

Publication Number Publication Date
WO2020130070A1 true WO2020130070A1 (ja) 2020-06-25

Family

ID=71100831

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/049798 WO2020130070A1 (ja) 2018-12-21 2019-12-19 検出装置、情報処理装置、検出方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11967094B2 (ja)
JP (1) JP7140209B2 (ja)
WO (1) WO2020130070A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195403A1 (ja) * 2022-04-06 2023-10-12 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020002824T5 (de) * 2019-06-13 2022-03-10 Denso Corporation Kartendatenerzeugungssystem, Datenzentrum und fahrzeugeigene Vorrichtung
CN112927293A (zh) * 2021-03-26 2021-06-08 深圳市慧鲤科技有限公司 Ar场景展示方法及装置、电子设备和存储介质
KR20240036501A (ko) 2021-07-19 2024-03-20 하마마츠 포토닉스 가부시키가이샤 반도체 고장 해석 장치 및 반도체 고장 해석 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158855A1 (ja) * 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
WO2017154706A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP2018189636A (ja) * 2017-04-28 2018-11-29 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
US6525731B1 (en) * 1999-11-09 2003-02-25 Ibm Corporation Dynamic view-dependent texture mapping
US6963671B2 (en) * 2002-04-17 2005-11-08 Mitsubishi Electric Research Labs, Inc. Method for determining distances to a surface from a range image
US6862024B2 (en) * 2002-04-17 2005-03-01 Mitsubishi Electric Research Laboratories, Inc. Enhancing textured range images using a 2D editor
JP2010134546A (ja) 2008-12-02 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> 視体積交差法による３次元形状復元装置、３次元形状復元方法および３次元形状復元プログラム
US8947505B2 (en) * 2010-03-31 2015-02-03 Omron Scientific Technologies, Inc. Method and apparatus for generating texture in a three-dimensional scene
US9525858B2 (en) * 2011-07-06 2016-12-20 Telefonaktiebolaget Lm Ericsson (Publ) Depth or disparity map upscaling
US9443132B2 (en) * 2013-02-05 2016-09-13 Children's National Medical Center Device and method for classifying a condition based on image analysis
MX2018010282A (es) * 2016-02-25 2018-12-19 Dainippon Printing Co Ltd Sistema de generacion de datos de forma tridimensional e informacion de textura, programa de control de formacion de imagenes y metodo de generacion de datos de forma tridimensional e informacion de textura.
US10867404B2 (en) * 2018-08-29 2020-12-15 Toyota Jidosha Kabushiki Kaisha Distance estimation using machine learning
US11589031B2 (en) * 2018-09-26 2023-02-21 Google Llc Active stereo depth prediction based on coarse matching
WO2020131880A1 (en) * 2018-12-17 2020-06-25 The Brigham And Women's Hospital, Inc. System and methods for a trackerless navigation system
CN111127633A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 三维重建方法、设备以及计算机可读介质
US11568526B2 (en) * 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN112102411B (zh) * 2020-11-02 2021-02-12 中国人民解放军国防科技大学 一种基于语义误差图像的视觉定位方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016158855A1 (ja) * 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
WO2017154706A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP2018189636A (ja) * 2017-04-28 2018-11-29 パナソニックＩｐマネジメント株式会社 撮像装置、画像処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195403A1 (ja) * 2022-04-06 2023-10-12 株式会社Ｊｖｃケンウッド 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP7140209B2 (ja) 2022-09-21
US11967094B2 (en) 2024-04-23
JPWO2020130070A1 (ja) 2021-10-28
US20210312647A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP7140209B2 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US10706571B2 (en) Imaging device, image processing device, storage medium, and imaging system
JP6531823B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2015182134A1 (en) Improved setting of virtual illumination environment
JP6045378B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021002358A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP6662449B2 (ja) 検出装置、検出システム、検出方法、及び検出プログラム
JP2023157018A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP5521888B2 (ja) 情報処理装置、情報処理方法、プログラム、及び電子装置
US11043019B2 (en) Method of displaying a wide-format augmented reality object
WO2019198446A1 (ja) 検出装置、検出方法、情報処理装置、及び情報処理プログラム
JP2015035799A (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
US20210209786A1 (en) Detection device, method of detection, information processing device, and storage medium
GB2537142A (en) An arrangement for image segmentation
Shinozaki et al. Correction of color information of a 3D model using a range intensity image
US9996969B2 (en) Dynamically creating and presenting a three-dimensional (3D) view of a scene by combining color, brightness, and intensity from multiple scan data sources
JP2014011639A (ja) 撮像装置
JP2015007830A (ja) 光源情報推定装置、光源情報推定方法及びプログラム
Jiang et al. Project report: Light source estimation using kinect
JP2014203341A (ja) 情報端末装置及び認識対象
JP2021069004A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20110136019A (ko) 거리 차이를 통해 객체를 인식하는 증강현실 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19898208

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020561503

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19898208

Country of ref document: EP

Kind code of ref document: A1