WO2023214790A1 - 영상 분석 장치 및 방법 - Google Patents

영상 분석 장치 및 방법 Download PDF

Info

Publication number
WO2023214790A1
WO2023214790A1 PCT/KR2023/006027 KR2023006027W WO2023214790A1 WO 2023214790 A1 WO2023214790 A1 WO 2023214790A1 KR 2023006027 W KR2023006027 W KR 2023006027W WO 2023214790 A1 WO2023214790 A1 WO 2023214790A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
depth map
absolute distance
distance
autofocus
Prior art date
Application number
PCT/KR2023/006027
Other languages
English (en)
French (fr)
Inventor
박동진
김대봉
권영상
김혁래
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220118616A external-priority patent/KR20230155939A/ko
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Publication of WO2023214790A1 publication Critical patent/WO2023214790A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Definitions

  • the present invention relates to an image analysis device and method. More specifically, the present invention relates to an image analysis device and method, and more specifically, to calculate the absolute distance for some areas of the image using an auto-focusing function, and to apply the absolute distance to the result of a depth map to determine the remaining distance. It relates to an image analysis device and method for calculating an absolute distance for an area.
  • a depth map represents information including the distance between an observation point and an object. Because the depth map contains distance information between the observation point and each surface of the object, it is possible to calculate a 3D image of the object using the depth map.
  • the absolute distance of the object included in the depth map cannot be calculated through this.
  • the problem that the present invention aims to solve is to calculate the absolute distance for some areas of the image using the auto-focusing function and apply the absolute distance to the result of the depth map to calculate the absolute distance for the remaining areas.
  • an image analysis device includes an imaging unit that generates a captured image, a depth map generator that generates a depth map for the captured image, and the depth map.
  • a map analysis unit that calculates the absolute distance for the entire area of the depth map with reference to the absolute distance calculated for the selected area among the entire area, wherein the map analysis unit uses an auto focus function of the imaging unit. Thus, the absolute distance for the selected area is calculated.
  • the imaging unit includes a monocular camera.
  • the depth map includes relative distance information of objects included in the captured image.
  • the map analysis unit divides the depth map into a plurality of areas to create a divided area, and calculates an absolute distance using the autofocus function of the imaging unit for at least two reference areas selected among the divided areas. It includes a calculation unit, and a distance conversion unit that converts the relative distance for the entire area of the depth map into an absolute distance according to the ratio of the relative distance and absolute distance of each of the at least two reference areas.
  • the absolute distance calculator selects an area with a relative distance within a preset range among all areas of the depth map as a reference area.
  • the absolute distance calculation unit excludes the area with the minimum or maximum relative distance value among the divided areas from selection of the reference area.
  • the absolute distance calculation unit excludes the divided area from selection of the reference area when the variance or standard deviation of the relative distance values constituting the divided area exceeds a preset threshold.
  • the absolute distance calculator determines the number of reference areas with reference to the distribution of relative distance values constituting the depth map.
  • the absolute distance calculator increases the number of reference areas as the variance or standard deviation of the relative distance values constituting the depth map increases.
  • the absolute distance calculation unit generates a depth map array in which a plurality of relative distances for the plurality of divided areas are listed in order of size, and divides the depth map array into a plurality of depth map groups according to the size of the relative distance, Among a plurality of depth map groups, a reference map group that serves as a selection criterion for the reference area is selected, a relative distance is extracted from the reference map group, and a segmented area corresponding to the relative distance extracted from the reference map group is used as a reference area. Choose.
  • the absolute distance calculation unit extracts the minimum relative distance, maximum relative distance, or intermediate relative distance among the relative distances of the reference map group.
  • the absolute distance calculation unit extracts the smallest and largest relative distances, excluding the minimum and maximum relative distances, among the relative distances of the reference map group.
  • the absolute distance calculator determines the number of relative distances extracted from the reference map group with reference to the variance or standard deviation of the relative distances constituting the reference map group.
  • the absolute distance calculation unit performs autofocus on the captured area corresponding to the reference area among the captured images, and the focus lens of the imaging unit ensures that the autofocus image formed by performing the autofocus has the highest clarity.
  • the absolute distance of the reference area is calculated by referring to the location.
  • the absolute distance calculation unit performs autofocus on the reference area and the extended shooting area corresponding to the surrounding area of the reference area among the captured images, and the autofocus image formed by performing the autofocus has the highest clarity.
  • the absolute distance of the reference area is calculated with reference to the position of the focus lens of the imaging unit.
  • the absolute distance calculation unit causes a first autofocus to be performed on an extended shooting area corresponding to the reference area and a surrounding area of the reference area among the captured images, and the reference among the autofocus images by the first autofocus.
  • a second autofocus is performed on the reference focus area corresponding to the area, and the clarity of the first autofocus image formed by performing the first autofocus and the sharpness of the second autofocus image formed by performing the second autofocus are
  • the absolute distance of the reference area is calculated by referring to the position of the focus lens of the imaging unit that ensures maximum clarity.
  • the depth map generator converts the resolution of the captured image to correspond to the resolution of a preset depth map and generates the depth map using the converted captured image.
  • An image analysis method includes the steps of generating a captured image, generating a depth map for the captured image, and the captured image for a selected area among the entire area of the depth map. It includes calculating an absolute distance using an auto focus function of an imaging unit that generates an absolute distance, and calculating an absolute distance for the entire area of the depth map with reference to the calculated absolute distance.
  • the depth map is divided into a plurality of regions to create a divided region, and the absolute distance is calculated using the autofocus function of the imaging unit for at least two reference regions selected among the divided regions. and converting the relative distance for the entire area of the depth map into an absolute distance according to the ratio of the relative distance and absolute distance of each of the at least two reference areas.
  • Calculating the absolute distance includes selecting an area with a relative distance within a preset range among all areas of the depth map as a reference area.
  • the absolute distance for some areas of the image is calculated using the auto-focusing function, and the absolute distance is applied to the result of the depth map to determine the remaining area. Because it calculates the absolute distance for each object, it has the advantage of being able to calculate the absolute distance of all objects included in the depth map.
  • FIG. 1 is a block diagram of an image analysis device according to an embodiment of the present invention.
  • Figure 2 is a block diagram of the map analysis unit.
  • Figure 3 is a diagram showing a captured image.
  • Figure 4 is a diagram showing a depth map of a captured image.
  • Figure 5 is a diagram showing a depth map divided into a plurality of areas.
  • Figure 6 is a diagram showing a reference area being selected.
  • Figure 7 is a diagram showing a reference point displayed on a distance coordinate plane.
  • Figure 8 is a diagram showing a reference graph being formed based on reference points.
  • Figure 9 is a diagram showing a reference graph being formed based on three reference points.
  • Figure 10 is a diagram showing a depth map array.
  • Figure 11 is a diagram for explaining the creation of an autofocus image for a shooting area.
  • FIG. 12 is a diagram illustrating the creation of an autofocus image for an extended shooting area.
  • FIG. 13 is a diagram for explaining the creation of an autofocus image for a shooting area and an extended shooting area.
  • Figure 14 is a flowchart showing an image analysis method according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an image analysis device according to an embodiment of the present invention.
  • the image analysis device 100 includes an imaging unit 110, a storage unit 120, a control unit 130, a depth map generation unit 140, and a map analysis unit 150. ) and an output unit 160.
  • the imaging unit 110 can generate captured images.
  • the imaging unit 110 may be a camera equipped with an image sensor such as a Complementary Metal-Oxide-Semiconductor (CMOS) or Charge-Coupled Device (CCD).
  • CMOS Complementary Metal-Oxide-Semiconductor
  • CCD Charge-Coupled Device
  • the imaging unit 110 may be a monocular camera.
  • the captured image generated by the imaging unit 110 indicates that it was captured at one shooting point.
  • the imaging unit 110 may be provided with a lens unit (not shown) capable of auto focus. As will be described later, the imaging unit 110 may perform autofocus under the control of the map analysis unit 150.
  • the imaging unit 110 may be capable of adjusting the shooting direction.
  • the imaging unit 110 may include pan tilt equipment (not shown). The pan tilt equipment can adjust the shooting direction of the imaging unit 110 based on an input control signal.
  • the storage unit 120 can temporarily or permanently store the captured image generated by the imaging unit 110. Additionally, the storage unit 120 may store the depth map generated by the depth map generator 140 and the analysis result generated by the map analysis unit 150.
  • the depth map generator 140 serves to generate a depth map for the captured image generated by the imaging unit 110.
  • the depth map generator 140 may generate a depth map of a captured image generated by the imaging unit 110, which is a monocular camera, using a deep learning-based model.
  • the depth map may include relative distance information of objects included in the captured image.
  • the depth map may include not only relative distance information between objects included in the image, but also relative distance information across surfaces constituting each object.
  • a depth map can be understood as containing relative distance information for all pixels included in a captured image.
  • the depth map generator 140 generates a depth map using an artificial intelligence model and then reflects the characteristics of the focus lens (not shown) provided in the imaging unit 110. You can transform the depth map. To explain this in detail, the absolute distance between the object photographed by the imaging unit 110 and the imaging unit 110 is calculated by referring to the position of the focusing lens, and the depth map generator 140 determines the location and absolute distance of the focusing lens. The depth map can be transformed to reflect the amount of change between distances.
  • the depth map generator 140 may generate a depth map using at least one artificial intelligence model selected from a plurality of different artificial intelligence models. Multiple artificial intelligence models can generate optimal depth maps in different situations. For example, the first artificial intelligence model can generate an optimal depth map for an image containing a daytime scene, and the second artificial intelligence model can generate an optimal depth map for an image containing a nighttime scene. there is. Alternatively, the third artificial intelligence model may generate an optimal depth map for images containing people or animals, and the third artificial intelligence model may generate an optimal depth map for images containing a natural environment. The depth map generator 140 may select at least one of a plurality of artificial intelligence models with reference to the shooting conditions by the imaging unit 110 and generate a depth map using the selected artificial intelligence model.
  • the map analysis unit 150 analyzes the depth map and calculates the absolute distance for the entire area of the depth map. Specifically, the map analysis unit 150 may calculate the absolute distance for the entire area of the depth map by referring to the absolute distance calculated for the selected area among the entire area of the depth map. Here, the map analysis unit 150 can calculate the absolute distance to the selected area using the auto focus function of the imaging unit 110. The detailed configuration and function of the map analysis unit 150 will be described later with reference to FIGS. 2 to 6.
  • the output unit 160 may output the analysis result of the map analysis unit 150.
  • the user can check the absolute distance for the entire area of the captured image by referring to the analysis result of the map analysis unit 150.
  • the control unit 130 performs overall control over the imaging unit 110, storage unit 120, depth map generation unit 140, map analysis unit 150, and output unit 160.
  • Figure 2 is a block diagram of the map analysis unit.
  • the map analysis unit 150 includes an absolute distance calculation unit 151 and a distance conversion unit 152.
  • the absolute distance calculation unit 151 divides the depth map into a plurality of areas and calculates the absolute distance of at least two reference areas selected from among the divided areas. Calculation of the absolute distance of the reference area may be performed using the autofocus function of the imaging unit 110.
  • the absolute distance calculation unit 151 may calculate the relative distance for each divided area.
  • the relative distance to the divided area is referred to as the area relative distance.
  • the region relative distance may be determined as the average or median value of the relative distances included in the divided region.
  • the average value represents the sum of all relative distances included in the divided area divided by the number of relative distances
  • the median value represents the value corresponding to the middle of the distribution of relative distances included in the divided area.
  • the median value may represent the relative distance of the center pixel of the divided area.
  • the region relative distance is determined as the average or median value of the relative distances included in the divided region as an example, and various values representing the corresponding divided region may be determined as the region relative distance.
  • the description will focus on the fact that the region relative distance is determined by the average or median value of the divided regions.
  • the depth map may include relative distance information for each pixel.
  • a value corresponding to a relative distance (hereinafter referred to as a relative distance value) may be assigned to all pixels included in the depth map.
  • the relative distance value may be set to become larger or smaller as the distance between a specific point of the object corresponding to the pixel and the shooting point becomes closer.
  • the description will focus on the fact that the closer the distance between a specific point of an object and the shooting point, the larger the relative distance value.
  • Each divided area selected by the absolute distance calculation unit 151 may include a plurality of pixels, and a relative distance value may be set for each pixel.
  • the absolute distance calculation unit 151 may determine the average or median value of the relative distance values of all pixels included in each divided area as the area relative distance of the corresponding divided area.
  • the absolute distance calculation unit 151 can select at least two reference areas.
  • the reference area can be used to convert the relative distance for the entire area of the depth map to an absolute distance.
  • the absolute distance calculation unit 151 may use the autofocus function of the imaging unit 110 to calculate the absolute distance of the reference area.
  • the lens unit provided in the imaging unit 110 may include a movable focus lens (not shown) to adjust focus.
  • the clarity of a specific part of a captured image can be increased by moving the focus lens.
  • a correlation can be formed between the position of the focus lens to maximize clarity and the distance to the object corresponding to that part. When using this correlation, it is possible to calculate the absolute distance between the shooting point and the object using the position of the focusing lens.
  • the absolute distance calculation unit 151 may perform autofocus of the imaging unit 110 on the reference area and calculate the absolute distance to the object included in the reference area by referring to the position of the focus lens at this time.
  • the distance converter 152 serves to convert the relative distance for the entire area of the depth map into an absolute distance according to the ratio of the relative distance and absolute distance of each of at least two reference areas. If the relative distance and absolute distance for two or more reference areas are confirmed, the ratio between the relative distance and absolute distance for the entire depth map can be calculated through this.
  • the distance converter 152 may calculate the absolute distance of each area by applying the relative distance of the entire area constituting the depth map to the ratio between the relative distance and the absolute distance.
  • FIG. 3 is a diagram showing a captured image
  • FIG. 4 is a diagram showing a depth map of a captured image
  • FIG. 5 is a diagram showing the depth map divided into a plurality of areas
  • FIG. 6 is a diagram showing a reference area selected. am.
  • the imaging unit 110 may generate a captured image 200 by photographing the front.
  • the captured image 200 may include at least one object 210.
  • Objects 210 may include people, animals, vehicles, or buildings.
  • the captured image 200 is generated by the imaging unit 110 and may be a still image or one of a plurality of scenes included in a video.
  • the depth map generator 140 may generate a depth map 300 for the captured image 200.
  • the depth map 300 may include relative distance information of the object 310.
  • Relative distance information represents the relative distance between each point included in the depth map 300 and the shooting point.
  • the resolution of the depth map 300 that can be processed by the map analysis unit 150 may be different from the resolution of the captured image 200.
  • the depth map generator 140 may convert the resolution of the captured image 200 to correspond to the resolution of the preset depth map 300 and generate the depth map 300 using the converted captured image. there is.
  • the absolute distance calculation unit 151 may divide the depth map 300 into a plurality of areas.
  • the horizontal and vertical sizes of each of the plurality of divided areas 400 may be the same.
  • the size of the divided area 400 may be such that autofocus by the imaging unit 110 is performed smoothly.
  • the absolute distance calculation unit 151 may calculate a region relative distance for each divided region 400.
  • the region relative distance may be determined as the average or median value of the relative distance values of all pixels included in each divided region 400.
  • the absolute distance calculation unit 151 may select the reference area 410.
  • the reference area 410 may be a specific area among the plurality of divided areas 400 .
  • the absolute distance calculation unit 151 may select an area with a relative distance within a preset range among all areas of the depth map 300 as the reference area 410. For example, the absolute distance calculation unit 151 may exclude the division region 400 having the largest or smallest region relative distance among all division regions 400 from the selection of the reference region 410. You can.
  • the absolute distance calculation unit 151 may select the reference area 410 from among the divided areas 400 having an area relative distance included between the upper limit relative distance value and the lower limit relative distance value.
  • the upper limit relative distance value represents a relative distance value as low as a preset value from the highest area relative distance in the distribution of all area relative distances
  • the lower limit relative distance value indicates the lowest area relative distance in the distribution of all area relative distances. Indicates a relative distance value as high as the preset value.
  • the absolute distance calculation unit 151 may exclude an area with a minimum or maximum relative distance value among all divided areas 400 from selection of the reference area 410 .
  • the minimum relative distance value may be 0 and the maximum relative distance value may be 255.
  • the minimum relative distance value or maximum relative distance value may be understood as a noise or saturated value rather than a normal relative distance value. Accordingly, when calculating the region relative distance of the divided region 400 by reflecting the minimum or maximum relative distance, the reliability of the region relative distance may be reduced. By excluding the area with the minimum or maximum relative distance value from the selection of the reference area 410, the reference area 410 with a high reliability area relative distance may be selected.
  • the absolute distance calculation unit 151 may select the reference area 410 with reference to the distribution of relative distance values constituting the divided area 400. For example, the absolute distance calculation unit 151 divides the partition area 400 when the variation or standard deviation of the relative distance constituting the partition area 400 exceeds a preset threshold. It can be excluded from the selection of the reference area 410. If the variance or standard deviation of the relative distance values constituting the divided area 400 exceeds the threshold, it may be understood that a plurality of objects with various distances are included in the divided area 400. In this case, it may not be desirable to select the corresponding divided area 400 as the reference area 410 because the absolute distance of the objects included in the divided area 400 is not clear. Accordingly, the absolute distance calculation unit 151 may select the reference area 410 from the divided areas 400 composed of relative distance values whose variance or standard deviation is less than or equal to the threshold.
  • the imaging unit 110 may include pan and tilt equipment.
  • the pan tilt equipment can adjust the shooting direction of the imaging unit 110 within a preset driving range.
  • the absolute distance calculation unit 151 may select an area included in the operating range of the pan and tilt equipment among the entire divided areas 400 as the reference area 410.
  • the pan and tilt equipment can be driven so that the imaging unit 110 faces a direction corresponding to a specific area among the entire divided areas 400, and in such a state, it is possible to enlarge the corresponding area by autofocus.
  • the absolute distance calculation unit 151 may select the corresponding area as the reference area 410.
  • the reference area 410 can be used to calculate the absolute distance of another divided area 400. Accordingly, if the area relative distance of the selected reference area 410 is not appropriate, the reliability of the absolute distance of the other divided area 400 may be reduced. As an area having a relative distance included in a preset range is selected as the reference area 410, the reliability of the absolute distance of the other divided area 400 determined based on this may be improved.
  • FIG. 7 is a diagram showing a reference point displayed on a distance coordinate plane
  • FIG. 8 is a diagram showing a reference graph being formed based on the reference point.
  • the absolute distance calculation unit 151 may display the reference points P1 and P2 on the distance coordinate plane.
  • the distance coordinate plane can be formed by a horizontal axis representing absolute distance and a vertical axis representing relative distance.
  • the reference points P1 and P2 represent coordinate points on the distance coordinate plane corresponding to the reference area 410.
  • the absolute distance calculation unit 151 can first check the maximum area relative distance (HIGH) and the minimum area relative distance (LOW) among all area relative distances. In addition, the absolute distance calculation unit 151 selects the divided region 400 having the maximum region relative distance (HIGH) or the minimum region relative distance (LOW) among all divided regions 400 as the reference region 410. Can be excluded. Alternatively, the absolute distance calculation unit 151 may select the reference area 410 from the divided areas 400 having an area relative distance included between the upper limit relative distance value (TH_HIGH) and the lower limit relative distance value (TH_LOW). .
  • the upper limit relative distance value (TH_HIGH) is determined to be as small as a preset interval from the maximum area relative distance (HIGH), and the lower limit relative distance value (TH_LOW) is determined to be as small as a preset interval from the minimum area relative distance (LOW). It can be determined to be a large value.
  • the absolute distance calculation unit 151 may select the reference area 410 so that the relative distance between the different reference areas 410 is greater than or equal to a preset interval.
  • FIG. 7 shows that the relative distance interval between two reference areas 410 is D.
  • the absolute distance calculation unit 151 may cause the imaging unit 110 to perform autofocus on the reference area 410.
  • the absolute distance calculation unit 151 may calculate the absolute distance of the object corresponding to the reference area 410 by referring to the position of the focus lens.
  • reference points P1 and P2 corresponding to the reference area 410 may be displayed on the distance coordinate plane.
  • FIG. 7 shows two reference points P1 and P2 for two reference areas 410 displayed on the distance coordinate plane. Since the relative distance and absolute distance of the first reference area are A1 and B1, respectively, the first reference point P1 may be displayed on the distance coordinate plane based on this. Likewise, since the relative distance and absolute distance of the second reference area are A2 and B2, respectively, the second reference point P2 may be displayed on the distance coordinate plane based on this.
  • the distance converter 152 may generate a reference graph G1 based on the reference points P1 and P2.
  • the reference graph (G1) can be created by connecting a plurality of reference points (P1, P2).
  • Figure 8 shows that two reference points (P1, P2) are connected to create a straight reference graph (G1).
  • the reference graph G1 reflects the ratio of the relative distance and the absolute distance of each of the reference areas 410, and the distance converter 152 can use this to calculate the absolute distance of the other divided area 400. 8 if the relative distance is a1, the absolute distance of the corresponding division area 400 is determined as b1, and if the relative distance is a2, the absolute distance of the corresponding division area 400 is determined as b2, and the relative distance If is a3, the absolute distance of the corresponding partition area 400 may be determined as b3.
  • the distance converter 152 can calculate the absolute distance of the entire segmented area 400 included in the entire depth map 300 through this process.
  • Figure 9 is a diagram showing a reference graph being formed based on three reference points.
  • the absolute distance calculation unit 151 can select three or more reference areas 410.
  • three reference points (P1, P2, and P3) are displayed on the distance coordinate plane, and the reference graph (G2) generated based on these may be formed as a curve rather than a straight line.
  • the first reference point P1 may be displayed on the distance coordinate plane based on this. Since the relative distance and absolute distance of the second reference area are A2 and B2, respectively, the second reference point P2 may be displayed on the distance coordinate plane based on this. Since the relative distance and absolute distance of the third reference area are A3 and B3, respectively, the third reference point P3 may be displayed on the distance coordinate plane based on this.
  • the ratio of the relative distance and absolute distance of more reference areas 410 may be reflected to generate the reference graph G2.
  • the reliability of the distance transformation may be improved.
  • the absolute distance calculation unit 151 may determine the number of reference areas 410 by referring to the distribution of relative distance values constituting the depth map 300. For example, the absolute distance calculation unit 151 may increase the number of reference areas 410 as the variation or standard deviation of the relative distance values constituting the depth map 300 increases. When the variance or standard deviation of the relative distance values constituting the depth map 300 is large, it may be understood that a plurality of objects with various distances are included in the captured image 200. In this case, it is possible to calculate an absolute distance that sufficiently reflects the difference between different relative distances through a reference graph generated by using a larger number of reference areas 410.
  • Figure 10 is a diagram showing a depth map array.
  • the depth map array 600 may include a plurality of relative distances listed in order of size.
  • the absolute distance calculation unit 151 may generate a depth map array 600 in which a plurality of relative distances for the plurality of divided areas 400 are listed in order of size.
  • FIG. 10 shows a depth map array 600 containing 100 different relative distances in order of size, formed in the form of a table.
  • the absolute distance calculator 151 may divide the depth map array 600 into a plurality of depth map groups 610, 620, 630, and 640 according to the size of the relative distance. For example, the absolute distance calculation unit 151 may divide the depth map array 600 into four depth map groups 610 to 640, as shown in FIG. 10 .
  • the relative distance corresponding to an object existing at a distance (hereinafter referred to as relative far distance) and the relative distance corresponding to an object existing at a close distance (hereinafter referred to as relative near distance) may provide different standards in calculating the absolute distance. You can. For example, even if the first relative distance difference between different relative far distances is the same as the second relative distance difference between different relative near distances, the absolute distance difference corresponding to the first relative distance difference is the absolute distance difference corresponding to the second relative distance difference. It can be formed to be large compared to the difference in distance.
  • the depth map group corresponding to the short distance may include a greater number of relative distances than the depth map group corresponding to the far distance.
  • a depth map group ( The size of 610 ⁇ 640) can be determined. 10 shows that of the total relative distance, the first depth map group 610 includes 10% of the relative distance, the second depth map group 620 includes 15% of the relative distance, and the third depth map group 630 ) includes a relative distance of 25%, and the fourth depth map group 640 includes a relative distance of 50%.
  • the absolute distance calculation unit 151 may select a depth map group that serves as a selection criterion for the reference area 410 from among the plurality of depth map groups 610 to 640. For example, the absolute distance calculation unit 151 may select a non-adjacent depth map group among the plurality of depth map groups 610 to 640 as a selection criterion for the reference area 410. For example, the absolute distance calculation unit 151 selects the first depth map group 610 and the third depth map group 630, or selects the first depth map group 610 and the fourth depth map group 640. Alternatively, the second depth map group 620 and the fourth depth map group 640 can be selected.
  • the absolute distance calculation unit 151 may select all of the plurality of depth map groups 610 to 640 as a selection criterion for the reference area 410.
  • the depth map group that serves as a selection criterion for the reference area 410 is called a reference map group.
  • the absolute distance calculation unit 151 may extract the relative distance from the reference map group and select the segmented area 400 corresponding to the extracted relative distance as the reference area 410.
  • the absolute distance calculation unit 151 extracts the minimum relative distance, maximum relative distance, or intermediate relative distance among the relative distances of the reference map group, and selects the division area 400 corresponding to the extracted relative distance as the reference area 410. You can. Alternatively, the absolute distance calculation unit 151 extracts the smallest and largest relative distances excluding the minimum and maximum relative distances among the relative distances of the reference map groups 610 to 640, and corresponds to the extracted relative distances. The divided area 400 may be selected as the reference area 410.
  • the absolute distance calculation unit 151 may determine the number of relative distances extracted from the reference map group by referring to the variance or standard deviation of the relative distances constituting the reference map groups 610 to 640. For example, the absolute distance calculation unit 151 may extract a greater number of relative distances from the reference map group as the variance or standard deviation of the relative distances constituting the reference map group 610 to 640 increases. The number of reference areas 410 may be determined according to the number of extracted relative distances.
  • FIG. 11 is a diagram for explaining the creation of an autofocus image for a capture area
  • FIG. 12 is a diagram for explaining the creation of an autofocus image for an extended capture area
  • FIG. 13 is a view for explaining the capture area and extended capture area. This is a diagram to explain how an autofocus image is created.
  • the absolute distance calculation unit 151 may perform autofocus on the reference shooting area 201a corresponding to the reference area 410 of the captured image 200.
  • the imaging unit 110 may perform autofocus on the reference shooting area 201a corresponding to the reference area 410. Specifically, the imaging unit 110 may perform autofocus on a scene corresponding to the reference capturing area 201a.
  • FIG. 11 shows that autofocus is performed on two reference shooting areas 201a and an autofocus image 202 is generated.
  • the autofocus image 202 may be an enlarged image of the reference shooting area 201a.
  • the imaging unit 110 may sequentially perform autofocus on the two reference capturing areas 201a. Accordingly, autofocus images 202 for the two reference shooting areas 201a may be sequentially generated.
  • the imaging unit 110 may perform autofocus by moving the focus lens.
  • the absolute distance calculation unit 151 calculates the absolute distance of the reference area 410 with reference to the position of the focus lens of the imaging unit 110, which ensures that the autofocus image 202 formed by performing autofocus has the highest clarity. can do.
  • the absolute distance calculation unit 151 performs autofocus on the reference area 410 of the captured image 200 and the extended shooting area 201 corresponding to the surrounding area of the reference area 410. can do.
  • the extended imaging area 201 may include a reference imaging area 201a and a peripheral imaging area 201b.
  • the reference shooting area 201a represents an area corresponding to the reference area 410
  • the peripheral shooting area 201b represents an area corresponding to the surrounding area of the reference area 410.
  • the imaging unit 110 can perform autofocus on the extended photographing area 201.
  • the imaging unit 110 may perform autofocus on a scene corresponding to the extended shooting area 201.
  • FIG. 12 shows that an autofocus image 203 is created for two extended shooting areas 201.
  • the autofocus image 203 may include a reference focus area 203a and a peripheral focus area 203b.
  • the reference focus area 203a represents an image on which autofocus has been performed on the standard shooting area 201a
  • the peripheral focus area 203b represents an image on which autofocus has been performed on the peripheral shooting area 201b.
  • the imaging unit 110 may sequentially perform autofocus on the two extended photographing areas 201. Accordingly, autofocus images 203 for the two extended shooting areas 201 may be sequentially generated.
  • the imaging unit 110 may perform autofocus by moving the focus lens.
  • the absolute distance calculation unit 151 calculates the absolute distance of the reference area 410 with reference to the position of the focus lens of the imaging unit 110, which ensures that the autofocus image 203 formed by performing autofocus has the highest clarity. can do. Since autofocus is performed on the scene corresponding to the enlarged shooting area 201, which is larger than the scene corresponding to the standard shooting area 201a, it is possible to calculate the absolute distance at a faster speed. Additionally, since information about the scene corresponding to the reference shooting area 201a as well as the surrounding surrounding shooting area 201b adjacent thereto is reflected, the reliability of the calculated absolute distance can be improved.
  • the absolute distance calculation unit 151 may perform a plurality of autofocuses for each reference area 410.
  • the absolute distance calculation unit 151 may perform a first autofocus on the reference area 410 and the extended shooting area 201 corresponding to the surrounding area of the reference area 410 in the captured image 200.
  • the extended imaging area 201 may include a reference imaging area 201a and a peripheral imaging area 201b.
  • the reference shooting area 201a represents an area corresponding to the reference area 410
  • the peripheral shooting area 201b represents an area corresponding to the surrounding area of the reference area 410.
  • the imaging unit 110 may perform a first autofocus on the extended photographing area 201.
  • the imaging unit 110 may perform a first autofocus on a scene corresponding to the extended capturing area 201.
  • FIG. 13 shows that an autofocus image 203 is created for two extended shooting areas 201.
  • the autofocus image 203 may include a reference focus area 203a and a peripheral focus area 203b.
  • the reference focus area 203a represents an image on which autofocus has been performed on the standard shooting area 201a
  • the peripheral focus area 203b represents an image on which autofocus has been performed on the peripheral shooting area 201b.
  • the absolute distance calculation unit 151 After the first autofocus is completed, the absolute distance calculation unit 151 performs the second autofocus on the reference focus area 203a corresponding to the reference area 410 among the autofocus images 203 by the first autofocus. It can be done.
  • the imaging unit 110 may perform a second autofocus on the reference focus area 203a.
  • the imaging unit 110 may perform a second autofocus on the scene corresponding to the reference focus area 203a.
  • the imaging unit 110 may perform the second autofocus after performing the first autofocus. This process can be repeated for each extended imaging area 201.
  • the imaging unit 110 may perform autofocus by moving the focus lens.
  • the absolute distance calculation unit 151 ensures that the clarity of the first autofocus image 203 formed by performing the first autofocus and the clarity of the second autofocus image 204 formed by performing the second autofocus are formed at the highest level.
  • the absolute distance of the reference area 410 can be calculated by referring to the position of the focus lens of the imaging unit 110. Since the position of the focus lens with respect to the extended shooting area 201 and the position of the focus lens with respect to the reference focus area 203a are comprehensively determined to calculate the absolute distance, the reliability of the calculated absolute distance can be improved.
  • Figure 14 is a flowchart showing an image analysis method according to an embodiment of the present invention.
  • the imaging unit 110 may first generate the captured image 200 (S510).
  • the depth map generator 140 generates a depth map 300 for the captured image 200 (S520), and the absolute distance calculation unit 151 of the map analysis unit 150 generates the entire area of the depth map 300.
  • the absolute distance can be calculated for the selected area (reference area) using the auto focus function of the imaging unit 110 (S530).
  • the distance conversion unit 152 of the map analysis unit 150 may calculate the absolute distance for the entire area of the depth map 300 by referring to the absolute distance calculated by the absolute distance calculation unit 151.
  • the map analysis unit 150 creates a reference graph by connecting at least two reference points on the distance coordinate plane, and applies the relative distance of the other divisions 400 to the reference graph to determine the absolute distance of each division 400. Can be calculated (S540).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 영상 분석 장치 및 방법에 관한 것으로서, 오토 포커싱 기능을 이용하여 영상의 일부 영역에 대한 절대 거리를 산출하고, 해당 절대 거리를 깊이 맵(depth map)의 결과물에 적용하여 나머지 영역에 대한 절대 거리를 산출하는 영상 분석 장치 및 방법에 관한 것이다. 본 발명의 실시예에 따른 영상 분석 장치는 촬영 영상을 생성하는 촬상부와, 상기 촬영 영상에 대한 깊이 맵(depth map)을 생성하는 깊이 맵 생성부, 및 상기 깊이 맵의 전체 영역 중 선택된 영역에 대하여 산출된 절대 거리를 참조하여 상기 깊이 맵의 전체 영역에 대한 절대 거리를 산출하는 맵 분석부를 포함하되, 상기 맵 분석부는 상기 촬상부의 오토 포커스(auto focus) 기능을 이용하여 상기 선택된 영역에 대한 절대 거리를 산출한다.

Description

영상 분석 장치 및 방법
본 발명은 영상 분석 장치 및 방법에 관한 것으로서, 더욱 상세하게는 오토 포커싱 기능을 이용하여 영상의 일부 영역에 대한 절대 거리를 산출하고, 해당 절대 거리를 깊이 맵(depth map)의 결과물에 적용하여 나머지 영역에 대한 절대 거리를 산출하는 영상 분석 장치 및 방법에 관한 것이다.
깊이 맵(depth map)은 관찰 지점과 객체 간의 거리가 포함된 정보를 나타낸다. 깊이 맵은 관찰 지점과 객체의 각 표면 간의 거리 정보가 포함되어 있기 때문에 깊이 맵을 이용하여 객체체의 3차원 영상을 산출하는 것이 가능하다.
한편, 깊이 맵은 관찰 지점과 객체 간의 상대적인 거리 정보만을 포함하고 있기 때문에 이를 통해서는 깊이 맵에 포함된 객체의 절대 거리를 산출할 수 없다.
따라서, 깊이 맵에 포함된 객체의 절대 거리를 산출할 수 있도록 하는 발명의 등장이 요구된다.
본 발명이 해결하고자 하는 과제는 오토 포커싱 기능을 이용하여 영상의 일부 영역에 대한 절대 거리를 산출하고, 해당 절대 거리를 깊이 맵(depth map)의 결과물에 적용하여 나머지 영역에 대한 절대 거리를 산출하는 영상 분석 장치 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 영상 분석 장치는 촬영 영상을 생성하는 촬상부와, 상기 촬영 영상에 대한 깊이 맵(depth map)을 생성하는 깊이 맵 생성부, 및 상기 깊이 맵의 전체 영역 중 선택된 영역에 대하여 산출된 절대 거리를 참조하여 상기 깊이 맵의 전체 영역에 대한 절대 거리를 산출하는 맵 분석부를 포함하되, 상기 맵 분석부는 상기 촬상부의 오토 포커스(auto focus) 기능을 이용하여 상기 선택된 영역에 대한 절대 거리를 산출한다.
상기 촬상부는 단안 카메라(monocular camera)를 포함한다.
상기 깊이 맵은 상기 촬영 영상에 포함된 객체의 상대적 거리 정보를 포함한다.
상기 맵 분석부는, 상기 깊이 맵을 복수의 영역으로 분할하여 분할 영역을 생성하고, 상기 분할된 영역 중 선택된 적어도 2개의 기준 영역에 대하여 상기 촬상부의 오토 포커스 기능을 이용하여 절대 거리를 산출하는 절대 거리 산출부, 및 상기 적어도 2개의 기준 영역 각각의 상대 거리와 절대 거리의 비율에 따라 상기 깊이 맵의 전체 영역에 대한 상대 거리를 절대 거리로 변환하는 거리 변환부를 포함한다.
상기 절대 거리 산출부는 상기 깊이 맵의 전체 영역 중 사전에 설정된 범위에 포함된 상대 거리를 갖는 영역을 기준 영역으로 선택한다.
상기 절대 거리 산출부는 상기 분할 영역 중 최소 상대 거리값 또는 최대 상대 거리값을 갖는 영역을 기준 영역의 선택에서 제외한다.
상기 절대 거리 산출부는 상기 분할 영역을 구성하는 상대 거리값의 분산 또는 표준 편차가 사전에 설정된 임계치를 초과하는 경우 해당 분할 영역을 기준 영역의 선택에서 제외한다.
상기 절대 거리 산출부는 상기 깊이 맵을 구성하는 상대 거리값의 분포를 참조하여 상기 기준 영역의 개수를 결정한다.
상기 절대 거리 산출부는 상기 깊이 맵을 구성하는 상대 거리값의 분산 또는 표준 편차가 클수록 상기 기준 영역의 개수를 증가시킨다.
상기 절대 거리 산출부는, 상기 복수의 분할 영역에 대한 복수의 상대 거리가 크기순으로 나열된 깊이 맵 어레이를 생성하고, 상기 깊이 맵 어레이를 상대 거리의 크기에 따라 복수의 깊이 맵 그룹으로 분할하고, 상기 복수의 깊이 맵 그룹 중 상기 기준 영역의 선택 기준이 되는 기준 맵 그룹을 선택하고, 상기 기준 맵 그룹에서 상대 거리를 추출하며, 상기 기준 맵 그룹에서 추출된 상대 거리에 대응되는 분할 영역을 기준 영역으로 선택한다.
상기 절대 거리 산출부는 상기 기준 맵 그룹의 상대 거리 중 최소 상대 거리, 최대 상대 거리 또는 중간 상대 거리를 추출한다.
상기 절대 거리 산출부는 상기 기준 맵 그룹의 상대 거리 중 최소 상대 거리 및 최대 상대 거리를 제외한 가장 작은 상대 거리 및 가장 큰 상대 거리를 추출한다.
상기 절대 거리 산출부는 상기 기준 맵 그룹을 구성하는 상대 거리의 분산 또는 표준 편차를 참조하여 상기 기준 맵 그룹에서 추출되는 상대 거리의 개수를 결정한다.
상기 절대 거리 산출부는, 상기 촬영 영상 중 상기 기준 영역에 대응되는 촬영 영역에 대하여 오토 포커스가 수행되도록 하고, 상기 오토 포커스가 수행되어 형성된 오토 포커스 영상의 선명도가 최고로 형성되도록 하는 상기 촬상부의 초점 렌즈의 위치를 참조하여 상기 기준 영역의 절대 거리를 산출한다.
상기 절대 거리 산출부는, 상기 촬영 영상 중 상기 기준 영역 및 상기 기준 영역의 주변 영역에 대응되는 확장 촬영 영역에 대하여 오토 포커스가 수행되도록 하고, 상기 오토 포커스가 수행되어 형성된 오토 포커스 영상의 선명도가 최고로 형성되도록 하는 상기 촬상부의 초점 렌즈의 위치를 참조하여 상기 기준 영역의 절대 거리를 산출한다.
상기 절대 거리 산출부는, 상기 촬영 영상 중 상기 기준 영역 및 상기 기준 영역의 주변 영역에 대응되는 확장 촬영 영역에 대하여 제1 오토 포커스가 수행되도록 하고, 상기 제1 오토 포커스에 의한 오토 포커스 영상 중 상기 기준 영역에 대응되는 기준 포커스 영역에 대하여 제2 오토 포커스가 수행되도록 하고, 상기 제1 오토 포커스가 수행되어 형성된 제1 오토 포커스 영상의 선명도 및 상기 제2 오토 포커스가 수행되어 형성된 제2 오토 포커스 영상의 선명도가 최고로 형성되도록 하는 상기 촬상부의 초점 렌즈의 위치를 참조하여 상기 기준 영역의 절대 거리를 산출한다.
상기 깊이 맵 생성부는 사전에 설정된 깊이 맵의 해상도에 대응되도록 상기 촬영 영상의 해상도를 변환하고, 상기 변환된 촬영 영상을 이용하여 상기 깊이 맵을 생성한다.
본 발명의 실시예에 따른 영상 분석 방법은 촬영 영상을 생성하는 단계와, 상기 촬영 영상에 대한 깊이 맵(depth map)을 생성하는 단계와, 상기 깊이 맵의 전체 영역 중 선택된 영역에 대하여 상기 촬영 영상을 생성하는 촬상부의 오토 포커스(auto focus) 기능을 이용하여 절대 거리를 산출하는 단계, 및 산출된 절대 거리를 참조하여 상기 깊이 맵의 전체 영역에 대한 절대 거리를 산출하는 단계를 포함한다.
상기 절대 거리를 산출하는 단계는, 상기 깊이 맵을 복수의 영역으로 분할하여 분할 영역을 생성하고, 상기 분할 영역 중 선택된 적어도 2개의 기준 영역에 대하여 상기 촬상부의 오토 포커스 기능을 이용하여 절대 거리를 산출하는 단계, 및 상기 적어도 2개의 기준 영역 각각의 상대 거리와 절대 거리의 비율에 따라 상기 깊이 맵의 전체 영역에 대한 상대 거리를 절대 거리로 변환하는 단계를 포함한다.
상기 절대 거리를 산출하는 단계는 상기 깊이 맵의 전체 영역 중 사전에 설정된 범위에 포함된 상대 거리를 갖는 영역을 기준 영역으로 선택하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 영상 분석 장치 및 방법에 따르면 오토 포커싱 기능을 이용하여 영상의 일부 영역에 대한 절대 거리를 산출하고, 해당 절대 거리를 깊이 맵(depth map)의 결과물에 적용하여 나머지 영역에 대한 절대 거리를 산출하기 때문에 깊이 맵에 포함된 모든 객체의 절대 거리를 산출할 수 있도록 하는 장점이 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 영상 분석 장치의 블록도이다.
도 2는 맵 분석부의 블록도이다.
도 3은 촬영 영상을 나타낸 도면이다.
도 4는 촬영 영상의 깊이 맵을 나타낸 도면이다.
도 5는 깊이 맵이 복수의 영역으로 분할된 것을 나타낸 도면이다.
도 6은 기준 영역이 선택된 것을 나타낸 도면이다.
도 7은 기준 포인트가 거리 좌표 평면에 표시된 것을 나타낸 도면이다.
도 8은 기준 포인트를 기초로 기준 그래프가 형성되는 것을 나타낸 도면이다.
도 9는 3개의 기준 포인트를 기초로 기준 그래프가 형성되는 것을 나타낸 도면이다.
도 10은 깊이 맵 어레이를 나타낸 도면이다.
도 11은 촬영 영역에 대한 오토 포커스 영상이 생성되는 것을 설명하기 위한 도면이다.
도 12는 확장 촬영 영역에 대한 오토 포커스 영상이 생성되는 것을 설명하기 위한 도면이다.
도 13은 촬영 영역 및 확장 촬영 영역에 대한 오토 포커스 영상이 생성되는 것을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 영상 분석 방법을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 영상 분석 장치의 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상 분석 장치(100)는 촬상부(110), 저장부(120), 제어부(130), 깊이 맵 생성부(140), 맵 분석부(150) 및 출력부(160)를 포함하여 구성된다.
촬상부(110)는 촬영 영상을 생성할 수 있다. 예를 들어, 촬상부(110)는 CMOS(Complementary Metal-Oxide-Semiconductor) 또는 CCD(Charge-Coupled Device)와 같은 영상 센서가 구비된 카메라일 수 있다.
본 발명에서 촬상부(110)는 단안 카메라(monocular camera)일 수 있다. 촬상부(110)에 의해 생성되는 촬영 영상은 하나의 촬영 지점에서 촬영된 것을 나타낸다.
또한, 촬상부(110)는 오토 포커스(auto focus)가 가능한 렌즈부(미도시)를 구비할 수 있다. 후술하는 바와 같이, 촬상부(110)는 맵 분석부(150)의 제어에 의해 오토 포커스를 수행할 수 있다.
또한, 촬상부(110)는 촬영 방향의 조절이 가능한 것일 수 있다. 예를 들어, 촬상부(110)는 팬 틸트(pan tilt) 장비(미도시)를 포함할 수 있다. 팬 틸트 장비는 입력된 제어 신호에 의해 촬상부(110)의 촬영 방향을 조절할 수 있다.
저장부(120)는 촬상부(110)에 의해 생성된 촬영 영상을 임시로 또는 영구적으로 저장할 수 있다. 또한, 저장부(120)는 깊이 맵 생성부(140)에 의해 생성된 깊이 맵을 저장하고, 맵 분석부(150)에 의해 생성된 분석 결과를 저장할 수도 있다.
깊이 맵 생성부(140)는 촬상부(110)에 의해 생성된 촬영 영상에 대한 깊이 맵(depth map)을 생성하는 역할을 수행한다. 예를 들어, 깊이 맵 생성부(140)는 딥 러닝(deep learning) 기반의 모델을 이용하여 단안 카메라인 촬상부(110)에 의해 생성된 촬영 영상의 깊이 맵을 생성할 수 있다.
깊이 맵은 촬영 영상에 포함된 객체의 상대적 거리 정보를 포함하는 것일 수 있다. 깊이 맵은 영상에 포함된 객체 간의 상대적 거리 정보뿐만 아니라 객체 각각을 구성하는 표면 전반에 걸친 상대적 거리 정보를 포함할 수 있다. 예를 들어, 깊이 맵은 촬영 영상에 포함된 전체 화소에 대한 상대적 거리 정보를 포함하는 것으로 이해될 수 있다. 객체의 상대적 거리 정보가 이용되어 객체 간의 배치 관계뿐만 아니라 각 객체의 3차원 형상에 대한 추정이 가능하게 된다.
또는, 본 발명의 몇몇 실시예에 따르면 깊이 맵 생성부(140)는 인공지능 모델을 이용하여 깊이 맵을 생성한 이후에 촬상부(110)에 구비된 초점 렌즈(미도시)의 특성을 반영하여 깊이 맵을 변환할 수 있다. 이를 구체적으로 설명하면, 초점 렌즈의 위치가 참조되어 촬상부(110)에 의해 촬영된 객체와 촬상부(110)간의 절대 거리가 산출되는데, 깊이 맵 생성부(140)는 초점 렌즈의 위치 및 절대 거리 간의 변화량이 반영되도록 깊이 맵을 변환할 수 있다.
또한, 깊이 맵 생성부(140)는 서로 다른 복수의 인공지능 모델 중 선택된 적어도 하나의 인공지능 모델을 이용하여 깊이 맵을 생성할 수 있다. 복수의 인공지능 모델은 서로 다른 상황에서 최적의 깊이 맵을 생성할 수 있다. 예를 들어, 제1 인공지능 모델은 주간의 장면이 포함된 영상에 대하여 최적의 깊이 맵을 생성하고, 제2 인공지능 모델은 야간의 장면이 포함된 영상에 대하여 최적의 깊이 맵을 생성할 수 있다. 또는, 제3 인공지능 모델은 인물 또는 동물이 포함된 영상에 대하여 최적의 깊이 맵을 생성하고, 제3 인공지능 모델은 자연 환경이 포함된 영상에 대하여 최적의 깊이 맵을 생성할 수 있다. 깊이 맵 생성부(140)는 촬상부(110)에 의한 촬영 조건을 참조하여 복수의 인공지능 모델 중 적어도 하나를 선택하고, 선택된 인공지능 모델을 이용하여 깊이 맵을 생성할 수 있다.
맵 분석부(150)는 깊이 맵을 분석하여 깊이 맵의 전체 영역에 대한 절대 거리를 산출하는 역할을 수행한다. 구체적으로, 맵 분석부(150)는 깊이 맵의 전체 영역 중 선택된 영역에 대하여 산출된 절대 거리를 참조하여 깊이 맵의 전체 영역에 대한 절대 거리를 산출할 수 있다. 여기서, 맵 분석부(150)는 촬상부(110)의 오토 포커스(auto focus) 기능을 이용하여 선택된 영역에 대한 절대 거리를 산출할 수 있다. 맵 분석부(150)의 세부적인 구성 및 기능에 대해서는 도 2 내지 도 6을 통하여 후술하기로 한다.
출력부(160)는 맵 분석부(150)의 분석 결과를 출력할 수 있다. 사용자는 맵 분석부(150)의 분석 결과를 참조하여 촬영 영상의 전체 영역에 대한 절대 거리를 확인할 수 있다.
제어부(130)는 촬상부(110), 저장부(120), 깊이 맵 생성부(140), 맵 분석부(150) 및 출력부(160)에 대한 전반적인 제어를 수행한다.
도 2는 맵 분석부의 블록도이다.
도 2를 참조하면, 맵 분석부(150)는 절대 거리 산출부(151) 및 거리 변환부(152)를 포함하여 구성된다.
절대 거리 산출부(151)는 깊이 맵을 복수의 영역으로 분할하고, 분할된 영역 중 선택된 적어도 2개의 기준 영역의 절대 거리를 산출하는 역할을 수행한다. 기준 영역의 절대 거리 산출은 촬상부(110)의 오토 포커스 기능이 이용되어 수행될 수 있다.
기준 영역의 절대 거리를 산출하기 이전에 절대 거리 산출부(151)는 각 분할 영역에 대한 상대 거리를 산출할 수 있다. 이하, 분할 영역에 대한 상대 거리를 영역 상대 거리라 한다.
영역 상대 거리는 분할 영역에 포함된 상대 거리의 평균값 또는 중간값으로 결정될 수 있다. 여기서, 평균값은 분할 영역에 포함된 모든 상대 거리의 합을 상대 거리의 수로 나눈 값을 나타내고, 중간값은 분할 영역에 포함된 상대 거리의 분포 중 중간에 대응하는 값을 나타낸다. 또는, 중간값은 분할 영역의 중심 화소의 상대 거리를 나타내는 것일 수 있다. 그러나, 본 발명에서 영역 상대 거리가 분할 영역에 포함된 상대 거리의 평균값 또는 중간값으로 결정되는 것은 예시적인 것으로서 해당 분할 영역을 대표하는 다양한 값이 영역 상대 거리로서 결정될 수 있다. 이하, 영역 상대 거리가 분할 영역의 평균값 또는 중간값으로 결정되는 것을 위주로 설명하기로 한다.
전술한 바와 같이, 깊이 맵은 화소별로 상대 거리 정보를 포함할 수 있다. 예를 들어, 깊이 맵에 포함된 모든 화소에 대하여 상대 거리에 대응하는 값(이하, 상대 거리값이라 한다)이 부여될 수 있다. 상대 거리값은 해당 화소에 대응하는 객체의 특정 지점과 촬영 지점과의 거리가 가까울수록 커지거나 작아지는 것으로 설정될 수 있다. 이하, 객체의 특정 지점과 촬영 지점과의 거리가 가까울수록 상대 거리값이 커지는 것을 위주로 설명하기로 한다.
절대 거리 산출부(151)에 의해 선택된 분할 영역 각각은 복수의 화소를 포함할 수 있으며, 각 화소별로 상대 거리값이 설정될 수 있다. 절대 거리 산출부(151)는 각 분할 영역에 포함된 모든 화소의 상대 거리값의 평균값 또는 중간값을 해당 분할 영역의 영역 상대 거리로 결정할 수 있다.
절대 거리 산출부(151)는 적어도 2개의 기준 영역을 선택할 수 있다. 기준 영역은 깊이 맵의 전체 영역에 대한 상대 거리를 절대 거리로 변환하는데 이용될 수 있다. 깊이 맵의 전체 영역에 대한 거리 변환을 위하여 절대 거리 산출부(151)는 촬상부(110)의 오토 포커스 기능을 이용하여 기준 영역의 절대 거리를 산출할 수 있다.
촬상부(110)에 구비된 렌즈부는 초점을 조절하기 위하여 이동 가능한 초점 렌즈(미도시)를 구비할 수 있다. 초점 렌즈의 이동에 의해 촬영 영상의 특정 부분의 선명도가 증가할 수 있다. 선명도를 최고로 향상시키기 위한 초점 렌즈의 위치와 해당 부분에 대응하는 객체와의 거리 간에 상관 관계가 형성될 수 있다. 이러한 상관 관계를 이용하는 경우 초점 렌즈의 위치를 이용하여 촬영 지점과 해당 객체 간의 절대 거리를 산출할 수 있게 된다.
절대 거리 산출부(151)는 기준 영역에 대한 촬상부(110)의 오토 포커스를 수행하고, 이 때의 초점 렌즈의 위치를 참조하여 기준 영역에 포함된 객체와의 절대 거리를 산출할 수 있다.
거리 변환부(152)는 적어도 2개의 기준 영역 각각의 상대 거리와 절대 거리의 비율에 따라 깊이 맵의 전체 영역에 대한 상대 거리를 절대 거리로 변환하는 역할을 수행한다. 2개 이상의 기준 영역에 대한 상대 거리와 절대 거리가 확인되는 경우 이를 통하여 깊이 맵 전체에 대한 상대 거리와 절대 거리 간의 비율이 산출될 수 있다. 거리 변환부(152)는 이러한 상대 거리와 절대 거리 간의 비율에 깊이 맵을 구성하는 전체 영역의 상대 거리를 적용함으로써 각 영역의 절대 거리를 산출할 수 있다.
도 3은 촬영 영상을 나타낸 도면이고, 도 4는 촬영 영상의 깊이 맵을 나타낸 도면이고, 도 5는 깊이 맵이 복수의 영역으로 분할된 것을 나타낸 도면이며, 도 6은 기준 영역이 선택된 것을 나타낸 도면이다.
도 3을 참조하면, 촬상부(110)는 전방을 촬영하여 촬영 영상(200)을 생성할 수 있다.
촬영 영상(200)은 적어도 하나의 객체(210)를 포함할 수 있다. 객체(210)는 사람, 동물, 차량 또는 건물을 포함할 수 있다. 촬영 영상(200)은 촬상부(110)에 의해 생성된 것으로서, 정지 영상이거나 동영상에 포함된 복수의 장면 중 하나의 장면일 수 있다.
도 4를 참조하면, 깊이 맵 생성부(140)는 촬영 영상(200)에 대한 깊이 맵(300)을 생성할 수 있다.
깊이 맵(300)은 객체(310)의 상대적 거리 정보를 포함할 수 있다. 상대적 거리 정보는 깊이 맵(300)에 포함된 각 지점과 촬영 지점 간의 거리가 상대적으로 결정된 값을 나타낸다.
본 발명에서 맵 분석부(150)에 의해 처리 가능한 깊이 맵(300)의 해상도는 촬영 영상(200)의 해상도에 대하여 상이할 수 있다. 이러한 경우 깊이 맵 생성부(140)는 사전에 설정된 깊이 맵(300)의 해상도에 대응되도록 촬영 영상(200)의 해상도를 변환하고, 변환된 촬영 영상을 이용하여 깊이 맵(300)을 생성할 수 있다.
도 5를 참조하면, 절대 거리 산출부(151)는 깊이 맵(300)을 복수의 영역으로 분할할 수 있다.
복수의 분할 영역(400) 각각의 가로 크기 및 세로 크기는 모두 동일할 수 있다. 분할 영역(400)의 크기는 촬상부(110)에 의한 오토 포커스가 원활하게 수행되는 크기일 수 있다.
절대 거리 산출부(151)는 분할 영역(400) 각각에 대하여 영역 상대 거리를 산출할 수 있다. 영역 상대 거리는 각 분할 영역(400)에 포함된 모든 화소의 상대 거리 값의 평균값 또는 중간값으로 결정될 수 있다.
도 6을 참조하면, 절대 거리 산출부(151)는 기준 영역(410)을 선택할 수 있다. 기준 영역(410)은 복수의 분할 영역(400) 중 특정 영역일 수 있다.
절대 거리 산출부(151)는 깊이 맵(300)의 전체 영역 중 사전에 설정된 범위에 포함된 상대 거리를 갖는 영역을 기준 영역(410)으로 선택할 수 있다. 예를 들어, 절대 거리 산출부(151)는 전체 분할 영역(400) 중 가장 큰 영역 상대 거리를 갖거나 가장 작은 영역 상대 거리를 갖는 분할 영역(400)은 기준 영역(410)의 선택에서 제외할 수 있다.
또는, 절대 거리 산출부(151)는 상한 상대 거리값과 하한 상대 거리값의 사이에 포함된 영역 상대 거리를 갖는 분할 영역(400) 중에서 기준 영역(410)을 선택할 수 있다. 여기서, 상한 상대 거리값은 전체 영역 상대 거리의 분포 중 가장 높은 영역 상대 거리에서 사전에 설정된 값만큼 낮은 상대 거리값을 나타내고, 하한 상대 거리값은 전체 영역 상대 거리의 분포 중 가장 낮은 영역 상대 거리에서 사전에 설정된 값만큼 높은 상대 거리값을 나타낸다.
절대 거리 산출부(151)는 전체 분할 영역(400) 중 최소 상대 거리값 또는 최대 상대 거리값을 갖는 영역을 기준 영역(410)의 선택에서 제외할 수 있다. 예를 들어, 상대 거리값이 8비트(bit)의 해상도로 설정된 경우 최소 상대 거리값은 0이고, 최대 상대 거리값은 255일 수 있다. 최소 상대 거리값 또는 최대 상대 거리값은 정상적인 상대 거리값이라기 보다는 노이즈(noise) 또는 포화된 값인 것으로 이해될 수 있다. 따라서, 최소 상대 거리값 또는 최대 상대 거리를 반영하여 분할 영역(400)의 영역 상대 거리를 산출하는 경우 영역 상대 거리의 신뢰도가 감소될 수 있다. 최소 상대 거리값 또는 최대 상대 거리값을 갖는 영역을 기준 영역(410)의 선택에서 제외함에 따라 높은 신뢰도의 영역 상대 거리를 갖는 기준 영역(410)이 선택될 수 있다.
절대 거리 산출부(151)는 분할 영역(400)을 구성하는 상대 거리값의 분포를 참조하여 기준 영역(410)을 선택할 수 있다. 예를 들어, 절대 거리 산출부(151)는 분할 영역(400)을 구성하는 상대 거리의 분산(variation) 또는 표준 편차(standard deviation)가 사전에 설정된 임계치를 초과하는 경우 해당 분할 영역(400)을 기준 영역(410)의 선택에서 제외할 수 있다. 분할 영역(400)을 구성하는 상대 거리값의 분산 또는 표준 편차가 임계치를 초과하는 경우 다양한 거리를 갖는 복수의 객체가 해당 분할 영역(400)에 포함된 것으로 이해될 수 있다. 이러한 경우 해당 분할 영역(400)에 포함된 객체의 절대 거리가 명확하지 않기 때문에 해당 분할 영역(400)을 기준 영역(410)으로 선택하는 것은 바람직하지 않을 수 있다. 이에, 절대 거리 산출부(151)는 분산 또는 표준 편차가 임계치의 이하인 상대 거리값으로 구성된 분할 영역(400) 중에서 기준 영역(410)을 선택할 수 있다.
전술한 바와 같이, 촬상부(110)는 팬 틸트 장비를 포함할 수 있다. 팬 틸트 장비는 사전에 설정된 구동 범위 내에서 촬상부(110)의 촬영 방향을 조절할 수 있다. 절대 거리 산출부(151)는 전체 분할 영역(400) 중 팬 틸트 장비의 구동 범위에 포함되는 영역을 기준 영역(410)으로 선택할 수 있다. 이를 구체적으로 설명하면, 전체 분할 영역(400) 중 특정 영역에 대응하는 방향을 촬상부(110)가 향하도록 팬 틸트 장비가 구동 가능하고, 그러한 상태에서 오토 포커스에 의해 해당 영역에 대한 확대가 가능한 경우 절대 거리 산출부(151)는 해당 영역을 기준 영역(410)으로 선택할 수 있다.
본 발명에서 기준 영역(410)은 다른 분할 영역(400)의 절대 거리를 산출하는데 이용될 수 있다. 따라서, 선택된 기준 영역(410)의 영역 상대 거리가 적절하지 않은 경우 다른 분할 영역(400)의 절대 거리에 대한 신뢰도가 감소될 수 있다. 사전에 설정된 범위에 포함된 상대 거리를 갖는 영역이 기준 영역(410)으로 선택됨에 따라 이를 기초로 결정된 다른 분할 영역(400)의 절대 거리에 대한 신뢰도가 향상될 수 있다.
도 7은 기준 포인트가 거리 좌표 평면에 표시된 것을 나타낸 도면이고, 도 8은 기준 포인트를 기초로 기준 그래프가 형성되는 것을 나타낸 도면이다.
도 7을 참조하면, 절대 거리 산출부(151)는 기준 포인트(P1, P2)를 거리 좌표 평면에 표시할 수 있다.
거리 좌표 평면은 절대 거리를 나타내는 가로축과 상대 거리를 나타내는 세로축에 의해 형성될 수 있다. 기준 포인트(P1, P2)는 기준 영역(410)에 대응하는 거리 좌표 평면상의 좌표점을 나타낸다.
절대 거리 산출부(151)는 우선 전체 영역 상대 거리 중 최대 영역 상대 거리(HIGH)와 최소 영역 상대 거리(LOW)를 확인할 수 있다. 그리고, 절대 거리 산출부(151)는 전체 분할 영역(400) 중 최대 영역 상대 거리(HIGH)를 갖거나 최소 영역 상대 거리(LOW)를 갖는 분할 영역(400)을 기준 영역(410)의 선택에서 제외할 수 있다. 또는, 절대 거리 산출부(151)는 상한 상대 거리값(TH_HIGH)과 하한 상대 거리값(TH_LOW)의 사이에 포함된 영역 상대 거리를 갖는 분할 영역(400) 중에서 기준 영역(410)을 선택할 수 있다. 상한 상대 거리값(TH_HIGH)은 최대 영역 상대 거리(HIGH)에서 사전에 설정된 일정 간격만큼 작은 값으로 결정되고, 하한 상대 거리값(TH_LOW)은 최소 영역 상대 거리(LOW)에서 사전에 설정된 일정 간격만큼 큰 값으로 결정될 수 있다.
또한, 절대 거리 산출부(151)는 서로 다른 기준 영역(410) 간의 상대 거리가 사전에 설정된 간격 이상으로 형성되도록 기준 영역(410)을 선택할 수 있다. 도 7은 2개의 기준 영역(410) 간의 상대 거리 간격이 D인 것을 도시하고 있다.
기준 영역(410)이 선택되는 경우 절대 거리 산출부(151)는 촬상부(110)로 하여금 기준 영역(410)에 대한 오토 포커스가 수행되도록 할 수 있다. 촬상부(110)의 오토 포커스가 완료되는 경우 절대 거리 산출부(151)는 초점 렌즈의 위치를 참조하여 기준 영역(410)에 대응하는 객체의 절대 거리를 산출할 수 있다.
기준 영역(410)에 대한 상대 거리 및 절대 거리가 확인되는 경우 기준 영역(410)에 대응하는 기준 포인트(P1, P2)가 거리 좌표 평면에 표시될 수 있다. 도 7은 2개의 기준 영역(410)에 대한 2개의 기준 포인트(P1, P2)가 거리 좌표 평면에 표시된 것을 도시하고 있다. 제1 기준 영역의 상대 거리 및 절대 거리가 각각 A1 및 B1임에 따라 이를 기초로 제1 기준 포인트 P1이 거리 좌표 평면에 표시될 수 있다. 이와 마찬가지로, 제2 기준 영역의 상대 거리 및 절대 거리가 각각 A2 및 B2임에 따라 이를 기초로 제2 기준 포인트 P2가 거리 좌표 평면에 표시될 수 있다.
도 8을 참조하면, 거리 변환부(152)는 기준 포인트(P1, P2)를 기초로 기준 그래프(G1)를 생성할 수 있다.
기준 그래프(G1)는 복수의 기준 포인트(P1, P2)를 연결함으로써 생성될 수 있다. 도 8은 2개의 기준 포인트(P1, P2)가 연결되어 직선인 기준 그래프(G1)가 생성된 것을 도시하고 있다.
기준 그래프(G1)는 기준 영역(410) 각각의 상대 거리와 절대 거리의 비율이 반영된 것으로서, 거리 변환부(152)는 이를 이용하여 다른 분할 영역(400)의 절대 거리를 산출할 수 있다. 도 8을 참조하여 설명하면, 상대 거리가 a1인 경우 해당 분할 영역(400)의 절대 거리는 b1으로 결정되고, 상대 거리가 a2인 경우 해당 분할 영역(400)의 절대 거리는 b2로 결정되며, 상대 거리가 a3인 경우 해당 분할 영역(400)의 절대 거리는 b3으로 결정될 수 있다.
거리 변환부(152)는 이러한 과정을 통하여 전체 깊이 맵(300)에 포함된 전체 분할 영역(400)의 절대 거리를 산출할 수 있다.
도 9는 3개의 기준 포인트를 기초로 기준 그래프가 형성되는 것을 나타낸 도면이다.
도 9를 참조하면, 절대 거리 산출부(151)는 3개 이상의 기준 영역(410)을 선택할 수 있다.
기준 영역(410)이 3개인 경우 3개의 기준 포인트(P1, P2, P3)가 거리 좌표 평면에 표시되고, 이를 기초로 생성된 기준 그래프(G2)는 직선이 아닌 곡선으로 형성될 수 있다.
제1 기준 영역의 상대 거리 및 절대 거리가 각각 A1 및 B1임에 따라 이를 기초로 제1 기준 포인트 P1이 거리 좌표 평면에 표시될 수 있다. 제2 기준 영역의 상대 거리 및 절대 거리가 각각 A2 및 B2임에 따라 이를 기초로 제2 기준 포인트 P2가 거리 좌표 평면에 표시될 수 있다. 제3 기준 영역의 상대 거리 및 절대 거리가 각각 A3 및 B3임에 따라 이를 기초로 제3 기준 포인트 P3가 거리 좌표 평면에 표시될 수 있다.
기준 영역(410)의 개수가 증가할수록 보다 많은 기준 영역(410)의 상대 거리와 절대 거리의 비율이 반영되어 기준 그래프(G2)가 생성될 수 있다. 보다 많은 기준 영역(410)을 기초로 생성된 기준 그래프(G2)가 이용되어 거리 변환이 수행되는 경우 거리 변환에 대한 신뢰도가 향상될 수 있다.
절대 거리 산출부(151)는 깊이 맵(300)을 구성하는 상대 거리값의 분포를 참조하여 기준 영역(410)의 개수를 결정할수 있다. 예를 들어, 절대 거리 산출부(151)는 깊이 맵(300)을 구성하는 상대 거리값의 분산(variation) 또는 표준 편차(standard deviation)가 클수록 기준 영역(410)의 개수를 증가시킬 수 있다. 깊이 맵(300)을 구성하는 상대 거리값의 분산 또는 표준 편차가 큰 경우 다양한 거리를 갖는 복수의 객체가 촬영 영상(200)에 포함된 것으로 이해될 수 있다. 이러한 경우 보다 많은 수의 기준 영역(410)이 이용되어 생성된 기준 그래프를 통하여 서로 다른 상대 거리 간의 차이가 충분히 반영된 절대 거리의 산출이 가능하게 된다.
도 10은 깊이 맵 어레이를 나타낸 도면이다.
도 10을 참조하면, 깊이 맵 어레이(600)는 크기순으로 나열된 복수의 상대 거리를 포함할 수 있다.
절대 거리 산출부(151)는 복수의 분할 영역(400)에 대한 복수의 상대 거리가 크기순으로 나열된 깊이 맵 어레이(600)를 생성할 수 있다. 도 10은 서로 다른 100개의 상대 거리를 크기순으로 포함하고 있는 깊이 맵 어레이(600)가 테이블의 형태로 형성된 것을 도시하고 있다.
절대 거리 산출부(151)는 깊이 맵 어레이(600)를 상대 거리의 크기에 따라 복수의 깊이 맵 그룹(610, 620, 630, 640)으로 분할할 수 있다. 예를 들어, 절대 거리 산출부(151)는 도 10에 도시된 바와 같이 깊이 맵 어레이(600)를 4개의 깊이 맵 그룹(610~640)으로 분할할 수 있다.
상대 거리가 작을수록 대응되는 객체는 상대적으로 원거리에 존재하고, 상대 거리가 클수록 대응되는 객체는 상대적으로 근거리에 존재하는 것으로 이해될 수 있다. 원거리에 존재하는 객체에 대응되는 상대 거리(이하, 상대 원거리라 한다)와 근거리에 존재하는 객체에 대응되는 상대 거리(이하, 상대 근거리라 한다)는 절대 거리의 산출에 있어서 서로 다른 기준을 제공할 수 있다. 예를 들어, 서로 다른 상대 원거리 간의 제1 상대 거리 차이와 서로 다른 상대 근거리 간의 제2 상대 거리 차이가 동일하더라도 제1 상대 거리 차이에 대응되는 절대 거리의 차이는 제2 상대 거리 차이에 대응되는 절대 거리의 차이에 비하여 크게 형성될 수 있다. 이에, 깊이 맵 어레이(600)에 포함된 복수의 깊이 맵 그룹(610~640) 중 원거리에 대응되는 깊이 맵 그룹에 비하여 근거리에 대응되는 깊이 맵 그룹이 보다 많은 수의 상대 거리를 포함할 수 있다. 예를 들어, 각 깊이 맵 그룹(610~640)의 최대 상대 거리와 최소 상대 거리 간의 차이에 대응되는 절대 거리의 차이가 깊이 맵 그룹(610~640)별로 동일하거나 유사하게 형성되도록 깊이 맵 그룹(610~640)의 크기가 결정될 수 있다. 도 10은 전체 상대 거리 중 제1 깊이 맵 그룹(610)이 10%의 상대 거리를 포함하고, 제2 깊이 맵 그룹(620)이 15%의 상대 거리를 포함하고, 제3 깊이 맵 그룹(630)이 25%의 상대 거리를 포함하며, 제4 깊이 맵 그룹(640)이 50%의 상대 거리를 포함하고 있는 것을 도시하고 있다.
절대 거리 산출부(151)는 복수의 깊이 맵 그룹(610~640) 중 기준 영역(410)의 선택 기준이 되는 깊이 맵 그룹을 선택할 수 있다. 예를 들어, 절대 거리 산출부(151)는 기준 영역(410)의 선택 기준으로서 복수의 깊이 맵 그룹(610~640) 중 인접하지 않은 깊이 맵 그룹을 선택할 수 있다. 예를 들어, 절대 거리 산출부(151)는 제1 깊이 맵 그룹(610) 및 제3 깊이 맵 그룹(630)을 선택하거나 제1 깊이 맵 그룹(610) 및 제4 깊이 맵 그룹(640)을 선택하거나 제2 깊이 맵 그룹(620) 및 제4 깊이 맵 그룹(640)을 선택할 수 있다. 또는, 절대 거리 산출부(151)는 기준 영역(410)의 선택 기준으로서 복수의 깊이 맵 그룹(610~640) 전체를 선택할 수도 있다. 기준 영역(410)의 선택 기준이 되는 깊이 맵 그룹을 기준 맵 그룹이라 한다.
기준 맵 그룹의 선택이 완료된 경우 절대 거리 산출부(151)는 기준 맵 그룹에서 상대 거리를 추출하고, 추출된 상대 거리에 대응되는 분할 영역(400)을 기준 영역(410)으로 선택할 수 있다.
절대 거리 산출부(151)는 기준 맵 그룹의 상대 거리 중 최소 상대 거리, 최대 상대 거리 또는 중간 상대 거리를 추출하고, 추출된 상대 거리에 대응되는 분할 영역(400)을 기준 영역(410)으로 선택할 수 있다. 또는, 절대 거리 산출부(151)는 기준 맵 그룹(610~640)의 상대 거리 중 최소 상대 거리 및 최대 상대 거리를 제외한 가장 작은 상대 거리 및 가장 큰 상대 거리를 추출하고, 추출된 상대 거리에 대응되는 분할 영역(400)을 기준 영역(410)으로 선택할 수도 있다.
절대 거리 산출부(151)는 기준 맵 그룹(610~640)을 구성하는 상대 거리의 분산 또는 표준 편차를 참조하여 기준 맵 그룹에서 추출되는 상대 거리의 개수를 결정할 수 있다. 예를 들어, 절대 거리 산출부(151)는 기준 맵 그룹(610~640)을 구성하는 상대 거리의 분산 또는 표준 편차가 클수록 해당 기준 맵 그룹에서 보다 많은 수의 상대 거리를 추출할 수 있다. 추출된 상대 거리의 개수에 따라 기준 영역(410)의 개수가 결정될 수 있다.
도 11은 촬영 영역에 대한 오토 포커스 영상이 생성되는 것을 설명하기 위한 도면이고, 도 12는 확장 촬영 영역에 대한 오토 포커스 영상이 생성되는 것을 설명하기 위한 도면이며, 도 13은 촬영 영역 및 확장 촬영 영역에 대한 오토 포커스 영상이 생성되는 것을 설명하기 위한 도면이다.
도 11을 참조하면, 절대 거리 산출부(151)는 촬영 영상(200) 중 기준 영역(410)에 대응되는 기준 촬영 영역(201a)에 대하여 오토 포커스가 수행되도록 할 수 있다.
절대 거리 산출부(151)의 제어에 의해 촬상부(110)는 기준 영역(410)에 대응되는 기준 촬영 영역(201a)에 대한 오토 포커스를 수행할 수 있다. 구체적으로, 촬상부(110)는 기준 촬영 영역(201a)에 대응되는 장면에 대한 오토 포커스를 수행할 수 있다.
도 11은 2개의 기준 촬영 영역(201a)에 대하여 오토 포커스가 수행되어 오토 포커스 영상(202)이 생성된 것을 도시하고 있다. 오토 포커스 영상(202)은 기준 촬영 영역(201a)에 대한 확대 영상일 수 있다. 촬상부(110)는 2개의 기준 촬영 영역(201a)에 대한 오토 포커스를 순차적으로 수행할 수 있다. 이에, 2개의 기준 촬영 영역(201a)에 대한 오토 포커스 영상(202)이 순차적으로 생성될 수 있다.
촬상부(110)는 초점 렌즈를 이동시켜 오토 포커스를 수행할 수 있다. 절대 거리 산출부(151)는 오토 포커스가 수행되어 형성된 오토 포커스 영상(202)의 선명도가 최고로 형성되도록 하는 촬상부(110)의 초점 렌즈의 위치를 참조하여 기준 영역(410)의 절대 거리를 산출할 수 있다.
도 12를 참조하면, 절대 거리 산출부(151)는 촬영 영상(200) 중 기준 영역(410) 및 기준 영역(410)의 주변 영역에 대응되는 확장 촬영 영역(201)에 대하여 오토 포커스가 수행되도록 할 수 있다.
확장 촬영 영역(201)은 기준 촬영 영역(201a) 및 주변 촬영 영역(201b)을 포함할 수 있다. 기준 촬영 영역(201a)은 기준 영역(410)에 대응되는 영역을 나타내고, 주변 촬영 영역(201b)은 기준 영역(410)의 주변 영역에 대응되는 영역을 나타낸다.
절대 거리 산출부(151)의 제어에 의해 촬상부(110)는 확장 촬영 영역(201)에 대한 오토 포커스를 수행할 수 있다. 촬상부(110)는 확장 촬영 영역(201)에 대응되는 장면에 대한 오토 포커스를 수행할 수 있다.
도 12는 2개의 확장 촬영 영역(201)에 대한 오토 포커스 영상(203)이 생성된 것을 도시하고 있다. 오토 포커스 영상(203)은 기준 포커스 영역(203a) 및 주변 포커스 영역(203b)을 포함할 수 있다. 기준 포커스 영역(203a)은 기준 촬영 영역(201a)에 대하여 오토 포커스가 수행된 영상을 나타내고, 주변 포커스 영역(203b)은 주변 촬영 영역(201b)에 대하여 오토 포커스가 수행된 영상을 나타낸다.
촬상부(110)는 2개의 확장 촬영 영역(201)에 대한 오토 포커스를 순차적으로 수행할 수 있다. 이에, 2개의 확장 촬영 영역(201)에 대한 오토 포커스 영상(203)이 순차적으로 생성될 수 있다.
촬상부(110)는 초점 렌즈를 이동시켜 오토 포커스를 수행할 수 있다. 절대 거리 산출부(151)는 오토 포커스가 수행되어 형성된 오토 포커스 영상(203)의 선명도가 최고로 형성되도록 하는 촬상부(110)의 초점 렌즈의 위치를 참조하여 기준 영역(410)의 절대 거리를 산출할 수 있다. 기준 촬영 영역(201a)에 대응되는 장면에 비하여 큰 확대 촬영 영역(201)에 대응되는 장면에 대한 오토 포커스가 수행되기 때문에 보다 빠른 속도로 절대 거리를 산출하는 것이 가능하게 된다. 또한, 기준 촬영 영역(201a)뿐만 아니라 이에 인접한 주변 촬영 영역(201b)에 대응되는 장면에 대한 정보가 반영되기 때문에 산출된 절대 거리의 신뢰도가 향상될 수 있다.
도 13을 참조하면, 절대 거리 산출부(151)는 각각의 기준 영역(410)에 대하여 복수의 오토 포커스가 수행되도록 할 수 있다.
절대 거리 산출부(151)는 촬영 영상(200) 중 기준 영역(410) 및 기준 영역(410)의 주변 영역에 대응되는 확장 촬영 영역(201)에 대하여 제1 오토 포커스가 수행되도록 할 수 있다.
확장 촬영 영역(201)은 기준 촬영 영역(201a) 및 주변 촬영 영역(201b)을 포함할 수 있다. 기준 촬영 영역(201a)은 기준 영역(410)에 대응되는 영역을 나타내고, 주변 촬영 영역(201b)은 기준 영역(410)의 주변 영역에 대응되는 영역을 나타낸다.
절대 거리 산출부(151)의 제어에 의해 촬상부(110)는 확장 촬영 영역(201)에 대한 제1 오토 포커스를 수행할 수 있다. 촬상부(110)는 확장 촬영 영역(201)에 대응되는 장면에 대한 제1 오토 포커스를 수행할 수 있다.
도 13은 2개의 확장 촬영 영역(201)에 대한 오토 포커스 영상(203)이 생성된 것을 도시하고 있다. 오토 포커스 영상(203)은 기준 포커스 영역(203a) 및 주변 포커스 영역(203b)을 포함할 수 있다. 기준 포커스 영역(203a)은 기준 촬영 영역(201a)에 대하여 오토 포커스가 수행된 영상을 나타내고, 주변 포커스 영역(203b)은 주변 촬영 영역(201b)에 대하여 오토 포커스가 수행된 영상을 나타낸다.
제1 오토 포커스가 완료된 이후에 절대 거리 산출부(151)는 제1 오토 포커스에 의한 오토 포커스 영상(203) 중 기준 영역(410)에 대응되는 기준 포커스 영역(203a)에 대하여 제2 오토 포커스가 수행되도록 할 수 있다.
절대 거리 산출부(151)의 제어에 의해 촬상부(110)는 기준 포커스 영역(203a)에 대한 제2 오토 포커스를 수행할 수 있다. 촬상부(110)는 기준 포커스 영역(203a)에 대응되는 장면에 대한 제2 오토 포커스를 수행할 수 있다.
촬상부(110)는 제1 오토 포커스를 수행한 이후에 제2 오토 포커스를 수행할 수 있다. 이러한 과정은 각각의 확장 촬영 영역(201)에 대하여 반복될 수 있다.
촬상부(110)는 초점 렌즈를 이동시켜 오토 포커스를 수행할 수 있다. 절대 거리 산출부(151)는 제1 오토 포커스가 수행되어 형성된 제1 오토 포커스 영상(203)의 선명도 및 제2 오토 포커스가 수행되어 형성된 제2 오토 포커스 영상(204)의 선명도가 최고로 형성되도록 하는 촬상부(110)의 초점 렌즈의 위치를 참조하여 기준 영역(410)의 절대 거리를 산출할 수 있다. 확장 촬영 영역(201)에 대한 초점 렌즈의 위치와 기준 포커스 영역(203a)에 대한 초점 렌즈의 위치가 종합적으로 판단되어 절대 거리가 산출되기 때문에 산출된 절대 거리의 신뢰도가 향상될 수 있다.
도 14는 본 발명의 실시예에 따른 영상 분석 방법을 나타낸 흐름도이다.
도 14는 참조하면, 단안 카메라인 촬상부(110)의 촬영 영상(200)의 절대 거리를 산출하기 위하여 우선 촬상부(110)는 촬영 영상(200)을 생성할 수 있다(S510).
깊이 맵 생성부(140)는 촬영 영상(200)에 대한 깊이 맵(300)을 생성하고(S520), 맵 분석부(150)의 절대 거리 산출부(151)는 깊이 맵(300)의 전체 영역 중 선택된 영역(기준 영역)에 대하여 촬상부(110)의 오토 포커스(auto focus) 기능을 이용하여 절대 거리를 산출할 수 있다(S530).
그리고, 맵 분석부(150)의 거리 변환부(152)는 절대 거리 산출부(151)에 의해 산출된 절대 거리를 참조하여 깊이 맵(300)의 전체 영역에 대한 절대 거리를 산출할 수 있다. 맵 분석부(150)는 거리 좌표 평면상에서 적어도 2개의 기준 포인트를 연결하여 기준 그래프를 생성하고, 기준 그래프에 다른 분할 영역(400)의 상대 거리를 적용함으로써 각 분할 영역(400)의 절대 거리를 산출할 수 있다(S540).
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (20)

  1. 촬영 영상을 생성하는 촬상부;
    상기 촬영 영상에 대한 깊이 맵(depth map)을 생성하는 깊이 맵 생성부; 및
    상기 깊이 맵의 전체 영역 중 선택된 영역에 대하여 산출된 절대 거리를 참조하여 상기 깊이 맵의 전체 영역에 대한 절대 거리를 산출하는 맵 분석부를 포함하되,
    상기 맵 분석부는 상기 촬상부의 오토 포커스(auto focus) 기능을 이용하여 상기 선택된 영역에 대한 절대 거리를 산출하는 영상 분석 장치.
  2. 제1 항에 있어서,
    상기 촬상부는 단안 카메라(monocular camera)를 포함하는 영상 분석 장치.
  3. 제1 항에 있어서,
    상기 깊이 맵은 상기 촬영 영상에 포함된 객체의 상대적 거리 정보를 포함하는 영상 분석 장치.
  4. 제1 항에 있어서,
    상기 맵 분석부는,
    상기 깊이 맵을 복수의 영역으로 분할하여 분할 영역을 생성하고, 상기 분할 영역 중 선택된 적어도 2개의 기준 영역에 대하여 상기 촬상부의 오토 포커스 기능을 이용하여 절대 거리를 산출하는 절대 거리 산출부; 및
    상기 적어도 2개의 기준 영역 각각의 상대 거리와 절대 거리의 비율에 따라 상기 깊이 맵의 전체 영역에 대한 상대 거리를 절대 거리로 변환하는 거리 변환부를 포함하는 영상 분석 장치.
  5. 제4 항에 있어서,
    상기 절대 거리 산출부는 상기 깊이 맵의 전체 영역 중 사전에 설정된 범위에 포함된 상대 거리를 갖는 영역을 기준 영역으로 선택하는 영상 분석 장치.
  6. 제4 항에 있어서,
    상기 절대 거리 산출부는 상기 분할 영역 중 최소 상대 거리값 또는 최대 상대 거리값을 갖는 영역을 기준 영역의 선택에서 제외하는 영상 분석 장치.
  7. 제4 항에 있어서,
    상기 절대 거리 산출부는 상기 분할 영역을 구성하는 상대 거리값의 분산 또는 표준 편차가 사전에 설정된 임계치를 초과하는 경우 해당 분할 영역을 기준 영역의 선택에서 제외하는 영상 분석 장치.
  8. 제4 항에 있어서,
    상기 절대 거리 산출부는 상기 깊이 맵을 구성하는 상대 거리값의 분포를 참조하여 상기 기준 영역의 개수를 결정하는 영상 분석 장치.
  9. 제8 항에 있어서,
    상기 절대 거리 산출부는 상기 깊이 맵을 구성하는 상대 거리값의 분산 또는 표준 편차가 클수록 상기 기준 영역의 개수를 증가시키는 영상 분석 장치.
  10. 제4 항에 있어서,
    상기 절대 거리 산출부는,
    상기 복수의 분할 영역에 대한 복수의 상대 거리가 크기순으로 나열된 깊이 맵 어레이를 생성하고,
    상기 깊이 맵 어레이를 상대 거리의 크기에 따라 복수의 깊이 맵 그룹으로 분할하고,
    상기 복수의 깊이 맵 그룹 중 상기 기준 영역의 선택 기준이 되는 기준 맵 그룹을 선택하고,
    상기 기준 맵 그룹에서 상대 거리를 추출하며,
    상기 기준 맵 그룹에서 추출된 상대 거리에 대응되는 분할 영역을 기준 영역으로 선택하는 영상 분석 장치.
  11. 제10 항에 있어서,
    상기 절대 거리 산출부는 상기 기준 맵 그룹의 상대 거리 중 최소 상대 거리, 최대 상대 거리 또는 중간 상대 거리를 추출하는 영상 분석 장치.
  12. 제10 항에 있어서,
    상기 절대 거리 산출부는 상기 기준 맵 그룹의 상대 거리 중 최소 상대 거리 및 최대 상대 거리를 제외한 가장 작은 상대 거리 및 가장 큰 상대 거리를 추출하는 영상 분석 장치.
  13. 제10 항에 있어서,
    상기 절대 거리 산출부는 상기 기준 맵 그룹을 구성하는 상대 거리의 분산 또는 표준 편차를 참조하여 상기 기준 맵 그룹에서 추출되는 상대 거리의 개수를 결정하는 영상 분석 장치.
  14. 제4 항에 있어서,
    상기 절대 거리 산출부는,
    상기 촬영 영상 중 상기 기준 영역에 대응되는 촬영 영역에 대하여 오토 포커스가 수행되도록 하고,
    상기 오토 포커스가 수행되어 형성된 오토 포커스 영상의 선명도가 최고로 형성되도록 하는 상기 촬상부의 초점 렌즈의 위치를 참조하여 상기 기준 영역의 절대 거리를 산출하는 영상 분석 장치.
  15. 제4 항에 있어서,
    상기 절대 거리 산출부는,
    상기 촬영 영상 중 상기 기준 영역 및 상기 기준 영역의 주변 영역에 대응되는 확장 촬영 영역에 대하여 오토 포커스가 수행되도록 하고,
    상기 오토 포커스가 수행되어 형성된 오토 포커스 영상의 선명도가 최고로 형성되도록 하는 상기 촬상부의 초점 렌즈의 위치를 참조하여 상기 기준 영역의 절대 거리를 산출하는 영상 분석 장치.
  16. 제4 항에 있어서,
    상기 절대 거리 산출부는,
    상기 촬영 영상 중 상기 기준 영역 및 상기 기준 영역의 주변 영역에 대응되는 확장 촬영 영역에 대하여 제1 오토 포커스가 수행되도록 하고,
    상기 제1 오토 포커스에 의한 오토 포커스 영상 중 상기 기준 영역에 대응되는 기준 포커스 영역에 대하여 제2 오토 포커스가 수행되도록 하며,
    상기 제1 오토 포커스가 수행되어 형성된 제1 오토 포커스 영상의 선명도 및 상기 제2 오토 포커스가 수행되어 형성된 제2 오토 포커스 영상의 선명도가 최고로 형성되도록 하는 상기 촬상부의 초점 렌즈의 위치를 참조하여 상기 기준 영역의 절대 거리를 산출하는 영상 분석 장치.
  17. 제1 항에 있어서,
    상기 깊이 맵 생성부는 사전에 설정된 깊이 맵의 해상도에 대응되도록 상기 촬영 영상의 해상도를 변환하고, 상기 변환된 촬영 영상을 이용하여 상기 깊이 맵을 생성하는 영상 분석 장치.
  18. 촬영 영상을 생성하는 단계;
    상기 촬영 영상에 대한 깊이 맵(depth map)을 생성하는 단계;
    상기 깊이 맵의 전체 영역 중 선택된 영역에 대하여 상기 촬영 영상을 생성하는 촬상부의 오토 포커스(auto focus) 기능을 이용하여 절대 거리를 산출하는 단계; 및
    산출된 절대 거리를 참조하여 상기 깊이 맵의 전체 영역에 대한 절대 거리를 산출하는 단계를 포함하는 영상 분석 방법.
  19. 제18 항에 있어서,
    상기 절대 거리를 산출하는 단계는,
    상기 깊이 맵을 복수의 영역으로 분할하여 분할 영역을 생성하고, 상기 분할 영역 중 선택된 적어도 2개의 기준 영역에 대하여 상기 촬상부의 오토 포커스 기능을 이용하여 절대 거리를 산출하는 단계; 및
    상기 적어도 2개의 기준 영역 각각의 상대 거리와 절대 거리의 비율에 따라 상기 깊이 맵의 전체 영역에 대한 상대 거리를 절대 거리로 변환하는 단계를 포함하는 영상 분석 방법.
  20. 제18 항에 있어서,
    상기 절대 거리를 산출하는 단계는 상기 깊이 맵의 전체 영역 중 사전에 설정된 범위에 포함된 상대 거리를 갖는 영역을 기준 영역으로 선택하는 단계를 포함하는 영상 분석 방법.
PCT/KR2023/006027 2022-05-04 2023-05-03 영상 분석 장치 및 방법 WO2023214790A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220055392 2022-05-04
KR10-2022-0055392 2022-05-04
KR10-2022-0118616 2022-09-20
KR1020220118616A KR20230155939A (ko) 2022-05-04 2022-09-20 영상 분석 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2023214790A1 true WO2023214790A1 (ko) 2023-11-09

Family

ID=88646670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006027 WO2023214790A1 (ko) 2022-05-04 2023-05-03 영상 분석 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023214790A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117880630A (zh) * 2024-03-13 2024-04-12 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175196B1 (ko) * 2010-12-28 2012-08-20 강원대학교산학협력단 모바일 환경의 입체영상 생성방법 및 장치
KR20160016406A (ko) * 2014-08-05 2016-02-15 한국전자통신연구원 깊이 맵 생성 장치 및 방법
JP6800650B2 (ja) * 2015-10-30 2020-12-16 キヤノン株式会社 信頼度生成装置、信頼度生成方法、および撮像装置
KR102191743B1 (ko) * 2019-03-27 2020-12-16 서울대학교산학협력단 거리 측정 장치
JP2022518532A (ja) * 2019-01-25 2022-03-15 ビッタニメイト インコーポレイテッド 単一の平面視画像フレームに基づく検出及び測距

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101175196B1 (ko) * 2010-12-28 2012-08-20 강원대학교산학협력단 모바일 환경의 입체영상 생성방법 및 장치
KR20160016406A (ko) * 2014-08-05 2016-02-15 한국전자통신연구원 깊이 맵 생성 장치 및 방법
JP6800650B2 (ja) * 2015-10-30 2020-12-16 キヤノン株式会社 信頼度生成装置、信頼度生成方法、および撮像装置
JP2022518532A (ja) * 2019-01-25 2022-03-15 ビッタニメイト インコーポレイテッド 単一の平面視画像フレームに基づく検出及び測距
KR102191743B1 (ko) * 2019-03-27 2020-12-16 서울대학교산학협력단 거리 측정 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117880630A (zh) * 2024-03-13 2024-04-12 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端
CN117880630B (zh) * 2024-03-13 2024-06-07 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端

Similar Documents

Publication Publication Date Title
WO2010101434A2 (en) Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method
WO2023214790A1 (ko) 영상 분석 장치 및 방법
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2021091021A1 (ko) 화재 검출 시스템
WO2015137635A1 (en) Image pickup apparatus and method for generating image having depth information
WO2020251285A1 (en) Apparatus and method for high dynamic range (hdr) image creation of dynamic scenes using graph cut-based labeling
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2020009550A1 (en) Method and apparatus for capturing dynamic images
EP0758515A4 (ko)
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2020040521A1 (ko) 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법
WO2020085874A1 (en) Method and apparatus for dynamic image capturing based on motion information in image
US5644359A (en) Image input apparatus having a white balance correction means and a method of inputting an image using the image input apparatus
KR20060129422A (ko) 오토포커스 제어 장치 및 방법, 기록 매체와 프로그램
WO2019035551A1 (en) APPARATUS FOR COMPOSING OBJECTS USING DEPTH CARD AND ASSOCIATED METHOD
WO2022014791A1 (en) Multi-frame depth-based multi-camera relighting of images
WO2013077522A1 (en) Apparatus and method for hierarchical stereo matching
JPH10200804A (ja) カメラ型スキャナ
EP3818692A1 (en) Method and apparatus for capturing dynamic images
WO2017217788A2 (ko) 차량 운전 보조 장치 및 방법
WO2023219466A1 (en) Methods and systems for enhancing low light frame in a multi camera system
WO2024063242A1 (ko) 영상 분석 장치 및 방법
WO2021107254A1 (ko) 단안 비디오 영상의 깊이 추정 방법 및 장치
WO2022080680A1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
WO2023068655A1 (en) System and method for learning tone curves for local image enhancement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23799671

Country of ref document: EP

Kind code of ref document: A1