WO2021054500A1 - Image generation method and image generation device - Google Patents

Image generation method and image generation device Download PDF

Info

Publication number
WO2021054500A1
WO2021054500A1 PCT/KR2019/012228 KR2019012228W WO2021054500A1 WO 2021054500 A1 WO2021054500 A1 WO 2021054500A1 KR 2019012228 W KR2019012228 W KR 2019012228W WO 2021054500 A1 WO2021054500 A1 WO 2021054500A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
top view
camera
images
cameras
Prior art date
Application number
PCT/KR2019/012228
Other languages
French (fr)
Korean (ko)
Inventor
채규열
이권
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/012228 priority Critical patent/WO2021054500A1/en
Publication of WO2021054500A1 publication Critical patent/WO2021054500A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Definitions

  • the present invention relates to an image generating method and an image generating apparatus.
  • an image generating method and an image generating apparatus relate to a system or method for generating a top view image of a target object.
  • the present invention captures an image around a vehicle using AVM (Around View Monitoring) cameras mounted on the front, rear, left and right sides of the vehicle, recognizes the surroundings of the vehicle, synthesizes a top view image or image, and provides a top view image or image to the user to provide.
  • AVM Around View Monitoring
  • the apparatus for generating an image extracts information on the height of an object or person existing around an object to be a top view image, and based on the information on the height.
  • the purpose is to create an adaptive top view image.
  • the method of generating an image is a step of receiving a plurality of images from a plurality of cameras positioned on a first object, wherein the plurality of cameras are on the first surface of the first object.
  • One or more located around cameras and a loop camera located on an upper surface of the first object Generating a depth map based on the plurality of images, the depth map including information related to a height of a second object photographed by at least one of the plurality of cameras; Generating a top view image based on the generated depth map and the plurality of images; And filling a void area included in the generated top view image, wherein the void area is an area included in the top view image that cannot be extracted from the plurality of images. It may include.
  • the second object may be an object separated by a predetermined distance from the first object, and at least one or more cameras among the plurality of cameras photograph the second object to obtain a first image of the plurality of images. May be generated, and the loop camera may take a second image of the plurality of images by photographing the second object, and the depth map is generated based on the first image and the second image, and the The top view image may be an image generated based on height information of the second object based on the depth map, the first image, and the second image.
  • the void area is an area that cannot be extracted from the first image and the second image
  • the filling step includes information on at least one pixel included in the void area included in the area for the second object.
  • the information on the pixel may include information representing the transparency of the pixel and information representing the color of the pixel.
  • the loop camera includes a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from the view for a range of viewing angles.
  • the loop camera may be one of a first loop camera and a second loop camera.
  • the first roof camera is attached to an upper end of the first support attached to the upper surface of the first object, and the first support is configured such that the first roof camera is spaced apart from the upper surface of the first object by a predetermined distance
  • the spaced apart predetermined distance may be configured to be controlled by the user of the first object.
  • the second roof camera is coupled to an upper end of the second support, and the second support is attached to a first hinge configured to adjust an angle between the upper surface of the first object and the second support,
  • the first hinge is configured to be attached to an upper surface of the first object
  • the second roof camera is coupled by a second hinge attached to an upper end of the second support
  • the second hinge is the second roof camera It may be configured to face in a direction opposite to the vertical direction.
  • the top view image is an image generated based on a first learning model
  • the first learning model provides forward propagation and backward propagation of training data including a plurality of images and a depth map. It may be a model created by performing gating.
  • the top view image is generated based on an image processing algorithm, and the image processing algorithm includes pixels corresponding to a bottom point included in the image acquired by the around camera based on the image acquired by the loop camera. Extracting; And converting values of pixels other than the bottom point. You can do it.
  • the void area may be filled based on a pixel for an area other than the void area in the top view image or may be filled with a predetermined pixel value.
  • the image generation method does not generate the depth map, and the top view image Is generated based on the plurality of images using a second learning model, and the second learning model is a model generated by performing forward and backward propagation of training data including a plurality of images. I can.
  • the second object is an object that is separated by a predetermined distance from the first object, and at least one or more of the plurality of cameras photographs the second object to generate a first image of the plurality of images.
  • the top view image may include an area for a second object generated based on the first image.
  • an object or a person existing around the target object is generated as an undistorted image, thereby providing an image or an image that appears to be viewed directly from above.
  • the image generating apparatus may generate various top view images so that a user can select a desired top view image.
  • FIG. 1 shows a target object that is a target of a top view image and a top view image.
  • FIG. 3 shows a process of correcting a distorted image included in an AVM (Around View Monitoring) top view
  • FIG. 4 shows various embodiments of a top view image.
  • FIG. 5 shows a target object of a top view image and a plurality of cameras for generating a top view image of the target object.
  • FIG. 6 shows an embodiment of a loop camera.
  • FIG. 7 shows another embodiment of a loop camera.
  • FIG. 8 shows an image generating apparatus according to embodiments.
  • FIG. 9 illustrates generating test data to generate a top view of a vehicle using an image generating apparatus according to embodiments.
  • FIG. 10 illustrates an example of test data for generating a top view of a vehicle using the image generating apparatus according to the embodiments.
  • 11A illustrates a process of generating a top view image using a loop camera and an around camera according to embodiments.
  • 11(b) shows a process of generating a top view image using only an around camera according to embodiments.
  • FIG. 12 illustrates a process for generating a top view by an image generating apparatus according to embodiments.
  • FIG. 13 illustrates a process in which an image generating apparatus according to embodiments performs void filling on a void area included in a top view image.
  • FIG. 14 illustrates exemplary embodiments in which an image generating apparatus according to the exemplary embodiments generates a top view image of a target object.
  • 15 illustrates exemplary embodiments of a user interface or input unit related to various top view images.
  • 16 is a flowchart of an image generating method according to embodiments.
  • FIG. 1 illustrates a target object that is a target of a top view image and a top view image according to embodiments.
  • FIG. 1 shows a target object 101 according to embodiments and a top view image 100 of a corresponding target object according to the embodiments.
  • the target object 101 may include a plurality of cameras 102a, 102b, 102c, and 102d according to embodiments.
  • the AVM top view may mean a view showing, for example, a virtual image as if viewing directly from above by synthesizing four wide-angle camera images around a vehicle.
  • the image generating apparatus according to the embodiments may solve a problem in which standing objects (persons, automobiles, etc.) around a vehicle are greatly distorted as shown in the figure below in a process of synthesizing a virtual image. That is, the image generating apparatus according to the exemplary embodiments may solve a problem in which objects around a vehicle are expressed by being larger than an actual size and inclined sideways.
  • the top view image 100 synthesizes a plurality of camera images around a target object (eg, a car, an airplane, or a ship), so that the target object is directly displayed on the target object (in the air). It may refer to an image or video that represents a virtual image that seems to be seen.
  • the top view image 100 may also be referred to as an AVM top view image.
  • the target object 101 may refer to an object that is a target of a top view image.
  • a vehicle is illustrated as an exemplary embodiment, but the target object is not necessarily limited to the vehicle.
  • the target object may refer to a car, an aircraft, or a ship, and may refer to an object that is not a vehicle (eg, a building, etc.).
  • the plurality of cameras 102a to 102d may mean a camera for photographing an area separated by a predetermined distance from the target object 101. That is, the plurality of cameras can photograph the periphery of the target object.
  • the plurality of cameras may be attached to side surfaces (front, right, left and rear) of the target object. A plurality of cameras attached to the side may photograph a front area, a right area, a left area, and a rear area of the target object.
  • One or more of the plurality of cameras may be attached to the top surface of the target object.
  • One or more of the plurality of cameras may refer to a wide-angle camera including a wide-angle lens to photograph an area around the target object, and may refer to an AVM (Around View Monitoring) camera. It can be used, or it can mean a general camera. For example, a plurality of cameras may mean four cameras.
  • the image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object.
  • the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
  • the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
  • an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. Thereafter, a step of filling a void area included in the generated top view image may be performed.
  • the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
  • the image generating apparatus receives a plurality of images from a plurality of cameras positioned on a first object, and based on the received plurality of images. It may include a depth map generator that generates a depth map. In addition, it may include a top view generator that generates a top view image based on the generated depth map and a plurality of received images. In addition, a filling unit for filling a void region included in the generated top view image may be included.
  • an image generating apparatus to generate (or synthesize) a top view image of a target object. It will be described in detail below.
  • FIG. 2 shows a top view image according to embodiments.
  • FIG. 2 shows a top view image of a process in which a car parks in a parking space.
  • the top view image 200 may mean the top view image 100 described in FIG. 1. 2 shows that the target object is a vehicle 201.
  • the top view image 200 described in FIG. 2 may mean a virtual image as if viewing a target object directly from the top of the vehicle 201.
  • the top view image 200 may also be referred to as an AVM top view image.
  • the image 202b of a person present in the left region of the vehicle may be expressed by being inclined sideways larger than the size of the person present in the left region of the vehicle.
  • the image 202a of another vehicle existing in the right area of the vehicle may be distorted and expressed to be wider than the size of another vehicle existing in the right area of the actual vehicle.
  • Such a top view image may include the above-described distorted image, thereby providing an erroneous top view image to a vehicle driver.
  • An image generation method includes receiving a plurality of images from a plurality of cameras positioned on a first object, generating a depth map based on the plurality of images, and a generated depth
  • the method may include generating a top view image based on the map and a plurality of images, and filling a void area included in the generated top view image.
  • FIG. 3 illustrates a process of correcting a distorted image included in an AVM (Around View Monitoring) top view according to embodiments.
  • FIG. 3 is an object that is distorted and expressed in the process of creating a top view image that looks directly from above (in the air) of the target object without distortion of an object existing around the object (target object) that is the target of the top view image It shows the process of correcting the image for the field.
  • the top view image may also be referred to as an AVM top view image.
  • An AVM camera image can be converted into an image similar to a loop camera image. In this case, the camera mounted on the roof may be referred to as a roof camera.
  • the distorted top view image 300 may mean the top view image described above in FIG. 2.
  • the distorted top view image 300 may include an image 300a of a target object (a vehicle in an embodiment) and an image 300b of an object or person existing around the target object.
  • the distorted top view image may be expressed by distorting an image of an object or person existing around the target object.
  • the corrected top view image 301 is a view that is distorted and expressed in the distorted top view image 300 is an object that is not distorted by correcting an image of an object or person existing around the target object. It may include an image 301b of an object or person existing around the object. That is, the corrected top view image 301 may include an image 300a of the target object and an image 301b of an object or person existing around the non-distorted target object.
  • the corrected top view image may also be referred to as an adaptive AVM top view.
  • An image generation method includes receiving a plurality of images from a plurality of cameras positioned on a first object, generating a depth map based on the plurality of images, and a generated depth
  • the method may include generating a top view image based on the map and a plurality of images, and filling a void region included in the generated top view image.
  • FIG. 4 illustrates various embodiments of a top view image according to the embodiments.
  • FIG. 4 may show an example image of a final AVM top view (a view displayed on the display may be a circle/oval/rectangle as shown in FIG. 4).
  • the top view image (final top view image) may be a circular image 400.
  • the top view image may be circular image data synthesized into a circular image, or may be image data including one or more circular image data.
  • the top view image is expressed as a circular image, and may include an image 400a of a target object and an image 400b of an object or person existing around the target object.
  • the top view image may also be referred to as an AVM top view image.
  • the top view image (final top view image) may be an elliptical image 401.
  • the top view image may be elliptical image data synthesized into an elliptical image, or may be image data including one or more elliptical image data.
  • the top view image is expressed as an elliptical image, and may include an image 401a of the target object and an image 401b of an object or person existing around the target object.
  • the top view image (final top view image) may be a square image 402.
  • the top view image may be rectangular image data synthesized into a rectangular image, or may be image data including one or more rectangular image data.
  • the top view image is expressed as a square image, and may include an image 402a of a target object and an image 402b of an object or person existing around the target object.
  • An image generation method includes receiving a plurality of images from a plurality of cameras positioned on a first object, generating a depth map based on the plurality of images, and a generated depth
  • the method may include generating a top view image based on the map and a plurality of images, and filling a void region included in the generated top view image.
  • FIG. 5 illustrates a target object of a top view image and a plurality of cameras for generating a top view image of the target object according to embodiments.
  • FIG. 5 illustrates a target object to be a top view image according to embodiments (a car may be used as an example in this drawing), and a plurality of target objects included in the target object to generate a top view image according to the embodiments.
  • a target object to be a top view image according to embodiments (a car may be used as an example in this drawing)
  • a plurality of target objects included in the target object to generate a top view image according to the embodiments.
  • a wide-angle roof camera may be additionally mounted on four AVM cameras. At this time, the roof camera is mounted at the antenna position and height can be adjusted to provide various views.
  • a roof camera may or may not be installed.
  • the algorithm may be partially modified depending on whether or not a roof camera is mounted.
  • the roof camera may be proposed in two types. Two types of loop cameras will be described later in FIGS. 6 and 7.
  • the target object 500 may mean an object that is a target of a top view image. That is, the top view image may include an image of a target object and an image of an object or an object existing around the target object.
  • the top view image may also be referred to as an AVM top view image.
  • the plurality of cameras 501a, 501b, 501c, and 501d may mean a camera attached to the side of the target object. It may mean a camera for photographing an area separated by a certain distance from the target object. That is, the plurality of cameras can photograph the periphery of the target object.
  • the plurality of cameras may be attached to side surfaces (front, right, left and rear) of the target object.
  • a plurality of cameras attached to the side may photograph a front area, a right area, a left area, and a rear area of the target object.
  • One or more of the plurality of cameras may refer to a wide-angle camera including a wide-angle lens to photograph an area around the target object, and may refer to an AVM (Around View Monitoring) camera. It can be used, or it can mean a general camera.
  • the plurality of cameras may mean four cameras.
  • the roof camera 502 may be located on the upper surface of the target object.
  • the roof camera may refer to a camera connected to or attached to the upper surface (loop) of the target object.
  • depth or height information on the surrounding area of the target must be generated by photographing the surrounding area of the target object on or on the top surface (loop) of a vehicle.
  • the loop camera may photograph the periphery of the target object to generate a depth map for the periphery of the target object.
  • the roof camera 502 may be located on an antenna existing on an upper surface of the vehicle when the target object is a vehicle.
  • the image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object.
  • the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
  • the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
  • an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. Thereafter, a step of filling a void region included in the generated top view image may be performed.
  • the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • FIG. 6 shows a loop camera according to embodiments.
  • FIG. 6 shows a first mode (or first type) of one embodiment of a loop camera according to embodiments positioned on an upper surface of a target object.
  • the first type 600 of a roof camera according to embodiments may include a 360 degree mirror 600a, an image sensor 600b, and a support part 600c.
  • the first type of loop camera according to the embodiments may be referred to as an antenna type loop camera.
  • a first type of loop camera will be described as an embodiment of a loop camera.
  • the first type of roof camera can install a 360 degree mirror in front of the image sensor.
  • the first type of roof camera is manufactured in an antenna type, and the height of the camera can be adjusted.
  • the height of the camera is about 20 cm to 1 m, and may have a size of about 30 cm.
  • the 360 degree mirror 600a may mean a mirror configured to project or focus light coming from the outside of the roof camera to the image sensor 600b included in the roof camera.
  • the 360-degree mirror 600a may mean a mirror formed to focus light coming in a 360-degree direction with respect to the roof camera to the image sensor 600b.
  • the light projected by the image sensor 600b may mean light entering the roof camera from the outside by the 360-degree mirror.
  • the 360-degree mirror 600a may refer to a mirror configured in a conical shape and in which the outer surface of the conical shape is packaged with a mirror.
  • the image sensor 600b may be positioned in a direction toward the upper vertex of the conical mirror.
  • an image sensor may be positioned under the 360-degree mirror 600a.
  • the image sensor 600b may refer to a device that detects light that is focused or projected by a 360 degree mirror of light coming from a roof camera. That is, the image sensor can detect light entering from a 360-degree direction based on the roof camera. In other words, the image sensor may detect an image including an object or a person outside of the loop camera. The image sensor may generate image data or image data by detecting the focused or projected light.
  • the support part 600c may mean an object supporting the 360 degree mirror 600a and the image sensor 600b included in the roof camera.
  • the support part may support the image sensor and the 360 degree mirror so that light reflected by the 360 degree mirror is projected onto the image sensor.
  • the support may be formed in a cylindrical shape or a rectangular parallelepiped shape.
  • the support may be configured to adjust the height of the roof camera according to the embodiments.
  • the support part may include a plurality of cylindrical or rectangular parallelepiped detailed support parts to adjust the height of the 360 degree mirror 600a and the image sensor 600b.
  • the roof camera can adjust the height of the above-described 360-degree mirror and image sensor.
  • the height of the 360-degree mirror and image sensor included in the roof camera may be adjusted according to the user's settings.
  • the height can be adjusted by the support of the roof camera.
  • the height of the 360-degree mirror 600a and the image sensor 600b may be lowered by configuring the support part to overlap the detailed support parts included in the support part (601).
  • the height of the 360-degree mirror 600a and the image sensor 600b can be increased by configuring the detailed support to support the other detailed support (602).
  • the roof camera may be located on an antenna existing on an upper surface of the vehicle when the target object is a vehicle.
  • the roof camera may be configured to be spaced apart from the top surface of the target object by about 20 cm to 1 m, and preferably may be configured to have a size of 30 cm.
  • the first roof camera may include a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from a view for a range of viewing angles.
  • the first roof camera may be attached to an upper end of the first support portion attached to the upper surface of the first object.
  • the first support unit may be configured such that the first roof camera is spaced apart from the top surface of the first object by a certain distance, and at this time, the separated certain distance may be configured to be controlled by the user of the first object.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • various top view images may be generated by adjusting the height of the roof camera according to the embodiments.
  • FIG. 7 shows another embodiment of a loop camera according to the embodiments.
  • FIG. 7 shows a second mode (or a second type) of one embodiment of a loop camera positioned on an upper surface of a target object.
  • the second type 700 of a roof camera may include a 360 degree mirror 700a, an image sensor 700b, and a support part 700f.
  • the second type of the roof camera may include a first hinge 700c to connect the support part and the 360-degree mirror 700a and the image sensor 700b.
  • the second type of the roof camera may include the above-described support, the support 700e attached to the upper surface of the target object, and a second hinge 700d connecting the support and the support.
  • a second type of loop camera will be described as an embodiment of a loop camera.
  • the second type of roof camera can install a 360 degree mirror in front of the image sensor.
  • the second type of roof camera can adjust the height of the camera by bending the joints indicated by arrows as shown in FIG. 7.
  • the height of the camera is about 20 cm to 1 m, and may have a size of about 30 cm.
  • the 360 degree mirror 700a may mean a mirror configured to project or focus light coming from the outside of the roof camera to the image sensor 600b included in the roof camera.
  • the 360-degree mirror 700a may mean a mirror formed to focus light coming in a 360-degree direction with respect to the roof camera to the image sensor 700b.
  • the light projected by the image sensor 700b may mean light entering the roof camera from the outside by the 360-degree mirror.
  • the 360-degree mirror 700a may refer to a mirror configured in a conical shape and in which the outer surface of the conical shape is packaged with a mirror.
  • the image sensor 700b may be positioned in a direction toward the upper vertex of the conical mirror.
  • an image sensor may be positioned under the 360-degree mirror 700a.
  • the image sensor 700b may mean a device that detects light that is focused or projected by a 360-degree mirror from a roof camera. That is, the image sensor can detect light entering from a 360-degree direction based on the roof camera. In other words, the image sensor may detect an image including an object or a person outside of the loop camera. The image sensor may generate image data or image data by detecting the focused or projected light.
  • the support part 700f may mean an object supporting the 360 degree mirror 700a and the image sensor 700b included in the roof camera.
  • the support part may support the image sensor and the 360 degree mirror so that light reflected by the 360 degree mirror is projected onto the image sensor.
  • the support may be formed in a cylindrical shape or a rectangular parallelepiped shape.
  • the inclination of the support according to the embodiments may be adjusted by a support and a hinge portion coupled to the support.
  • the support may be configured to adjust the height of the roof camera according to the embodiments.
  • the first hinge 700c may be configured to support the above-described support part 700f, the 360 degree mirror 700a, and the image sensor 700b.
  • the first hinge may be configured such that the 360 degree mirror 700a and the image sensor 700b are arranged in a line in a vertical direction.
  • the first hinge may be configured to keep the 360-degree mirror 700a and the image sensor 700b oriented in the vertical direction or the opposite direction.
  • the second hinge may be configured so that the 360 degree mirror 700a and the image sensor 700b can rotate in any direction.
  • the first hinge may be located on the upper end of the support.
  • the supporter 700e may mean an object attached to the upper surface of the object to support the supporter according to the embodiments. Specifically, the support may be coupled to the support by the second hinge 700d. The support 700e may adjust the inclination of the support according to the embodiments. The support can adjust the inclination of the support according to the embodiments in any direction.
  • the second hinge 700d according to the embodiments may mean a coupling portion for coupling the support and the support 700e according to the embodiments.
  • the second hinge may be configured to rotate the support according to the embodiments in any direction.
  • the first hinge and the second hinge according to the embodiments may be referred to as a first joint portion and a second joint portion, respectively.
  • the roof camera according to the embodiments may be positioned on an antenna existing on an upper surface of the vehicle when the target object is a vehicle.
  • the roof camera may be configured to be spaced apart from the top surface of the target object by about 20 cm to 1 m, and preferably may be configured to have a size of 30 cm.
  • the second roof camera may include a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from a view for a range of viewing angles.
  • the second roof camera may be coupled to an upper end of the second support.
  • the second support portion may be attached to the first hinge configured to adjust an angle between the upper surface of the first object and the second support portion, and the first hinge may be configured to be attached to the upper surface of the first object.
  • the second roof camera may be coupled by a second hinge attached to an upper end of the second support.
  • the second hinge may be configured to face the second roof camera in a direction opposite to the vertical direction.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • various top view images may be generated by adjusting the height of the roof camera according to the embodiments.
  • FIG. 8 shows an image generating apparatus according to embodiments.
  • FIG. 8 discloses an image generating apparatus according to embodiments for generating a top view image of a target object.
  • the image generating device according to the embodiments may be a device included in the above-described target object or may mean a device connected to the target object.
  • the image generating apparatus according to the embodiments includes a plurality of cameras 800a, 800b, 800c, and 800d according to embodiments mounted on a target object, a roof camera 801 according to the embodiments, and a depth according to the embodiments.
  • a map generation unit 802, a top view generation unit 803 according to embodiments, and a void region filling unit 804 according to embodiments may be included.
  • the plurality of cameras may mean four cameras.
  • the depth map generator 802 may generate a depth map using a depth map generation algorithm.
  • the depth map may include height information on a standing object around the vehicle.
  • An adaptive AVM top view such as an image taken with a loop camera, can be generated by using information on a standing object in the depth map.
  • a standing object in the AVM top view image is elongated and expressed as a natural object in the adaptive AVM top view, while the existing AVM top view ), the information on the region that is expressed elongatedly may disappear (that is, a void region may occur).
  • a final adaptive AVM top view image may be generated by applying a void region filling algorithm to such a void region.
  • a plurality of cameras may mean a plurality of cameras described in FIGS. 1 and 5. It may mean a camera attached to the side surface of the above-described target object. That is, the plurality of cameras may photograph the periphery of the target object and generate image data or image data about the periphery of the target object. A plurality of cameras attached to the side may photograph a front area, a right area, a left area, and a rear area of the target object to generate image data or image data corresponding to each.
  • One or more of the plurality of cameras may refer to a wide-angle camera including a wide-angle lens to photograph an area around the target object, and may refer to an AVM (Around View Monitoring) camera. It can be used, or it can mean a general camera.
  • the plurality of cameras may transmit each of the generated image data or image data to the depth map generator 802.
  • the plurality of cameras may mean four cameras.
  • the loop camera 801 may mean a loop camera according to the embodiments described with reference to FIGS. 5 to 7.
  • the loop camera may include the first type and the second type of the roof camera described above in FIG. 6 as an embodiment.
  • the first type and the second type of the roof camera have been described above with reference to FIGS. 6 and 7.
  • the plurality of cameras may transmit each of the generated image data or image data to the depth map generator 802.
  • the roof camera 801 according to the embodiments may be omitted.
  • the image generating apparatus according to the embodiments may generate a top view image (or image) using only a plurality of cameras (or around cameras).
  • the depth map generator 802 receives a plurality of images generated from a plurality of cameras located on the target object, and based on the plurality of received images, A depth map including height information may be generated.
  • the depth map generator may first receive a plurality of image data or image data generated from a plurality of cameras according to the embodiments.
  • the depth map may mean one image or one type of image containing information related to a distance from an observation point to an object surface. That is, the depth map may include height information on an object standing around a target object (eg, a car, etc.).
  • the depth map may be generated based on image data or image data generated from a plurality of cameras (a plurality of around cameras and/or loop cameras) described above.
  • the depth map generator 802 may generate a depth map including height information of an object or person existing around the target object.
  • the depth map includes image data (or image data) captured from a plurality of cameras 800a, 800b, 800c, and 800d included on the side of the target object in response to the first mode and image data captured from the loop camera 801 ( Or image data).
  • the depth map may be generated based on image data (or image data) and a learning model captured from a plurality of cameras 800a, 800b, 800c, and 800d included in the side of the target object corresponding to the second mode. .
  • a depth map according to embodiments may be generated by extracting and using mapping information from image data or image data generated from a loop camera and an around camera.
  • the depth map generation unit 802 may know the height of an object (an object standing around) existing around the target object by extracting and using the mapping information.
  • an object existing around the target object may be extracted from the image data and image data generated from the loop camera and the around camera, and information about the height of the object may be extracted by mapping the surrounding object.
  • the loop camera 801 may be omitted.
  • the image generating apparatus may generate a depth map based on image data or image data about the periphery of a target object generated from a plurality of cameras (around cameras).
  • the depth map may be generated based on a learning model generated through learning (for example, a learning model for machine learning, a neural network model based on deep learning, etc.). A method of constructing a learning model generated through learning will be described in detail with reference to FIGS. 10 to 12.
  • the top view generator 803 may generate a top view image based on the depth map generated by the depth map generator 802 and a plurality of images.
  • the top view image may be performed in a first method through learning or a second method based on an image processing algorithm. The first method through learning will be described in detail later in FIG. 12.
  • the top view generator 803 may receive a depth map from the depth map generator. In this case, the top view generator may generate a top view image based on the image processing algorithm from the received depth map.
  • the image processing algorithm can be performed in the following steps.
  • the top view image may be referred to as an AVM top view image or a standing object adaptive AVM top view.
  • the top view generation unit according to embodiments may generate an adaptive top view image for an object existing around the target object, and the top view generation unit generates a standing object adaptive AVM top view. It can also be called wealth.
  • a step of extracting pixels corresponding to the bottom point from the image acquired by the around camera may be performed.
  • the floor point may mean a pixel corresponding to a height corresponding to a floor in image data. Accordingly, pixels corresponding to the bottom point included in the image acquired by the around camera may be extracted or classified based on the image acquired by the loop camera.
  • a step of converting values of pixels other than the bottom point in the image acquired by the around camera may be further performed. Pixels that do not correspond to the floor point can be converted by applying a conversion equation in which the lying angle is different based on the tilt angle (or lying angle) of the object (or person) existing around the target object. .
  • the void region filling unit 804 may receive a top view image generated by the top view generator 803 to fill a void region included in the top view image.
  • the void area may mean an area that cannot be extracted from image data or image data generated from a loop camera and/or an around camera among image areas included in the top view image. Filling the void area may mean filling pixels corresponding to the void area with different pixel values.
  • the other pixel value to be filled may mean a pixel including a specific color or a pixel including a certain transparency and reflectance.
  • another pixel value to be filled may mean a value based on an area other than the void area. It will be described in detail in FIG. 13.
  • the void area may mean the following area.
  • the top view that does not take into account the information about the height can be expressed such that the object existing around the target object is elongated. have.
  • the image generating apparatus may correct a surrounding object that may be elongated and expressed by considering information on the height of an object existing around the target object using a depth map. In this case, information on a space that cannot be extracted by the around camera and the loop camera among the regions expressed to be elongated may be referred to as a void region.
  • the image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object.
  • the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
  • the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
  • the second object may mean an object that is separated by a predetermined distance from the first object. At least one or more of the plurality of cameras photographs a second object to generate a first image of a plurality of images, and the loop camera photographs the second object to generate a second image of the plurality of images. .
  • an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. That is, the depth map may be generated based on the first image and the second image. Also, the top view image may mean an image generated based on height information of a second object based on a depth map, a first image, and a second image.
  • the void area may mean an area that cannot be extracted from a plurality of images included in the top view image. That is, the void area may mean an area that cannot be extracted from the first image and the second image.
  • the step of filling the void area information on at least one pixel included in the void area included in the area for the second object is converted, and the information on the pixel is information indicating the transparency of the pixel and the color of the pixel. It may include information indicating
  • the void area may be filled based on a pixel for an area other than the void area in the top view image or may be filled with a predetermined pixel value.
  • the image generating apparatus receives a plurality of images from a plurality of cameras positioned on a first object, and based on the received plurality of images. It may include a depth map generator that generates a depth map. In addition, it may include a top view generator that generates a top view image based on the generated depth map and a plurality of images. In addition, a filling unit for filling a void region included in the generated top view image may be included.
  • the top view image may be generated based on an image processing algorithm.
  • the image processing algorithm includes extracting pixels corresponding to the bottom point included in the image acquired by the around camera based on the image acquired by the loop camera and converting values of pixels other than the bottom point. It can mean performing.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • FIG. 9 illustrates generating test data according to embodiments in order to generate a top view of a vehicle by using the image generating apparatus according to the embodiments.
  • the target object may be a vehicle.
  • the image generating apparatus may generate test data according to the embodiments for generating a top view. Represents the action to be acquired.
  • Cameras can be installed on the roof of the car. Specifically, it is installed to look down on the car from above, and a wide-angle camera or a general camera can be used. At this time, you can shoot with the roof camera and the AVM camera at the same time.
  • the roof camera and the AVM camera must be synchronized, and when the vehicle is stopped, still images can be taken. In other words, it is possible to acquire test data by simultaneously photographing a loop camera and four AVM cameras.
  • test data according to the embodiments may mean a large amount of data for generating a top view using the first method through learning described in FIG. 8. That is, in this drawing, a method of collecting test data for generating a learning model according to embodiments is disclosed.
  • a learning model according to embodiments may refer to a model of a deep neural network and may refer to an algorithm model (eg, a decision tree model, etc.) based on machine learning.
  • Test data according to embodiments may mean a training set, a development set, and/or a test set for constructing a model of a deep neural network.
  • test data according to the embodiments may include data for constructing a learning model for generating a top view of a target object (a vehicle in this drawing).
  • Each of the around cameras according to the embodiments may photograph an object or a person existing around the target object in order to generate test data, and may construct test data by including the corresponding images or image data in a large amount.
  • a learning model that can be generated using test data is as follows. There may be a first learning model for generating a top view based on image data or image data generated by simultaneously photographing a loop camera and a plurality of around cameras.
  • a second learning model for generating a top view may be started. That is, there may be a second learning model for generating a top view based on image data or image data generated by being photographed using only a plurality of around cameras.
  • a third learning model for generating a depth map may be initiated. That is, there may be a third learning model for generating a depth map based on image data or image data generated by being photographed using only a plurality of around cameras.
  • the target object 900 may mean a vehicle as an embodiment in this drawing.
  • the image generating apparatus according to the embodiments may be included in the target object 900 or may be included in an external device configured to communicate with the target object.
  • a vehicle that is a target object may include a roof camera 901 on an upper surface.
  • a vehicle that is a target object may include an around camera on its side.
  • Each of the around cameras may collect test data for generating a top view. That is, each around camera may generate test data for generating a top view by photographing an object existing around the vehicle.
  • the roof camera 901 according to the embodiments may be positioned on a roof (ie, an upper surface) of a vehicle to photograph an object or a person existing around the vehicle.
  • the loop camera according to the embodiments may mean a loop camera according to the embodiments described with reference to FIGS. 6 and 7.
  • test data may include image data or image data for a photographing area of an around camera, which will be described later.
  • the around camera 902 may be present on the side of the vehicle to capture an object or person existing around the vehicle.
  • the around camera may refer to a camera that exists on the front, rear, left and right sides of a vehicle.
  • the around camera may mean an around camera according to the above-described embodiments.
  • the photographing area 902a of the around camera may mean an area including an object or a person existing around the vehicle.
  • the photographing area 902a of the around camera may be used as the above-described test data.
  • the around camera may capture an object (or area) existing around the vehicle at the same time as the roof camera 902 described above.
  • the roof camera and the around camera must be synchronized.
  • Test data may be obtained in a virtual space.
  • the test data may be obtained using a virtual space and a target object (car) generated based on computer graphics.
  • a process of acquiring test data using a virtual space will be described in detail with reference to FIG. 10.
  • the image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object.
  • the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
  • the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
  • an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. Thereafter, a step of filling a void region included in the generated top view image may be performed.
  • the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
  • the image generating apparatus receives a plurality of images from a plurality of cameras positioned on a first object, and based on the received plurality of images. It may include a depth map generator that generates a depth map. In addition, it may include a top view generator that generates a top view image based on the generated depth map and a plurality of images. In addition, a filling unit for filling a void region included in the generated top view image may be included.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • FIG. 10 illustrates an example of test data for generating a top view of a vehicle using the image generating apparatus according to the embodiments.
  • FIG. 10 may refer to test data according to embodiments obtained by using a virtual space (or a virtual image).
  • Test data according to embodiments may be obtained using a virtual space and a target object (car) generated based on computer graphics.
  • Acquisition of test data may require a lot of time and cost.
  • a virtual space (or virtual image) based on computer graphics may be initiated to generate test data according to embodiments.
  • the virtual space may mean a space modeling a specific city.
  • the target object is a vehicle, and image data or image data to be acquired in order to generate a top view of a vehicle that is the target object may be test data.
  • test data may be configured as follows.
  • a virtual space and a virtually generated target object may be set, and an area around the target object viewed from each side of the target object may be extracted as image data or image data.
  • Image data or top-view image data or image data corresponding to the image data may be extracted from an area around the target object viewed from each side of the target object. That is, image data or image data (hereinafter, referred to as ambient test data) and a corresponding top view image (hereinafter, referred to as top view test data) may be extracted from the area around the target object at the same time.
  • the test data may mean one of surrounding test data and top view test data for a specific time, and a learning model may be generated based on these test data.
  • the surrounding test data 1000a, 1000b, 1000c, and 1000d may be image data representing an area around the vehicle from the side of the target object (vehicle) generated in the virtual space.
  • Each of the surrounding test data in FIG. 10 may be image data representing regions around the front, rear, left and right sides of the vehicle.
  • the top view image is an image generated based on a first learning model, and the first learning model forward propagation and back training data including a plurality of images and a depth map.
  • the generated model can be initiated by performing word propagation.
  • the image generation method does not generate a depth map, and the top view image is second learned.
  • the second learning model is generated based on a plurality of images using the model, and the generated model may be initiated by performing forward and backward propagation on training data including a plurality of images.
  • 11A illustrates a process of generating a top view image using a loop camera and an around camera according to embodiments.
  • FIG. 11(a) shows a depth map according to embodiments including height information of an object or person existing around a target object using a loop camera and an around camera, and included in the generated depth map. It shows a process of generating a top view according to embodiments based on height information.
  • FIG. 11(a) refers to a top view image made under the assumption that all pixels included in a plurality of images generated from the around camera and/or the loop camera according to the embodiments are the bottom point.
  • the floor point may mean a pixel corresponding to a height corresponding to a floor in image data.
  • the image generating apparatus and/or method according to the embodiments may generate a depth map including height information of surrounding standing objects.
  • the image generating apparatus and/or method according to the embodiments may know the height of the object using mapping information between the loop camera and the AVM camera.
  • the left drawing of FIG. 11(a) shows a top view made under the assumption that all pixels are the bottom point, and the right shows a top view taken with a roof camera.
  • the image generating apparatus and/or method according to the embodiments may measure the height of an object by mapping two images of an AVM camera and a loop camera.
  • the top view image may be performed in a first method through learning or a second method based on an image processing algorithm.
  • the first method through learning will be described in detail later in FIG. 12.
  • the top view generator may receive a depth map from the depth map generator.
  • the depth map may be generated by the depth map generator based on a plurality of image data or image data received from a loop camera and an around camera.
  • the top view generator may generate a top view image based on the image processing algorithm from the received depth map.
  • the image processing algorithm can be performed in the following steps.
  • a step of extracting pixels corresponding to the bottom point from the image acquired by the around camera may be performed. Accordingly, pixels corresponding to the bottom point included in the image acquired by the around camera may be extracted or classified based on the image acquired by the loop camera.
  • a step of converting values of pixels other than the bottom point in the image acquired by the around camera may be further performed. Pixels that do not correspond to the floor point can be converted by applying a conversion equation in which the lying angle is different based on the tilt angle (or lying angle) of the object (or person) existing around the target object. .
  • Information about the height of an object or a person existing around a target object may be extracted using mapping information between a loop camera and an around camera according to the embodiments. Information about the height of an object or person existing around the target object may be included in the depth map.
  • a top view image is generated based on an image processing algorithm, and the image processing algorithm may be initiated as follows. First, an operation of extracting pixels corresponding to a bottom point included in an image acquired by an around camera based on an image acquired by a loop camera may be performed. Next, a step of converting values of pixels other than the bottom point may be further performed.
  • an apparatus in which the image generating method according to the above-described embodiments is performed may be disclosed. That is, a top view image may be generated based on the image processing algorithm described above.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • 11(b) shows a process of generating a top view image using only an around camera according to embodiments.
  • FIG. 11(b) shows a depth map according to embodiments including height information of an object or person existing around a target object using only the around camera according to the embodiments, and the generated depth map It shows a process of generating a top view according to embodiments based on the included height information. That is, when the loop camera is omitted for the target object, a process of generating a depth map for generating a top view is shown.
  • the image generating apparatus and/or method according to the embodiments may be trained to create a depth map displaying height information of an object using only AVM camera information or use a learned model offline.
  • a learning method is also possible, and may be implemented using a matching technique used in image processing.
  • the depth map according to the embodiments may be generated based only on image data or image data generated by being photographed from an around camera.
  • the depth map according to embodiments may mean image data or image data including height information on an object or person existing around a target object.
  • the depth map may be generated using a learning model according to embodiments.
  • the learning model may mean the third learning model described with reference to FIG. 9. That is, in the third learning model for generating a depth map based on image data or image data generated by being photographed using only a plurality of around cameras according to the embodiments because the loop camera according to the embodiments is omitted for the target object.
  • a depth map may be generated based on it.
  • the top view image according to the embodiments may be generated based on a depth map generated based on the above-described learning model and a plurality of image data or image data generated from an around camera.
  • a method of generating a top view image from a depth map and a plurality of image data generated from an around camera is as described above.
  • the image 1004b generated from the around camera according to the embodiments does not include height information about the objects or people 1100b and 1101b existing around the target object, which is photographed by the around camera. Therefore, in order to generate a depth map 1105b including height information on objects or people 1100b and 1101b existing around the target object, the image 1104b captured by the corresponding around camera and other around cameras A depth map 1105b may be generated based on the image captured by the image.
  • a tall adult 1100b and a short child 1101b may exist around the target object.
  • the depth map may further include height information 1102b for a tall adult and height information 1103b for a short child.
  • a top view image is generated based on an image processing algorithm, and the image processing algorithm may be initiated as follows. First, an operation of extracting pixels corresponding to a bottom point included in an image acquired by an around camera based on an image acquired by a loop camera may be performed. Next, a step of converting values of pixels other than the bottom point may be further performed.
  • an apparatus in which the image generating method according to the above-described embodiments is performed may be disclosed. That is, a top view image may be generated based on the image processing algorithm described above.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • the image generating apparatus may provide a top view image with high accuracy.
  • FIG. 12 illustrates a process for generating a top view by an image generating apparatus according to embodiments.
  • FIG. 12 shows a process of generating a top view image using a learning model.
  • the operation according to FIG. 12 may be performed by the top view generator described in FIG. 8.
  • the learning model according to FIG. 12 there may be a neural network model.
  • an AVM top view image (including machine learning, deep learning, etc.) according to embodiments as if viewing objects in the air without distortion.
  • inputs for learning according to may be 4 AVM camera images and 1 depth map image.
  • An image that is a target of learning according to embodiments may be a loop camera image.
  • training may be performed to generate a loop camera image with 4 input AVM camera images and 1 depth map image according to the embodiments.
  • a learned model may be applied as a forward to convert an input AVM camera image into an AVM top view image.
  • the training data an image created with a virtual image tool and an image captured by attaching a camera to a real vehicle may be used. That is, in order to save time and cost, primary learning can be performed with a large amount of virtual image tool images.
  • the model can be tuned using the camera image mounted on the actual vehicle.
  • the image generating apparatus and/or method according to the embodiments may be processed using an existing image processing algorithm, not based on learning. That is, a transformation can be applied to a floor point in a conventional manner using depth map information, and a transformation equation in which an angle at which an object lies is different can be applied to pixels that do not correspond to the floor point.
  • FIG. 12 may mean a diagram of learning and application for generating a bird view in order to generate a bird view.
  • the neural network model 1200 generates a top view based on image data or image data generated by simultaneously photographing a loop camera and a plurality of around cameras described in FIG. 9. It may mean a first learning model for doing.
  • a second learning model for generating a top view based on image data or image data generated by being photographed using only a plurality of around cameras because a loop camera is omitted for the target object described in FIG. 9, and only a plurality of around cameras are used.
  • a neural network model may be constructed according to the method described in FIG. 12 as a third learning model for generating a depth map based on image data or image data generated by being photographed.
  • the neural network model 1200 includes data 1201 and 1202 input to an input dimension layer, a neural network 1203 including a hidden layer, and an output dimension layer. dimension) output data 1204 may be configured.
  • AVM images 1201 and/or the depth map 1202 according to the embodiments may be input as an input dimension layer.
  • data for a top view image according to the embodiments may be output as an output dimension layer 1204.
  • the top view image according to the embodiments may also be referred to as an AVM top view image.
  • the AVM (Around View Monitoring) image 1200 may be data input to an input dimension layer.
  • the AVM image may refer to images generated by an around camera.
  • the AVM image may mean image data or image data generated by an around camera according to embodiments.
  • the AVM image may be input as an input dimension layer.
  • the depth map 1202 And image data and image data generated by the loop camera as well as the above-described AVM images 1201 may be further input as an input dimension layer.
  • the forward propagation 1203a may refer to a process of performing an operation on data input to an input dimension layer in correspondence with layers including a plurality of neurons included in a neural network.
  • Forward propagation may also be referred to as a forward/inference process. That is, it may mean a process of sequentially calculating a plurality of hidden layers included in the neural network network starting from an input layer and performing an operation up to a layer corresponding to the output dimension layer.
  • the backward propagation 1203b starts from the output dimension layer until it reaches a layer corresponding to the input dimension layer. It may refer to a step of adjusting a weight value and a bias value for each neuron of the hidden layers included in the neural network network. Backward propagation can also be referred to as backward/learning.
  • the forward propagation 1203a according to the embodiments is repeated again, and when the forward propagation 1203a is completed, the backward propagation is performed again.
  • a weight value and a bias value for each neuron of the hidden layers included in the neural network network may be adjusted.
  • a learning model in which data for a top view image can be extracted from data input to an input dimension layer can be constructed while adjusting weight values and bias values for each neuron.
  • a model generated from a camera (around camera and/or loop camera) mounted on a real vehicle (for example, a vehicle as a real target object) for fine tuning of the neural network model (or learning model) described above.
  • the model can be finely tuned using the generated image. Tuning may mean adjusting a weight value for neurons included in the generated neural network.
  • the neural network 1203 may include a convolutional neural network or a recurrent neural network.
  • the top view image is an image generated based on a first learning model, and in this case, the first learning model includes a plurality of images and a depth map. It may refer to a model created by performing forward and backward propagation of data.
  • a depth map is provided.
  • the top view image is generated based on a plurality of images using a second learning model, and the second learning model performs forward and backward propagation of training data including a plurality of images. By doing so, it can mean the created model.
  • an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
  • the image generating apparatus may provide a top view image with high accuracy.
  • FIG. 13 illustrates a process in which an image generating apparatus according to embodiments performs void filling on a void area included in a top view image.
  • a standing object that is elongated is expressed as a natural object in the adaptive AVM top view
  • a distorted AVM top view In the AVM top view
  • the information on the area that is expressed in a long stretch may disappear. That is, a void area may occur according to embodiments.
  • 13(C) shows a void area according to embodiments. Region fill for targeting the loop camera image may be performed on such an area.
  • the generated image area may be displayed in translucent or color.
  • the void area may be displayed in a monochromatic color.
  • FIG. 13 shows top view images according to exemplary embodiments.
  • FIG. 13(A) shows a distorted top view image. That is, FIG. 13A includes a target object 1301 and a distorted image 1300a of an object or person existing around the target object.
  • the distorted top view image described in FIG. 13A may mean the distorted top view image described in FIG. 3.
  • the distorted area 1300a of the top view image may mean an area occupied by an image of an object or person existing around a target object that is expressed to be elongated.
  • an image of an object or person existing around the target object may be expressed in a long stretch.
  • the target object 1301 may refer to an object that is a target of a top view image.
  • the image of the target object may be included in the top view image.
  • FIG. 13(B) shows a corrected top view image according to embodiments. That is, FIG. 13B includes a target object 1301 and a corrected image 1300b of an object or person existing around the target object.
  • the corrected top view image described in FIG. 13B may mean the corrected top view image described in FIG. 3.
  • the corrected top view image may also be referred to as an adaptive AVM top view.
  • the corrected image 1300b of the object or person existing around the target object may be generated based on information about the height of the object or person existing around the target object.
  • Information about the height of an object or person existing around the target object may be included in the depth map according to the above-described embodiments.
  • a method of generating a depth map according to embodiments and a method of generating information about the height of an object or person existing around the object are as described above.
  • the target object 1301 may refer to an object that is a target of a top view image.
  • the image of the target object may be included in the top view image.
  • a top view image obtained by correcting an image of an object or person that is elongated and expressed may be generated.
  • the corrected top view image may be referred to as an adaptive AVM top view.
  • the corrected top view image may include the void area 1302c, and the filling unit according to embodiments may fill the void area 1302c.
  • An image in which an object or a person existing around the target object is distorted is expressed as a natural object, and a void area may occur.
  • the void area 1302c is an area included in the corrected top view image, and includes a plurality of images received by the image generating apparatus according to the embodiments (ie, around a target object generated from an around camera). It may refer to a region that cannot be extracted from an image including a region for and/or an image generated by a loop camera).
  • the corrected image 1300b of an object or person existing around the target object may be generated based on information about the height of the object or person existing around the target object.
  • the target object 1301 may refer to an object that is a target of a top view image.
  • the image of the target object may be included in the top view image.
  • Filling the void area may mean filling pixels corresponding to the void area with different pixel values.
  • the other pixel value to be filled may mean a pixel including a specific color or a pixel including a certain transparency and reflectance.
  • another pixel value to be filled may mean a value based on an area other than the void area. That is, an area targeting the loop camera image may be filled with such a void area.
  • the void area to be filled may be displayed in a translucent or color image area.
  • the void area to be filled may be filled with pixels having a pixel value related to a translucent effect.
  • the void area to be filled may be filled with pixel values having a specific color.
  • the filled void area may be filled with pixels corresponding to a monochromatic color so as to be displayed in a monochromatic color.
  • At least one or more of the plurality of cameras may capture a second object and generate a first image of the plurality of images.
  • the loop camera may photograph the second object and generate a second image of a plurality of images.
  • the void area is an area that cannot be extracted from the first image and the second image, and in this case, the filling step converts information on at least one pixel included in the void area included in the area for the second object, and ,
  • the information on the pixel may include information representing the transparency of the pixel and information representing the color of the pixel.
  • the void area may be filled based on a pixel for an area other than the void area in the top view image or may be filled with a predetermined pixel value.
  • an apparatus in which the image generating method according to the above-described embodiments is performed may be disclosed.
  • the image generating apparatus may provide an image or an image that appears to be viewed directly from above by generating an image or a person existing around the target object as an undistorted image.
  • the image generating apparatus may provide a natural top view image or image as if viewed directly from above.
  • FIG. 14 illustrates exemplary embodiments in which an image generating apparatus according to the exemplary embodiments generates a top view image of a target object.
  • the characteristics of the image may vary according to the mounting height of the roof camera. The higher the mounting is, the smaller the size of the adjacent object and the degree of inclination can be reduced. That is, the image generating apparatus and/or method according to the embodiments may generate various views so that a user can select a desired view.
  • the image generating apparatus may generate various top view images.
  • various top-view images may be generated by adjusting the mounting height of a roof camera positioned on an upper surface of a target object.
  • the loop cameras 1401a, 1402a, and 1403a may refer to cameras located on the upper surface of the target object.
  • the loop camera may mean the loop camera described above in FIGS. 6 to 13.
  • the distance separated from the upper surface of the target object may be changed according to the user's manipulation or the operation of the image generating apparatus according to the embodiments.
  • the loop camera according to the embodiments is less spaced apart from the upper surface of the target object (1401a), the loop camera is adequately spaced from the upper surface of the target object (1402a), and the loop camera is greatly spaced from the upper surface of the target object There may be a case 1401c. As the loop camera is farther away from the top surface of the target object, the degree of inclination of the object or person existing around the target object may be reduced while being photographed smaller by the loop camera.
  • a top view image may be generated by enlarging a partial area of the top view image or image generated by the image generating apparatus according to the embodiments.
  • a partial area may be enlarged by a signal input from a user through a touch screen.
  • the height and zoom of the image can be automatically adjusted by selecting various top view images using an icon, a controller, or a dial method.
  • the image generating apparatus may generate various top view images so that a user can select a desired top view image.
  • FIG. 15 illustrates exemplary embodiments of a user interface or input unit related to various top view images according to exemplary embodiments.
  • FIG. 15 may show an AVM top view image selection user interface according to embodiments.
  • a user interface or input unit for displaying various AVM top view images generated by an image generating apparatus and/or method according to embodiments may be disclosed.
  • the height and zoom of the image may be automatically adjusted by selecting with an icon or a dial method on the touch screen according to the embodiments.
  • an interface through which the driver can select various AVM top view images may be launched.
  • a method of selecting by using an icon or by using a dial method on a touch screen may also be disclosed.
  • the top view image or image generated by the image generating apparatus may be manipulated or transformed by a signal input from a user.
  • An input unit or a user interface for receiving input signals from users will be described.
  • the input unit or the user interface may mean an image selection user interface for allowing users to select various top view images described above.
  • the touch screen icon 1501 may refer to a user interface or a display component for receiving an input signal from a user to generate the above-described various top view images.
  • Various top view images are as described in FIG. 14.
  • the dial 1502 may refer to an input unit configured to select various top view images or images, or adjust the height and zoom of the top view image or image.
  • the image generating apparatus may generate various top view images so that a user can select a desired top view image.
  • 16 is a flowchart of an image generating method according to embodiments.
  • FIG. 16 relates to an image generating method according to embodiments or a control method of an image generating apparatus according to embodiments.
  • a plurality of images may be received from a plurality of cameras attached to a first object (S1600).
  • the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
  • the first object may refer to the'target object' described in the present specification, and may refer to a vehicle as an example.
  • the around camera may mean an AVM (Around View Monitoring) camera according to an embodiment.
  • the step of receiving a plurality of images from a plurality of cameras attached to the first object may be performed by the receiver according to the embodiments.
  • a depth map may be generated based on a plurality of images (S1601).
  • the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
  • a method of generating a depth map or a method of generating information about the height of an object or person existing around a target object included in the depth map is as described above.
  • the step of generating the depth map based on the plurality of images may be performed by the depth map generator according to embodiments.
  • a top view image may be generated based on the above-described generated depth map and a plurality of images (S1602).
  • the method of generating the top view image is as described above.
  • the top view image may be generated according to the above-described image processing algorithm, or may be generated based on the above-described learning model.
  • the step of generating the top view image based on the depth map and the plurality of images may be performed by the top view generator according to embodiments.
  • a void area included in the generated top view image may be filled (S1603).
  • the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
  • the process of filling the void area is as described above.
  • the step of filling the void area included in the generated top view image may be performed by the filling unit according to embodiments.
  • Components of the multimedia device according to the embodiments described with reference to FIGS. 1 to 16 may be configured as separate hardware (eg, a chip, a hardware circuit, a communication device, etc.) or may be configured as one piece of hardware.
  • components of the multimedia device according to the embodiments described with reference to FIGS. 1 to 16 may each be configured with separate software or API.
  • at least one or more of the multimedia devices according to embodiments may be composed of one or more processors capable of executing a program or software.
  • first and second used in the present invention may be used to describe various constituent elements according to embodiments.
  • various components according to embodiments should not be limited by the above terms. These terms are only used to distinguish one component from another component.
  • a first learning model may be referred to as a second learning model, and similarly, a second learning model may be referred to as a first learning model, and such changes do not depart from the scope of the various embodiments described above. Should be interpreted as.
  • Both the first learning model and the second learning model are learning models, but are not interpreted as the same virtual object unless clearly indicated in the context.
  • An XR device or a method of controlling an XR device according to embodiments and/or modules/blocks existing therein may perform a function corresponding to the above.
  • Each of the components of the XR device according to the embodiments described with reference to FIGS. 1 to 38 may be configured as separate hardware (eg, a chip, a hardware circuit, a device capable of communication, etc.) or may be configured as one piece of hardware.
  • at least one or more of the components of the XR content providing device according to the embodiments may be composed of one or more processors capable of executing a program.
  • Executable instructions for performing an XR device or a method of controlling an XR device may be stored in a non-transitory CRM or other computer program products configured to be executed by one or more processors, or Or it may be stored in a temporary CRM or other computer program products configured for execution by more processors.
  • the memory according to the embodiments may be used as a concept including not only volatile memory (eg, RAM, etc.) but also non-volatile memory, flash memory, and PROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

An image generation method comprises the steps of: receiving a plurality of images from a plurality of cameras positioned on a first object, wherein the plurality of cameras include one or more around cameras positioned on a first surface of the first object and a loop camera positioned on an upper surface of the first object; generating a depth map on the basis of the plurality of images, wherein the depth map includes information related to the height of a second object photographed by at least one of the plurality of cameras; generating a top view image on the basis of the generated depth map and the plurality of images; and filling a void region included in the generated top view image, wherein the void region is a region that is included in the top view image and cannot be extracted from the plurality of images.

Description

이미지 생성 방법 및 이미지 생성 장치Image generation method and image generation device
본 발명은 이미지 생성 방법 및 이미지 생성 장치에 관한 것이다. 구체적으로, 실시예들에 따른 이미지 생성 방법 및 이미지 생성 장치는 대상 물체에 대한 탑 뷰(Top view) 이미지를 생성하는 시스템 또는 그 방법에 관한 것이다.The present invention relates to an image generating method and an image generating apparatus. Specifically, an image generating method and an image generating apparatus according to embodiments relate to a system or method for generating a top view image of a target object.
본 발명은 차량의 전후 좌우에 장착된 AVM(Around View Monitoring) 카메라를 이용하여 차량 주위의 영상을 촬영하고 차량의 주변을 인식하여 탑 뷰 이미지 또는 영상을 합성한 후 사용자에게 탑 뷰 이미지 또는 영상을 제공한다. 그러나 가상의 탑 뷰로 합성을 하는 과정에서 자동차 주변의 서있는 물체(사람, 자동차 등)가 크게 왜곡되는 현상이 발생한다. The present invention captures an image around a vehicle using AVM (Around View Monitoring) cameras mounted on the front, rear, left and right sides of the vehicle, recognizes the surroundings of the vehicle, synthesizes a top view image or image, and provides a top view image or image to the user to provide. However, in the process of synthesizing with a virtual top view, objects standing around the car (people, cars, etc.) are greatly distorted.
상기한 문제점을 해결하기 위하여, 실시예들에 따른 이미지 생성 방법 장치는 탑 뷰 이미지의 대상이 되는 물체의 주위에 존재하는 물체 또는 사람의 높이에 대한 정보를 추출하고, 해당 높이에 대한 정보에 기초하여 적응적 탑 뷰 이미지를 생성하는데 그 목적이 있다.In order to solve the above problem, the apparatus for generating an image according to embodiments extracts information on the height of an object or person existing around an object to be a top view image, and based on the information on the height. The purpose is to create an adaptive top view image.
또한, 적응적 탑 뷰 이미지를 생성함에 있어서 발생할 수 있는 이미지의 일부 영역을 보정하여 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공하는데 그 목적이 있다. In addition, there is an object to provide an image or an image that appears to be viewed directly from above by correcting a partial area of an image that may occur in generating an adaptive top view image.
상술한 기술적 과제를 달성하기 위하여 실시예들에 따른 이미지 생성 방법은, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계로서 여기서 복수의 카메라들은 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 제 1 물체의 상면에 위치하는 루프 카메라를 포함함; 상기 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계, 상기 뎁스 맵은 상기 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함함; 상기 생성된 뎁스 맵 및 상기 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계; 및 상기 생성된 탑 뷰 이미지에 포함된 보이드(void) 영역을 필링(filling)하는 단계, 상기 보이드 영역은 상기 탑 뷰 이미지에 포함된, 상기 복수의 이미지들로부터 추출될 수 없는 영역임; 를 포함할 수 있다.In order to achieve the above-described technical problem, the method of generating an image according to the embodiments is a step of receiving a plurality of images from a plurality of cameras positioned on a first object, wherein the plurality of cameras are on the first surface of the first object. One or more located around cameras and a loop camera located on an upper surface of the first object; Generating a depth map based on the plurality of images, the depth map including information related to a height of a second object photographed by at least one of the plurality of cameras; Generating a top view image based on the generated depth map and the plurality of images; And filling a void area included in the generated top view image, wherein the void area is an area included in the top view image that cannot be extracted from the plurality of images. It may include.
여기서, 상기 제 2 물체는 상기 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체일 수 있고, 상기 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 1 이미지를 생성할 수 있고, 상기 루프 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 2 이미지를 할 수 있고, 상기 뎁스 맵은 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 생성되고, 상기 탑 뷰 이미지는 상기 뎁스 맵에 기초한 상기 제 2 물체의 높이 정보, 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 생성된 이미지일 수 있다.Here, the second object may be an object separated by a predetermined distance from the first object, and at least one or more cameras among the plurality of cameras photograph the second object to obtain a first image of the plurality of images. May be generated, and the loop camera may take a second image of the plurality of images by photographing the second object, and the depth map is generated based on the first image and the second image, and the The top view image may be an image generated based on height information of the second object based on the depth map, the first image, and the second image.
나아가, 상기 보이드 영역은 상기 제 1 이미지 및 상기 제 2 이미지로부터 추출될 수 없는 영역이고, 상기 필링하는 단계는 상기 제 2 물체에 대한 영역에 포함된 보이드 영역에 포함된 적어도 하나의 픽셀에 대한 정보를 변환하고, 상기 픽셀에 대한 정보는 상기 픽셀의 투명도를 나타내는 정보 및 상기 픽셀의 색을 나타내는 정보를 포함할 수 있다.Further, the void area is an area that cannot be extracted from the first image and the second image, and the filling step includes information on at least one pixel included in the void area included in the area for the second object. And the information on the pixel may include information representing the transparency of the pixel and information representing the color of the pixel.
또한 일 실시예로, 상기 루프 카메라는 상기 카메라로부터 일정 범위의 시야각에 대한 뷰(view)를 제공하기 위한 미러(mirror) 및 상기 일정 범위의 시야각에 대한 뷰로부터 이미지 데이터를 획득하기 위한 이미지 센서를 포함할 수 있다.In addition, in an embodiment, the loop camera includes a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from the view for a range of viewing angles. Can include.
추가적으로, 상기 루프 카메라는 제 1 루프 카메라 및 제 2 루프 카메라 중 하나일 수 있다. 이 때 상기 제 1 루프 카메라는 상기 제 1 물체의 상면에 부착된 제 1 지지부의 상단에 부착되고, 상기 제 1 지지부는 상기 제 1 루프 카메라가 상기 제 1 물체의 상면으로부터 일정 거리만큼 이격되도록 구성되고, 상기 이격된 일정 거리는 상기 제 1 물체의 사용자로부터 제어되도록 구성될 수 있다. Additionally, the loop camera may be one of a first loop camera and a second loop camera. At this time, the first roof camera is attached to an upper end of the first support attached to the upper surface of the first object, and the first support is configured such that the first roof camera is spaced apart from the upper surface of the first object by a predetermined distance And, the spaced apart predetermined distance may be configured to be controlled by the user of the first object.
또한 이 때, 상기 제 2 루프 카메라는 제 2 지지부의 상단에 결합되고, 상기 제 2 지지부는 상기 제 1 물체의 상면과 상기 제 2 지지부가 이루는 각도를 조절하도록 구성되는 제 1 힌지에 부착되고, 상기 제 1 힌지는 상기 제 1 물체의 상면에 부착되도록 구성되고, 상기 제 2 루프 카메라는 상기 제 2 지지부의 상단에 부착된 제 2 힌지에 의하여 결합되고, 상기 제 2 힌지는 상기 제 2 루프 카메라가 연직 방향의 반대 방향으로 향하도록 구성될 수 있다.In this case, the second roof camera is coupled to an upper end of the second support, and the second support is attached to a first hinge configured to adjust an angle between the upper surface of the first object and the second support, The first hinge is configured to be attached to an upper surface of the first object, the second roof camera is coupled by a second hinge attached to an upper end of the second support, and the second hinge is the second roof camera It may be configured to face in a direction opposite to the vertical direction.
또한 일 실시예로, 상기 탑 뷰 이미지는 제 1 학습 모델에 기초하여 생성된 이미지이고, 상기 제 1 학습 모델은 복수의 이미지들 및 뎁스 맵을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델일 수 있다.In addition, as an embodiment, the top view image is an image generated based on a first learning model, and the first learning model provides forward propagation and backward propagation of training data including a plurality of images and a depth map. It may be a model created by performing gating.
추가적으로, 상기 탑 뷰 이미지는 영상처리 알고리즘에 기초하여 생성되고, 상기 영상처리 알고리즘은 상기 루프 카메라에 의해 획득된 이미지에 기초하여 상기 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출하는 단계; 및 상기 바닥점이 아닌 픽셀들의 값을 변환하는 단계; 를 수행할 수 있다.Additionally, the top view image is generated based on an image processing algorithm, and the image processing algorithm includes pixels corresponding to a bottom point included in the image acquired by the around camera based on the image acquired by the loop camera. Extracting; And converting values of pixels other than the bottom point. You can do it.
또한 일 실시예로, 여기서 보이드 영역은, 상기 탑 뷰 이미지에서 상기 보이드 영역을 제외한 영역에 대한 픽셀에 기초하여 필링되거나 일정한 픽셀 값으로 필링될 수 있다.In addition, as an embodiment, the void area may be filled based on a pixel for an area other than the void area in the top view image or may be filled with a predetermined pixel value.
또 다른 실시예로, 상기 복수의 카메라들이 상기 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라만 포함하는 경우, 상기 이미지 생성 방법은 상기 뎁스 맵을 생성하지 않고, 상기 탑 뷰 이미지는 제 2 학습 모델을 이용하여 상기 복수의 이미지들에 기초하여 생성되고, 상기 제 2 학습 모델은 복수의 이미지들을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델일 수 있다.In another embodiment, when the plurality of cameras include only one or more around cameras positioned on the first surface of the first object, the image generation method does not generate the depth map, and the top view image Is generated based on the plurality of images using a second learning model, and the second learning model is a model generated by performing forward and backward propagation of training data including a plurality of images. I can.
여기서, 상기 제 2 물체는 상기 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체이고, 상기 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 1 이미지를 생성하고, 상기 탑 뷰 이미지는 상기 제 1 이미지에 기초하여 생성되는 제 2 물체에 대한 영역을 포함할 수 있다.Here, the second object is an object that is separated by a predetermined distance from the first object, and at least one or more of the plurality of cameras photographs the second object to generate a first image of the plurality of images. In addition, the top view image may include an area for a second object generated based on the first image.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
또한, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.In addition, by using the image generating apparatus according to the exemplary embodiments, an object or a person existing around the target object is generated as an undistorted image, thereby providing an image or an image that appears to be viewed directly from above.
또한, 실시예들에 따른 이미지 생성 장치를 이용하여 실제 위에서 바로보는 듯한 자연스러운 탑 뷰 이미지 또는 영상을 제공할 수 있다.In addition, it is possible to provide a natural top view image or image as if viewed directly from above by using the image generating apparatus according to the embodiments.
추가로, 학습 모델을 구축하기 위한 테스트 데이터에 대하여 가상 공간을 활용함으로써 많은 시간과 비용을 절감할 수 있다. 즉, 1차적으로 가상 공간 툴(또는 가상 이미지 툴)을 활용하여 테스트 데이터의 수집 및 학습 모델 개발을 진행하고, 학습 모델에 대한 에러(error)를 줄이기 위하여 파인 튜닝(fine tuning)을 하는 경우에는 실제 차량에 어라운드 카메라 및/또는 루프 카메라를 장착함으로써, 시간과 비용을 절감할 수 있다.In addition, it is possible to save a lot of time and cost by using a virtual space for test data for building a learning model. That is, in the case of collecting test data and developing a learning model primarily using a virtual space tool (or virtual image tool), and performing fine tuning to reduce errors in the learning model, By attaching an around camera and/or a roof camera to an actual vehicle, it is possible to save time and money.
또한, 실시예들에 따른 이미지 생성 장치는 사용자가 원하는 탑 뷰 이미지를 선택할수 있도록 다양한 탑 뷰 이미지를 생성할 수 있다.In addition, the image generating apparatus according to the embodiments may generate various top view images so that a user can select a desired top view image.
첨부된 도면은 본 발명의 실시예들을 나타내고 설명과 함께 본 발명의 원리를 설명한다.The accompanying drawings show embodiments of the present invention and explain the principles of the present invention together with the description.
도 1은 탑 뷰 이미지와 탑 뷰 이미지의 대상이 되는 대상 물체를 나타낸다.1 shows a target object that is a target of a top view image and a top view image.
도 2는 탑 뷰 이미지를 나타낸다.2 shows a top view image.
도 3은 AVM(Around View Monitoring) 탑 뷰에 포함된 왜곡된 이미지를 보정하는 과정을 나타낸다3 shows a process of correcting a distorted image included in an AVM (Around View Monitoring) top view
도 4는 탑 뷰 이미지의 다양한 실시예를 나타낸다.4 shows various embodiments of a top view image.
도 5는 탑 뷰 이미지의 대상 물체 및 대상 물체에 대한 탑 뷰 이미지를 생성하기 위한 복수의 카메라들을 나타낸다.5 shows a target object of a top view image and a plurality of cameras for generating a top view image of the target object.
도 6은 루프 카메라의 일 실시예를 나타낸다.6 shows an embodiment of a loop camera.
도 7은 루프 카메라의 다른 실시예를 나타낸다.7 shows another embodiment of a loop camera.
도 8은 실시예들에 따른 이미지 생성 장치를 나타낸다.8 shows an image generating apparatus according to embodiments.
도 9는 실시예들에 따른 이미지 생성 장치를 이용하여 자동차에 대한 탑 뷰를 생성하기 위하여 테스트 데이터를 생성하는 것을 나타낸다.9 illustrates generating test data to generate a top view of a vehicle using an image generating apparatus according to embodiments.
도 10은 실시예들에 따른 이미지 생성 장치를 이용하여 자동차에 대한 탑 뷰를 생성하기 위한 테스트 데이터의 일 실시예를 나타낸다.10 illustrates an example of test data for generating a top view of a vehicle using the image generating apparatus according to the embodiments.
도 11(a)는 실시예들에 따른 루프 카메라 및 어라운드 카메라를 이용하여 탑 뷰 이미지를 생성하는 과정을 나타낸다.11A illustrates a process of generating a top view image using a loop camera and an around camera according to embodiments.
도 11(b)는 실시예들에 따른 어라운드 카메라만을 이용하여 탑 뷰 이미지를 생성하는 과정을 나타낸다.11(b) shows a process of generating a top view image using only an around camera according to embodiments.
도 12는 실시예들에 따른 이미지 생성 장치가 탑 뷰를 생성하기 위한 과정을 나타낸다.12 illustrates a process for generating a top view by an image generating apparatus according to embodiments.
도 13은 실시예들에 따른 이미지 생성 장치가 탑 뷰 이미지에 포함된 보이드(void) 영역에 대하여 보이드 필링을 수행하는 과정을 나타낸다.13 illustrates a process in which an image generating apparatus according to embodiments performs void filling on a void area included in a top view image.
도 14는 실시예들에 따른 이미지 생성 장치가 대상 물체에 대한 탑 뷰 이미지를 생성하기 위한 일 실시예들을 나타낸다.14 illustrates exemplary embodiments in which an image generating apparatus according to the exemplary embodiments generates a top view image of a target object.
도 15는 다양한 탑 뷰 이미지와 관련된 유저 인터페이스 또는 입력부의 일 실시예들을 나타낸다.15 illustrates exemplary embodiments of a user interface or input unit related to various top view images.
도 16은 실시예들에 따른 이미지 생성 방법의 흐름도를 나타낸다.16 is a flowchart of an image generating method according to embodiments.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar elements are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.
하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.It goes without saying that the following examples are only for embodiing the present invention and do not limit or limit the scope of the present invention. What can be easily inferred by experts in the technical field to which the present invention belongs from the detailed description and examples of the present invention is interpreted as belonging to the scope of the present invention.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되며, 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as limiting in all respects, but should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
바람직한 실시예들에 대해 구체적으로 설명하되, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 실시예들에 따라 구현될 수 있는 실시예들만을 나타내기보다는 바람직한 실시예들을 설명하기 위한 것이다. 이하에서는 본 발명에 대한 철저한 이해를 제공하기 위해 세부 사항을 포함하여 설명한다. 그러나 본 발명이 이러한 세부 사항 없이 실행될 수 있다는 것은 당업자에게 자명하다. 본 발명에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 본 발명은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다. 또한 이하의 도면들 및 상세한 설명은 구체적으로 기술된 실시예들에만 국한되어 해석되지 않고, 도면 및 상세한 설명에 기재된 실시예들과 균등하거나, 대체 가능한 것들까지 포함하는 것으로 해석되어야만 한다.Although preferred embodiments will be described in detail, examples are shown in the accompanying drawings. The detailed description below with reference to the accompanying drawings is for describing preferred embodiments rather than showing only embodiments that may be implemented according to the embodiments. Hereinafter, it will be described including details to provide a thorough understanding of the present invention. However, it is obvious to a person skilled in the art that the present invention may be practiced without these details. Most terms used in the present invention are selected from general ones widely used in the relevant field, but some terms are arbitrarily selected by the applicant, and their meanings will be described in detail in the following description as necessary. Therefore, the present invention should be understood based on the intended meaning of the term, not the simple name or meaning of the term. In addition, the following drawings and detailed description should not be construed as being limited to the specifically described embodiments, but should be construed as including those equivalent to or replaceable with the embodiments described in the drawings and detailed description.
도 1은 실시예들에 따른 탑 뷰 이미지와 탑 뷰 이미지의 대상이 되는 대상 물체를 나타낸다. 1 illustrates a target object that is a target of a top view image and a top view image according to embodiments.
구체적으로 도 1은 실시예들에 따른 대상 물체(101)와 실시예들에 따른 해당 대상 물체에 대한 탑 뷰 이미지(100)를 나타낸다. 또한 탑 뷰 이미지를 생성하기 위하여 대상 물체(101)는 실시예들에 따른 복수 개의 카메라(102a, 102b, 102c, 102d)를 포함할 수 있다. Specifically, FIG. 1 shows a target object 101 according to embodiments and a top view image 100 of a corresponding target object according to the embodiments. In addition, in order to generate a top view image, the target object 101 may include a plurality of cameras 102a, 102b, 102c, and 102d according to embodiments.
실시예들에 AVM 탑 뷰(AVM top view)란, 예를 들어, 자동차 주변 4개의 광각 카메라 영상을 합성하여 위에서 바로보는 듯한 가상의 영상으로 보여주는 뷰(view)를 의미할 수 있다. 실시예들에 따른 이미지 생성 장치는 가상의 이미지로 합성을 하는 과정에서 자동차 주변의 서있는 물체(사람, 자동차 등)가 아래 그림과 같이 크게 왜곡되는 문제를 해결할 수 있다. 즉, 실시예들에 따른 이미지 생성 장치는 자동차 주변 물체가 실제 크기보다 크고 옆으로 기울어져서 표현되는 문제점을 해결할 수 있다.In embodiments, the AVM top view may mean a view showing, for example, a virtual image as if viewing directly from above by synthesizing four wide-angle camera images around a vehicle. The image generating apparatus according to the embodiments may solve a problem in which standing objects (persons, automobiles, etc.) around a vehicle are greatly distorted as shown in the figure below in a process of synthesizing a virtual image. That is, the image generating apparatus according to the exemplary embodiments may solve a problem in which objects around a vehicle are expressed by being larger than an actual size and inclined sideways.
다시 말해, 실시예들에 따른 탑 뷰 이미지(100)는 대상 물체(예를 들어 자동차, 비행기 또는 선박 등)의 주변 복수 개의 카메라 영상을 합성하여, 대상 물체의 위에서(공중에서) 대상 물체를 바로보는 듯한 가상의 영상을 나타내는 이미지 또는 영상을 의미할 수 있다. 탑 뷰 이미지(100)는 AVM 탑 뷰 이미지로 호칭할 수도 있다.In other words, the top view image 100 according to the embodiments synthesizes a plurality of camera images around a target object (eg, a car, an airplane, or a ship), so that the target object is directly displayed on the target object (in the air). It may refer to an image or video that represents a virtual image that seems to be seen. The top view image 100 may also be referred to as an AVM top view image.
실시예들에 따른 대상 물체(101)는 탑 뷰 이미지의 대상이 되는 물체를 의미할 수 있다. 본 도면에서는 자동차를 일 실시예로 도시하였으나 대상 물체가 반드시 자동차에 한정될 필요는 없다. 일 실시예로 대상 물체는 자동차, 항공기 또는 선박을 의미할 수 있으며, 탈 것이 아닌 물체(예를 들어 건물 등)를 의미할 수도 있다.The target object 101 according to embodiments may refer to an object that is a target of a top view image. In this drawing, a vehicle is illustrated as an exemplary embodiment, but the target object is not necessarily limited to the vehicle. In one embodiment, the target object may refer to a car, an aircraft, or a ship, and may refer to an object that is not a vehicle (eg, a building, etc.).
실시예들에 따른 복수 개의 카메라(102a 내지 102d)는 대상 물체(101)으로부터 일정 거리만큼 떨어져 있는 영역을 촬영하기 위한 카메라를 의미할 수 있다. 즉, 복수 개의 카메라는 대상 물체의 주변을 촬영할 수 있다. 복수 개의 카메라는 대상 물체의 측면(전면, 우면, 좌면 및 후면)에 부착될 수 있다. 측면에 부착된 복수 개의 카메라는 대상 물체의 앞쪽 영역, 오른쪽 영역, 왼쪽 영역 및 뒤쪽 영역을 촬영할 수 있다. 복수 개의 카메라 중 하나 또는 그 이상의 카메라는 대상 물체의 상부면에 부착될 수도 있다. 복수 개의 카메라 중 하나 또는 그 이상의 카메라는, 대상 물체의 주위의 영역을 촬영하기 위하여 광각 렌즈(wide-angle lens)를 포함하는 광각 카메라를 의미할 수 있고, AVM(Around View Monitoring) 카메라를 의미할 수도 있고, 일반 카메라를 의미할 수도 있다. 예를 들어, 복수 개의 카메라는 4대의 카메라를 의미할 수 있다.The plurality of cameras 102a to 102d according to the embodiments may mean a camera for photographing an area separated by a predetermined distance from the target object 101. That is, the plurality of cameras can photograph the periphery of the target object. The plurality of cameras may be attached to side surfaces (front, right, left and rear) of the target object. A plurality of cameras attached to the side may photograph a front area, a right area, a left area, and a rear area of the target object. One or more of the plurality of cameras may be attached to the top surface of the target object. One or more of the plurality of cameras may refer to a wide-angle camera including a wide-angle lens to photograph an area around the target object, and may refer to an AVM (Around View Monitoring) camera. It can be used, or it can mean a general camera. For example, a plurality of cameras may mean four cameras.
따라서, 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계를 수행할 수 있다. 이 때, 복수의 카메라들은 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 제 1 물체의 상면에 위치하는 루프 카메라를 포함할 수 있다. Therefore, an image generation method according to embodiments will be described. The image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object. In this case, the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
다음으로, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계를 수행할 수 있다. 이 때, 뎁스 맵은 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함할 수 있다.Next, a step of generating a depth map based on a plurality of images may be performed. In this case, the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
다음으로 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계를 수행할 수 있다. 그 후, 생성된 탑 뷰 이미지에 포함된 보이드(void) 영역을 필링(filling)하는 단계를 수행할 수 있다. 이 때, 보이드 영역은 탑 뷰 이미지에 포함된, 복수의 이미지들로부터 추출될 수 없는 영역을 의미할 수 있다. Next, an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. Thereafter, a step of filling a void area included in the generated top view image may be performed. In this case, the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
또한, 상술한 실시예들에 따른 이미지 생성 방법에 대응하는 실시예들에 따른 이미지 생성 장치를 설명한다. 상술한 실시예들에 따른 이미지 생성 방법에 대응하는 실시예들에 따른 이미지 생성 장치는, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하고, 수신한 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 뎁스 맵 생성부를 포함할 수 있다. 또한, 생성된 뎁스 맵 및 수신한 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 탑 뷰 생성부를 포함할 수 있다. 또한, 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 필링부가 포함될 수 있다. In addition, an image generating apparatus according to embodiments corresponding to the image generating method according to the above-described embodiments will be described. The image generating apparatus according to embodiments corresponding to the image generating method according to the above-described embodiments receives a plurality of images from a plurality of cameras positioned on a first object, and based on the received plurality of images. It may include a depth map generator that generates a depth map. In addition, it may include a top view generator that generates a top view image based on the generated depth map and a plurality of received images. In addition, a filling unit for filling a void region included in the generated top view image may be included.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
본 명세서에서는 대상 물체에 대한 탑 뷰 이미지를 생성(또는 합성)하기 위하여 실시예들에 따른 이미지 생성 장치가 개시된다. 이하에서 구체적으로 설명한다.In the present specification, an image generating apparatus according to embodiments is disclosed to generate (or synthesize) a top view image of a target object. It will be described in detail below.
도 2는 실시예들에 따른 탑 뷰 이미지를 나타낸다.2 shows a top view image according to embodiments.
구체적으로 도 2는 자동차가 주차 공간에 주차를 하는 과정에 대한 탑 뷰 이미지를 나타낸다. 실시예들에 따른 탑 뷰 이미지(200)는 도 1에서 설명한 탑 뷰 이미지(100)를 의미할 수 있다. 도 2에서는 대상 물체가 자동차(201)인 것을 나타낸다. 도 2에서 설명하는 탑 뷰 이미지(200)는 자동차(201)의 위에서 대상 물체를 바로보는 듯한 가상의 영상을 의미할 수 있다. 탑 뷰 이미지(200)는 AVM 탑 뷰 이미지로 호칭할 수도 있다.Specifically, FIG. 2 shows a top view image of a process in which a car parks in a parking space. The top view image 200 according to the embodiments may mean the top view image 100 described in FIG. 1. 2 shows that the target object is a vehicle 201. The top view image 200 described in FIG. 2 may mean a virtual image as if viewing a target object directly from the top of the vehicle 201. The top view image 200 may also be referred to as an AVM top view image.
도 1에서 설명한 복수의 카메라를 이용하여 가상의 탑 뷰 이미지를 생성하는 과정에서, 대상 물체(자동차) 주변에 존재하는 물체(사람, 자동차 등)가 크게 왜곡되어 표현되는 현상이 발생할 수 있다.In the process of generating a virtual top view image using a plurality of cameras described in FIG. 1, a phenomenon in which objects (persons, automobiles, etc.) existing around the target object (car) are greatly distorted and expressed may occur.
다시 말하면, 자동차의 왼쪽 영역에 존재하는 사람에 대한 이미지(202b)는 실제 자동차의 왼쪽 영역에 존재하는 사람의 크기보다 크고 옆으로 기울어져서 표현될 수 있다. 마찬가지로, 자동차의 오른쪽 영역에 존재하는 다른 자동차에 대한 이미지(202a)는 실제 자동차의 오른쪽 영역에 존재하는 다른 자동차의 크기보다 넓게 퍼지게 왜곡되어 표현될 수 있다. 이러한 탑 뷰 이미지는 상술한 왜곡된 이미지를 포함함으로써 자동차 운전자에게 잘못된 탑 뷰 영상을 제공하게되는 문제점이 있을 수 있다.In other words, the image 202b of a person present in the left region of the vehicle may be expressed by being inclined sideways larger than the size of the person present in the left region of the vehicle. Likewise, the image 202a of another vehicle existing in the right area of the vehicle may be distorted and expressed to be wider than the size of another vehicle existing in the right area of the actual vehicle. Such a top view image may include the above-described distorted image, thereby providing an erroneous top view image to a vehicle driver.
이에 따라, 본 명세서에서는 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계, 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계 및 생성된 탑 뷰 이미지에 포함된 보이드(void) 영역을 필링(filling)하는 단계를 포함할 수 있다.Accordingly, in the present specification, a method of generating an image according to exemplary embodiments will be described. An image generation method according to embodiments includes receiving a plurality of images from a plurality of cameras positioned on a first object, generating a depth map based on the plurality of images, and a generated depth The method may include generating a top view image based on the map and a plurality of images, and filling a void area included in the generated top view image.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
도 3은 실시예들에 따른 AVM(Around View Monitoring) 탑 뷰에 포함된 왜곡된 이미지를 보정하는 과정을 나타낸다.3 illustrates a process of correcting a distorted image included in an AVM (Around View Monitoring) top view according to embodiments.
구체적으로 도 3은 탑 뷰 이미지의 대상이 되는 물체(대상 물체)의 주변에 존재하는 물체를 왜곡 없이 대상 물체의 위에서(공중에서) 바로보는 듯한 탑 뷰 이미지를 생성하는 과정에서 왜곡되어 표현되는 물체들에 대한 이미지를 보정하는 과정을 나타낸다. 탑 뷰 이미지는 AVM 탑 뷰 이미지로 호칭할 수도 있다.Specifically, FIG. 3 is an object that is distorted and expressed in the process of creating a top view image that looks directly from above (in the air) of the target object without distortion of an object existing around the object (target object) that is the target of the top view image It shows the process of correcting the image for the field. The top view image may also be referred to as an AVM top view image.
실시예들에 따른 이미지 생성 장치로 인해, 자동차 주변 물체가 실제 크기보다 크고 옆으로 기울어져서 표현되는 문제점을 해결할 수 있다. 해결 방법으로, 뎁스 맵(Depth map) 생성을 통해 자동차 주변에 서있는 물체를 왜곡 없이 실제로 공중에서 보는 듯한 AVM 탑 뷰(AVM top view) 이미지를 생성할 수 있다. 자동차 주변에 있는 물체를 왜곡 없이 표현하기 위해서는 자동차 루프 위에서 촬영할 수 있다. 자동차 루프에 카메라를 장착하여 루프 카메라와 AVM 카메라로 동시에 촬영할 수 있다. AVM 카메라 이미지가 루프 카메라 이미지와 유사한 이미지로 변환할 수 있다. 이 때, 루프에 장착된 카메라를 루프 카메라로 지칭할 수 있다.Due to the image generating apparatus according to the embodiments, it is possible to solve a problem in which objects around a vehicle are expressed by being larger than an actual size and inclined sideways. As a solution, it is possible to create an AVM top view image that looks like an object standing around a car from the air without distortion through the creation of a depth map. In order to express objects around the car without distortion, you can shoot on the car roof. By attaching a camera to the roof of a car, you can shoot simultaneously with the roof camera and AVM camera. An AVM camera image can be converted into an image similar to a loop camera image. In this case, the camera mounted on the roof may be referred to as a roof camera.
다시 말하면, 실시예들에 따른 왜곡된 탑 뷰 이미지(300)는 도 2에서 상술한 탑 뷰 이미지를 의미할 수 있다. 왜곡된 탑 뷰 이미지(300)는 대상 물체에 대한 이미지(300a, 일 실시예로 자동차) 및 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지(300b)를 포함할 수 있다. 이 때, 왜곡된 탑 뷰 이미지는 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지가 왜곡되어 표현될 수 있다.In other words, the distorted top view image 300 according to the embodiments may mean the top view image described above in FIG. 2. The distorted top view image 300 may include an image 300a of a target object (a vehicle in an embodiment) and an image 300b of an object or person existing around the target object. In this case, the distorted top view image may be expressed by distorting an image of an object or person existing around the target object.
실시예들에 따른 보정된 탑 뷰 이미지(301)는 왜곡된 탑 뷰 이미지(300)에서 왜곡되어 표현되는 뷰는 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지가 보정되어, 왜곡되지 않은 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지(301b)를 포함할 수 있다. 즉, 보정된 탑 뷰 이미지(301)는 대상 물체에 대한 이미지(300a) 및 왜곡되지 않은 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지(301b)를 포함할 수 있다. 보정된 탑 뷰 이미지는 어답티브 AVM 탑 뷰(adaptive AVM top view)로 호칭할 수도 있다. The corrected top view image 301 according to the embodiments is a view that is distorted and expressed in the distorted top view image 300 is an object that is not distorted by correcting an image of an object or person existing around the target object. It may include an image 301b of an object or person existing around the object. That is, the corrected top view image 301 may include an image 300a of the target object and an image 301b of an object or person existing around the non-distorted target object. The corrected top view image may also be referred to as an adaptive AVM top view.
이에 따라, 본 명세서에서는 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계, 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계 및 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 단계를 포함할 수 있다.Accordingly, in the present specification, a method of generating an image according to exemplary embodiments will be described. An image generation method according to embodiments includes receiving a plurality of images from a plurality of cameras positioned on a first object, generating a depth map based on the plurality of images, and a generated depth The method may include generating a top view image based on the map and a plurality of images, and filling a void region included in the generated top view image.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
도 4는 실시예들에 따른 탑 뷰 이미지의 다양한 실시예를 나타낸다.4 illustrates various embodiments of a top view image according to the embodiments.
구체적으로, 도 4는 최종 AVM 탑 뷰(AVM top view)예시 이미지 (디스플레이에 표시하는 view는 도 4에 도시된 바와 같이 원형/타원형/사각형도 가능)를 나타낼 수 있다.Specifically, FIG. 4 may show an example image of a final AVM top view (a view displayed on the display may be a circle/oval/rectangle as shown in FIG. 4).
다시 말해, 실시예들에 따른 탑 뷰 이미지(최종 탑 뷰 이미지)는 원형 이미지(400)일 수 있다. 탑 뷰 이미지는 원형 이미지로 합성된 원형 이미지 데이터일 수 있고, 하나 또는 그 이상의 원형 이미지 데이터를 포함하는 영상 데이터일 수도 있다. 탑 뷰 이미지는 원형 이미지로 표현되어, 대상 물체에 대한 이미지(400a) 및 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지(400b)를 포함할 수 있다. 탑 뷰 이미지는 AVM 탑 뷰 이미지로 호칭할 수도 있다.In other words, the top view image (final top view image) according to the embodiments may be a circular image 400. The top view image may be circular image data synthesized into a circular image, or may be image data including one or more circular image data. The top view image is expressed as a circular image, and may include an image 400a of a target object and an image 400b of an object or person existing around the target object. The top view image may also be referred to as an AVM top view image.
실시예들에 따른 탑 뷰 이미지(최종 탑 뷰 이미지)는 타원형 이미지(401)일 수 있다. 탑 뷰 이미지는 타원형 이미지로 합성된 타원형 이미지 데이터일 수 있고, 하나 또는 그 이상의 타원형 이미지 데이터를 포함하는 영상 데이터일 수도 있다. 탑 뷰 이미지는 타원형 이미지로 표현되어, 대상 물체에 대한 이미지(401a) 및 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지(401b)를 포함할 수 있다.The top view image (final top view image) according to the embodiments may be an elliptical image 401. The top view image may be elliptical image data synthesized into an elliptical image, or may be image data including one or more elliptical image data. The top view image is expressed as an elliptical image, and may include an image 401a of the target object and an image 401b of an object or person existing around the target object.
실시예들에 따른 탑 뷰 이미지(최종 탑 뷰 이미지)는 사각형 이미지(402)일 수 있다. 탑 뷰 이미지는 사각형 이미지로 합성된 사각형 이미지 데이터일 수 있고, 하나 또는 그 이상의 사각형 이미지 데이터를 포함하는 영상 데이터일 수도 있다. 탑 뷰 이미지는 사각형 이미지로 표현되어, 대상 물체에 대한 이미지(402a) 및 대상 물체의 주변에 존재하는 물체 또는 사람에 대한 이미지(402b)를 포함할 수 있다.The top view image (final top view image) according to the embodiments may be a square image 402. The top view image may be rectangular image data synthesized into a rectangular image, or may be image data including one or more rectangular image data. The top view image is expressed as a square image, and may include an image 402a of a target object and an image 402b of an object or person existing around the target object.
이에 따라, 본 명세서에서는 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계, 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계 및 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 단계를 포함할 수 있다.Accordingly, in the present specification, a method of generating an image according to exemplary embodiments will be described. An image generation method according to embodiments includes receiving a plurality of images from a plurality of cameras positioned on a first object, generating a depth map based on the plurality of images, and a generated depth The method may include generating a top view image based on the map and a plurality of images, and filling a void region included in the generated top view image.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
도 5는 실시예들에 따른 탑 뷰 이미지의 대상 물체 및 대상 물체에 대한 탑 뷰 이미지를 생성하기 위한 복수의 카메라들을 나타낸다.5 illustrates a target object of a top view image and a plurality of cameras for generating a top view image of the target object according to embodiments.
구체적으로, 도 5는 실시예들에 따른 탑 뷰 이미지의 대상이 되는 대상 물체(본 도면에서는 자동차를 예로 들 수 있다), 실시예들에 따른 탑 뷰 이미지를 생성하기 위하여 대상 물체에 포함된 복수 개의 카메라 및 루프 카메라를 나타낸다. Specifically, FIG. 5 illustrates a target object to be a top view image according to embodiments (a car may be used as an example in this drawing), and a plurality of target objects included in the target object to generate a top view image according to the embodiments. Represents two cameras and a loop camera.
실시예들에 따른 이미지 생성 장치로 인해, 자동차 주변 물체가 실제 크기보다 크고 옆으로 기울어져서 표현되는 문제점을 해결할 수 있다. 해결 방법의 일 실시예로, AVM 카메라 4대에 추가로 광각의 루프 카메라를 장착할 수 있다. 이 때, 루프 카메라는 안테나 위치에 장착되며 높낮이 조절이 가능하여 다양한 뷰를 제공할 수 있다. 루프카메라는 장착 될 수도 있고 안 될 수도 있다. 이 때, 루프 카메라의 장착 여부에 따라 알고리즘 일부 수정될 수 있다. 루프카메라는 일 실시예로, 2가지 타입으로 제안될 수 있다. 루프카메라의 2 가지 타입은 도 6 및 도 7에서 후술한다.Due to the image generating apparatus according to the embodiments, it is possible to solve a problem in which objects around a vehicle are expressed by being larger than an actual size and inclined sideways. As an embodiment of the solution, a wide-angle roof camera may be additionally mounted on four AVM cameras. At this time, the roof camera is mounted at the antenna position and height can be adjusted to provide various views. A roof camera may or may not be installed. In this case, the algorithm may be partially modified depending on whether or not a roof camera is mounted. As an example, the roof camera may be proposed in two types. Two types of loop cameras will be described later in FIGS. 6 and 7.
다시 말해, 실시예들에 따른 대상 물체(500)는 탑 뷰 이미지의 대상이 되는 물체를 의미할 수 있다. 즉, 탑 뷰 이미지는 대상 물체에 대한 이미지 및 대상 물체의 주변에 존재하는 물체 또는 사물에 대한 이미지를 포함할 수 있다. 탑 뷰 이미지는 AVM 탑 뷰 이미지로 호칭할 수도 있다.In other words, the target object 500 according to the embodiments may mean an object that is a target of a top view image. That is, the top view image may include an image of a target object and an image of an object or an object existing around the target object. The top view image may also be referred to as an AVM top view image.
실시예들에 따른 복수 개의 카메라(501a, 501b, 501c, 501d)는 상술한 대상 물체의 측면에 부착되는 카메라를 의미할 수 있다. 대상 물체으로부터 일정 거리만큼 떨어져 있는 영역을 촬영하기 위한 카메라를 의미할 수 있다. 즉, 복수 개의 카메라는 대상 물체의 주변을 촬영할 수 있다. 복수 개의 카메라는 대상 물체의 측면(전면, 우면, 좌면 및 후면)에 부착될 수 있다. 측면에 부착된 복수 개의 카메라는 대상 물체의 앞쪽 영역, 오른쪽 영역, 왼쪽 영역 및 뒤쪽 영역을 촬영할 수 있다. 복수 개의 카메라 중 하나 또는 그 이상의 카메라는, 대상 물체의 주위의 영역을 촬영하기 위하여 광각 렌즈(wide-angle lens)를 포함하는 광각 카메라를 의미할 수 있고, AVM(Around View Monitoring) 카메라를 의미할 수도 있고, 일반 카메라를 의미할 수도 있다. 복수 개의 카메라는 4대의 카메라를 의미할 수 있다.The plurality of cameras 501a, 501b, 501c, and 501d according to the embodiments may mean a camera attached to the side of the target object. It may mean a camera for photographing an area separated by a certain distance from the target object. That is, the plurality of cameras can photograph the periphery of the target object. The plurality of cameras may be attached to side surfaces (front, right, left and rear) of the target object. A plurality of cameras attached to the side may photograph a front area, a right area, a left area, and a rear area of the target object. One or more of the plurality of cameras may refer to a wide-angle camera including a wide-angle lens to photograph an area around the target object, and may refer to an AVM (Around View Monitoring) camera. It can be used, or it can mean a general camera. The plurality of cameras may mean four cameras.
실시예들에 따른 루프 카메라(502)는 대상 물체의 상부면에 위치할 수 있다. 루프 카메라는 대상 물체의 상부면(루프)에 연결되거나 부착되어 장착된 카메라를 지칭할 수 있다. 대상 물체의 주변에 존재하는 물체 또는 사람을 왜곡 없는 이미지로 표현하기 위해서는 자동차 상부면(루프) 또는 그 위에서 대상 물체의 주변 영역을 촬영하여 대상 물체의 주변 영역에 대한 깊이 또는 높이 정보를 생성해야 한다. 루프 카메라는 이러한 대상 물체의 주변에 대한 뎁스 맵(depth map)을 생성하기 위한 대상 물체의 주변을 촬영할 수 있다. 루프 카메라(502)는 일 실시예로, 대상 물체가 자동차인 경우, 자동차의 상부면에 존재하는 안테나에 위치할 수 있다.The roof camera 502 according to the embodiments may be located on the upper surface of the target object. The roof camera may refer to a camera connected to or attached to the upper surface (loop) of the target object. In order to represent an object or person existing around the target in a distortion-free image, depth or height information on the surrounding area of the target must be generated by photographing the surrounding area of the target object on or on the top surface (loop) of a vehicle. . The loop camera may photograph the periphery of the target object to generate a depth map for the periphery of the target object. As an example, the roof camera 502 may be located on an antenna existing on an upper surface of the vehicle when the target object is a vehicle.
따라서, 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계를 수행할 수 있다. 이 때, 복수의 카메라들은 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 제 1 물체의 상면에 위치하는 루프 카메라를 포함할 수 있다. Therefore, an image generation method according to embodiments will be described. The image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object. In this case, the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
다음으로, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계를 수행할 수 있다. 이 때, 뎁스 맵은 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함할 수 있다.Next, a step of generating a depth map based on a plurality of images may be performed. In this case, the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
다음으로 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계를 수행할 수 있다. 그 후, 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 단계를 수행할 수 있다. 이 때, 보이드 영역은 탑 뷰 이미지에 포함된, 복수의 이미지들로부터 추출될 수 없는 영역을 의미할 수 있다. Next, an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. Thereafter, a step of filling a void region included in the generated top view image may be performed. In this case, the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
도 6은 실시예들에 따른 루프 카메라를 나타낸다.6 shows a loop camera according to embodiments.
구체적으로 도 6은 대상 물체의 상부면에 위치하는 실시예들에 따른 루프 카메라의 일 실시예 중 제 1 모드(또는 제 1 타입)를 나타낸 것이다. 실시예들에 따른 루프 카메라의 제 1 타입(600)은 360도 미러(600a), 이미지 센서(600b) 및 지지부(600c)를 포함할 수 있다. 실시예들에 따른 루프 카메라의 제 1 타입은 안테나형 루프 카메라로 호칭할 수도 있다.Specifically, FIG. 6 shows a first mode (or first type) of one embodiment of a loop camera according to embodiments positioned on an upper surface of a target object. The first type 600 of a roof camera according to embodiments may include a 360 degree mirror 600a, an image sensor 600b, and a support part 600c. The first type of loop camera according to the embodiments may be referred to as an antenna type loop camera.
루프 카메라의 일 실시예로 루프 카메라의 제 1 타입을 설명한다. 루프 카메라의 제 1 타입은, 이미지 센서 앞에 360도 미러를 설치할 수 있다. 루프 카메라의 제 1 타입은, 안테나형으로 제작하여 카메라의 높이를 조절할 수 있다. 루프 카메라의 제 1 타입에서, 카메라의 높이는 20cm ~ 1m 정도이며, 대략 30cm의 크기를 가질 수 있다.A first type of loop camera will be described as an embodiment of a loop camera. The first type of roof camera can install a 360 degree mirror in front of the image sensor. The first type of roof camera is manufactured in an antenna type, and the height of the camera can be adjusted. In the first type of roof camera, the height of the camera is about 20 cm to 1 m, and may have a size of about 30 cm.
다시 말해, 실시예들에 따른 360도 미러(600a)는 루프 카메라의 외부로부터 들어오는 빛을 루프 카메라에 포함된 이미지 센서(600b)로 투영시키거나 집중시킬 수 있도록 구성된 거울을 의미할 수 있다. 구체적으로, 360도 미러(600a)는 루프 카메라를 기준으로 360도 방향에서 들어오는 빛을 이미지 센서(600b)로 집중시킬 수 있도록 형성된 거울을 의미할 수 있다. 따라서, 이미지 센서(600b)로 투영된 빛은 360도 미러에 의하여 외부로부터 루프 카메라로 들어오는 빛을 의미할 수 있다.In other words, the 360 degree mirror 600a according to the embodiments may mean a mirror configured to project or focus light coming from the outside of the roof camera to the image sensor 600b included in the roof camera. Specifically, the 360-degree mirror 600a may mean a mirror formed to focus light coming in a 360-degree direction with respect to the roof camera to the image sensor 600b. Accordingly, the light projected by the image sensor 600b may mean light entering the roof camera from the outside by the 360-degree mirror.
실시예들에 따른 360도 미러(600a)는 일 실시예로, 원뿔 모양으로 구성되고, 원뿔 모양의 바깥 면이 거울로 포장되는 거울을 의미할 수 있다. 이 경우, 이미지 센서(600b)는 원뿔형 거울의 윗 꼭짓점이 향하는 방향에 위치할 수 있다. 일 실시예로, 도 6에서는 360도 미러(600a) 하단에 이미지 센서가 위치할 수 있다.The 360-degree mirror 600a according to the embodiments may refer to a mirror configured in a conical shape and in which the outer surface of the conical shape is packaged with a mirror. In this case, the image sensor 600b may be positioned in a direction toward the upper vertex of the conical mirror. In one embodiment, in FIG. 6, an image sensor may be positioned under the 360-degree mirror 600a.
실시예들에 따른 이미지 센서(600b)는 루프 카메라로부터 들어오는 빛이 360도 미러에 의해 집중되거나 투영된 빛을 감지하는 장치를 의미할 수 있다. 즉, 이미지 센서는 루프 카메라를 기준으로 360도 방향에서 들어오는 빛을 감지할 수 있다. 다시 말하면, 이미지 센서에는 루프 카메라의 외부에 있는 물체 또는 사람을 포함하는 이미지를 감지할 수 있다. 이미지 센서는 집중되거나 투영된 빛을 감지하여 이미지 데이터 또는 영상 데이터를 생성할 수 있다. The image sensor 600b according to the embodiments may refer to a device that detects light that is focused or projected by a 360 degree mirror of light coming from a roof camera. That is, the image sensor can detect light entering from a 360-degree direction based on the roof camera. In other words, the image sensor may detect an image including an object or a person outside of the loop camera. The image sensor may generate image data or image data by detecting the focused or projected light.
실시예들에 따른 지지부(600c)는 루프 카메라에 포함된 360도 미러(600a) 및 이미지 센서(600b)를 지지하는 물체를 의미할 수 있다. 지지부는 360도 미러에 의해 반사되는 빛이 이미지 센서에 투영되기 위하여 이미지 센서 및 360도 미러를 지지할 수 있다. 지지부는 원기둥 모양 또는 직사면체 모양으로 형성될 수 있다. 지지부는 실시예들에 따른 루프 카메라의 높낮이를 조절하도록 구성될 수 있다.The support part 600c according to the embodiments may mean an object supporting the 360 degree mirror 600a and the image sensor 600b included in the roof camera. The support part may support the image sensor and the 360 degree mirror so that light reflected by the 360 degree mirror is projected onto the image sensor. The support may be formed in a cylindrical shape or a rectangular parallelepiped shape. The support may be configured to adjust the height of the roof camera according to the embodiments.
실시예들에 따른 지지부는 360도 미러(600a) 및 이미지 센서(600b)의 높이를 조절하기 위하여 복수 개의 원기둥 또는 직사면체 형태의 세부 지지부를 포함할 수 있다. 루프 카메라는 상술한 360도 미러 및 이미지 센서의 높이를 조절할 수 있다. 루프 카메라에 포함된 360도 미러 및 이미지 센서의 높이는 사용자의 설정에 따라 조절될 수도 있다. 높이는 루프 카메라의 지지부에 의해 조절될 수 있다. 지지부는 지지부에 포함된 세부 지지부를 겹치도록 구성함으로써 360도 미러(600a) 및 이미지 센서(600b)의 높이를 낮출 수 있다(601). 반대로 세부 지지부가 다른 세부 지지부를 지지하도록 구성하여 360도 미러(600a) 및 이미지 센서(600b)의 높이를 높일 수 있다(602).The support part according to the embodiments may include a plurality of cylindrical or rectangular parallelepiped detailed support parts to adjust the height of the 360 degree mirror 600a and the image sensor 600b. The roof camera can adjust the height of the above-described 360-degree mirror and image sensor. The height of the 360-degree mirror and image sensor included in the roof camera may be adjusted according to the user's settings. The height can be adjusted by the support of the roof camera. The height of the 360-degree mirror 600a and the image sensor 600b may be lowered by configuring the support part to overlap the detailed support parts included in the support part (601). Conversely, the height of the 360-degree mirror 600a and the image sensor 600b can be increased by configuring the detailed support to support the other detailed support (602).
루프 카메라는 일 실시예로, 대상 물체가 자동차인 경우, 자동차의 상부면에 존재하는 안테나에 위치할 수 있다. 또한 일 실시예로, 루프 카메라는 대상 물체의 상부면으로부터 20cm 내지 1m 정도로 이격되도록 구성될 수 있으며, 바람직하게는 30cm의 크기를 가지도록 구성될 수 있다. As an example, the roof camera may be located on an antenna existing on an upper surface of the vehicle when the target object is a vehicle. In addition, as an embodiment, the roof camera may be configured to be spaced apart from the top surface of the target object by about 20 cm to 1 m, and preferably may be configured to have a size of 30 cm.
따라서, 실시예들에 따른 루프 카메라의 제 1 루프 카메라(또는 제 1 모드의 루프 카메라)를 설명한다. Accordingly, a first loop camera (or a loop camera in a first mode) of a loop camera according to embodiments will be described.
제 1 루프 카메라는 카메라로부터 일정 범위의 시야각에 대한 뷰(view)를 제공하기 위한 미러(mirror) 및 일정 범위의 시야각에 대한 뷰로부터 이미지 데이터를 획득하기 위한 이미지 센서를 포함할 수 있다.The first roof camera may include a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from a view for a range of viewing angles.
제 1 루프 카메라는 제 1 물체의 상면에 부착된 제 1 지지부의 상단에 부착될 수 있다. 이 때, 제 1 지지부는 제 1 루프 카메라가 제 1 물체의 상면으로부터 일정 거리만큼 이격되도록 구성될 수 있고, 이 때 이격된 일정 거리는 제 1 물체의 사용자로부터 제어되도록 구성될 수도 있다.The first roof camera may be attached to an upper end of the first support portion attached to the upper surface of the first object. In this case, the first support unit may be configured such that the first roof camera is spaced apart from the top surface of the first object by a certain distance, and at this time, the separated certain distance may be configured to be controlled by the user of the first object.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
또한, 실시예들에 따른 이미지 생성 장치를 이용하여 실제 위에서 바로보는 듯한 자연스러운 탑 뷰 이미지 또는 영상을 제공할 수 있다.In addition, it is possible to provide a natural top view image or image as if viewed directly from above by using the image generating apparatus according to the embodiments.
또한, 이러한 구성으로 인해 실시예들에 따른 루프 카메라의 높낮이를 조절하여 다양한 탑 뷰 이미지를 생성할 수 있다.In addition, due to this configuration, various top view images may be generated by adjusting the height of the roof camera according to the embodiments.
도 7은 실시예들에 따른 루프 카메라의 다른 실시예를 나타낸다.7 shows another embodiment of a loop camera according to the embodiments.
구체적으로 도 7은 대상 물체의 상부면에 위치하는 루프 카메라의 일 실시예 중 제 2 모드(또는 제 2 타입)를 나타낸 것이다. 실시예들에 따른 루프 카메라의 제 2 타입(700)은 360도 미러(700a), 이미지 센서(700b) 및 지지부(700f)를 포함할 수 있다. 루프 카메라의 제 2 타입은 상술한 지지부와 360도 미러(700a) 및 이미지 센서(700b)를 연결하기 위하여 제 1 힌지(700c)를 포함할 수 있다. 또한, 루프 카메라의 제 2 타입은 상술한 지지부와 대상 물체의 상부면에 부착된 지지대(700e) 및 지지대와 지지부를 연결하는 제 2 힌지(700d)를 포함할 수 있다.Specifically, FIG. 7 shows a second mode (or a second type) of one embodiment of a loop camera positioned on an upper surface of a target object. The second type 700 of a roof camera according to embodiments may include a 360 degree mirror 700a, an image sensor 700b, and a support part 700f. The second type of the roof camera may include a first hinge 700c to connect the support part and the 360-degree mirror 700a and the image sensor 700b. In addition, the second type of the roof camera may include the above-described support, the support 700e attached to the upper surface of the target object, and a second hinge 700d connecting the support and the support.
루프 카메라의 일 실시예로 루프 카메라의 제 2 타입을 설명한다. 루프 카메라의 제 2 타입은, 이미지 센서 앞에 360도 미러를 설치할 수 있다. 루프 카메라의 제 2 타입은, 도 7에서 도시된 바와 같이 화살표로 표시된 관절부위를 꺾어 카메라의 높이를 조절할 수 있다. 루프 카메라의 제 2 타입에서, 카메라의 높이는 20cm ~ 1m 정도이며, 대략 30cm의 크기를 가질 수 있다.A second type of loop camera will be described as an embodiment of a loop camera. The second type of roof camera can install a 360 degree mirror in front of the image sensor. The second type of roof camera can adjust the height of the camera by bending the joints indicated by arrows as shown in FIG. 7. In the second type of roof camera, the height of the camera is about 20 cm to 1 m, and may have a size of about 30 cm.
다시 말해, 실시예들에 따른 360도 미러(700a)는 루프 카메라의 외부로부터 들어오는 빛을 루프 카메라에 포함된 이미지 센서(600b)로 투영시키거나 집중시킬 수 있도록 구성된 거울을 의미할 수 있다. 구체적으로, 360도 미러(700a)는 루프 카메라를 기준으로 360도 방향에서 들어오는 빛을 이미지 센서(700b)로 집중시킬 수 있도록 형성된 거울을 의미할 수 있다. 따라서, 이미지 센서(700b)로 투영된 빛은 360도 미러에 의하여 외부로부터 루프 카메라로 들어오는 빛을 의미할 수 있다.In other words, the 360 degree mirror 700a according to the embodiments may mean a mirror configured to project or focus light coming from the outside of the roof camera to the image sensor 600b included in the roof camera. Specifically, the 360-degree mirror 700a may mean a mirror formed to focus light coming in a 360-degree direction with respect to the roof camera to the image sensor 700b. Accordingly, the light projected by the image sensor 700b may mean light entering the roof camera from the outside by the 360-degree mirror.
실시예들에 따른 360도 미러(700a)는 일 실시예로, 원뿔 모양으로 구성되고, 원뿔 모양의 바깥 면이 거울로 포장되는 거울을 의미할 수 있다. 이 경우, 이미지 센서(700b)는 원뿔형 거울의 윗 꼭짓점이 향하는 방향에 위치할 수 있다. 일 실시예로, 도 7에서는 360도 미러(700a) 하단에 이미지 센서가 위치할 수 있다.The 360-degree mirror 700a according to the embodiments may refer to a mirror configured in a conical shape and in which the outer surface of the conical shape is packaged with a mirror. In this case, the image sensor 700b may be positioned in a direction toward the upper vertex of the conical mirror. As an example, in FIG. 7, an image sensor may be positioned under the 360-degree mirror 700a.
실시예들에 따른 이미지 센서(700b)는 루프 카메라로부터 들어오는 빛이 360도 미러에 의해 집중되거나 투영된 빛을 감지하는 장치를 의미할 수 있다. 즉, 이미지 센서는 루프 카메라를 기준으로 360도 방향에서 들어오는 빛을 감지할 수 있다. 다시 말하면, 이미지 센서에는 루프 카메라의 외부에 있는 물체 또는 사람을 포함하는 이미지를 감지할 수 있다. 이미지 센서는 집중되거나 투영된 빛을 감지하여 이미지 데이터 또는 영상 데이터를 생성할 수 있다. The image sensor 700b according to the embodiments may mean a device that detects light that is focused or projected by a 360-degree mirror from a roof camera. That is, the image sensor can detect light entering from a 360-degree direction based on the roof camera. In other words, the image sensor may detect an image including an object or a person outside of the loop camera. The image sensor may generate image data or image data by detecting the focused or projected light.
실시예들에 따른 지지부(700f)는 루프 카메라에 포함된 360도 미러(700a) 및 이미지 센서(700b)를 지지하는 물체를 의미할 수 있다. 지지부는 360도 미러에 의해 반사되는 빛이 이미지 센서에 투영되기 위하여 이미지 센서 및 360도 미러를 지지할 수 있다. 지지부는 원기둥 모양 또는 직사면체 모양으로 형성될 수 있다. 실시예들에 따른 지지부는 지지대 및 지지대에 결합된 힌지부에 의해 그 기울기가 조절될 수 있다. 지지부는 실시예들에 따른 루프 카메라의 높낮이를 조절하도록 구성될 수 있다.The support part 700f according to the embodiments may mean an object supporting the 360 degree mirror 700a and the image sensor 700b included in the roof camera. The support part may support the image sensor and the 360 degree mirror so that light reflected by the 360 degree mirror is projected onto the image sensor. The support may be formed in a cylindrical shape or a rectangular parallelepiped shape. The inclination of the support according to the embodiments may be adjusted by a support and a hinge portion coupled to the support. The support may be configured to adjust the height of the roof camera according to the embodiments.
실시예들에 따른 제 1 힌지(700c)는 상술한 지지부(700f)와 360도 미러(700a) 및 이미지 센서(700b)를 지지하도록 구성될 수 있다. 이 때, 제 1 힌지는360도 미러(700a) 및 이미지 센서(700b)는 연직 방향으로 일렬로 배열되도록 구성될 수 있다. 다시 말해, 지지부(700f)가 기울어지는 경우에도 360도 미러(700a) 및 이미지 센서(700b)가 연직 방향 또는 그 반대 방향으로 향하는 것을 유지할 수 있도록 제 1 힌지를 구성할 수 있다. 또한 제 2 힌지는 360도 미러(700a) 및 이미지 센서(700b)가 임의의 방향으로 회전할 수 있도록 구성될 수 있다. 제 1 힌지는 지지부의 상단에 위치할 수 있다.The first hinge 700c according to the embodiments may be configured to support the above-described support part 700f, the 360 degree mirror 700a, and the image sensor 700b. In this case, the first hinge may be configured such that the 360 degree mirror 700a and the image sensor 700b are arranged in a line in a vertical direction. In other words, even when the support part 700f is inclined, the first hinge may be configured to keep the 360-degree mirror 700a and the image sensor 700b oriented in the vertical direction or the opposite direction. In addition, the second hinge may be configured so that the 360 degree mirror 700a and the image sensor 700b can rotate in any direction. The first hinge may be located on the upper end of the support.
실시예들에 따른 지지대(700e)는 실시예들에 따른 지지부를 지지하기 위하여 물체의 상부면에 부착된 물체를 의미할 수 있다. 구체적으로, 지지대는 제 2 힌지(700d)에 의하여 지지부와 결합될 수 있다. 지지대(700e)는 실시예들에 따른 지지부의 기울기를 조절할 수 있다. 지지대는 실시예들에 따른 지지부의 기울기를 임의의 방향으로 조절할 수 있다.The supporter 700e according to the embodiments may mean an object attached to the upper surface of the object to support the supporter according to the embodiments. Specifically, the support may be coupled to the support by the second hinge 700d. The support 700e may adjust the inclination of the support according to the embodiments. The support can adjust the inclination of the support according to the embodiments in any direction.
실시예들에 따른 제 2 힌지(700d)는 실시예들에 따른 지지부와 지지대(700e)를 결합하기 위한 결합부를 의미할 수 있다. 제 2 힌지는 실시예들에 따른 지지부를 임의의 방향으로 회전하도록 구성될 수 있다. The second hinge 700d according to the embodiments may mean a coupling portion for coupling the support and the support 700e according to the embodiments. The second hinge may be configured to rotate the support according to the embodiments in any direction.
실시예들에 따른 제 1 힌지 및 제 2 힌지는 제 1 관절부위 및 제 2 관절부위로 각각 호칭할 수도 있다.The first hinge and the second hinge according to the embodiments may be referred to as a first joint portion and a second joint portion, respectively.
실시예들에 따른 루프 카메라는 일 실시예로, 대상 물체가 자동차인 경우, 자동차의 상부면에 존재하는 안테나에 위치할 수 있다. 또한 일 실시예로, 루프 카메라는 대상 물체의 상부면으로부터 20cm 내지 1m 정도로 이격되도록 구성될 수 있으며, 바람직하게는 30cm의 크기를 가지도록 구성될 수 있다. The roof camera according to the embodiments may be positioned on an antenna existing on an upper surface of the vehicle when the target object is a vehicle. In addition, as an embodiment, the roof camera may be configured to be spaced apart from the top surface of the target object by about 20 cm to 1 m, and preferably may be configured to have a size of 30 cm.
따라서, 실시예들에 따른 루프 카메라의 제 2 루프 카메라(또는 제 2모드의 루프 카메라)를 설명한다. Accordingly, a second loop camera (or a second mode loop camera) of a loop camera according to embodiments will be described.
제 2 루프 카메라는 카메라로부터 일정 범위의 시야각에 대한 뷰(view)를 제공하기 위한 미러(mirror) 및 일정 범위의 시야각에 대한 뷰로부터 이미지 데이터를 획득하기 위한 이미지 센서를 포함할 수 있다.The second roof camera may include a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from a view for a range of viewing angles.
제 2 루프 카메라는 제 2 지지부의 상단에 결합될 수 있다. 이 때, 제 2 지지부는 제 1 물체의 상면과 제 2 지지부가 이루는 각도를 조절하도록 구성되는 제 1 힌지에 부착될 수 있고, 제 1 힌지는 제 1 물체의 상면에 부착되도록 구성될 수 있다. 제 2 루프 카메라는 제 2 지지부의 상단에 부착된 제 2 힌지에 의하여 결합될 수 있다. 또한, 제 2 힌지는 제 2 루프 카메라가 연직 방향의 반대 방향으로 향하도록 구성될 수 있다.The second roof camera may be coupled to an upper end of the second support. In this case, the second support portion may be attached to the first hinge configured to adjust an angle between the upper surface of the first object and the second support portion, and the first hinge may be configured to be attached to the upper surface of the first object. The second roof camera may be coupled by a second hinge attached to an upper end of the second support. In addition, the second hinge may be configured to face the second roof camera in a direction opposite to the vertical direction.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
또한, 실시예들에 따른 이미지 생성 장치를 이용하여 실제 위에서 바로보는 듯한 자연스러운 탑 뷰 이미지 또는 영상을 제공할 수 있다.In addition, it is possible to provide a natural top view image or image as if viewed directly from above by using the image generating apparatus according to the embodiments.
또한, 이러한 구성으로 인해 실시예들에 따른 루프 카메라의 높낮이를 조절하여 다양한 탑 뷰 이미지를 생성할 수 있다.In addition, due to this configuration, various top view images may be generated by adjusting the height of the roof camera according to the embodiments.
도 8은 실시예들에 따른 이미지 생성 장치를 나타낸다.8 shows an image generating apparatus according to embodiments.
구체적으로, 도 8은 대상 물체에 대한 탑 뷰 이미지를 생성하기 위한 실시예들에 따른 이미지 생성 장치를 개시한다. 실시예들에 따른 이미지 생성 장치는 상술한 대상 물체에 포함되는 장치일 수도 있고, 대상 물체와 연결되는 장치를 의미할 수도 있다. 실시예들에 따른 이미지 생성 장치는, 대상 물체에 장착된 실시예들에 따른 복수 개의 카메라(800a, 800b, 800c, 800d), 실시예들에 따른 루프 카메라(801), 실시예들에 따른 뎁스 맵 생성부(802), 실시예들에 따른 탑 뷰 생성부(803) 및 실시예들에 따른 보이드 리전 필링부(804)를 포함할 수 있다. 복수 개의 카메라는 4대의 카메라를 의미할 수 있다.Specifically, FIG. 8 discloses an image generating apparatus according to embodiments for generating a top view image of a target object. The image generating device according to the embodiments may be a device included in the above-described target object or may mean a device connected to the target object. The image generating apparatus according to the embodiments includes a plurality of cameras 800a, 800b, 800c, and 800d according to embodiments mounted on a target object, a roof camera 801 according to the embodiments, and a depth according to the embodiments. A map generation unit 802, a top view generation unit 803 according to embodiments, and a void region filling unit 804 according to embodiments may be included. The plurality of cameras may mean four cameras.
실시예들에 따른 이미지 생성 장치를 설명한다. 실시예들에 따른 뎁스 맵 생성부(802)는 뎁스 맵(Depth map) 생성 알고리즘을 이용하여 뎁스 맵(depth map)을 생성할 수 있다. 뎁스 맵(Depth map)에는 자동차 주변의 서 있는 물체에 대한 높이 정보를 포함할 수 있다. 뎁스 맵(Depth map)의 서 있는 물체에 대한 정보를 이용하여 루프 카메라로 찍은 영상과 같은 어답티브 AVM 탑 뷰(adaptive AVM top view)를 생성할 수 있다. AVM 탑 뷰에 있어서, AVM 탑 뷰(AVM top view) 이미지에서 서 있는 물체가 길게 늘어지게 표현 되던 것을 어답티브 AVM 탑 뷰(adaptive AVM top view)에서 자연스러운 물체로 표현하면서 기존 AVM 탑 (AVM top view)에서 길게 늘어지게 표현되는 영역에 대한 정보가 사라질(즉, Void 영역 발생할) 수 있다. 이런 보이드(void) 영역을 보이드 리전 필링(void region filling) 알고리즘을 적용하여 최종 어답티브 AVM 탑 뷰(adaptive AVM top view) 이미지 생성할 수 있다.An image generating apparatus according to embodiments will be described. The depth map generator 802 according to the embodiments may generate a depth map using a depth map generation algorithm. The depth map may include height information on a standing object around the vehicle. An adaptive AVM top view, such as an image taken with a loop camera, can be generated by using information on a standing object in the depth map. In the AVM top view, a standing object in the AVM top view image is elongated and expressed as a natural object in the adaptive AVM top view, while the existing AVM top view ), the information on the region that is expressed elongatedly may disappear (that is, a void region may occur). A final adaptive AVM top view image may be generated by applying a void region filling algorithm to such a void region.
다시 말하면, 실시예들에 따른 복수 개의 카메라(또는 어라운드 카메라, 800a, 800b, 800c, 800d)는 도 1 및 도 5에서 설명하는 복수 개의 카메라를 의미할 수 있다. 상술한 대상 물체의 측면에 부착되는 카메라를 의미할 수 있다. 즉, 복수 개의 카메라는 대상 물체의 주변을 촬영하여 대상 물체의 주변에 대한 이미지 데이터 또는 영상 데이터를 생성할 수 있다. 측면에 부착된 복수 개의 카메라는 대상 물체의 앞쪽 영역, 오른쪽 영역, 왼쪽 영역 및 뒤쪽 영역을 촬영하여 각각에 대응하는 이미지 데이터 또는 영상 데이터를 생성할 수 있다. 복수 개의 카메라 중 하나 또는 그 이상의 카메라는, 대상 물체의 주위의 영역을 촬영하기 위하여 광각 렌즈(wide-angle lens)를 포함하는 광각 카메라를 의미할 수 있고, AVM(Around View Monitoring) 카메라를 의미할 수도 있고, 일반 카메라를 의미할 수도 있다. 복수 개의 카메라는 생성된 각각의 이미지 데이터 또는 영상 데이터를 뎁스 맵 생성부(802)로 전달할 수 있다. 복수 개의 카메라는 4대의 카메라를 의미할 수 있다.In other words, a plurality of cameras (or around cameras 800a, 800b, 800c, and 800d) according to embodiments may mean a plurality of cameras described in FIGS. 1 and 5. It may mean a camera attached to the side surface of the above-described target object. That is, the plurality of cameras may photograph the periphery of the target object and generate image data or image data about the periphery of the target object. A plurality of cameras attached to the side may photograph a front area, a right area, a left area, and a rear area of the target object to generate image data or image data corresponding to each. One or more of the plurality of cameras may refer to a wide-angle camera including a wide-angle lens to photograph an area around the target object, and may refer to an AVM (Around View Monitoring) camera. It can be used, or it can mean a general camera. The plurality of cameras may transmit each of the generated image data or image data to the depth map generator 802. The plurality of cameras may mean four cameras.
실시예들에 따른 루프 카메라(801)는 도 5 내지 도 7에서 설명한 실시예들에 따른 루프 카메라를 의미할 수 있다. 다시 말해, 루프 카메라는 일 실시예로 도 6에서 상술한 루프카메라의 제 1 타입 및 제 2 타입이 있을 수 있다. 루프카메라의 제 1 타입 및 제 2 타입은 도 6 및 도 7에서 상술하였다. 복수 개의 카메라는 생성된 각각의 이미지 데이터 또는 영상 데이터를 뎁스 맵 생성부(802)로 전달할 수 있다. The loop camera 801 according to the embodiments may mean a loop camera according to the embodiments described with reference to FIGS. 5 to 7. In other words, the loop camera may include the first type and the second type of the roof camera described above in FIG. 6 as an embodiment. The first type and the second type of the roof camera have been described above with reference to FIGS. 6 and 7. The plurality of cameras may transmit each of the generated image data or image data to the depth map generator 802.
실시예들에 따른 루프 카메라(801)는 생략될 수도 있다. 이 경우 실시예들에 따른 이미지 생성 장치는 복수 개의 카메라(또는 어라운드 카메라)만을 이용하여 탑 뷰 이미지(또는 영상)를 생성할 수 있다. The roof camera 801 according to the embodiments may be omitted. In this case, the image generating apparatus according to the embodiments may generate a top view image (or image) using only a plurality of cameras (or around cameras).
실시예들에 따른 뎁스 맵 생성부(802)는 대상 물체에 위치하는 복수의 카메라들로부터 생성된 복수의 이미지들을 수신하고, 수신된 복수의 이미지들에 기초하여 대상 물체의 주변의 존재하는 물체들의 높이 정보를 포함하는 뎁스 맵(Depth map)을 생성할 수 있다. 뎁스 맵 생성부는 먼저 실시예들에 따른 복수 개의 카메라로부터 생성된 복수 개의 이미지 데이터 또는 영상 데이터를 수신할 수 있다. 뎁스 맵(Depth map)이란, 관찰 시점으로부터 물체 표면과의 거리와 관련된 정보가 담긴 하나의 영상 또는 영상의 한 종류를 의미할 수 있다. 즉, 뎁스 맵에는 대상 물체(예를 들어, 자동차 등) 주변의 서 있는 물체에 대한 높이 정보를 포함할 수 있다. 뎁스 맵은 상술한 복수 개의 카메라(복수 개의 어라운드 카메라 및/또는 루프 카메라)로부터 생성된 이미지 데이터 또는 영상 데이터에 기초하여 생성될 수 있다. The depth map generator 802 according to the embodiments receives a plurality of images generated from a plurality of cameras located on the target object, and based on the plurality of received images, A depth map including height information may be generated. The depth map generator may first receive a plurality of image data or image data generated from a plurality of cameras according to the embodiments. The depth map may mean one image or one type of image containing information related to a distance from an observation point to an object surface. That is, the depth map may include height information on an object standing around a target object (eg, a car, etc.). The depth map may be generated based on image data or image data generated from a plurality of cameras (a plurality of around cameras and/or loop cameras) described above.
실시예들에 따른 뎁스 맵 생성부(802)는 대상 물체의 주변에 존재하는 물체 또는 사람의 높이 정보를 포함하는 뎁스 맵(depth map)을 생성할 수 있다. 뎁스 맵은 제 1 모드에 대응하여 대상 물체의 측면에 포함된 복수 개의 카메라(800a, 800b, 800c, 800d)로부터 촬영된 이미지 데이터(또는 영상 데이터) 및 루프 카메라(801)로부터 촬영된 이미지 데이터(또는 영상 데이터)에 기초하여 생성될 수 있다. 또한, 뎁스 맵은 제 2 모드에 대응하여 대상 물체의 측면에 포함된 복수 개의 카메라(800a, 800b, 800c, 800d)로부터 촬영된 이미지 데이터(또는 영상 데이터) 및 학습 모델에 기초하여 생성될 수 있다.The depth map generator 802 according to embodiments may generate a depth map including height information of an object or person existing around the target object. The depth map includes image data (or image data) captured from a plurality of cameras 800a, 800b, 800c, and 800d included on the side of the target object in response to the first mode and image data captured from the loop camera 801 ( Or image data). In addition, the depth map may be generated based on image data (or image data) and a learning model captured from a plurality of cameras 800a, 800b, 800c, and 800d included in the side of the target object corresponding to the second mode. .
실시예들에 따른 뎁스 맵(depth map)은 루프 카메라 및 어라운드 카메라로부터 생성된 이미지 데이터 또는 영상 데이터로부터 매핑 정보를 추출 및 이용하여 생성될 수 있다. 이 때, 뎁스 맵 생성부(802)는 매핑 정보를 추출 및 이용함으로써 대상 물체의 주위에 존재하는 물체(주변의 서 있는 물체)의 높이를 알 수 있다. 다시 말해, 루프 카메라 및 어라운드 카메라로부터 생성된 이미지 데이터 및 영상 데이터로부터 대상 물체의 주변에 존재하는 물체를 추출하고, 주변에 존재하는 물체를 매핑하여 해당 물체의 높이에 대한 정보를 추출할 수 있다.A depth map according to embodiments may be generated by extracting and using mapping information from image data or image data generated from a loop camera and an around camera. In this case, the depth map generation unit 802 may know the height of an object (an object standing around) existing around the target object by extracting and using the mapping information. In other words, an object existing around the target object may be extracted from the image data and image data generated from the loop camera and the around camera, and information about the height of the object may be extracted by mapping the surrounding object.
실시예들에 따른 따라 루프 카메라(801)가 생략되는 경우가 있을 수 있다. 이 경우 실시예들에 따른 이미지 생성 장치는 복수 개의 카메라(어라운드 카메라)로부터 생성된 대상 물체의 주변에 대한 이미지 데이터 또는 영상 데이터에 기초하여 뎁스 맵을 생성할 수 있다. 이 때, 뎁스 맵은 학습을 통해 생성된 학습 모델(일 실시예로, 머신 러닝에 대한 학습 모델, 딥 러닝에 기반한 뉴럴 네트워크 모델 등)에 기초하여 생성될 수 있다. 학습을 통해 생성되는 학습 모델을 구축하는 방법은 도 10 내지 도 12에서 자세히 설명하도록 한다.In some embodiments, the loop camera 801 may be omitted. In this case, the image generating apparatus according to the embodiments may generate a depth map based on image data or image data about the periphery of a target object generated from a plurality of cameras (around cameras). In this case, the depth map may be generated based on a learning model generated through learning (for example, a learning model for machine learning, a neural network model based on deep learning, etc.). A method of constructing a learning model generated through learning will be described in detail with reference to FIGS. 10 to 12.
실시예들에 따른 탑 뷰 생성부(803)는 뎁스 맵 생성부(802)에 의해 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성할 수 있다. 탑 뷰 이미지는 학습을 통한 제 1 방식 또는 영상처리 알고리즘에 기반한 제 2 방식으로 수행될 수 있다. 학습을 통한 제 1 방식은 도 12에서 구체적으로 후술한다.The top view generator 803 according to the embodiments may generate a top view image based on the depth map generated by the depth map generator 802 and a plurality of images. The top view image may be performed in a first method through learning or a second method based on an image processing algorithm. The first method through learning will be described in detail later in FIG. 12.
실시예들에 따른 탑 뷰 이미지를 생성하기 위한, 탑 뷰 생성부의 영상처리 알고리즘에 기반한 제 2 방식을 설명한다. 탑 뷰 생성부(803)는 뎁스 맵 생성부로부터 뎁스 맵을 수신할 수 있다. 이 때, 탑 뷰 생성부는 수신한 뎁스 맵을 영상처리 알고리즘에 기초하여 탑 뷰 이미지를 생성할 수 있다. 영상처리 알고리즘은 다음과 같은 단계로 수행될 수 있다. 탑 뷰 이미지는 AVM 탑 뷰 이미지 또는 스탠딩 오브젝트 어답티브 AVM 탑 뷰(Standing object adaptive AVM top view)로 호칭할 수도 있다. 실시예들에 따른 탑 뷰 생성부는 대상 물체의 주위에 존재하는 물체에 대하여 적응적인 탑 뷰 이미지를 생성할 수 있고, 탑 뷰 생성부는 스탠딩 오브젝트 어답티브 AVM 탑 뷰(Standing object adaptive AVM top view) 생성부로 호칭할 수도 있다.A second method based on an image processing algorithm of a top view generator for generating a top view image according to embodiments will be described. The top view generator 803 may receive a depth map from the depth map generator. In this case, the top view generator may generate a top view image based on the image processing algorithm from the received depth map. The image processing algorithm can be performed in the following steps. The top view image may be referred to as an AVM top view image or a standing object adaptive AVM top view. The top view generation unit according to embodiments may generate an adaptive top view image for an object existing around the target object, and the top view generation unit generates a standing object adaptive AVM top view. It can also be called wealth.
먼저 실시예들에 따른 어라운드 카메라에 의해 획득된 이미지에서 바닥점에 대응하는 픽셀들을 추출하는 단계를 수행할 수 있다. 바닥점이란, 이미지 데이터에서 바닥에 해당하는 높이에 대응하는 픽셀을 의미할 수 있다. 따라서, 루프 카메라에 의해 획득된 이미지에 기초하여 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출 또는 구분할 수 있다. First, a step of extracting pixels corresponding to the bottom point from the image acquired by the around camera according to the embodiments may be performed. The floor point may mean a pixel corresponding to a height corresponding to a floor in image data. Accordingly, pixels corresponding to the bottom point included in the image acquired by the around camera may be extracted or classified based on the image acquired by the loop camera.
다음으로, 추출된 바닥점들에 기초하여, 어라운드 카메라에 의해 획득된 이미지에서 바닥점이 아닌 픽셀들의 값을 변환하는 단계를 더 수행할 수 있다. 바닥점에 해당하지 않은 픽셀들은 대상 물체의 주위에 존재하는 물체(또는 사람)가 기울어져 있는 각도(또는 눕는 각도)에 기초하여, 눕는 각도를 달리한 변환 식을 적용하여 픽셀들을 변환할 수 있다.Next, based on the extracted bottom points, a step of converting values of pixels other than the bottom point in the image acquired by the around camera may be further performed. Pixels that do not correspond to the floor point can be converted by applying a conversion equation in which the lying angle is different based on the tilt angle (or lying angle) of the object (or person) existing around the target object. .
실시예들에 따른 보이드 리전 필링부(804)는 탑 뷰 생성부(803)에 의해 생성된 탑 뷰 이미지를 수신하여 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)할 수 있다. 보이드 영역이란, 탑 뷰 이미지에 포함된 이미지 영역 중 루프 카메라 및/또는 어라운드 카메라로부터 생성된 이미지 데이터 또는 영상 데이터로부터 추출될 수 없는 영역을 의미할 수 있다. 보이드 영역을 필링하는 단계란, 보이드 영역에 해당하는 픽셀들을 다른 픽셀 값으로 채워넣는 것을 의미할 수 있다. 이 때, 채워지는 다른 픽셀 값은 특정 색을 포함하는 픽셀을 의미할 수도 있고, 일정한 투명도 및 반사율을 포함하는 픽셀을 의미할 수도 있다. 다른 실시예로, 채워지는 다른 픽셀 값은 보이드 영역이 아닌 영역에 기초한 값을 의미할 수 있다. 도 13에서 자세히 설명하도록 한다.The void region filling unit 804 according to the embodiments may receive a top view image generated by the top view generator 803 to fill a void region included in the top view image. . The void area may mean an area that cannot be extracted from image data or image data generated from a loop camera and/or an around camera among image areas included in the top view image. Filling the void area may mean filling pixels corresponding to the void area with different pixel values. In this case, the other pixel value to be filled may mean a pixel including a specific color or a pixel including a certain transparency and reflectance. In another embodiment, another pixel value to be filled may mean a value based on an area other than the void area. It will be described in detail in FIG. 13.
구체적으로 실시예들에 따른 보이드 영역은 다음과 같은 영역을 의미할 수 있다. 대상 물체의 주위에 존재하는 물체의 높이에 대한 정보를 고려하지 않은 탑 뷰를 생성하는 경우, 높이에 대한 정보를 고려하지 않은 탑 뷰는 대상 물체의 주위에 존재하는 물체가 길게 늘어지게 표현될 수 있다. 실시예들에 따른 이미지 생성 장치는 뎁스 맵을 이용하여 대상 물체의 주위에 존재하는 물체의 높이에 대한 정보를 고려함으로써 길게 늘어지게 표현될 수 있는 주위의 물체가 보정될 수 있다. 이 때, 길게 늘어지게 표현되는 영역 중 어라운드 카메라 및 루프 카메라에 의해 추출될 수 없는 공간에 대한 정보를 보이드 영역으로 호칭할 수 있다.Specifically, the void area according to the embodiments may mean the following area. In the case of creating a top view that does not take into account the height of an object that exists around the target object, the top view that does not take into account the information about the height can be expressed such that the object existing around the target object is elongated. have. The image generating apparatus according to the embodiments may correct a surrounding object that may be elongated and expressed by considering information on the height of an object existing around the target object using a depth map. In this case, information on a space that cannot be extracted by the around camera and the loop camera among the regions expressed to be elongated may be referred to as a void region.
따라서, 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계를 수행할 수 있다. 이 때, 복수의 카메라들은 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 제 1 물체의 상면에 위치하는 루프 카메라를 포함할 수 있다. Therefore, an image generation method according to embodiments will be described. The image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object. In this case, the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
다음으로, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계를 수행할 수 있다. 이 때, 뎁스 맵은 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함할 수 있다. 이 때, 제 2 물체는 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체를 의미할 수 있다. 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 제 2 물체를 촬영하여 복수의 이미지들의 제 1 이미지를 생성하며, 루프 카메라는 제 2 물체를 촬영하여 복수의 이미지들의 제 2 이미지를 생성할 수 있다.Next, a step of generating a depth map based on a plurality of images may be performed. In this case, the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras. In this case, the second object may mean an object that is separated by a predetermined distance from the first object. At least one or more of the plurality of cameras photographs a second object to generate a first image of a plurality of images, and the loop camera photographs the second object to generate a second image of the plurality of images. .
다음으로 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계를 수행할 수 있다. 즉, 뎁스 맵은 제 1 이미지 및 제 2 이미지에 기초하여 생성될 수 있다. 또한, 탑 뷰 이미지는 뎁스 맵에 기초한 제 2 물체의 높이 정보, 제 1 이미지 및 제 2 이미지에 기초하여 생성된 이미지를 의미할 수 있다.Next, an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. That is, the depth map may be generated based on the first image and the second image. Also, the top view image may mean an image generated based on height information of a second object based on a depth map, a first image, and a second image.
그 후, 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 단계를 수행할 수 있다. 이 때, 보이드 영역은 탑 뷰 이미지에 포함된, 복수의 이미지들로부터 추출될 수 없는 영역을 의미할 수 있다. 즉, 보이드 영역은 제 1 이미지 및 제 2 이미지로부터 추출될 수 없는 영역을 의미할 수 있다. 보이드 영역을 필링하는 단계는 제 2 물체에 대한 영역에 포함된 보이드 영역에 포함된 적어도 하나의 픽셀에 대한 정보를 변환하고, 이 때, 픽셀에 대한 정보는 픽셀의 투명도를 나타내는 정보 및 픽셀의 색을 나타내는 정보를 포함할 수 있다. 다른 실시예로, 보이드 영역은 탑 뷰 이미지에서 보이드 영역을 제외한 영역에 대한 픽셀에 기초하여 필링되거나 일정한 픽셀 값으로 필링될 수도 있다.Thereafter, a step of filling a void region included in the generated top view image may be performed. In this case, the void area may mean an area that cannot be extracted from a plurality of images included in the top view image. That is, the void area may mean an area that cannot be extracted from the first image and the second image. In the step of filling the void area, information on at least one pixel included in the void area included in the area for the second object is converted, and the information on the pixel is information indicating the transparency of the pixel and the color of the pixel. It may include information indicating In another embodiment, the void area may be filled based on a pixel for an area other than the void area in the top view image or may be filled with a predetermined pixel value.
또한, 상술한 실시예들에 따른 이미지 생성 방법에 대응하는 실시예들에 따른 이미지 생성 장치를 설명한다. 상술한 실시예들에 따른 이미지 생성 방법에 대응하는 실시예들에 따른 이미지 생성 장치는, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하고, 수신한 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 뎁스 맵 생성부를 포함할 수 있다. 또한, 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 탑 뷰 생성부를 포함할 수 있다. 또한, 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 필링부가 포함될 수 있다. In addition, an image generating apparatus according to embodiments corresponding to the image generating method according to the above-described embodiments will be described. The image generating apparatus according to embodiments corresponding to the image generating method according to the above-described embodiments receives a plurality of images from a plurality of cameras positioned on a first object, and based on the received plurality of images. It may include a depth map generator that generates a depth map. In addition, it may include a top view generator that generates a top view image based on the generated depth map and a plurality of images. In addition, a filling unit for filling a void region included in the generated top view image may be included.
여기서, 탑 뷰 이미지는 영상처리 알고리즘에 기초하여 생성될 수 있다. 이 때, 영상처리 알고리즘은, 루프 카메라에 의해 획득된 이미지에 기초하여 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출하는 단계 및 바닥점이 아닌 픽셀들의 값을 변환하는 단계를 수행하는 것을 의미할 수 있다.Here, the top view image may be generated based on an image processing algorithm. In this case, the image processing algorithm includes extracting pixels corresponding to the bottom point included in the image acquired by the around camera based on the image acquired by the loop camera and converting values of pixels other than the bottom point. It can mean performing.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
또한, 실시예들에 따른 이미지 생성 장치를 이용하여 실제 위에서 바로보는 듯한 자연스러운 탑 뷰 이미지 또는 영상을 제공할 수 있다.In addition, it is possible to provide a natural top view image or image as if viewed directly from above by using the image generating apparatus according to the embodiments.
도 9는 실시예들에 따른 이미지 생성 장치를 이용하여 자동차에 대한 탑 뷰를 생성하기 위하여 실시예들에 따른 테스트 데이터를 생성하는 것을 나타낸다. 9 illustrates generating test data according to embodiments in order to generate a top view of a vehicle by using the image generating apparatus according to the embodiments.
구체적으로, 도 9는 대상 물체가 자동차일 수 있다. 또한, 실시예들에 따른 루프 카메라와 복수의 어라운드 카메라를 동시에 촬영하여, 또는 복수의 어라운드 카메라만을 촬영하여 실시예들에 따른 이미지 생성 장치가 탑 뷰를 생성하기 위한 실시예들에 따른 테스트 데이터를 획득하는 동작을 나타낸다.Specifically, in FIG. 9, the target object may be a vehicle. In addition, by simultaneously photographing a loop camera and a plurality of around cameras according to the embodiments, or by photographing only a plurality of around cameras, the image generating apparatus according to the embodiments may generate test data according to the embodiments for generating a top view. Represents the action to be acquired.
자동차 주변에 있는 물체를 왜곡 없이 실제로 공중에서 보는 듯한 AVM top view 이미지 생성을 위한 테스트 데이터 획득할 필요가 있다. 자동차 루프 위에 카메라를 설치할 수 있다. 구체적으로 위에서 자동차를 내려다 보이도록 설치하며, 광각 카메라 혹은 일반 카메라를 이용할 수 있다. 이 때, 루프 카메라와 AVM 카메라로 동시에 촬영할 수 있다. 자동차가 움직이는 경우에는 루프카메라와 AVM 카메라의 동기를 맞춰야 하며, 정차 중에는 정적 이미지(still image)로 촬영이 가능하다. 즉, 루프 카메라와 AVM 카메라 4대를 동시에 촬영하여 테스트 데이터 획득할 수 있다.It is necessary to acquire test data to create an AVM top view image that looks like you are actually viewing an object around the car from the air without distortion. Cameras can be installed on the roof of the car. Specifically, it is installed to look down on the car from above, and a wide-angle camera or a general camera can be used. At this time, you can shoot with the roof camera and the AVM camera at the same time. When the car is moving, the roof camera and the AVM camera must be synchronized, and when the vehicle is stopped, still images can be taken. In other words, it is possible to acquire test data by simultaneously photographing a loop camera and four AVM cameras.
다시 말해, 실시예들에 따른 테스트 데이터는 도 8에서 설명한, 학습을 통한 제 1 방식을 이용한 탑 뷰를 생성하기 위한 대량의 데이터를 의미할 수 있다. 즉, 본 도면에서는 실시예들에 따른 학습 모델을 생성하기 위한 테스트 데이터를 수집하는 방법을 개시한다. 실시예들에 따른 학습 모델은 일 실시예로 딥 뉴럴 네트워크(Deep Neural Network)의 모델을 의미할 수 있고 머신 러닝에 기반한 알고리즘 모델(예를 들어, 결정 트리 모델 등)을 의미할 수 있다. 실시예들에 따른 테스트 데이터는 딥 뉴럴 네트워크의 모델을 구성하기 위한 트레이닝 세트(Training set), 개발 세트(Development set) 및/또는 테스트 세트(Test set)를 의미할 수 있다.In other words, the test data according to the embodiments may mean a large amount of data for generating a top view using the first method through learning described in FIG. 8. That is, in this drawing, a method of collecting test data for generating a learning model according to embodiments is disclosed. A learning model according to embodiments may refer to a model of a deep neural network and may refer to an algorithm model (eg, a decision tree model, etc.) based on machine learning. Test data according to embodiments may mean a training set, a development set, and/or a test set for constructing a model of a deep neural network.
즉, 실시예들에 따른 테스트 데이터는 대상 물체(본 도면에서는 자동차)에 대한 탑 뷰를 생성하기 위한 학습 모델을 구축하기 위한 데이터를 포함할 수 있다. 실시예들에 따른 각각의 어라운드 카메라는 테스트 데이터를 생성하기 위하여 대상 물체의 주위에 존재하는 물체 또는 사람을 촬영할 수 있고, 해당 이미지들 또는 영상 데이터를 대량으로 포함하여 테스트 데이터를 구축할 수 있다.That is, the test data according to the embodiments may include data for constructing a learning model for generating a top view of a target object (a vehicle in this drawing). Each of the around cameras according to the embodiments may photograph an object or a person existing around the target object in order to generate test data, and may construct test data by including the corresponding images or image data in a large amount.
실시예들에 따른 테스트 데이터를 이용하여 생성될 수 있는 학습 모델은 다음과 같다. 루프 카메라와 복수의 어라운드 카메라를 동시에 촬영하여 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 탑 뷰를 생성하기 위한 제 1 학습 모델이 있을 수 있다.A learning model that can be generated using test data according to embodiments is as follows. There may be a first learning model for generating a top view based on image data or image data generated by simultaneously photographing a loop camera and a plurality of around cameras.
실시예들에 따른 대상 물체에 루프 카메라가 생략되는 경우에도 탑 뷰를 생성하기 위한 제 2 학습 모델이 개시될 수 있다. 즉, 복수의 어라운드 카메라만을 이용하여 촬영되어 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 탑 뷰를 생성하기 위한 제 2 학습 모델이 있을 수 있다. Even when a loop camera is omitted for a target object according to embodiments, a second learning model for generating a top view may be started. That is, there may be a second learning model for generating a top view based on image data or image data generated by being photographed using only a plurality of around cameras.
또한, 실시예들에 따른 대상 물체에 루프 카메라가 생략되는 경우, 뎁스 맵을 생성하기 위한 제 3 학습 모델이 개시될 수 있다. 즉, 복수의 어라운드 카메라만을 이용하여 촬영되어 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 뎁스 맵을 생성하기 위한 제 3 학습 모델이 있을 수 있다.In addition, when a loop camera is omitted for a target object according to embodiments, a third learning model for generating a depth map may be initiated. That is, there may be a third learning model for generating a depth map based on image data or image data generated by being photographed using only a plurality of around cameras.
실시예들에 따른 대상 물체(900)는 본 도면에서 일 실시예로 자동차를 의미할 수 있다. 실시예들에 따른 이미지 생성 장치는 대상 물체(900)에 포함될 수도 있고, 대상 물체와 통신이 가능하도록 구성된 외부의 장치에 포함될 수도 있다. 또한, 대상 물체인 자동차는 상부면에 루프 카메라(901)를 포함할 수 있다. 또한, 대상 물체인 자동차는 측면에 어라운드 카메라를 포함할 수 있다. The target object 900 according to the embodiments may mean a vehicle as an embodiment in this drawing. The image generating apparatus according to the embodiments may be included in the target object 900 or may be included in an external device configured to communicate with the target object. In addition, a vehicle that is a target object may include a roof camera 901 on an upper surface. In addition, a vehicle that is a target object may include an around camera on its side.
실시예들에 따른 각각의 어라운드 카메라는 탑 뷰를 생성하기 위한 테스트 데이터를 수집할 수 있다. 즉, 각각의 어라운드 카메라는 자동차 주위에 존재하는 물체를 촬영하여 탑 뷰를 생성하기 위한 테스트 데이터를 생성할 수 있다.Each of the around cameras according to the embodiments may collect test data for generating a top view. That is, each around camera may generate test data for generating a top view by photographing an object existing around the vehicle.
실시예들에 따른 루프 카메라(901)은 자동차의 루프(즉, 상부면)에 위치하여 자동차 주위에 존재하는 물체 또는 사람을 촬영할 수 있다. 실시예들에 따른 루프 카메라는 도 6 및 도 7에서 설명한 일 실시예들에 따른 루프 카메라를 의미할 수 있다. The roof camera 901 according to the embodiments may be positioned on a roof (ie, an upper surface) of a vehicle to photograph an object or a person existing around the vehicle. The loop camera according to the embodiments may mean a loop camera according to the embodiments described with reference to FIGS. 6 and 7.
실시예들에 따른 대상 물체에 루프 카메라가 위치하지 않는 경우도 개시될 수 있다. 루프 카메라(901)가 없는 경우, 테스트 데이터는 후술할 어라운드 카메라의 촬영 영역에 대한 이미지 데이터 또는 영상 데이터를 포함할 수 있다.A case in which the loop camera is not positioned on the target object according to the embodiments may also be initiated. In the absence of the loop camera 901, the test data may include image data or image data for a photographing area of an around camera, which will be described later.
실시예들에 따른 어라운드 카메라(902)는 자동차의 측면에 존재하여 자동차의 주위에 존재하는 물체 또는 사람을 촬영할 수 있다. 어라운드 카메라는 자동차의 전면부, 후면부, 좌측면부 및 우측면부에 각각 존재하는 카메라를 의미할 수 있다. 어라운드 카메라는 상술한 실시예들에 따른 어라운드 카메라를 의미할 수 있다.The around camera 902 according to the embodiments may be present on the side of the vehicle to capture an object or person existing around the vehicle. The around camera may refer to a camera that exists on the front, rear, left and right sides of a vehicle. The around camera may mean an around camera according to the above-described embodiments.
실시예들에 따른 어라운드 카메라의 촬영 영역(902a)은 자동차의 주위에 존재하는 물체 또는 사람을 포함하는 영역을 의미할 수 있다. 어라운드 카메라의 촬영 영역(902a)은 상술한 테스트 데이터로 활용될 수 있다. 이 때, 자동차가 움직이는 경우에는 어라운드 카메라는 상술한 루프 카메라(902)와 동시에 자동자 주위에 존재하는 물체(또는 영역)을 촬영할 수 있다. 즉, 자동차가 움직이는 경우에는 루프카메라와 어라운드 카메라의 동기를 맞춰야 한다. 또한, 정차 중에는 정적 이미지(still image)로 촬영이 가능하다.The photographing area 902a of the around camera according to the embodiments may mean an area including an object or a person existing around the vehicle. The photographing area 902a of the around camera may be used as the above-described test data. In this case, when the vehicle is moving, the around camera may capture an object (or area) existing around the vehicle at the same time as the roof camera 902 described above. In other words, when the car is moving, the roof camera and the around camera must be synchronized. In addition, it is possible to shoot as a still image while the vehicle is stopped.
실시예들에 따른 테스트 데이터는 가상 공간으로 획득될 수도 있다. 다시 말해, 테스트 데이터는 컴퓨터 그래픽스에 기초하여 생성된 가상 공간과 대상 물체(자동차)를 이용하여 획득될 수도 있다. 가상 공간을 이용한 테스트 데이터를 획득하는 과정은 도 10에서 자세히 설명하도록 한다.Test data according to embodiments may be obtained in a virtual space. In other words, the test data may be obtained using a virtual space and a target object (car) generated based on computer graphics. A process of acquiring test data using a virtual space will be described in detail with reference to FIG. 10.
따라서, 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법은 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계를 수행할 수 있다. 이 때, 복수의 카메라들은 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 제 1 물체의 상면에 위치하는 루프 카메라를 포함할 수 있다. Therefore, an image generation method according to embodiments will be described. The image generation method according to the embodiments may perform the step of receiving a plurality of images from a plurality of cameras positioned on a first object. In this case, the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object.
다음으로, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계를 수행할 수 있다. 이 때, 뎁스 맵은 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함할 수 있다.Next, a step of generating a depth map based on a plurality of images may be performed. In this case, the depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras.
다음으로 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계를 수행할 수 있다. 그 후, 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 단계를 수행할 수 있다. 이 때, 보이드 영역은 탑 뷰 이미지에 포함된, 복수의 이미지들로부터 추출될 수 없는 영역을 의미할 수 있다. Next, an operation of generating a top view image may be performed based on the generated depth map and a plurality of images. Thereafter, a step of filling a void region included in the generated top view image may be performed. In this case, the void area may mean an area that cannot be extracted from a plurality of images included in the top view image.
또한, 상술한 실시예들에 따른 이미지 생성 방법에 대응하는 실시예들에 따른 이미지 생성 장치를 설명한다. 상술한 실시예들에 따른 이미지 생성 방법에 대응하는 실시예들에 따른 이미지 생성 장치는, 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하고, 수신한 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 뎁스 맵 생성부를 포함할 수 있다. 또한, 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 탑 뷰 생성부를 포함할 수 있다. 또한, 생성된 탑 뷰 이미지에 포함된 보이드 영역(void region)을 필링(filling)하는 필링부가 포함될 수 있다. In addition, an image generating apparatus according to embodiments corresponding to the image generating method according to the above-described embodiments will be described. The image generating apparatus according to embodiments corresponding to the image generating method according to the above-described embodiments receives a plurality of images from a plurality of cameras positioned on a first object, and based on the received plurality of images. It may include a depth map generator that generates a depth map. In addition, it may include a top view generator that generates a top view image based on the generated depth map and a plurality of images. In addition, a filling unit for filling a void region included in the generated top view image may be included.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
도 10은 실시예들에 따른 이미지 생성 장치를 이용하여 자동차에 대한 탑 뷰를 생성하기 위한 테스트 데이터의 일 실시예를 나타낸다.10 illustrates an example of test data for generating a top view of a vehicle using the image generating apparatus according to the embodiments.
구체적으로, 도 10은 가상 공간(또는 가상 이미지)으로 인해 획득되는 실시예들에 따른 테스트 데이터를 의미할 수 있다. 실시예들에 따른 테스트 데이터는 컴퓨터 그래픽스에 기초하여 생성된 가상 공간과 대상 물체(자동차)를 이용하여 획득될 수도 있다. Specifically, FIG. 10 may refer to test data according to embodiments obtained by using a virtual space (or a virtual image). Test data according to embodiments may be obtained using a virtual space and a target object (car) generated based on computer graphics.
실시예들에 따른 테스트 데이터 획득에는 많은 시간과 비용이 필요할 수 있다. 이 때, 가상 이미지 툴(tool)을 활용하여 이전 페이지와 같은 테스트 데이터 획득하는데 시간과 비용을 절약할 수 있다. 즉, 가상 이미지 툴(tool)을 활용하여 루프 카메라 이미지와 AVM 이미지를 획득할 수 있다.Acquisition of test data according to embodiments may require a lot of time and cost. In this case, it is possible to save time and cost in obtaining test data such as the previous page by using a virtual image tool. That is, it is possible to acquire a loop camera image and an AVM image using a virtual image tool.
구체적으로, 실시예들에 따른 테스트 데이터를 생성하기 위하여 컴퓨터 그래픽스에 기초한 가상 공간(또는 가상 이미지)이 개시될 수 있다. 가상 공간은 특정 도시를 모델링한 공간을 의미할 수 있다. 일 실시예로, 대상 물체가 자동차이고, 대상 물체인 자동차에 대한 탑 뷰를 생성하기 위하여 획득되어야 할 이미지 데이터 또는 영상 데이터가 테스트 데이터일 수 있다. Specifically, a virtual space (or virtual image) based on computer graphics may be initiated to generate test data according to embodiments. The virtual space may mean a space modeling a specific city. In an embodiment, the target object is a vehicle, and image data or image data to be acquired in order to generate a top view of a vehicle that is the target object may be test data.
실시예들에 따른, 테스트 데이터는 다음과 같이 구성할 수 있다. 가상 공간 및 가상으로 생성한 대상 물체(또는 가상 이미지)를 설정하고, 대상 물체의 각 측면에서 바라보는 대상 물체의 주위에 대한 영역을 이미지 데이터 또는 영상 데이터로 추출할 수 있다. 대상 물체의 각 측면에서 바라보는 대상 물체의 주위에 대한 영역을 이미지 데이터 또는 영상 데이터에 대응하는 탑 뷰 이미지 데이터 또는 영상 데이터를 추출할 수 있다. 즉, 동일한 시간에 대상 물체의 주위에 대한 영역을 이미지 데이터 또는 영상 데이터(이하, 주위 테스트 데이터)와 그에 대응하는 탑 뷰 이미지(이하, 탑 뷰 테스트 데이터)를 추출할 수 있다. 이 경우, 테스트 데이터는 특정 시간에 대한 주위 테스트 데이터와 탑 뷰 테스트 데이터를 하나를 의미할 수 있고, 이러한 테스트 데이터를 기반으로 학습 모델을 생성할 수 있다.According to embodiments, test data may be configured as follows. A virtual space and a virtually generated target object (or virtual image) may be set, and an area around the target object viewed from each side of the target object may be extracted as image data or image data. Image data or top-view image data or image data corresponding to the image data may be extracted from an area around the target object viewed from each side of the target object. That is, image data or image data (hereinafter, referred to as ambient test data) and a corresponding top view image (hereinafter, referred to as top view test data) may be extracted from the area around the target object at the same time. In this case, the test data may mean one of surrounding test data and top view test data for a specific time, and a learning model may be generated based on these test data.
다시 말해, 실시예들에 따른 주위 테스트 데이터(1000a, 1000b, 1000c, 1000d)는 가상 공간에서 생성된 대상 물체(자동차)의 측면에서 자동차의 주위에 대한 영역을 나타내는 이미지 데이터일 수 있다. 도 10에서 각각의 주위 테스트 데이터는 자동차의 전면부, 후면부, 좌측면부 및 우측면부 주위에 대한 영역을 나타내는 이미지 데이터일 수 있다. In other words, the surrounding test data 1000a, 1000b, 1000c, and 1000d according to the embodiments may be image data representing an area around the vehicle from the side of the target object (vehicle) generated in the virtual space. Each of the surrounding test data in FIG. 10 may be image data representing regions around the front, rear, left and right sides of the vehicle.
실시예들에 따른 이미지 생성 방법에 있어서, 탑 뷰 이미지는 제 1 학습 모델에 기초하여 생성된 이미지이고, 제 1 학습 모델은 복수의 이미지들 및 뎁스 맵을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델이 개시될 수 있다.In the image generation method according to the embodiments, the top view image is an image generated based on a first learning model, and the first learning model forward propagation and back training data including a plurality of images and a depth map. The generated model can be initiated by performing word propagation.
또한, 실시예들에 따른 복수의 카메라들이 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라만 포함하는 경우, 이미지 생성 방법은 뎁스 맵을 생성하지 않고, 탑 뷰 이미지는 제 2 학습 모델을 이용하여 복수의 이미지들에 기초하여 생성되고, 제 2 학습 모델은 복수의 이미지들을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델이 개시될 수 있다.In addition, when the plurality of cameras according to the embodiments include only one or more around cameras positioned on the first surface of the first object, the image generation method does not generate a depth map, and the top view image is second learned. The second learning model is generated based on a plurality of images using the model, and the generated model may be initiated by performing forward and backward propagation on training data including a plurality of images.
이러한 가상 공간을 활용함으로써 테스트 데이터를 획득하는 과정에서 많은 시간과 비용을 절감할 수 있다. 즉, 1차적으로 가상 공간 툴(또는 가상 이미지 툴)을 활용하여 테스트 데이터의 수집 및 학습 모델 개발을 진행하고, 학습 모델에 대한 에러(error)를 줄이기 위하여 파인 튜닝(fine tuning)을 하는 경우에는 실제 차량에 어라운드 카메라 및/또는 루프 카메라를 장착함으로써, 시간과 비용을 절감할 수 있다.By using this virtual space, it is possible to save a lot of time and cost in the process of acquiring test data. That is, in the case of collecting test data and developing a learning model primarily using a virtual space tool (or virtual image tool), and performing fine tuning to reduce errors in the learning model, By attaching an around camera and/or a roof camera to an actual vehicle, it is possible to save time and money.
도 11(a)는 실시예들에 따른 루프 카메라 및 어라운드 카메라를 이용하여 탑 뷰 이미지를 생성하는 과정을 나타낸다.11A illustrates a process of generating a top view image using a loop camera and an around camera according to embodiments.
구체적으로 도 11(a)는 루프 카메라 및 어라운드 카메라를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람의 높이 정보가 포함된 실시예들에 따른 뎁스 맵을 생성하고, 생성된 뎁스 맵에 포함된 높이 정보에 기초하여 실시예들에 따른 탑 뷰를 생성하는 과정을 나타낸다. 이 떄, 도 11(a)는, 실시예들에 따른 어라운드 카메라 및/또는 루프 카메라로부터 생서되는 복수의 이미지들에 포함된 모든 픽셀이 바닥점이라는 가정하에 만들어진 탑 뷰 이미지를 의미한다. 바닥점이란, 이미지 데이터에서 바닥에 해당하는 높이에 대응하는 픽셀을 의미할 수 있다.Specifically, FIG. 11(a) shows a depth map according to embodiments including height information of an object or person existing around a target object using a loop camera and an around camera, and included in the generated depth map. It shows a process of generating a top view according to embodiments based on height information. In this case, FIG. 11(a) refers to a top view image made under the assumption that all pixels included in a plurality of images generated from the around camera and/or the loop camera according to the embodiments are the bottom point. The floor point may mean a pixel corresponding to a height corresponding to a floor in image data.
실시예들에 따른 이미지 생성 장치 및/또는 방법은 주변의 서있는 물체들의 높이 정보를 포함하는 뎁스 맵(depth map)을 생성할 수 있다. 이 때, 실시예들에 따른 이미지 생성 장치 및/또는 방법은 루프 카메라와 AVM 카메라와의 매핑 정보를 이용하여 물체의 높이를 알 수 있다. 도 11(a)의 좌측 도면은 모든 픽셀이 바닥점이라는 가정하에 만들어진 탑 뷰(top view)를 나타내고, 오른쪽은 루프 카메라로 촬영한 탑 뷰(top view)를 나타낼 수 있다. 실시예들에 따른 이미지 생성 장치 및/또는 방법은 AVM 카메라와 루프 카메라 두 영상을 매핑하여 물체의 높이를 측정할 수 있다.The image generating apparatus and/or method according to the embodiments may generate a depth map including height information of surrounding standing objects. In this case, the image generating apparatus and/or method according to the embodiments may know the height of the object using mapping information between the loop camera and the AVM camera. The left drawing of FIG. 11(a) shows a top view made under the assumption that all pixels are the bottom point, and the right shows a top view taken with a roof camera. The image generating apparatus and/or method according to the embodiments may measure the height of an object by mapping two images of an AVM camera and a loop camera.
구체적으로 말하자면, 탑 뷰 이미지는 학습을 통한 제 1 방식 또는 영상처리 알고리즘에 기반한 제 2 방식으로 수행될 수 있다. 학습을 통한 제 1 방식은 도 12에서 구체적으로 후술한다.Specifically, the top view image may be performed in a first method through learning or a second method based on an image processing algorithm. The first method through learning will be described in detail later in FIG. 12.
실시예들에 따른 탑 뷰 이미지를 생성하기 위한, 탑 뷰 생성부의 영상처리 알고리즘에 기반한 제 2 방식을 설명한다. 탑 뷰 생성부는 뎁스 맵 생성부로부터 뎁스 맵을 수신할 수 있다. 뎁스 맵은 루프 카메라 및 어라운드 카메라로부터 수신되는 복수의 이미지 데이터 또는 영상 데이터에 기초하여, 뎁스 맵 생성부에 의해 생성될 수 있다. 이 때, 탑 뷰 생성부는 수신한 뎁스 맵을 영상처리 알고리즘에 기초하여 탑 뷰 이미지를 생성할 수 있다. 영상처리 알고리즘은 다음과 같은 단계로 수행될 수 있다. A second method based on an image processing algorithm of a top view generator for generating a top view image according to embodiments will be described. The top view generator may receive a depth map from the depth map generator. The depth map may be generated by the depth map generator based on a plurality of image data or image data received from a loop camera and an around camera. In this case, the top view generator may generate a top view image based on the image processing algorithm from the received depth map. The image processing algorithm can be performed in the following steps.
먼저 실시예들에 따른 어라운드 카메라에 의해 획득된 이미지에서 바닥점에 대응하는 픽셀들을 추출하는 단계를 수행할 수 있다. 따라서, 루프 카메라에 의해 획득된 이미지에 기초하여 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출 또는 구분할 수 있다. First, a step of extracting pixels corresponding to the bottom point from the image acquired by the around camera according to the embodiments may be performed. Accordingly, pixels corresponding to the bottom point included in the image acquired by the around camera may be extracted or classified based on the image acquired by the loop camera.
다음으로, 추출된 실시예들에 따른 바닥점들에 기초하여, 어라운드 카메라에 의해 획득된 이미지에서 바닥점이 아닌 픽셀들의 값을 변환하는 단계를 더 수행할 수 있다. 바닥점에 해당하지 않은 픽셀들은 대상 물체의 주위에 존재하는 물체(또는 사람)가 기울어져 있는 각도(또는 눕는 각도)에 기초하여, 눕는 각도를 달리한 변환 식을 적용하여 픽셀들을 변환할 수 있다.Next, based on the extracted bottom points according to the exemplary embodiments, a step of converting values of pixels other than the bottom point in the image acquired by the around camera may be further performed. Pixels that do not correspond to the floor point can be converted by applying a conversion equation in which the lying angle is different based on the tilt angle (or lying angle) of the object (or person) existing around the target object. .
실시예들에 따른 대상 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보는 실시예들에 따른 루프 카메라와 어라운드 카메라와의 매핑(Mapping) 정보를 이용하여 추출할 수 있다. 대상 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보는 뎁스 맵에 포함될 수 있다.Information about the height of an object or a person existing around a target object according to embodiments may be extracted using mapping information between a loop camera and an around camera according to the embodiments. Information about the height of an object or person existing around the target object may be included in the depth map.
따라서, 실시예들에 따른 이미지 생성 방법으로, 탑 뷰 이미지는 영상처리 알고리즘에 기초하여 생성되고, 영상처리 알고리즘은 다음과 같이 개시될 수 있다. 먼저, 루프 카메라에 의해 획득된 이미지에 기초하여 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출하는 단계가 수행될 수 있다. 다음으로, 바닥점이 아닌 픽셀들의 값을 변환하는 단계를 더 수행할 수 있다.Accordingly, in the image generation method according to the embodiments, a top view image is generated based on an image processing algorithm, and the image processing algorithm may be initiated as follows. First, an operation of extracting pixels corresponding to a bottom point included in an image acquired by an around camera based on an image acquired by a loop camera may be performed. Next, a step of converting values of pixels other than the bottom point may be further performed.
또한, 실시예들에 따른 이미지 생성 장치로, 상술한 실시예들에 따른 이미지 생성 방법이 수행되는 장치가 개시될 수 있다. 즉, 상술한 영상처리 알고리즘에 기초하여 탑 뷰 이미지가 생성될 수 있다.Also, as the image generating apparatus according to the embodiments, an apparatus in which the image generating method according to the above-described embodiments is performed may be disclosed. That is, a top view image may be generated based on the image processing algorithm described above.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
도 11(b)는 실시예들에 따른 어라운드 카메라만을 이용하여 탑 뷰 이미지를 생성하는 과정을 나타낸다.11(b) shows a process of generating a top view image using only an around camera according to embodiments.
구체적으로 도 11(b)는 실시예들에 따른 어라운드 카메라만를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람의 높이 정보가 포함된 실시예들에 따른 뎁스 맵을 생성하고, 생성된 뎁스 맵에 포함된 높이 정보에 기초하여 실시예들에 따른 탑 뷰를 생성하는 과정을 나타낸다. 즉, 대상 물체에 루프 카메라가 생략되는 경우, 탑 뷰를 생성하기 위한 뎁스 맵을 생성하는 과정을 나타낸 것이다.Specifically, FIG. 11(b) shows a depth map according to embodiments including height information of an object or person existing around a target object using only the around camera according to the embodiments, and the generated depth map It shows a process of generating a top view according to embodiments based on the included height information. That is, when the loop camera is omitted for the target object, a process of generating a depth map for generating a top view is shown.
실시예들에 따른 이미지 생성 장치 및/또는 방법은 오프라인에서 AVM 카메라 정보만을 이용하여 물체의 높이 정보를 표시하는 depth map을 만들도록 학습하거나 학습된 모델을 사용할 수 있다. 또한, 학습 방식도 가능하며, 영상 처리에서 사용되는 매칭(matching) 기법을 이용하여 구현 가능할 수 있다.The image generating apparatus and/or method according to the embodiments may be trained to create a depth map displaying height information of an object using only AVM camera information or use a learned model offline. In addition, a learning method is also possible, and may be implemented using a matching technique used in image processing.
다시 말해, 실시예들에 따른 뎁스 맵은 어라운드 카메라로부터 촬영되어 생성된 이미지 데이터 또는 영상 데이터에만 기초하여 생성할 수 있다. 실시예들에 따른 뎁스 맵은 대상 물체의 주위에 존재하는 물체 또는 사람에 대한 높이 정보를 포함하는 이미지 데이터 또는 영상 데이터를 의미할 수 있다. 이 경우 뎁스 맵은, 실시예들에 따른 학습 모델을 이용하여 생성할 수 있다. 학습 모델은 도 9에서 설명한 제 3 학습 모델을 의미할 수 있다. 즉, 대상 물체에 실시예들에 따른 루프 카메라가 생략되어 실시예들에 따른 복수의 어라운드 카메라만을 이용하여 촬영되어 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 뎁스 맵을 생성하기 위한 제 3 학습 모델에 기초하여 뎁스 맵을 생성할 수 있다. In other words, the depth map according to the embodiments may be generated based only on image data or image data generated by being photographed from an around camera. The depth map according to embodiments may mean image data or image data including height information on an object or person existing around a target object. In this case, the depth map may be generated using a learning model according to embodiments. The learning model may mean the third learning model described with reference to FIG. 9. That is, in the third learning model for generating a depth map based on image data or image data generated by being photographed using only a plurality of around cameras according to the embodiments because the loop camera according to the embodiments is omitted for the target object. A depth map may be generated based on it.
실시예들에 따른 탑 뷰 이미지는 상술한 학습 모델에 기초하여 생성된 뎁스 맵과 어라운드 카메라로부터 생성된 복수의 이미지 데이터 또는 영상 데이터에 기초하여 생성될 수 있다. 뎁스 맵 및 어라운드 카메라로부터 생성된 복수의 이미지 데이터로부터 탑 뷰 이미지를 생성하는 방법은 상술한 바와 같다. The top view image according to the embodiments may be generated based on a depth map generated based on the above-described learning model and a plurality of image data or image data generated from an around camera. A method of generating a top view image from a depth map and a plurality of image data generated from an around camera is as described above.
실시예들에 따른 어라운드 카메라로부터 생성되는 이미지(1004b)는 어라운드 카메라에 의해 촬영되는, 대상 물체의 주위에 존재하는 물체 또는 사람(1100b, 1101b)에 대한 높이 정보를 포함하지 않는다. 따라서, 대상 물체의 주위에 존재하는 물체 또는 사람(1100b, 1101b)에 대한 높이 정보를 포함하는 뎁스 맵(1105b)를 생성하기 위하여, 해당 어라운드 카메라에 의해 촬영되는 이미지(1104b) 및 다른 어라운드 카메라에 의해 촬영되는 이미지에 기초하여 뎁스 맵(1105b)를 생성할 수 있다.The image 1004b generated from the around camera according to the embodiments does not include height information about the objects or people 1100b and 1101b existing around the target object, which is photographed by the around camera. Therefore, in order to generate a depth map 1105b including height information on objects or people 1100b and 1101b existing around the target object, the image 1104b captured by the corresponding around camera and other around cameras A depth map 1105b may be generated based on the image captured by the image.
실시예로, 키가 큰 성인(1100b)과 키카 작은 아이(1101b)가 대상 물체의 주위에 존재할 수 있다. 이 때, 탑 뷰를 생성하는 과정에서 키가 큰 성인과 키가 작은 아이가 왜곡되어 표현되지 않게 하기 위해서는 키가 큰 성인은 키가 작은 아이보다 그 높이가 크다는 높이에 대한 정보가 개시될 필요가 있다. 따라서, 뎁스 맵은 키가 큰 성인에 대한 높이 정보(1102b) 및 키가 작은 아이에 대한 높이 정보(1103b)를 더 포함할 수 있다.In an embodiment, a tall adult 1100b and a short child 1101b may exist around the target object. In this case, in order to prevent the tall adult and the small child from being distorted in the process of generating the top view, it is necessary to disclose information about the height that the tall adult is taller than the small child. have. Accordingly, the depth map may further include height information 1102b for a tall adult and height information 1103b for a short child.
따라서, 실시예들에 따른 이미지 생성 방법으로, 탑 뷰 이미지는 영상처리 알고리즘에 기초하여 생성되고, 영상처리 알고리즘은 다음과 같이 개시될 수 있다. 먼저, 루프 카메라에 의해 획득된 이미지에 기초하여 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출하는 단계가 수행될 수 있다. 다음으로, 바닥점이 아닌 픽셀들의 값을 변환하는 단계를 더 수행할 수 있다.Accordingly, in the image generation method according to the embodiments, a top view image is generated based on an image processing algorithm, and the image processing algorithm may be initiated as follows. First, an operation of extracting pixels corresponding to a bottom point included in an image acquired by an around camera based on an image acquired by a loop camera may be performed. Next, a step of converting values of pixels other than the bottom point may be further performed.
또한, 실시예들에 따른 이미지 생성 장치로, 상술한 실시예들에 따른 이미지 생성 방법이 수행되는 장치가 개시될 수 있다. 즉, 상술한 영상처리 알고리즘에 기초하여 탑 뷰 이미지가 생성될 수 있다.Also, as the image generating apparatus according to the embodiments, an apparatus in which the image generating method according to the above-described embodiments is performed may be disclosed. That is, a top view image may be generated based on the image processing algorithm described above.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
또한 이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치는 정확도가 높은 탑 뷰 이미지를 제공할 수 있다.In addition, due to this configuration, the image generating apparatus according to the embodiments may provide a top view image with high accuracy.
도 12는 실시예들에 따른 이미지 생성 장치가 탑 뷰를 생성하기 위한 과정을 나타낸다.12 illustrates a process for generating a top view by an image generating apparatus according to embodiments.
구체적으로, 도 12는 학습 모델을 이용하여 탑 뷰 이미지를 생성하는 과정을 나타낸 것이다. 도 12에 따른 동작은 도 8에서 설명한 탑 뷰 생성부에서 수행될 수 있다. 도 12에 따른 학습 모델의 일 실시예로는 뉴럴 네트워크(Neural Network) 모델이 있을 수 있다.Specifically, FIG. 12 shows a process of generating a top view image using a learning model. The operation according to FIG. 12 may be performed by the top view generator described in FIG. 8. As an embodiment of the learning model according to FIG. 12, there may be a neural network model.
학습을 통한 자동차 주변에 있는 물체를 왜곡 없이 실제로 공중에서 보는 듯한 실시예들에 따른 AVM top view 이미지 생성 (머신 러닝, 딥러닝 등을 포함)할 수 있다. 예를 들어 따른 학습의 입력은 AVM 카메라 이미지 4장와 depth map 이미지 1장일 수 있다. 실시예들에 따른 학습의 목표가 되는 이미지는 루프 카메라 이미지일 수도 있다. 예를 들어 실시예들에 따른 입력 AVM 카메라 이미지 4장과 depth map 이미지 1장으로 루프 카메라 이미지를 생성하도록 학습을 진행할 수도 있다. 실시예들에 따른, 학습된 모델을 포워드(forward)로 적용하여 입력 AVM 카메라 이미지를 AVM 탑 뷰(AVM top view) 이미지로 변환할 수 있다. 학습 데이터는 가상 이미지 툴(tool)로 생성한 이미지와 실차에 카메라를 장착하여 촬영한 이미지를 이용할 수 있다. 즉, 시간과 비용 절감을 위해 1차적인 학습은 대량의 가상 이미지 툴(tool) 이미지로 진행할 수 있다. 모델의 파인 튜닝(fine tuning) 을 위해 실차에 장착한 카메라 이미지를 활용하여 모델을 튜닝할 수 있다.Through learning, it is possible to generate an AVM top view image (including machine learning, deep learning, etc.) according to embodiments as if viewing objects in the air without distortion. For example, inputs for learning according to may be 4 AVM camera images and 1 depth map image. An image that is a target of learning according to embodiments may be a loop camera image. For example, training may be performed to generate a loop camera image with 4 input AVM camera images and 1 depth map image according to the embodiments. According to embodiments, a learned model may be applied as a forward to convert an input AVM camera image into an AVM top view image. As the training data, an image created with a virtual image tool and an image captured by attaching a camera to a real vehicle may be used. That is, in order to save time and cost, primary learning can be performed with a large amount of virtual image tool images. For fine tuning of the model, the model can be tuned using the camera image mounted on the actual vehicle.
또한 예를 들어, 실시예들에 따른 이미지 생성 장치 및/또는 방법은 학습 기반이 아닌 기존 영상처리 알고리즘으로 처리가 가능하다. 즉, 뎁스 맵(Depth map) 정보를 이용하여 바닥점은 기존의 방식으로 변환을 적용할 수 있고, 바닥점에 해당하지 않은 픽셀들은 물체가 눕는 각도를 달리한 변환 식을 적용할 수 있다.In addition, for example, the image generating apparatus and/or method according to the embodiments may be processed using an existing image processing algorithm, not based on learning. That is, a transformation can be applied to a floor point in a conventional manner using depth map information, and a transformation equation in which an angle at which an object lies is different can be applied to pixels that do not correspond to the floor point.
도 12에 따라 생성되는, 실시예들에 따른 탑 뷰 이미지는 버드 뷰(Bird view)로 호칭할 수 있다. 즉, 도 12는 버드 뷰를 생성하기 위하여 버드 뷰 생성을 위한 학습 및 적용에 관한 도면을 의미할 수 있다.The top view image according to the embodiments generated according to FIG. 12 may be referred to as a bird view. That is, FIG. 12 may mean a diagram of learning and application for generating a bird view in order to generate a bird view.
다시 말해, 도 12에서 설명하는 실시예들에 따른 뉴럴 네트워크 모델(1200)은, 도 9에서 설명한 루프 카메라와 복수의 어라운드 카메라를 동시에 촬영하여 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 탑 뷰를 생성하기 위한 제 1 학습 모델을 의미할 수 있다. 또한, 도 9에서 설명한 대상 물체에 루프 카메라가 생략되어 복수의 어라운드 카메라만을 이용하여 촬영되어 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 탑 뷰를 생성하기 위한 제 2 학습 모델, 복수의 어라운드 카메라만을 이용하여 촬영되어 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 뎁스 맵을 생성하기 위한 제 3 학습 모델도 도 12에서 설명한 방법에 따라 뉴럴 네트워크 모델이 구축될 수 있다.In other words, the neural network model 1200 according to the embodiments described in FIG. 12 generates a top view based on image data or image data generated by simultaneously photographing a loop camera and a plurality of around cameras described in FIG. 9. It may mean a first learning model for doing. In addition, a second learning model for generating a top view based on image data or image data generated by being photographed using only a plurality of around cameras because a loop camera is omitted for the target object described in FIG. 9, and only a plurality of around cameras are used. Thus, a neural network model may be constructed according to the method described in FIG. 12 as a third learning model for generating a depth map based on image data or image data generated by being photographed.
실시예들에 따른 뉴럴 네트워크 모델(1200)은 인풋 디멘션 레이어(Input dimension layer)로 입력되는 데이터(1201, 1202), 히든 레이어(Hidden layer)를 포함하는 신경망 네트워크(1203) 및 아웃풋 디멘션 레이어(Output dimension)로 출력되는 데이터(1204) 구성될 수 있다. The neural network model 1200 according to the embodiments includes data 1201 and 1202 input to an input dimension layer, a neural network 1203 including a hidden layer, and an output dimension layer. dimension) output data 1204 may be configured.
실시예들에 따른 뉴럴 네트워크 모델은 인풋 디멘션 레이어로 실시예들에 따른 AVM 이미지들(1201) 및/또는 뎁스 맵(1202)이 입력될 수 있다. In the neural network model according to the embodiments, AVM images 1201 and/or the depth map 1202 according to the embodiments may be input as an input dimension layer.
실시예들에 따른 뉴럴 네트워크 모델은 아웃풋 디멘션 레이어(1204)로 실시예들에 따른 탑 뷰 이미지에 대한 데이터가 출력될 수 있다. 실시예들에 따른 탑 뷰 이미지는 AVM 탑 뷰 이미지(AVM top view image)로 호칭할 수도 있다.In the neural network model according to the embodiments, data for a top view image according to the embodiments may be output as an output dimension layer 1204. The top view image according to the embodiments may also be referred to as an AVM top view image.
실시예들에 따른 AVM(Around View Monitoring) 이미지(1200)는 인풋 디멘션 레이어로 입력되는 데이터일 수 있다. AVM 이미지는 어라운드 카메라에 의해 생성된 이미지들을 의미할 수 있다. AVM이미지는 실시예들에 따른 어라운드 카메라에 의해 생성된 이미지 데이터 또는 영상 데이터를 의미할 수 있다. The AVM (Around View Monitoring) image 1200 according to embodiments may be data input to an input dimension layer. The AVM image may refer to images generated by an around camera. The AVM image may mean image data or image data generated by an around camera according to embodiments.
실시예들에 따른 복수의 어라운드 카메라만을 이용하여 촬영되어 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 탑 뷰를 생성하는 뉴럴 네트워크 모델(즉, 제 2 학습 모델)의 경우, 실시예들에 따른 AVM 이미지들(1201) 및 상술한 제 3 뉴럴 네트워크 모델에 따라 생성된 뎁스 맵(1202)이 인풋 디멘션 레이어로 입력될 수 있다.In the case of a neural network model (i.e., a second learning model) that generates a top view based on image data or image data generated by being photographed using only a plurality of around cameras according to the embodiments, the AVM image according to the embodiments The depth map 1202 generated according to the s 1201 and the above-described third neural network model may be input as an input dimension layer.
실시예들에 따른 루프 카메라와 복수의 어라운드 카메라를 동시에 촬영하여 생성되는 이미지 데이터 또는 영상 데이터에 기초하여 탑 뷰를 생성하는 뉴럴 네트워크 모델(즉, 제 1 학습 모델)의 경우, 뎁스 맵(1202) 및 상술한 AVM 이미지들(1201)뿐 아니라 루프 카메라에 의해 생성되는 이미지 데이터 및 영상 데이터가 인풋 디멘션 레이어로 더 입력될 수 있다.In the case of a neural network model (ie, a first learning model) that generates a top view based on image data or image data generated by simultaneously photographing a loop camera and a plurality of around cameras according to embodiments, the depth map 1202 And image data and image data generated by the loop camera as well as the above-described AVM images 1201 may be further input as an input dimension layer.
실시예들에 따른 포워드 프로퍼게이션(1203a)은 인풋 디멘션 레이어로 입력된 데이터들을 뉴럴 네트워크에 포함된 복수 개의 뉴런들을 포함하는 레이어들에 대응하여 연산을 수행하는 과정을 의미할 수 있다. 포워드 프로퍼게이션은 포워드/인퍼런스 과정으로 호칭할 수도 있다. 즉, 인풋 레이어부터 시작하여 신경망 네트워크에 포함된 복수 개의 히든 레이어를 순차적으로 연산하면서 아웃풋 디멘션 레이어에 해당하는 레이어까지 연산을 수행하는 과정을 의미할 수 있다. The forward propagation 1203a according to embodiments may refer to a process of performing an operation on data input to an input dimension layer in correspondence with layers including a plurality of neurons included in a neural network. Forward propagation may also be referred to as a forward/inference process. That is, it may mean a process of sequentially calculating a plurality of hidden layers included in the neural network network starting from an input layer and performing an operation up to a layer corresponding to the output dimension layer.
실시예들에 따른 백워드 프로퍼게이션(1203b)는 아웃풋 디멘션 레이어까지 상술한 포워드 프로퍼게이션(1203a)을 수행한 경우, 아웃풋 디멘션 레이어부터 시작하여 인풋 디멘션 레이어에 해당하는 레이어로 도달할 때까지 신경망 네트워크에 포함된 히든 레이어들의 각 뉴런들에 대한 가중치(weight) 값 및 바이어스(bias) 값들을 조정하는 단계를 의미할 수 있다. 백워드 프로퍼게이션은 백워드/러닝으로 호칭할 수도 있다.When the forward propagation 1203a described above is performed up to the output dimension layer, the backward propagation 1203b according to the embodiments starts from the output dimension layer until it reaches a layer corresponding to the input dimension layer. It may refer to a step of adjusting a weight value and a bias value for each neuron of the hidden layers included in the neural network network. Backward propagation can also be referred to as backward/learning.
실시예들에 따른 상술한 백워드 프로퍼게이션(1203b)을 모두 수행하면 다시 실시예들에 따른 포워드 프로퍼게이션(1203a)을 반복하고, 포워드 프로퍼게이션(1203a)을 마치면 다시 백워드 프로퍼게이션(1203b)을 수행함으로써, 신경망 네트워크에 포함된 히든 레이어들의 각 뉴런들에 대한 가중치(weight) 값 및 바이어스(bias) 값들을 조정할 수 있다. 각 뉴런들에 대한 가중치(weight) 값 및 바이어스(bias) 값들을 조정하면서 인풋 디멘션 레이어로 입력되는 데이터로부터 탑 뷰 이미지에 대한 데이터가 추출될 수 있는 학습 모델을 구축할 수 있다.When all the above-described backward propagation 1203b according to the embodiments is performed, the forward propagation 1203a according to the embodiments is repeated again, and when the forward propagation 1203a is completed, the backward propagation is performed again. By performing the gating 1203b, a weight value and a bias value for each neuron of the hidden layers included in the neural network network may be adjusted. A learning model in which data for a top view image can be extracted from data input to an input dimension layer can be constructed while adjusting weight values and bias values for each neuron.
추가적인 실시예로, 상술한 뉴럴 네트워크 모델(또는 학습 모델)의 파인 튜닝(fine tuning)을 위해 실차(실제 대상 물체로서 예를 들어 자동차)에 장착한 카메라(어라운드 카메라 및/또는 루프 카메라)로부터 생성된 이미지를 활용하여 모델을 정교하게 튜닝(tuning)할 수 있다. 튜닝(tuning)이란, 생성된 뉴럴 네트워크에 포함된 뉴런들에 대한 가중치(weight) 값을 조정하는 것을 의미할 수 있다.As an additional embodiment, generated from a camera (around camera and/or loop camera) mounted on a real vehicle (for example, a vehicle as a real target object) for fine tuning of the neural network model (or learning model) described above. The model can be finely tuned using the generated image. Tuning may mean adjusting a weight value for neurons included in the generated neural network.
실시예들에 따른 신경망 네트워크(1203)는 일 실시예로 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network) 또는 리커런트 뉴럴 네트워크(Recurrent Neural Network)를 포함할 수 있다. The neural network 1203 according to embodiments may include a convolutional neural network or a recurrent neural network.
따라서, 실시예들에 따른 이미지 생성 방법을 설명한다. 실시예들에 따른 이미지 생성 방법 및/또는 이미지 생성 장치에 있어서, 탑 뷰 이미지는 제 1 학습 모델에 기초하여 생성된 이미지이고, 이 때 제 1 학습 모델은 복수의 이미지들 및 뎁스 맵을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델을 의미할 수 있다.Therefore, an image generation method according to embodiments will be described. In the image generating method and/or the image generating apparatus according to embodiments, the top view image is an image generated based on a first learning model, and in this case, the first learning model includes a plurality of images and a depth map. It may refer to a model created by performing forward and backward propagation of data.
다른 실시예로, 실시예들에 따른 이미지 생성 방법 및/또는 이미지 생성 장치에 있어서, 복수의 카메라들이 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라만 포함하는 경우, 뎁스 맵을 생성하지 않고, 탑 뷰 이미지는 제 2 학습 모델을 이용하여 복수의 이미지들에 기초하여 생성되고, 제 2 학습 모델은 복수의 이미지들을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델을 의미할 수 있다.In another embodiment, in the image generating method and/or the image generating apparatus according to the embodiments, when a plurality of cameras includes only one or more around cameras positioned on a first surface of a first object, a depth map is provided. Without generating, the top view image is generated based on a plurality of images using a second learning model, and the second learning model performs forward and backward propagation of training data including a plurality of images. By doing so, it can mean the created model.
실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주변의 영상을 취득하고 탑 뷰 이미지로 변환함으로써, 대상 물체의 주변의 상황을 실시간으로 인식할 수 있는 효과가 있다.By using the image generating apparatus according to the embodiments to acquire an image around the target object and convert it into a top view image, there is an effect of recognizing a situation around the target object in real time.
이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치를 이용하여 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Due to this configuration, an object or a person existing around the target object is generated as an undistorted image using the image generating apparatus according to the embodiments, thereby providing an image or an image that appears to be viewed directly from above.
또한 이러한 구성으로 인해, 실시예들에 따른 이미지 생성 장치는 정확도가 높은 탑 뷰 이미지를 제공할 수 있다.In addition, due to this configuration, the image generating apparatus according to the embodiments may provide a top view image with high accuracy.
도 13은 실시예들에 따른 이미지 생성 장치가 탑 뷰 이미지에 포함된 보이드(void) 영역에 대하여 보이드 필링을 수행하는 과정을 나타낸다.13 illustrates a process in which an image generating apparatus according to embodiments performs void filling on a void area included in a top view image.
실시예들에 따른 왜곡된 AVM 탑 뷰(AVM top view) 이미지에서는 서 있는 물체가 길게 늘어지게 표현 되던 것을 어답티브 AVM 탑 뷰(adaptive AVM top view)에서 자연스러운 물체로 표현하면서 왜곡된 AVM 탑 뷰(AVM top view)에서 길게 늘어지게 표현되는 영역에 대한 정보가 사라질 수 있다. 즉, 실시예들에 따른 보이드(Void) 영역이 발생할 수 있다. 도 13(C)는 실시예들에 따른 보이드(void) 영역을 나타낸다. 이러한 영역을 루프 카메라 이미지를 목표로 하는 리전 필링(region fill)을 수행할 수 있다. 이 때, 일 실시예로, 생성된 이미지 영역은 반투명 혹은 컬러로 표시할 수 있다. 다른 실시예로, 보이드(void) 영역을 단색 컬러로 표시할 수 있다.In the distorted AVM top view image according to the embodiments, a standing object that is elongated is expressed as a natural object in the adaptive AVM top view, and a distorted AVM top view ( In the AVM top view), the information on the area that is expressed in a long stretch may disappear. That is, a void area may occur according to embodiments. 13(C) shows a void area according to embodiments. Region fill for targeting the loop camera image may be performed on such an area. In this case, in an embodiment, the generated image area may be displayed in translucent or color. In another embodiment, the void area may be displayed in a monochromatic color.
구체적으로, 도 13은 일 실시예들에 따른 탑 뷰 이미지들을 나타낸다. Specifically, FIG. 13 shows top view images according to exemplary embodiments.
도 13(A)는 왜곡된 탑 뷰 이미지를 나타낸다. 즉, 도 13(A)는 대상 물체(1301)와 대상 물체의 주위에 존재하는 물체 또는 사람에 대한 왜곡된 이미지(1300a)를 포함한다. 도 13(A)에서 설명하는 왜곡된 탑 뷰 이미지는 도 3에서 설명한 왜곡된 탑 뷰 이미지를 의미할 수 있다.13(A) shows a distorted top view image. That is, FIG. 13A includes a target object 1301 and a distorted image 1300a of an object or person existing around the target object. The distorted top view image described in FIG. 13A may mean the distorted top view image described in FIG. 3.
실시예들에 따른 탑 뷰 이미지의 왜곡된 영역(1300a)은 길게 늘어지게 표현되는 대상 물체의 주위에 존재하는 물체 또는 사람에 대한 이미지가 차지하는 영역을 의미할 수 있다. 탑 뷰 이미지를 생성하는 과정에서, 대상 물체의 주위에 존재하는 물체 또는 사람에 대한 이미지가 길게 늘어지게 표현될 수 있다. The distorted area 1300a of the top view image according to the embodiments may mean an area occupied by an image of an object or person existing around a target object that is expressed to be elongated. In the process of generating the top view image, an image of an object or person existing around the target object may be expressed in a long stretch.
실시예들에 따른 대상 물체(1301)는 탑 뷰 이미지의 대상이 되는 물체를 의미할 수 있다. 대상 물체에 대한 이미지는 탑 뷰 이미지에 포함될 수 있다.The target object 1301 according to embodiments may refer to an object that is a target of a top view image. The image of the target object may be included in the top view image.
도 13(B)는 실시예들에 따른 보정된 탑 뷰 이미지를 나타낸다. 즉, 도 13(B)는 대상 물체(1301)와 대상 물체의 주위에 존재하는 물체 또는 사람에 대한 보정된 이미지(1300b)를 포함한다. 도 13(B)에서 설명하는 보정된 탑 뷰 이미지는 도 3에서 설명한 보정된 탑 뷰 이미지를 의미할 수 있다. 보정된 탑 뷰 이미지는 어답티브 AVM 탑 뷰(adaptive AVM top view)로 호칭할 수도 있다.13(B) shows a corrected top view image according to embodiments. That is, FIG. 13B includes a target object 1301 and a corrected image 1300b of an object or person existing around the target object. The corrected top view image described in FIG. 13B may mean the corrected top view image described in FIG. 3. The corrected top view image may also be referred to as an adaptive AVM top view.
대상 물체의 주위에 존재하는 물체 또는 사람에 대한 보정된 이미지(1300b)는 대상 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보에 기초하여 생성될 수 있다. 대상 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보는 상술한 실시예들에 따른 뎁스 맵(Depth map)에 포함될 수 있다. 실시예들에 따른 뎁스 맵을 생성하는 방법 및 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보를 생성하는 방법은 상술한 바와 같다.The corrected image 1300b of the object or person existing around the target object may be generated based on information about the height of the object or person existing around the target object. Information about the height of an object or person existing around the target object may be included in the depth map according to the above-described embodiments. A method of generating a depth map according to embodiments and a method of generating information about the height of an object or person existing around the object are as described above.
실시예들에 따른 대상 물체(1301)는 탑 뷰 이미지의 대상이 되는 물체를 의미할 수 있다. 대상 물체에 대한 이미지는 탑 뷰 이미지에 포함될 수 있다.The target object 1301 according to embodiments may refer to an object that is a target of a top view image. The image of the target object may be included in the top view image.
실시예들에 따른 이미지 생성 장치가 탑 뷰 이미지를 생성하는 경우, 상술한 탑 뷰 이미지와 달리 길게 늘어지게 표현되는 물체 또는 사람에 대한 이미지가 보정된 탑 뷰 이미지가 생성될 수 있다. 보정된 탑 뷰 이미지는 어답티브 AVM 탑 뷰(adaptive AVM top view)로 호칭할 수 있다. When the image generating apparatus according to the embodiments generates a top view image, unlike the above-described top view image, a top view image obtained by correcting an image of an object or person that is elongated and expressed may be generated. The corrected top view image may be referred to as an adaptive AVM top view.
도 13(C)는 보정된 탑 뷰 이미지를 생성하는 과정에서 보이드(Void) 영역(1302c)을 필링(filling)하는 과정을 나타낸다. 즉, 보정된 탑 뷰 이미지는 보이드 영역(1302c)를 포함할 수 있는데, 실시예들에 따른 필링부는 보이드 영역(1302c)를 필링할 수 있다. 13(C) shows a process of filling a void area 1302c in a process of generating a corrected top view image. That is, the corrected top view image may include the void area 1302c, and the filling unit according to embodiments may fill the void area 1302c.
대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되어 표현되는 이미지가 자연스러운 물체로 표현되면서 보이드 영역 발생할 수 있다. An image in which an object or a person existing around the target object is distorted is expressed as a natural object, and a void area may occur.
실시예들에 따른 보이드 영역(1302c)은, 보정된 탑 뷰 이미지에 포함된 영역으로, 실시예들에 따른 이미지 생성 장치가 수신하는 복수의 이미지들(즉, 어라운드 카메라로부터 생성되는 대상 물체 주위에 대한 영역을 포함하는 이미지 및/또는 루프 카메라에 의해 생성된 이미지)로부터 추출될 수 없는 영역을 의미할 수 있다.The void area 1302c according to the embodiments is an area included in the corrected top view image, and includes a plurality of images received by the image generating apparatus according to the embodiments (ie, around a target object generated from an around camera). It may refer to a region that cannot be extracted from an image including a region for and/or an image generated by a loop camera).
실시예들에 따른 대상 물체의 주위에 존재하는 물체 또는 사람에 대한 보정된 이미지(1300b)는 대상 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보에 기초하여 생성될 수 있다. The corrected image 1300b of an object or person existing around the target object according to embodiments may be generated based on information about the height of the object or person existing around the target object.
실시예들에 따른 대상 물체(1301)는 탑 뷰 이미지의 대상이 되는 물체를 의미할 수 있다. 대상 물체에 대한 이미지는 탑 뷰 이미지에 포함될 수 있다.The target object 1301 according to embodiments may refer to an object that is a target of a top view image. The image of the target object may be included in the top view image.
실시예들에 따른 보이드 영역을 필링하는 단계란, 보이드 영역에 해당하는 픽셀들을 다른 픽셀 값으로 채워넣는 것을 의미할 수 있다. 이 때, 채워지는 다른 픽셀 값은 특정 색을 포함하는 픽셀을 의미할 수도 있고, 일정한 투명도 및 반사율을 포함하는 픽셀을 의미할 수도 있다. 다른 실시예로, 채워지는 다른 픽셀 값은 보이드 영역이 아닌 영역에 기초한 값을 의미할 수 있다. 즉, 이러한 보이드 영역을 루프 카메라 이미지를 타겟으로 하는 영역이 필링(filling)될 수 있다.Filling the void area according to embodiments may mean filling pixels corresponding to the void area with different pixel values. In this case, the other pixel value to be filled may mean a pixel including a specific color or a pixel including a certain transparency and reflectance. In another embodiment, another pixel value to be filled may mean a value based on an area other than the void area. That is, an area targeting the loop camera image may be filled with such a void area.
일 실시예로, 필링되는 보이드 영역은 생성된 이미지 영역은 반투명 혹은 컬러로 표시될 수 있다. 다시 말해, 필링되는 보이드 영역은 반투명한 효과와 관련된 픽셀 값을 가지는 픽셀들로 채워질 수 있다. 또한, 필링되는 보이드 영역은 특정 색을 가지는 픽셀 값으로 채워질 수 있다. 다른 실시예로, 필링되는 보이드 영역은 단색 컬러로 표시되도록, 단색 컬러에 해당하는 픽셀들로 채워질 수 있다.In an embodiment, the void area to be filled may be displayed in a translucent or color image area. In other words, the void area to be filled may be filled with pixels having a pixel value related to a translucent effect. Also, the void area to be filled may be filled with pixel values having a specific color. In another embodiment, the filled void area may be filled with pixels corresponding to a monochromatic color so as to be displayed in a monochromatic color.
따라서, 실시예들에 따른 이미지 생성 방법 및 장치를 설명한다. 실시예들에 따른 이미지 생성 방법 및 장치에서, 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 제 2 물체를 촬영하여 복수의 이미지들의 제 1 이미지를 생성할 수 있다. 또한, 루프 카메라는 제 2 물체를 촬영하여 복수의 이미지들의 제 2 이미지를 생성할 수 있다.Accordingly, an image generating method and apparatus according to embodiments will be described. In the method and apparatus for generating an image according to embodiments, at least one or more of the plurality of cameras may capture a second object and generate a first image of the plurality of images. Also, the loop camera may photograph the second object and generate a second image of a plurality of images.
여기서, 보이드 영역은 제 1 이미지 및 제 2 이미지로부터 추출될 수 없는 영역이고, 이 때 필링하는 단계는 제 2 물체에 대한 영역에 포함된 보이드 영역에 포함된 적어도 하나의 픽셀에 대한 정보를 변환하고, 픽셀에 대한 정보는 픽셀의 투명도를 나타내는 정보 및 픽셀의 색을 나타내는 정보를 포함할 수 있다.Here, the void area is an area that cannot be extracted from the first image and the second image, and in this case, the filling step converts information on at least one pixel included in the void area included in the area for the second object, and , The information on the pixel may include information representing the transparency of the pixel and information representing the color of the pixel.
또한, 보이드 영역은, 탑 뷰 이미지에서 보이드 영역을 제외한 영역에 대한 픽셀에 기초하여 필링되거나 일정한 픽셀 값으로 필링될 수 있다.In addition, the void area may be filled based on a pixel for an area other than the void area in the top view image or may be filled with a predetermined pixel value.
또한, 실시예들에 따른 이미지 생성 장치로, 상술한 실시예들에 따른 이미지 생성 방법이 수행되는 장치가 개시될 수 있다. Also, as the image generating apparatus according to the embodiments, an apparatus in which the image generating method according to the above-described embodiments is performed may be disclosed.
이러한 구성을 통해, 실시예들에 따른 이미지 생성 장치는 대상 물체의 주위에 존재하는 물체 또는 사람이 왜곡되지 않은 이미지로 생성됨으로써 실제 위에서 바로보는 듯한 이미지 또는 영상을 제공할 수 있다.Through this configuration, the image generating apparatus according to the exemplary embodiments may provide an image or an image that appears to be viewed directly from above by generating an image or a person existing around the target object as an undistorted image.
또한 이러한 구성을 통해 실시예들에 따른 이미지 생성 장치는 실제 위에서 바로보는 듯한 자연스러운 탑 뷰 이미지 또는 영상을 제공할 수 있다.In addition, through such a configuration, the image generating apparatus according to the embodiments may provide a natural top view image or image as if viewed directly from above.
도 14는 실시예들에 따른 이미지 생성 장치가 대상 물체에 대한 탑 뷰 이미지를 생성하기 위한 일 실시예들을 나타낸다.14 illustrates exemplary embodiments in which an image generating apparatus according to the exemplary embodiments generates a top view image of a target object.
도 14에서는 실시예들에 따른 이미지 생성 장치 및/또는 방법에 의해 생성된 다양한 AVM 탑 뷰(AVM top view)이미지를 설명한다. 실시예들에 따른 AVM 탑 뷰는 루프 카메라의 장착 높이에 따라 영상의 특성이 달라질 수 있다. 높이 장착할수록 근접 물체의 크기가 작아지면서 기울이진 정도가 줄어 들 수 있다. 즉, 실시예들에 따른 이미지 생성 장치 및/또는 방법은 사용자가 원하는 뷰(view)를 선택할수 있도록 다양한 뷰(view)를 생성할 수 있다.14 illustrates various AVM top view images generated by an image generating apparatus and/or method according to embodiments. In the AVM top view according to the embodiments, the characteristics of the image may vary according to the mounting height of the roof camera. The higher the mounting is, the smaller the size of the adjacent object and the degree of inclination can be reduced. That is, the image generating apparatus and/or method according to the embodiments may generate various views so that a user can select a desired view.
구체적으로, 실시예들에 따른 이미지 생성 장치는 다양한 탑 뷰 이미지를 생성할 수 있다. Specifically, the image generating apparatus according to the embodiments may generate various top view images.
도 14(A)는 실시예들에 따른 다양한 탑 뷰 이미지를 생성하기 위한 실시예로, 대상 물체의 상부면에 위치하는 루프 카메라의 장착 높이를 조절하여 다양한 탑 뷰 이미지를 생성할 수 있다. 루프 카메라의 장착 높이가 높을수록 즉, 대상 물체의 상부면에 위치하는 루프 카메라를 높이 장착할수록 대상 물체에 근접한 물체의 크기가 작게 촬영되고, 대상 물체에 근접한 물체의 기울이진 정도가 줄어 들게 표현될 수 있다.14A is an embodiment for generating various top-view images according to the embodiments, and various top-view images may be generated by adjusting the mounting height of a roof camera positioned on an upper surface of a target object. The higher the mounting height of the roof camera, that is, the higher the roof camera located on the top surface of the target object is, the smaller the size of the object close to the target object is taken, and the degree of inclination of the object close to the target object is reduced. I can.
다시 말해, 실시예들에 따른 루프 카메라(1401a, 1402a, 1403a)는 대상 물체의 상부면에 위치하는 카메라를 의미할 수 있다. 루프 카메라는 도 6 내지 도 13에서 상술한 루프 카메라를 의미할 수 있다. 루프 카메라는 사용자의 조작에 따라 또는 실시예들에 따른 이미지 생성 장치의 동작에 따라 대상 물체의 상부면으로부터 이격되는 거리가 변경될 수 있다.In other words, the loop cameras 1401a, 1402a, and 1403a according to the embodiments may refer to cameras located on the upper surface of the target object. The loop camera may mean the loop camera described above in FIGS. 6 to 13. In the loop camera, the distance separated from the upper surface of the target object may be changed according to the user's manipulation or the operation of the image generating apparatus according to the embodiments.
실시예들에 따른 루프 카메라가 대상 물체의 상부면으로부터 적게 이격되는 경우(1401a), 루프 카메라가 대상 물체의 상부면으로부터 적당히 이격되는 경우(1402a), 루프 카메라가 대상 물체의 상부면으로부터 크게 이격되는 경우(1401c)가 있을 수 있다. 루프 카메라가 대상 물체의 상부면으로부터 크게 이격될수록 대상 물체의 주위에 존재하는 물체 또는 사람이 루프 카메라에 의해 작게 촬영되면서 기울어지는 정도를 줄일 수 있다. When the loop camera according to the embodiments is less spaced apart from the upper surface of the target object (1401a), the loop camera is adequately spaced from the upper surface of the target object (1402a), and the loop camera is greatly spaced from the upper surface of the target object There may be a case 1401c. As the loop camera is farther away from the top surface of the target object, the degree of inclination of the object or person existing around the target object may be reduced while being photographed smaller by the loop camera.
도 14(B)는 실시예들에 따른 다양한 탑 뷰 이미지를 생성하기 위한 일 실시예를 나타낸다. 실시예들에 따른 이미지 생성 장치에 의해 생성된 탑 뷰 이미지 또는 영상에서 일부 영역을 확대하여 탑 뷰 이미지를 생성할 수 있다.14(B) shows an embodiment for generating various top view images according to the embodiments. A top view image may be generated by enlarging a partial area of the top view image or image generated by the image generating apparatus according to the embodiments.
실시예들에 따른 탑 뷰 이미지는, 터치스크린에 의해 사용자로부터 입력받은 신호에 의하여 일부 영역이 확대될 수 있다. 또한, 아이콘, 콘트롤러 혹은 다이얼 방식으로 다양한 탑 뷰 이미지를 선택하여 영상의 높이와 줌이 자동으로 조절될 수 있다.In the top view image according to the embodiments, a partial area may be enlarged by a signal input from a user through a touch screen. In addition, the height and zoom of the image can be automatically adjusted by selecting various top view images using an icon, a controller, or a dial method.
이러한 구성으로 인해 실시예들에 따른 이미지 생성 장치는 사용자가 원하는 탑 뷰 이미지를 선택할수 있도록 다양한 탑 뷰 이미지를 생성할 수 있다.Due to this configuration, the image generating apparatus according to the embodiments may generate various top view images so that a user can select a desired top view image.
도 15는 실시예들에 따른 다양한 탑 뷰 이미지와 관련된 유저 인터페이스 또는 입력부의 일 실시예들을 나타낸다.15 illustrates exemplary embodiments of a user interface or input unit related to various top view images according to exemplary embodiments.
구체적으로, 도 15는 실시예들에 따른 AVM 탑 뷰(AVM top view) 이미지 선택 유저 인터페이스를 나타낼 수 있다. 실시예들에 따른 이미지 생성 장치 및/또는 방법에 의해 생성된 다양한 AVM 탑 뷰(AVM top view)이미지를 나타내기 위한 유저 인터페이스 또는 입력부가 개시될 수 있다. 구체적으로, 실시예들에 따른 터치스크린에서 아이콘으로 선택 혹은 다이얼 방식으로 선택하여 영상의 높이와 줌이 자동으로 조절될 수 있다. 또한, 다양한 AVM top view 이미지를 운전자가 선택할 수 있는 인터페이스가 개시될 수 있다. 터치스크린에서 아이콘으로 선택 혹은 다이얼 방식으로 선택하는 방법도 개시될 수 있다.Specifically, FIG. 15 may show an AVM top view image selection user interface according to embodiments. A user interface or input unit for displaying various AVM top view images generated by an image generating apparatus and/or method according to embodiments may be disclosed. Specifically, the height and zoom of the image may be automatically adjusted by selecting with an icon or a dial method on the touch screen according to the embodiments. In addition, an interface through which the driver can select various AVM top view images may be launched. A method of selecting by using an icon or by using a dial method on a touch screen may also be disclosed.
다시 말해, 실시예들에 따른 이미지 생성 장치에 의해 생성된 탑 뷰 이미지 또는 영상은 사용자로부터 입력되는 신호에 의해 조작 또는 변형될 수 있다. 사용자들로부터 입력 신호를 수신하기 위한 입력부 또는 유저 인터페이스를 설명한다. 일 실시예로, 입력부 또는 유저 인터페이스는 사용자들로 하여금 상술한 다양한 탑 뷰 이미지를 선택하기 위한 이미지 선택 유저 인터페이스를 의미할 수 있다.In other words, the top view image or image generated by the image generating apparatus according to the embodiments may be manipulated or transformed by a signal input from a user. An input unit or a user interface for receiving input signals from users will be described. In one embodiment, the input unit or the user interface may mean an image selection user interface for allowing users to select various top view images described above.
실시예들에 따른 터치스크린 아이콘(1501)은 상술한 다양한 탑 뷰 이미지를 생성하기 위해 사용자로부터 입력 신호를 수신하기 위한 유저 인터페이스 또는 디스플레이 컴포넌트를 의미할 수 있다. 다양한 탑 뷰 이미지는 도 14에서 설명한 바와 같다.The touch screen icon 1501 according to the embodiments may refer to a user interface or a display component for receiving an input signal from a user to generate the above-described various top view images. Various top view images are as described in FIG. 14.
실시예들에 따른 다이얼(1502)은 다양한 탑 뷰 이미지 또는 영상을 선택하거나 탑 뷰 이미지 또는 영상의 높이와 줌이 조절될 수 있도록 구성된 입력부를 의미할 수 있다.The dial 1502 according to the embodiments may refer to an input unit configured to select various top view images or images, or adjust the height and zoom of the top view image or image.
이러한 구성으로 인해 실시예들에 따른 이미지 생성 장치는 사용자가 원하는 탑 뷰 이미지를 선택할수 있도록 다양한 탑 뷰 이미지를 생성할 수 있다.Due to this configuration, the image generating apparatus according to the embodiments may generate various top view images so that a user can select a desired top view image.
도 16은 실시예들에 따른 이미지 생성 방법의 흐름도를 나타낸다.16 is a flowchart of an image generating method according to embodiments.
구체적으로, 도 16은 실시예들에 따른 이미지 생성 방법 또는 실시예들에 따른 이미지 생성 장치의 제어 방법에 관한 것이다.Specifically, FIG. 16 relates to an image generating method according to embodiments or a control method of an image generating apparatus according to embodiments.
먼저, 제 1 물체에 부착된 복수의 카메라들로부터 복수의 이미지들을 수신할 수 있다(S1600). 이 때, 복수의 카메라들은 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 제 1 물체의 상면에 위치하는 루프 카메라를 포함할 수 있다. 제 1 물체는 본 명세서에서 설명한 '대상 물체'를 의미할 수 있으며, 일 실시예로 자동차를 의미할 수 있다. 또한 어라운드 카메라는 일 실시예로 AVM(Around View Monitoring) 카메라를 의미할 수 있다. 제 1 물체에 부착된 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계는 실시예들에 따른 수신부에 의해 수행될 수 있다.First, a plurality of images may be received from a plurality of cameras attached to a first object (S1600). In this case, the plurality of cameras may include one or more around cameras located on the first surface of the first object and a loop camera located on the top surface of the first object. The first object may refer to the'target object' described in the present specification, and may refer to a vehicle as an example. Also, the around camera may mean an AVM (Around View Monitoring) camera according to an embodiment. The step of receiving a plurality of images from a plurality of cameras attached to the first object may be performed by the receiver according to the embodiments.
다음으로, 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성할 수 있다(S1601). 뎁스 맵은 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함할 수 있다. 뎁스 맵을 생성하는 방법 또는 뎁스 맵에 포함된 대상 물체의 주위에 존재하는 물체 또는 사람의 높이에 관한 정보를 생성하는 방법은 상술한 바와 같다. 복수의 이미지들에 기초하여 뎁스 맵을 생성하는 단계는 실시예들에 따른 뎁스 맵 생성부에 의해 수행될 수 있다.Next, a depth map may be generated based on a plurality of images (S1601). The depth map may include information related to the height of the second object photographed by at least one of the plurality of cameras. A method of generating a depth map or a method of generating information about the height of an object or person existing around a target object included in the depth map is as described above. The step of generating the depth map based on the plurality of images may be performed by the depth map generator according to embodiments.
다음으로, 상술한 생성된 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성할 수 있다(S1602). 탑 뷰 이미지를 생성하는 방법은 상술한 바와 같다. 탑 뷰 이미지는 상술한 영상 처리 알고리즘에 따라 생성될 수 있고, 상술한 학습 모델에 기초하여 생성될 수도 있다. 뎁스 맵 및 복수의 이미지들에 기초하여 탑 뷰 이미지를 생성하는 단계는 실시예들에 따른 탑 뷰 생성부에 의해 수행될 수 있다.Next, a top view image may be generated based on the above-described generated depth map and a plurality of images (S1602). The method of generating the top view image is as described above. The top view image may be generated according to the above-described image processing algorithm, or may be generated based on the above-described learning model. The step of generating the top view image based on the depth map and the plurality of images may be performed by the top view generator according to embodiments.
다음으로, 생성된 탑 뷰 이미지에 포함된 보이드(void) 영역을 필링(filling)할 수 있다(S1603). 이 때, 보이드 영역은 탑 뷰 이미지에 포함된, 복수의 이미지들로부터 추출될 수 없는 영역을 의미할 수 있다. 보이드 영역을 필링하는 과정은 상술한 바와 같다. 생성된 탑 뷰 이미지에 포함된 보이드 영역을 필링하는 단계는 실시예들에 따른 필링부에 의해 수행될 수 있다.Next, a void area included in the generated top view image may be filled (S1603). In this case, the void area may mean an area that cannot be extracted from a plurality of images included in the top view image. The process of filling the void area is as described above. The step of filling the void area included in the generated top view image may be performed by the filling unit according to embodiments.
도 1 내지 도 16에서 설명한 실시예들에 따른 멀티미디어 디바이스의 구성요소들은 각각 별도의 하드웨어(예를 들면 칩, 하드웨어 회로, 통신 가능한 디바이스 등)으로 구성될 수도 있고 하나의 하드웨어로 구성될 수도 있다. 또한, 도 1 내지 도 16에서 설명한 실시예들에 따른 멀티미디어 디바이스의 구성요소들은 각각 별도의 소프트웨어 내지 API로 구성될 수도 있다. 또한 실시예들에 따른 멀티미디어 디바이스 중 적어도 하나 이상은 프로그램 또는 소프트웨어를 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있다.Components of the multimedia device according to the embodiments described with reference to FIGS. 1 to 16 may be configured as separate hardware (eg, a chip, a hardware circuit, a communication device, etc.) or may be configured as one piece of hardware. In addition, components of the multimedia device according to the embodiments described with reference to FIGS. 1 to 16 may each be configured with separate software or API. In addition, at least one or more of the multimedia devices according to embodiments may be composed of one or more processors capable of executing a program or software.
본 발명에서 사용되는 제 1, 제2 등의 용어들은 실시예들에 따른 다양한 구성 요소들을 설명하기 위해 사용될 수 있다. 하지만 실시예들에 따른 다양한 구성 요소들은 위 용어들에 의해 제한되서는 안된다. 이러한 용어들은 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용되는 것에 불과하다. 예를 들어, 제 1 학습 모델은 제 2 학습 모델로 지칭될 수 있고, 이와 유사하게 제 2 학습 모델은 제 1 학습 모델로 지칭될 수 있으며, 이와 같은 변경은 위에서 설명한 다양한 실시예의 범위에서 벗어나지 않는 것으로 해석되어야 한다. 제 1 학습 모델 및 제 2 학습 모델 모두 학습 모델들이지만, 문맥상 명확히 나타나지 않는 한, 동일한 가상 오브젝트로 해석되지 않는다.Terms such as first and second used in the present invention may be used to describe various constituent elements according to embodiments. However, various components according to embodiments should not be limited by the above terms. These terms are only used to distinguish one component from another component. For example, a first learning model may be referred to as a second learning model, and similarly, a second learning model may be referred to as a first learning model, and such changes do not depart from the scope of the various embodiments described above. Should be interpreted as. Both the first learning model and the second learning model are learning models, but are not interpreted as the same virtual object unless clearly indicated in the context.
본 명세서에서 “/”및 “,”는 “및/또는”으로 해석할 수 있다. 예를 들어, “A/B”의 표현은 “A 및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “및/또는 B”를 의미할 수 있다. 더 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 하나의”를 의미할 수 있다.In the present specification, “/” and “,” can be interpreted as “and/or”. For example, the expression “A/B” may mean “A and/or B”. Furthermore, “A, B” may mean “and/or B”. Furthermore, “A/B/C” may mean “at least one of A, B and/or C”.
나아가 본 명세서에서 “또는”은 “및/또는”으로 해석할 수도 있다. 예를 들어 “A 또는 B”는 1)A만 나타내는 경우, 2)B만 나타내는 경우 및/또는 3)A 그리고 B를 나타내는 경우를 의미할 수 있다. 다시 말하면, 본 명세서에서 “또는”은 “부가적으로 또는 대안적으로(additionally or alternativelty)”를 의미할 수 있다.Furthermore, in the present specification, “or” may be interpreted as “and/or”. For example, "A or B" may mean 1) only A, 2) B, and/or 3) A and B. In other words, in the present specification, “or” may mean “additionally or alternatively”.
실시예들에 따른 XR 디바이스 또는 XR 디바이스의 제어 방법 및/또는 그 내부에 존재하는 모듈들/블록들은 상술한 바에 대응하는 기능을 수행할 수 있다.An XR device or a method of controlling an XR device according to embodiments and/or modules/blocks existing therein may perform a function corresponding to the above.
도 1 내지 도 38에서 설명한 실시예들에 따른 XR 디바이스의 구성요소들은 각각 별도의 하드웨어(예를 들면 칩, 하드웨어 회로, 통신 가능한 디바이스 등)으로 구성될 수도 있고 하나의 하드웨어로 구성될 수도 있다. 또한 실시예들에 따른 XR 컨텐츠 제공 디바이스의 구성요소들 중 적어도 하나 이상은 프로그램을 실행 할 수 있는 하나 또는 그 이상의 프로세서들로 구성될 수 있다.Each of the components of the XR device according to the embodiments described with reference to FIGS. 1 to 38 may be configured as separate hardware (eg, a chip, a hardware circuit, a device capable of communication, etc.) or may be configured as one piece of hardware. In addition, at least one or more of the components of the XR content providing device according to the embodiments may be composed of one or more processors capable of executing a program.
또한, 명세서는 각각의 첨부된 도면을 참조하여 설명되었지만, 첨부 된 도면에 도시된 실시 예들을 서로 병합함으로써 새로운 실시예를 설계하는 것도 가능하다. 또한, 전술한 실시예를 실행하기 위한 프로그램이 기록된 컴퓨터에 의해 판독 가능한 기록매체가 당업자의 필요에 따라 설계되는 경우, 이는 본 명세서에서 청구하고자 하는 권리범위 및 그 등가물의 범위에 속한다.In addition, although the specification has been described with reference to each of the accompanying drawings, it is possible to design a new embodiment by merging the embodiments shown in the accompanying drawings. In addition, when a recording medium readable by a computer on which a program for executing the above-described embodiment is recorded is designed according to the needs of a person skilled in the art, it falls within the scope of the rights to be claimed in the present specification and their equivalents.
즉, 본 명세서에서는 첨부된 도면을 참조하여 설명하였으나, 이는 실시예일뿐 특정 실시예에 한정되지 아니하며, 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 변형실시가 가능한 다양한 내용도 청구범위에 따른 권리범위에 속한다. 또한, 그러한 변형 실시들이 본 발명의 기술 사상으로부터 개별적으로 이해되어서는 안 된다.That is, in the present specification, it has been described with reference to the accompanying drawings, but these are only examples, and are not limited to specific embodiments, and various contents that can be modified by those of ordinary skill in the art to which the present invention pertains are also claimed. It belongs to the scope of rights according to. In addition, such modified implementations should not be individually understood from the technical spirit of the present invention.
실시예들에 따른 XR 디바이스 또는 XR 디바이스의 제어 방법을 수행하기 위한 실행 가능한 인스트럭션들은 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적이지 않은 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있거나, 하나 또는 그 이상의 프로세서들에 의해 실행되기 위해 구성된 일시적인 CRM 또는 다른 컴퓨터 프로그램 제품들에 저장될 수 있다. 또한 실시예들에 따른 메모리는 휘발성 메모리(예를 들면 RAM 등)뿐 만 아니라 비휘발성 메모리, 플래쉬 메모리, PROM등을 전부 포함하는 개념으로 사용될 수 있다.Executable instructions for performing an XR device or a method of controlling an XR device according to embodiments may be stored in a non-transitory CRM or other computer program products configured to be executed by one or more processors, or Or it may be stored in a temporary CRM or other computer program products configured for execution by more processors. In addition, the memory according to the embodiments may be used as a concept including not only volatile memory (eg, RAM, etc.) but also non-volatile memory, flash memory, and PROM.
또한, 이상에서는 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.In addition, although preferred embodiments have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and is not departing from the gist of the present invention claimed in the claims. Various modifications may be possible by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.
그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수가 있다.In addition, in this specification, both the product invention and the method invention are described, and the description of both inventions may be supplementally applied as necessary.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 이해된다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.It is understood by those skilled in the art that various changes and modifications are possible in the present invention without departing from the spirit or scope of the present invention. Accordingly, the present invention is intended to cover modifications and variations of the present invention provided within the appended claims and their equivalents.
본 명세서에서 장치 및 방법 발명이 모두 언급되고, 장치 및 방법 발명 모두의 설명은 서로 보완하여 적용될 수 있다.In the present specification, both apparatus and method inventions are mentioned, and descriptions of both apparatus and method inventions may be applied to complement each other.
발명의 실시를 위한 최선의 형태에서 구체적으로 설명되었다.It has been described in detail in the best mode for carrying out the invention.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.It is apparent to those skilled in the art that various changes and modifications are possible in the present invention without departing from the spirit or scope of the present invention. Accordingly, the present invention is intended to cover modifications and variations of the present invention provided within the appended claims and their equivalents.

Claims (20)

  1. 제 1 물체에 위치하는 복수의 카메라들로부터 복수의 이미지들을 수신하는 단계, 상기 복수의 카메라들은 상기 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 상기 제 1 물체의 상면에 위치하는 루프 카메라를 포함함;Receiving a plurality of images from a plurality of cameras positioned on a first object, wherein the plurality of cameras are one or more around cameras positioned on a first surface of the first object and a top surface of the first object Including a loop camera;
    상기 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 단계, 상기 뎁스 맵은 상기 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함함;Generating a depth map based on the plurality of images, the depth map including information related to a height of a second object photographed by at least one of the plurality of cameras;
    상기 생성된 뎁스 맵 및 상기 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 단계;Generating a top view image based on the generated depth map and the plurality of images;
    상기 생성된 탑 뷰 이미지에 포함된 보이드(void) 영역을 필링(filling)하는 단계, 상기 보이드 영역은 상기 탑 뷰 이미지에 포함된, 상기 복수의 이미지들로부터 추출될 수 없는 영역임; 를 포함하는,Filling a void region included in the generated top view image, the void region being a region included in the top view image that cannot be extracted from the plurality of images; Containing,
    이미지 생성 방법. How to create an image.
  2. 제 1항에 있어서,The method of claim 1,
    상기 제 2 물체는 상기 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체이고,The second object is an object separated by a predetermined distance from the first object,
    상기 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 1 이미지를 생성하고,At least one or more of the plurality of cameras photographs the second object to generate a first image of the plurality of images,
    상기 루프 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 2 이미지를 생성하고,The loop camera photographs the second object to generate a second image of the plurality of images,
    상기 뎁스 맵은 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 생성되고,The depth map is generated based on the first image and the second image,
    상기 탑 뷰 이미지는 상기 뎁스 맵에 기초한 상기 제 2 물체의 높이 정보, 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 생성된 이미지인,The top view image is an image generated based on height information of the second object based on the depth map, the first image and the second image,
    이미지 생성 방법.How to create an image.
  3. 제 2항에 있어서,The method of claim 2,
    상기 보이드 영역은 상기 제 1 이미지 및 상기 제 2 이미지로부터 추출될 수 없는 영역이고,The void area is an area that cannot be extracted from the first image and the second image,
    상기 필링하는 단계는 상기 제 2 물체에 대한 영역에 포함된 보이드 영역에 포함된 적어도 하나의 픽셀에 대한 정보를 변환하고,The filling step converts information on at least one pixel included in a void area included in the area for the second object, and
    상기 픽셀에 대한 정보는 상기 픽셀의 투명도를 나타내는 정보 및 상기 픽셀의 색을 나타내는 정보를 포함하는,The information on the pixel includes information representing the transparency of the pixel and information representing the color of the pixel,
    이미지 생성 방법.How to create an image.
  4. 제 1항에 있어서,The method of claim 1,
    상기 루프 카메라는 상기 카메라로부터 일정 범위의 시야각에 대한 뷰(view)를 제공하기 위한 미러(mirror) 및 상기 일정 범위의 시야각에 대한 뷰로부터 이미지 데이터를 획득하기 위한 이미지 센서를 포함하는,The roof camera comprises a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from the view for a range of viewing angles,
    이미지 생성 방법. How to create an image.
  5. 제 1항에 있어서,The method of claim 1,
    상기 루프 카메라는 제 1 루프 카메라 및 제 2 루프 카메라 중 하나이고,The loop camera is one of a first loop camera and a second loop camera,
    상기 제 1 루프 카메라는 상기 제 1 물체의 상면에 부착된 제 1 지지부의 상단에 부착되고, 상기 제 1 지지부는 상기 제 1 루프 카메라가 상기 제 1 물체의 상면으로부터 일정 거리만큼 이격되도록 구성되고, 상기 이격된 일정 거리는 상기 제 1 물체의 사용자로부터 제어되도록 구성되고,The first roof camera is attached to an upper end of a first support attached to an upper surface of the first object, and the first support is configured such that the first roof camera is spaced apart from the upper surface of the first object by a predetermined distance, The spaced apart predetermined distance is configured to be controlled by the user of the first object,
    상기 제 2 루프 카메라는 제 2 지지부의 상단에 결합되고, 상기 제 2 지지부는 상기 제 1 물체의 상면과 상기 제 2 지지부가 이루는 각도를 조절하도록 구성되는 제 1 힌지에 부착되고, 상기 제 1 힌지는 상기 제 1 물체의 상면에 부착되도록 구성되고, 상기 제 2 루프 카메라는 상기 제 2 지지부의 상단에 부착된 제 2 힌지에 의하여 결합되고, 상기 제 2 힌지는 상기 제 2 루프 카메라가 연직 방향의 반대 방향으로 향하도록 구성되는,The second roof camera is coupled to an upper end of the second support, and the second support is attached to a first hinge configured to adjust an angle between the upper surface of the first object and the second support, and the first hinge Is configured to be attached to the upper surface of the first object, the second roof camera is coupled by a second hinge attached to the upper end of the second support, the second hinge is the second roof camera in a vertical direction Configured to face in the opposite direction,
    이미지 생성 방법. How to create an image.
  6. 제 1항에 있어서,The method of claim 1,
    상기 탑 뷰 이미지는 제 1 학습 모델에 기초하여 생성된 이미지이고,The top view image is an image generated based on a first learning model,
    상기 제 1 학습 모델은 복수의 이미지들 및 뎁스 맵을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델인,The first learning model is a model generated by performing forward and backward propagation on training data including a plurality of images and a depth map,
    이미지 생성 방법.How to create an image.
  7. 제 1항에 있어서,The method of claim 1,
    상기 탑 뷰 이미지는 영상처리 알고리즘에 기초하여 생성되고, 상기 영상처리 알고리즘은 :The top view image is generated based on an image processing algorithm, and the image processing algorithm is:
    상기 루프 카메라에 의해 획득된 이미지에 기초하여 상기 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출하는 단계; 및Extracting pixels corresponding to a bottom point included in the image acquired by the around camera based on the image acquired by the loop camera; And
    상기 바닥점이 아닌 픽셀들의 값을 변환하는 단계; 를 수행하는,Converting values of pixels other than the bottom point; To do,
    이미지 생성 방법.How to create an image.
  8. 제 1항에 있어서, 상기 보이드 영역은,The method of claim 1, wherein the void area,
    상기 탑 뷰 이미지에서 상기 보이드 영역을 제외한 영역에 대한 픽셀에 기초하여 필링되거나 일정한 픽셀 값으로 필링되는,Filled based on a pixel for a region other than the void region in the top view image or filled with a constant pixel value,
    이미지 생성 방법.How to create an image.
  9. 제 1항에 있어서,The method of claim 1,
    상기 복수의 카메라들이 상기 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라만 포함하는 경우,When the plurality of cameras include only one or more around cameras positioned on the first surface of the first object,
    상기 이미지 생성 방법은 상기 뎁스 맵을 생성하지 않고, The image generation method does not generate the depth map,
    상기 탑 뷰 이미지는 제 2 학습 모델을 이용하여 상기 복수의 이미지들에 기초하여 생성되고,The top view image is generated based on the plurality of images using a second learning model,
    상기 제 2 학습 모델은 복수의 이미지들을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델인,The second learning model is a model generated by performing forward and backward propagation of training data including a plurality of images,
    이미지 생성 방법.How to create an image.
  10. 제 9항에 있어서,The method of claim 9,
    상기 제 2 물체는 상기 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체이고,The second object is an object separated by a predetermined distance from the first object,
    상기 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 1 이미지를 생성하고,At least one or more of the plurality of cameras photographs the second object to generate a first image of the plurality of images,
    상기 탑 뷰 이미지는 상기 제 1 이미지에 기초하여 생성되는 제 2 물체에 대한 영역을 포함하는,The top view image includes an area for a second object generated based on the first image,
    이미지 생성 방법.How to create an image.
  11. 제 1 물체에 위치하는 복수의 카메라들로부터 생성된 복수의 이미지들을 수신하고, 상기 복수의 카메라들은 상기 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라 및 상기 제 1 물체의 상면에 위치하는 루프 카메라를 포함하고,Receive a plurality of images generated from a plurality of cameras positioned on a first object, the plurality of cameras, one or more around cameras positioned on a first surface of the first object and a top surface of the first object Including a loop camera located,
    상기 복수의 이미지들에 기초하여 뎁스 맵(depth map)을 생성하는 뎁스 맵 생성부, 상기 뎁스 맵은 상기 복수의 카메라 중 적어도 하나에 의해 촬영되는 제 2 물체의 높이와 관련된 정보를 포함함;A depth map generator that generates a depth map based on the plurality of images, the depth map including information related to a height of a second object photographed by at least one of the plurality of cameras;
    상기 생성된 뎁스 맵 및 상기 복수의 이미지들에 기초하여 탑 뷰(top view) 이미지를 생성하는 탑 뷰 생성부; 및A top view generator configured to generate a top view image based on the generated depth map and the plurality of images; And
    상기 생성된 탑 뷰 이미지에 포함된 보이드(void) 영역을 필링(filling)하는 필링부, 상기 보이드 영역은 상기 탑 뷰 이미지에 포함된, 상기 복수의 이미지들로부터 추출될 수 없는 영역임; 를 포함하는,A filling unit that fills a void area included in the generated top view image, the void area is an area included in the top view image and cannot be extracted from the plurality of images; Containing,
    이미지 생성 장치. Image generating device.
  12. 제 11항에 있어서,The method of claim 11,
    상기 제 2 물체는 상기 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체이고,The second object is an object separated by a predetermined distance from the first object,
    상기 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 1 이미지를 생성하고,At least one or more of the plurality of cameras photographs the second object to generate a first image of the plurality of images,
    상기 루프 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 2 이미지를 생성하고,The loop camera photographs the second object to generate a second image of the plurality of images,
    상기 뎁스 맵은 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 생성되고,The depth map is generated based on the first image and the second image,
    상기 탑 뷰 이미지는 상기 뎁스 맵에 기초한 상기 제 2 물체의 높이 정보, 상기 제 1 이미지 및 상기 제 2 이미지에 기초하여 생성된 이미지인,The top view image is an image generated based on height information of the second object based on the depth map, the first image and the second image,
    이미지 생성 장치.Image generating device.
  13. 제 12항에 있어서,The method of claim 12,
    상기 보이드 영역은 상기 제 1 이미지 및 상기 제 2 이미지로부터 추출될 수 없는 영역이고,The void area is an area that cannot be extracted from the first image and the second image,
    상기 필링하는 단계는 상기 제 2 물체에 대한 영역에 포함된 보이드 영역에 포함된 적어도 하나의 픽셀에 대한 정보를 변환하고,The filling step converts information on at least one pixel included in a void area included in the area for the second object, and
    상기 픽셀에 대한 정보는 상기 픽셀의 투명도를 나타내는 정보 및 상기 픽셀의 색을 나타내는 정보를 포함하는,The information on the pixel includes information representing the transparency of the pixel and information representing the color of the pixel,
    이미지 생성 장치.Image generating device.
  14. 제 11항에 있어서,The method of claim 11,
    상기 루프 카메라는 상기 카메라로부터 일정 범위의 시야각에 대한 뷰(view)를 제공하기 위한 미러(mirror) 및 상기 일정 범위의 시야각에 대한 뷰로부터 이미지 데이터를 획득하기 위한 이미지 센서를 포함하는,The roof camera comprises a mirror for providing a view for a range of viewing angles from the camera and an image sensor for acquiring image data from the view for a range of viewing angles,
    이미지 생성 장치. Image generating device.
  15. 제 11항에 있어서,The method of claim 11,
    상기 루프 카메라는 제 1 루프 카메라 및 제 2 루프 카메라 중 하나이고,The loop camera is one of a first loop camera and a second loop camera,
    상기 제 1 루프 카메라는 상기 제 1 물체의 상면에 부착된 제 1 지지부의 상단에 부착되고, 상기 제 1 지지부는 상기 제 1 루프 카메라가 상기 제 1 물체의 상면으로부터 일정 거리만큼 이격되도록 구성되고, 상기 이격된 일정 거리는 상기 제 1 물체의 사용자로부터 제어되도록 구성되고,The first roof camera is attached to an upper end of a first support attached to an upper surface of the first object, and the first support is configured such that the first roof camera is spaced apart from the upper surface of the first object by a predetermined distance, The spaced apart predetermined distance is configured to be controlled by the user of the first object,
    상기 제 2 루프 카메라는 제 2 지지부의 상단에 결합되고, 상기 제 2 지지부는 상기 제 1 물체의 상면과 상기 제 2 지지부가 이루는 각도를 조절하도록 구성되는 제 1 힌지에 부착되고, 상기 제 1 힌지는 상기 제 1 물체의 상면에 부착되도록 구성되고, 상기 제 2 루프 카메라는 상기 제 2 지지부의 상단에 부착된 제 2 힌지에 의하여 결합되고, 상기 제 2 힌지는 상기 제 2 루프 카메라가 연직 방향의 반대 방향으로 향하도록 구성되는,The second roof camera is coupled to an upper end of the second support, and the second support is attached to a first hinge configured to adjust an angle between the upper surface of the first object and the second support, and the first hinge Is configured to be attached to the upper surface of the first object, the second roof camera is coupled by a second hinge attached to an upper end of the second support, and the second hinge is the second roof camera in a vertical direction. Configured to face in the opposite direction,
    이미지 생성 장치. Image generating device.
  16. 제 11항에 있어서,The method of claim 11,
    상기 탑 뷰 이미지는 제 1 학습 모델에 기초하여 생성된 이미지이고,The top view image is an image generated based on a first learning model,
    상기 제 1 학습 모델은 복수의 이미지들 및 뎁스 맵을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델인,The first learning model is a model generated by performing forward and backward propagation on training data including a plurality of images and a depth map,
    이미지 생성 장치.Image generating device.
  17. 제 11항에 있어서,The method of claim 11,
    상기 탑 뷰 이미지는 영상처리 알고리즘에 기초하여 생성되고, 상기 영상처리 알고리즘은 :The top view image is generated based on an image processing algorithm, and the image processing algorithm is:
    상기 루프 카메라에 의해 획득된 이미지에 기초하여 상기 어라운드 카메라에 의해 획득된 이미지에 포함된 바닥점에 대응하는 픽셀들을 추출하는 단계; 및Extracting pixels corresponding to a bottom point included in the image acquired by the around camera based on the image acquired by the loop camera; And
    상기 바닥점이 아닌 픽셀들의 값을 변환하는 단계; 를 수행하는,Converting values of pixels other than the bottom point; To do,
    이미지 생성 장치.Image generating device.
  18. 제 11항에 있어서, 상기 보이드 영역은,The method of claim 11, wherein the void area,
    상기 필링부에 의해 상기 탑 뷰 이미지에서 상기 보이드 영역을 제외한 영역에 대한 픽셀에 기초하여 필링되거나 일정한 픽셀 값으로 필링되는,Filled based on a pixel for a region other than the void region in the top view image by the filling unit or filled with a constant pixel value,
    이미지 생성 장치.Image generating device.
  19. 제 11항에 있어서,The method of claim 11,
    상기 복수의 카메라들이 상기 제 1 물체의 제 1 면에 위치하는 하나 또는 그 이상의 어라운드 카메라만 포함하는 경우,When the plurality of cameras include only one or more around cameras positioned on the first surface of the first object,
    상기 이미지 생성 장치는 상기 뎁스 맵 생성부를 포함하지 않고,The image generating device does not include the depth map generator,
    상기 탑 뷰 생성부는 상기 복수의 카메라들로부터 생성된 복수의 이미지들을 수신하고,The top view generator receives a plurality of images generated from the plurality of cameras,
    상기 탑 뷰 생성부는 제 2 학습 모델을 이용하여 상기 수신한 복수의 이미지들로부터 탑 뷰(top view) 이미지를 생성하고,The top view generation unit generates a top view image from the plurality of received images using a second learning model,
    상기 제 2 학습 모델은 복수의 이미지들을 포함한 학습 데이터를 포워드 프로퍼게이션 및 백워드 프로퍼게이션을 수행함으로써 생성된 모델인,The second learning model is a model generated by performing forward and backward propagation of training data including a plurality of images,
    이미지 생성 장치.Image generating device.
  20. 제 19항에 있어서,The method of claim 19,
    상기 제 2 물체는 상기 제 1 물체로부터 일정 거리만큼 떨어져 있는 물체이고,The second object is an object separated by a predetermined distance from the first object,
    상기 복수의 카메라들 중 적어도 하나 또는 그 이상의 카메라는 상기 제 2 물체를 촬영하여 상기 복수의 이미지들의 제 1 이미지를 생성하고,At least one or more of the plurality of cameras photographs the second object to generate a first image of the plurality of images,
    상기 탑 뷰 이미지는 상기 제 1 이미지에 기초하여 생성되는 제 2 물체에 대한 영역을 포함하는,The top view image includes an area for a second object generated based on the first image,
    이미지 생성 장치.Image generating device.
PCT/KR2019/012228 2019-09-20 2019-09-20 Image generation method and image generation device WO2021054500A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/012228 WO2021054500A1 (en) 2019-09-20 2019-09-20 Image generation method and image generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/012228 WO2021054500A1 (en) 2019-09-20 2019-09-20 Image generation method and image generation device

Publications (1)

Publication Number Publication Date
WO2021054500A1 true WO2021054500A1 (en) 2021-03-25

Family

ID=74884070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012228 WO2021054500A1 (en) 2019-09-20 2019-09-20 Image generation method and image generation device

Country Status (1)

Country Link
WO (1) WO2021054500A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0597000A (en) * 1990-12-28 1993-04-20 Alpine Electron Inc On-vehicle photographing device
KR20150017095A (en) * 2013-08-06 2015-02-16 현대자동차주식회사 Apparatus and method for providing image
KR101730296B1 (en) * 2016-03-23 2017-04-25 최준석 Mobile mapping system for generating buried object 3D space information data and method for generating buried objects 3D space information data using the mobile mapping system
KR20180083762A (en) * 2017-01-13 2018-07-23 엘지이노텍 주식회사 Apparatus of providing an around view, method thereof and vehicle having the same
KR20190089791A (en) * 2019-07-11 2019-07-31 엘지전자 주식회사 Apparatus and method for providing 3-dimensional around view

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0597000A (en) * 1990-12-28 1993-04-20 Alpine Electron Inc On-vehicle photographing device
KR20150017095A (en) * 2013-08-06 2015-02-16 현대자동차주식회사 Apparatus and method for providing image
KR101730296B1 (en) * 2016-03-23 2017-04-25 최준석 Mobile mapping system for generating buried object 3D space information data and method for generating buried objects 3D space information data using the mobile mapping system
KR20180083762A (en) * 2017-01-13 2018-07-23 엘지이노텍 주식회사 Apparatus of providing an around view, method thereof and vehicle having the same
KR20190089791A (en) * 2019-07-11 2019-07-31 엘지전자 주식회사 Apparatus and method for providing 3-dimensional around view

Similar Documents

Publication Publication Date Title
WO2015152692A1 (en) Apparatus and method for generating peripheral image of vehicle
WO2020050499A1 (en) Method for acquiring object information and apparatus for performing same
WO2017039348A1 (en) Image capturing apparatus and operating method thereof
WO2019083291A1 (en) Artificial intelligence moving robot which learns obstacles, and control method therefor
WO2011005024A2 (en) Method for obtaining a composite image using rotationally symmetrical wide-angle lenses, imaging system for same, and cmos image sensor for image-processing using hardware
WO2019054636A1 (en) Vehicle camera calibration apparatus and method thereof
WO2022055194A1 (en) Flying-over beam pattern scanning hologram microscope device using scan mirror and translation stage
WO2018066868A1 (en) Device for measuring three-dimensional shape and method for measuring same
WO2022010122A1 (en) Method for providing image and electronic device supporting same
WO2022050507A1 (en) Method and system for monitoring photovoltaic power generation module
WO2014058086A1 (en) Image processing device and image processing method
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2016200013A1 (en) Optical device and depth information generating method
WO2022139262A1 (en) Electronic device for editing video by using object of interest, and operating method therefor
WO2019208915A1 (en) Electronic device for acquiring image using plurality of cameras through position adjustment of external device, and method therefor
WO2021010784A2 (en) Apparatus and method for performing object image generation, object recognition, and environment learning of mobile robot
EP3381180A1 (en) Photographing device and method of controlling the same
WO2018023925A1 (en) Photography method and system
WO2021040156A1 (en) Body measurement device and control method therefor
WO2019045521A1 (en) Electronic device and control method therefor
WO2021006635A1 (en) Electronic apparatus for identifying object through warped image and control method thereof
WO2021054500A1 (en) Image generation method and image generation device
WO2021060636A1 (en) Motion detection device and method
WO2022025435A1 (en) Projector and control method therefor
WO2021210875A1 (en) Electronic device for detecting defect in image on basis of difference among sub-images acquired by multiple photodiode sensor, and operation method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19946164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19946164

Country of ref document: EP

Kind code of ref document: A1