WO2022075738A1 - 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법 - Google Patents
몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- WO2022075738A1 WO2022075738A1 PCT/KR2021/013689 KR2021013689W WO2022075738A1 WO 2022075738 A1 WO2022075738 A1 WO 2022075738A1 KR 2021013689 W KR2021013689 W KR 2021013689W WO 2022075738 A1 WO2022075738 A1 WO 2022075738A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- semantic anchor
- anchor point
- semantic
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 69
- 238000004891 communication Methods 0.000 claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 claims description 39
- 238000010586 diagram Methods 0.000 description 26
- 238000012549 training Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 4
- 238000010411 cooking Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Definitions
- the present disclosure relates to a mixed reality (MR) providing apparatus, for example, to an MR providing apparatus providing a real physical space and video content together.
- MR mixed reality
- MR. Mixed Reality is a concept that provides a mixture of real and virtual images, and refers to a technology that visually provides an environment in which real physical objects and virtual objects interact.
- Mixed reality is also a concept often used interchangeably with augmented reality (AR.Augmented Reality).
- AR/MR providing devices which are emerging as strong candidates to replace smartphones in the future, are mainly being developed in the form of head mounted devices (HMDs) or wearable glasses.
- HMDs head mounted devices
- wearable glasses are mainly being developed in the form of glasses.
- a technology that scatters the light of a mini projector and inputs it into a plurality of optical waveguides (ex. Magic Leap One), a technology that uses a holographic method (ex. HoloLense), and a technology that reflects light on a lens
- Various AR/MR optical technologies for displaying a virtual image at a desired location/depth within the user's viewing angle such as a technology using a pin mirror method in which pinholes are arranged (ex. LetinAR's PinMR), have been disclosed.
- the picture quality is lower than that of an actual TV due to limitations in the size/weight/operation speed of the MR providing device, which are generally provided in the form of HMD or wearable glasses. have to drop very much.
- the method in which the MR providing device provides a 2D image through a virtual TV screen placed on the wall is the same as providing video content through the actual TV without the MR providing device. It is hard to believe that it provides a more immersive user experience than the previous method.
- An embodiment according to the present disclosure provides an MR providing apparatus that provides video content received from an external electronic device by appropriately merging it in a real environment.
- An embodiment according to the present disclosure provides an MR providing apparatus that identifies a real location where an object included in video content is likely to be located, and provides the corresponding object as a virtual image to a user on the identified location.
- An MR (Mixed Reality) providing apparatus includes a camera, a communication unit including a communication circuit for communicating with an electronic device providing a video, real space within a preset viewing angle range, and a virtual image at the same time It includes an optical display unit including a display for, and a processor.
- the processor acquires an image by photographing the preset viewing angle range through the camera, identifies at least one semantic anchor spot where an object can be located in the acquired image, and the control the communication unit to transmit characteristic information of the semantic anchor point related to the positionable object to the electronic device, and correspond to the characteristic information among at least one object included in the image frame of the video
- the communication unit controls the communication unit to receive the object area including the target object from the electronic device, and controls the optical display unit to display the received object area on the semantic anchor point.
- An electronic device includes a memory in which a video is stored, a communication unit including a communication circuit for communicating with an MR providing device, and a processor connected to the memory and the communication unit.
- the processor controls the communication unit to receive, from the MR providing device, characteristic information of a semantic anchor point included in the image acquired through the MR providing device, and the received characteristic within the image frame included in the video.
- An object corresponding to the information may be identified, and an object region including the identified object may be transmitted to the MR providing device through the communication unit.
- a control method of an MR providing apparatus for providing a real space and virtual image within a preset viewing angle range includes: acquiring an image by photographing the preset viewing angle range through a camera; identifying at least one semantic anchor spot in which an object can be located in the image, and characteristic information of the semantic anchor point related to the located object in an electronic device transmitting to the electronic device, receiving an object region including an object corresponding to the characteristic information among at least one object included in an image frame of a video provided by the electronic device from the electronic device, on the semantic anchor point and displaying the received object area on the .
- An apparatus for providing mixed reality (MR) includes a camera, a communication unit including a communication circuit for communicating with an electronic device providing a video, a display, and a processor.
- the processor identifies at least one semantic anchor spot on which an object may be located within the image obtained through the camera, and a characteristic of the semantic anchor point associated with the positionable object.
- control the communication unit to transmit characteristic information to the electronic device, and receive an object region including an object corresponding to the characteristic information among at least one object included in the image frame of the video from the electronic device
- the communication unit is controlled, the MR image is acquired by synthesizing the received object region on the semantic anchor point included in the acquired image, and the display is controlled to display the acquired MR image.
- the MR providing apparatus provides an object in the video content together in a real space, thereby providing more immersive MR video content.
- the user performs real work (eg, cooking, eating, etc.) using objects in real space (eg, cooking tools, tableware, etc.) and at the same time performance can be provided. For example, the user does not need to turn to the virtual TV screen to view video content while cooking.
- real work eg, cooking, eating, etc.
- objects in real space eg, cooking tools, tableware, etc.
- the MR providing apparatus receives an object area semantically identified within the video content, not the entire video content, from an external electronic device, it reduces the streaming data capacity of the video content and provides an immersive experience. It has the effect of providing MR.
- FIG. 1 is a view for explaining an operation of an MR providing apparatus according to various embodiments of the present disclosure
- FIG. 2 is a block diagram for explaining an example of the configuration and operation of each of an MR providing device and an electronic device according to various embodiments of the present disclosure
- 3A, 3B, and 3C are diagrams for explaining an example of an operation in which an MR providing apparatus identifies a semantic anchor point based on the width and height of a horizontal plane according to various embodiments of the present disclosure
- 4A is a diagram for explaining an example of an operation of an MR providing apparatus identifying a semantic anchor point using an artificial intelligence model according to various embodiments of the present disclosure
- 4B to 4C are diagrams for explaining an example of a learning process of an artificial intelligence model used in FIG. 4A according to various embodiments of the present disclosure
- 5A is a diagram for explaining an example of an operation of predicting an object that may be located at a semantic anchor point using the number of existing objects by an MR providing apparatus according to various embodiments of the present disclosure
- FIG. 5B is a view for explaining an example of generating training data for training the artificial intelligence model used in FIG. 5A according to various embodiments of the present disclosure
- FIG. 5c illustrates an example in which the MR providing apparatus according to various embodiments of the present disclosure trains the artificial intelligence model of FIG. 5a using the training data obtained in FIG. 5b and predicts an object using the trained artificial intelligence model.
- 6A is a diagram for explaining an operation of an electronic device recognizing an object in a video based on characteristic information according to an embodiment of the present disclosure
- 6B is a diagram for explaining an operation of an electronic device recognizing an object in a video based on characteristic information (: a predicted object list) according to various embodiments of the present disclosure
- FIG. 7 is a view for explaining an example of an operation in which an MR providing apparatus determines a location of an object region to be displayed within a user's field of view according to various embodiments of the present disclosure
- FIG. 8 is a diagram for explaining an example of an operation in which the MR providing apparatus determines the positions of object regions by using the distance between the MR providing apparatus and the semantic anchor point and the positional relationship between the object regions, according to various embodiments of the present disclosure; drawing,
- 9A is a view for explaining an example of an operation in which an MR providing apparatus recognizes semantic anchor points and objects existing at each of the semantic anchor points according to various embodiments of the present disclosure
- 9B is a view for explaining an example of an operation in which an MR providing apparatus locates an object region on a selected semantic anchor point according to various embodiments of the present disclosure
- FIG. 10 is a view for explaining an example of an operation in which an MR providing apparatus determines a location of an object area using a GAN model according to various embodiments of the present disclosure
- 11A is a view for explaining an example of generating training data of a GAN model used to determine a position of an object region according to various embodiments of the present disclosure
- 11B is a diagram for explaining an example of training data of a GAN model according to various embodiments of the present disclosure
- FIG. 12 is a block diagram illustrating a configuration example of an MR providing apparatus according to various embodiments of the present disclosure
- FIG. 13 is a block diagram for explaining an example of the configuration and operation of an MR providing apparatus for providing MR using a display according to various embodiments of the present disclosure
- FIG. 14 is a flowchart for explaining an example of a control method of an MR providing apparatus according to various embodiments of the present disclosure
- 15 is a flowchart illustrating an example of an algorithm for explaining an MR providing apparatus and a method of controlling an electronic device according to various embodiments of the present disclosure.
- modules may refer to, for example, a component that performs at least one function or operation, and such a component is hardware or It may be implemented in software or a combination of hardware and software.
- a plurality of "modules”, “units”, “parts”, etc. are integrated into at least one module or chip, except when each needs to be implemented in individual specific hardware, and thus at least one processor. can be implemented as
- a certain part when it is said that a certain part is connected to another part, this includes not only a direct connection but also an indirect connection through another medium.
- the meaning that a certain part includes a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.
- FIG. 1 is a diagram schematically illustrating an example of an operation of an MR providing apparatus according to various embodiments of the present disclosure
- the MR providing apparatus 100 may provide an image 10 of an actual space to the user 1 . .
- the MR providing device 100 may communicate with at least one external electronic device that provides the video 20 composed of a plurality of image frames.
- the video 20 may correspond to various contents. For example, news, talk shows, concerts, sports, e-sports, movies, etc. may be various.
- the video 20 may be a live broadcast provided in real time, or may be a real-time image containing a counterpart in a video call.
- the MR providing apparatus 100 may receive only a partial object region included in the video 20 for each image frame in real time, without receiving the entire video 20 being streamed.
- the MR providing apparatus 100 includes object regions 11 and 12 each including persons 21 and 22 included in the image frame, rather than the entire image frame of the video 20 . can receive
- the MR providing apparatus 100 may provide each of the object regions 11 and 12 as virtual images on a chair in a real space and a specific empty space.
- the user 1 may feel as if the people 21 and 22 in the video 20 are together in the real space (10').
- FIG. 2 is a block diagram illustrating an example of configuration and operation of an MR providing device and an electronic device, respectively, according to various embodiments of the present disclosure.
- the MR providing apparatus 100 includes a camera 110 , an optical display unit 120 (eg, including a display), and a communication unit 130 (eg, including a communication circuit). , the processor 140 (eg, including a control circuit), and the like.
- the MR providing apparatus 100 may be implemented in various forms, such as an HMD and AR/MR glasses. In addition, according to the development of technology, it may be implemented as a smart lens capable of communicating with at least one computing device.
- the camera 110 is a configuration for photographing a real space, and may include at least one of a depth camera and an RGB camera.
- the depth camera may acquire depth information (ie, a depth image or a depth map) indicating a distance between each point in real space and the depth camera.
- the depth camera may include at least one ToF sensor.
- the RGB camera may acquire RGB images.
- the RGB camera may include at least one optical sensor terminal.
- the camera 110 may include two or more RGB cameras (eg, stereo cameras). In this case, depth information may be obtained based on a difference in positions of pixels corresponding to each other in images captured by the RGB cameras. there is.
- the optical display unit 120 may include a display, and is configured to simultaneously display a virtual image provided through the processor 140 and a real space within the viewing angle range viewed by the user.
- the viewing angle range in which the optical display unit 120 provides an actual space may be preset according to an installation structure of the optical display unit 120 in the MR providing apparatus 100 .
- the viewing angle range may be based on the front direction (: the user's gaze direction) of the MR providing apparatus 100 .
- the processor 140 may include various control circuits and may photograph a preset viewing angle range through the camera 110 .
- the viewing angle range captured by the camera 110 also includes a viewing angle provided by the optical display unit 120 .
- the front direction of the MR providing apparatus 100 may be used as a reference.
- the optical display unit 120 may provide a virtual image through various methods such as a method of splitting light and inputting it into a plurality of optical waveguides, a holographic method, a pin mirror method, and the like. To this end, the optical display unit 120 may include various configurations such as a projector, a lens, a display, and a mirror.
- the processor 140 may control the display to display virtual images or virtual information of various depths at various locations within a range of a viewing angle (real space) provided to a user through the optical display unit 120 .
- the processor 140 may communicate with the external electronic device 200 .
- the processor 140 of the MR providing apparatus 100 includes a semantic anchor spot extractor 140 (hereinafter referred to as an extractor) (eg, includes various control circuits and/or executable program instructions) and an object positioning module 142 (eg, containing various control circuitry and/or executable program instructions), and the like.
- an extractor eg, includes various control circuits and/or executable program instructions
- an object positioning module 142 eg, containing various control circuitry and/or executable program instructions
- the electronic device 200 may include a device capable of storing/providing at least one video.
- the electronic device 200 may be implemented as various devices such as a TV, a set-top box, and a server, but is not limited thereto.
- the electronic device 200 includes a memory 210 , a communication unit 220 (eg, including a communication circuit), a processor 230 (eg, including a control circuit), and the like. may include
- the memory 210 may include a video composed of a plurality of image frames.
- the processor 230 of the electronic device 200 may include a control circuit and may communicate with the MR providing device 100 through the communication unit 220 .
- the processor 230 may include a semantic object recognizer 231 (eg, including various control circuitry and/or program instructions it can execute).
- a semantic object recognizer 231 eg, including various control circuitry and/or program instructions it can execute.
- modules 141 , 142 , and 231 may be implemented in software or hardware, respectively, or may be implemented in a form in which software and hardware are combined.
- the processor 140 of the MR providing apparatus 100 may acquire an image of a real space by photographing a preset viewing angle range through the camera 110 .
- Extractor 141 may include various control circuitry and/or executable program instructions to identify semantic anchor points existing in real space.
- the extractor 141 may identify at least one semantic anchor point in an image obtained by photographing a real space through the camera 110 .
- the semantic anchor point may include a point where at least one object may be located.
- a semantic anchor point is a floor surface on which a standing person can be placed, a chair surface on which a seated person can be placed, a table surface on which dishes can be placed, a desk surface on which office supplies can be placed, etc. It may correspond to various horizontal planes existing in real space.
- the semantic anchor point does not necessarily correspond to a horizontal plane, and for example, in the case of a hanger in an actual space, it may be a semantic anchor point where clothes can be located.
- the extractor 141 may also acquire characteristic information of the semantic anchor point defined together with the semantic anchor point.
- the property information of the semantic anchor point may include information about an object that may be located in the semantic anchor point.
- the property information of the semantic anchor point may include information on the type of object that may be located at the semantic anchor point.
- the type of object may include not only moving objects such as people, dogs, and characters (eg, monsters), but also non-moving objects or plants such as cups, books, TVs, and trees.
- the type of object may be further subdivided into a standing person, a sitting person, a running person, a walking person, a lying person, a large dog, a small dog, and the like.
- the types of objects that can be located at the semantic anchor point may be further subdivided into parts (arms, legs, leaves) of each of the above-described objects (person, tree).
- the characteristic information of the semantic anchor point may be composed of at least one vector obtained by quantifying the possibility of the existence of an object at the semantic anchor point for each type of object.
- the property information of the semantic anchor point may also include information on the size, shape, number, etc. of objects that may be positioned at the semantic anchor point.
- the extractor 141 identifies a horizontal plane within the (depth) image captured by the camera 110, and uses the horizontal width and vertical height of the identified horizontal plane, so that the corresponding horizontal plane is a semantic anchor It is possible to determine whether a branch
- the extractor 141 can identify the horizontal plane as a semantic anchor point where a 'standing person' can be located. there is.
- the 'standing person' may include characteristic information of a semantic anchor point.
- the extractor 141 can also extract semantic anchor points in various other ways, which will be described later with reference to FIGS. 4A to 4C and 5A to 5C .
- the extractor 141 may track the already identified semantic anchor point by identifying the semantic anchor point in real time.
- the extractor 141 may identify the position of the semantic anchor point within the viewing angle range captured through the camera 110 .
- the Extractor 141 identifies the semantic Using the location of the anchor point, the location of the semantic anchor point within the viewing angle range at which the user views the optical display unit 120 may also be determined.
- the extractor 141 may acquire depth information of the semantic anchor point through the camera 110 in real time.
- the processor 140 may transmit the characteristic information of the semantic anchor point to the external electronic device 200 through the communication unit 130 .
- the processor 230 of the electronic device 200 may recognize at least one object in the video stored in the memory 210 using the received characteristic information.
- the characteristic information received through the communication unit 220 of the electronic device 200 is a 'standing person'.
- the processor 230 may identify a 'standing person' in the image frame included in the video through the semantic object recognizer 231 .
- the semantic object recognizer 231 may use at least one artificial intelligence model for identifying various types of objects.
- the semantic object recognizer (231) determines that the AI model is a 'standing person' It can be controlled to drive only the operation for identifying '.
- the processor 230 may transmit the object region to the MR providing apparatus 100 through the communication unit 220 .
- information on the type and size of an object included in the object area may be transmitted together. If a plurality of objects are identified in the image frame of the video, information on the positional relationship (eg, distance, direction, etc.) of the plurality of objects in the image frame may also be transmitted.
- the processor 140 of the MR providing apparatus 100 may determine the position of the object region through the object positioning module 142 .
- the object positioning module 142 may include various control circuitry and/or executable program instructions for determining the location of the received object area within the user's viewing angle range.
- the object positioning module 142 may receive position and depth information of the semantic anchor point from the semantic anchor spot exractor 141 .
- the position of the semantic anchor point may be a position within the viewing angle range of the optical display unit 120 .
- the object positioning module 142 may determine the position and depth information of the object region according to the position of the semantic anchor point and the depth information of the semantic anchor point.
- the object positioning module 142 determines the position of the semantic anchor point closest to the user (MR providing device) (lower depth) according to the location of the semantic anchor point. The position of the object area may be determined.
- the object positioning module 142 may determine the position of each of the plurality of object regions by using a positional relationship between the plurality of object regions.
- the processor 140 may control the optical display unit 120 to display the object region according to the determined position and depth information of the object region.
- the MR providing apparatus 100 may provide the user with a scene in which the object of the video is located on the semantic anchor point in the real space.
- 3A, 3B, and 3C are diagrams for explaining an example of an operation in which an MR providing apparatus identifies a semantic anchor point based on a horizontal width and height of a horizontal plane according to various embodiments of the present disclosure
- the extractor 141 identifies all of the horizontal planes in the image 310 in which the real space is captured through the camera 110, and then uses conditions according to the vertical height and horizontal area of the horizontal planes, at least one of the horizontal planes.
- the horizontal plane can be identified as a semantic anchor point.
- the condition of the horizontal plane to become a semantic anchor point may be preset differently for each type of object.
- the Extractor 141 identifies a horizontal plane having the lowest vertical height among horizontal planes in the image 310 and having a horizontal width of 60 mm and 60 mm or more as a semantic anchor point where a standing person can be located.
- the extractor 141 can identify the horizontal plane 311 as a semantic anchor point where a standing person can be located.
- Extractor 141 may also identify semantic anchor points at which a person sitting on horizontal plane 312 may be located.
- the Extractor 141 has a vertical height of 30 mm or more and less than 90 mm, a horizontal width of 40 mm or more and a length of 40 mm or more, and the lowest horizontal plane within 20 mm from the point where the edge of the horizontal plane is vertically lowered.
- the horizontal plane 312 on which the (floor) is located can be identified as a semantic anchor point where a seated person can be located.
- the extractor 141 may identify a semantic anchor point using at least one artificial intelligence model.
- the memory of the MR providing apparatus 100 may include an artificial intelligence model trained to extract semantic anchor points and characteristic information of semantic anchor points included in the input image.
- the extractor 141 may identify at least one semantic anchor point where an object may be located in the acquired image by inputting the image acquired through the camera into the corresponding AI model.
- FIG. 4A is a diagram for explaining an example of an operation in which an MR providing apparatus identifies a semantic anchor point using an artificial intelligence model according to various embodiments of the present disclosure.
- the extractor 141 may input an image 401 of a real space photographed through the camera 110 into the neural network model 410 .
- the neural network model 410 may output a semantic anchor point 402 in the image 401 .
- the neural network model 410 may output the semantic anchor point 402 in the form of a heat map of the semantic anchor point 402 included in the image 401 .
- the neural network model 410 may output characteristic information 403 of the semantic anchor point 402 .
- the characteristic information 403 may include information on the type of at least one object (eg, a standing person) that is highly likely to be located at the semantic anchor point 402 .
- the neural network model 410 may output the number of semantic anchor points for each type of (possible) object. For example, the number of semantic anchor points that a standing person can position may be 36, and the number of semantic anchor points that a seated person may position may be 5.
- FIGS. 4B to 4C are diagrams for explaining an example of a training process of a neural network model used in FIG. 4A according to various embodiments of the present disclosure.
- This training process may be performed by the MR providing apparatus 100, but it goes without saying that it may also be performed by at least one other external apparatus.
- At least one object may be recognized from the video 421 ( S410 ).
- at least one artificial intelligence model trained to recognize an object eg, a standing person
- the video 421 may include depth information.
- a pixel having the lowest vertical height among a plurality of pixels of each of the objects 421-1, 2, and 3 may be identified.
- the horizontal plane 402 closest to the identified pixel may be recognized (S420).
- S420 The horizontal plane 402 closest to the identified pixel.
- corresponding horizontal planes may be recognized.
- the neural network model 410 may be trained using the image frame 421 ′ and the heat map 402 ′ of the horizontal plane 402 as a training dataset ( S430 ).
- the neural network model 410 determines a semantic anchor point (heat map) where an object (eg, a standing person) can be located in the input image. become identifiable.
- FIG. 3A categorically assumes that the object that can be positioned on the lowest horizontal plane is a 'standing person', in addition to this, various types of objects (eg, dogs, cats, etc.) It can be located on a horizontal plane.
- objects eg, dogs, cats, etc.
- the corresponding horizontal plane may be identified as a semantic anchor point having characteristic information where various objects such as a standing person, a dog, and a cat are likely to be located.
- characteristic information of the semantic anchor point is implemented in the form of a vector that quantifies the possibility of each type of object.
- the time taken for the semantic object recognition 231 performed by the electronic device 200 may increase, and the number of object regions received from the electronic device 200 to the MR providing device 100 may become too large. there is.
- the extractor 141 uses the number of each type of object existing in the real space, and selects the object that can be additionally located on the corresponding space (: semantic anchor point). types can be predicted.
- the extractor 141 may update characteristic information of the semantic anchor point (: corresponding horizontal plane) to include only the predicted type of object.
- 5A is a diagram for explaining an example of an operation of predicting an object that may be located at a semantic anchor point using the number of existing objects by type by the MR providing apparatus according to various embodiments of the present disclosure; am.
- Figure 5a assumes that at least one semantic anchor point (eg horizontal plane) has already been identified.
- the extractor 141 may include an object recognizer 510 and an object predictor 520 , each of which may include, for example, various processing circuitry and/or executable program instructions.
- the object recognizer 510 may identify at least one (existing) object included in the image (real space) acquired through the camera 110 .
- at least one artificial intelligence model trained to identify various types of objects may be used.
- the object predictor 520 may identify (predict) the type of object that may be located at the semantic anchor point based on the identified type of object.
- the object predictor 520 may use an artificial intelligence model 525 trained to output the types of objects that may additionally exist when the number of each type of object is input.
- This artificial intelligence model may be stored in the memory of the MR providing device 100 .
- the object predictor 520 may input the number of identified objects into the artificial intelligence model 525 for each type, and determine the type of at least one additional object that may exist.
- the extractor 141 may update/generate property information of the semantic anchor point according to the determined (object) type.
- FIG. 5B is a diagram for explaining an example of generating training data for training the artificial intelligence model used in FIG. 5A according to various embodiments of the present disclosure
- object recognition for k types may be performed in each of m images (images [1 - m]).
- recognition results for k types (classes) of objects may be calculated as the number of objects for each type.
- a matrix 501 as training data may be obtained according to the calculated number of objects for each type of each image.
- the artificial intelligence model 525 may be trained using the matrix 501 as training data.
- FIG. 5c shows that the MR providing apparatus according to various embodiments of the present disclosure trains the artificial intelligence model 525 using the training data 501 obtained in FIG. 5b, and the trained artificial intelligence model 525 is shown in FIG. It is a block diagram for explaining an example of predicting an object using
- 5C may use the conventional concept of "Market Basket Analysis". Market Basket Analysis is for judging which items are frequently purchased together by customers.
- the matrix 501 of FIG. 5B including information on the number of types of objects identified together for each image may be training data.
- S501 (S511, S512, S513, S514, S515, S516, S517 and S518, hereinafter referred to as S511-S518) is "A Survey of Collaborative Filtering-Based Recommnder Systems: From Traditional Methods to Hybrid Methods Based on Social" Networks" (Rui Chen, Qinhyi Hua, etc.) borrows the training and rating process as it is, and the entire contents of this document can be incorporated herein by reference.
- step S511 it is necessary to replace "User” with "image” and “item” with "object(type)".
- the matrix 501 obtained in FIG. 5B may be used as training data of S511.
- the artificial intelligence model 525 of FIG. 5A may be trained to predict at least one object that is highly likely to additionally exist in the image through the process of S511-S515.
- the extractor 141 may recognize an object from an image (a real space is photographed) (S521), and obtain a list of identified objects (S522).
- the extractor 141 may obtain a list 502 of objects (types) most likely to additionally exist in the real space. .
- the extractor 141 may define characteristic information of the semantic anchor point previously identified according to the list 502 .
- 6A is a diagram for describing an example of an operation of an electronic device recognizing an object in a video based on characteristic information, according to various embodiments of the present disclosure
- the semantic object recognizer 231 of the electronic device 200 uses the characteristic information received from the MR providing device 100 to extract at least one object region from an image frame 610 included in a video. can be extracted.
- the types of objects (: characteristic information) that can be located at the semantic anchor point are a standing person and a sitting person.
- the semantic object recognizer 231 may identify an object area including a sitting person 611 and an object area including a standing person 612 from the image frame 610 , respectively. there is.
- the semantic object recognizer 231 may use at least one artificial intelligence model trained to identify an object corresponding to the characteristic information.
- an artificial intelligence model trained to identify a plurality of types of objects is stored in the memory 220 of the electronic device 200 .
- object recognition methods keypoint estimation method, bounding box method (1, 2 stage, etc.)
- the semantic object recognizer 231 selects a type corresponding to characteristic information (eg, a standing person, a sitting person) among a plurality of types, and controls the artificial intelligence model to identify the selected type of object within the image frame.
- characteristic information eg, a standing person, a sitting person
- 6B is a diagram for describing an example of an operation of an electronic device recognizing an object in a video based on characteristic information (ie, a predicted object list) according to various embodiments of the present disclosure.
- 6B is an object recognition process, as an example, the semantic object recognition algorithm described in "CenterMask: single shot instance segmentation with point representation” (Yuqing Wang, Zhaoliang Xu, etc.) is borrowed, and the entire content of this document is may be incorporated herein by reference.
- the semantic object recognizer 231 may input an image frame 620 included in a video to, for example, a ConvNet 601 that may be a backbone network.
- the outputs 621, 622, 623, 624, and 625 of the five heads have the same Height (H) and Width (W), but the number of channels is different.
- C is the number of types (classes) of objects.
- S 2 is the size of the shape vector.
- the heat map head may predict the location and category (type of object) of each of the center points according to the conventional keypoint estimation pipeline.
- each channel of the output 624 corresponds to a heat map of each category (type of object).
- the semantic object recognizer 231 according to an embodiment of the present disclosure, according to the received characteristic information, a heat map of a category matching the type of object included in the characteristic information (eg, the list 502 of FIG. 5C ) It is possible to control the operation of the heat map head to output only
- the outputs 624 and 625 of the heat map head and offset head indicate the location of the center point.
- the center point may be separately obtained for different types of objects.
- Shape and size heads predict Local Shapes at that location of the center point.
- the saliency head outputs a global saliency map 621 , and an object area cropped on the global saliency map is multiplied by Local Shapes to form a mask representing each object on the image frame 620 .
- Final object recognition may be completed according to the formed mask.
- the object recognition speed of the electronic device 200 may be increased. This is a very positive factor for real-time streaming.
- FIG. 6A is only an example, and the object recognition method of the semantic object recognizer 231 is not limited to the center point method as in FIG. 6A , and the bounding box
- various methods such as (1 size patch, multi-size patch, etc.) based object recognition and edge point based object recognition can be used.
- FIG. 7 is a diagram for explaining an example of an operation in which an MR providing apparatus determines a location of an object region to be displayed within a user's field of view, according to various embodiments of the present disclosure
- the object positioning module 142 of the MR providing apparatus 100 may include at least one of an inpainting module 710 and a synthesizer 720 .
- the inpainting module 710 is a module for compensating for an incomplete part when there is an incomplete part in the object area received from the electronic device 200 .
- the inpainting module 710 may newly create an omitted part from the object included in the object area received from the electronic device 200 .
- an object eg, a standing person
- an object eg, a standing person
- an image frame of the electronic device 200 is obscured by another object, or an object (eg, a standing person) within an image frame of the electronic device 200 . It can be assumed that only some body parts rather than all of the person standing) are shown.
- a part (eg, the lower part of the right leg) of the object eg, a person standing
- the object e.g. a person standing
- the inpainting module 710 determines whether the appearance of the object (eg, a standing person) included in the object area received from the electronic device 200 is complete, and generates an incomplete part (eg, the lower part of the right leg) by It can complement the object area.
- the object e.g, a standing person
- a part of the object that was not previously included in the video may be generated to fit the existing parts of the object, and the user may be provided with a virtual object image having a complete shape through the MR providing device 100 .
- the inpainting module 710 may use, for example, at least one GAN for compensating for at least a part of an incompletely drawn object, a conventional technique (ex. SeGAN: Segmenting and Generating the Invisible. Kiana Ehsani, Roozbeh Mottaghi, etc., the entire contents of which may be incorporated herein by reference) may be used.
- SeGAN Segmenting and Generating the Invisible. Kiana Ehsani, Roozbeh Mottaghi, etc., the entire contents of which may be incorporated herein by reference
- the Synthesizer 720 is a module for synthesizing an object area within the viewing angle range of the user looking at the real space.
- the synthesizer 720 may determine the position and/or the depth of the object region to be displayed within the user's viewing angle range.
- the synthesizer 720 may determine the position of the object region by using the distance between the MR providing device 100 and the semantic anchor point, the position of the object region within an image frame (video), and the like.
- the MR providing device determines the positions of object regions by using the distance between the MR providing device and the semantic anchor point and the positional relationship between the object regions, according to various embodiments of the present disclosure; It is a drawing for explaining.
- Fig. 8 assumes that 36 semantic anchor points at which a standing person can be located and 5 semantic anchor points at which a sitting person can be located are identified. 8 , it is assumed that the object areas 21 and 22 (corresponding to characteristic information) received from the electronic device 200 include a sitting person and a standing person, respectively.
- the image 310 is an image of a real space captured by the camera 110 .
- the synthesizer 720 may select a semantic anchor point that is relatively close to the MR providing device 100 .
- the synthesizer 720 may determine a location of a first semantic anchor point among semantic anchor points where a seated person can be located as a location of the object region 21 .
- the synthesizer 720 is configured to maintain the positional relationship (eg, distance, direction, etc.) between the object regions 21 and 22 in the image frame of the video (eg, 20 in FIG. 1 ), the determined object region 21 . ) in consideration of the location of the object area 22 may be determined.
- the synthesizer 720 may determine a ninth semantic anchor point among 36 semantic anchor points where a standing person can be located as the location of the object region 22 .
- FIG. 8 is only an example, and the method of using the distance between the MR providing apparatus 100 and the semantic anchor point and/or the positional relationship between object regions is not limited to the example of FIG. Of course, it can be modified in various ways.
- the synthesizer 720 may determine a location of an object region to be newly added according to the type and/or size of an object existing on each semantic anchor point.
- an example will be described in more detail with reference to FIGS. 9A and 9B.
- 9A assumes that, in the real space 910 , three semantic anchor points 911 , 912 , and 913 are identified.
- FIG. 9A assumes that the notebook 921 is existing on the semantic anchor point 911 and the pencil holders 922 and 923 are existing on the semantic anchor point 912 .
- the objects 921 , 922 , and 923 may be those recognized by the above-described Extractor 141 .
- the synthesizer 720 may identify the types of existing objects (notebook, pencil case, etc.) and the size of each object. As a result, information on the types and sizes of objects existing in each of the semantic anchor points 911 , 912 , and 913 may be acquired.
- the synthesizer 720 may select at least one semantic anchor point according to the size (eg, height) of the cup.
- the synthesizer 720 may select the semantic anchor point 912 as the location of the object region 920 .
- the synthesizer 720 may use a GAN for synthesizing an object region with an image of a real space captured by the camera 110 .
- FIG. 10 is a diagram for explaining an example of an operation in which an MR providing apparatus determines a location of an object area using a GAN model according to various embodiments of the present disclosure.
- the synthesizer 720 may use a synthesizer network 731 , a target network 732 , a discriminator 733 , and the like corresponding to GAN.
- the synthesizer network 731 represents a network trained to generate a synthesized image by synthesizing an object region in an image, and is updated to deceive the target network 732 .
- the target network 732 can also be trained through synthetic images, and the Discriminator 733 can provide feedback to the Synthesizer network 731 to improve the quality of the synthetic image. Based on a large number of real images, can be trained
- FIG. 10 uses an example of the prior art (Learning to Generate Synthetic Data via Compositing. Shashank Tripathi, Siddhartha Chandra, etc., the entire contents of this document may be included as a reference herein), and other various forms A GAN of / method may be used.
- the synthesizer 720 may use a GAN trained to output a saliency map including information on an object that may be located in the image.
- the position of the object region to be arranged on the user's view of the real space can be quickly determined.
- an image frame including an object and an image frame representing the same space but not including an object are required.
- 11A to 11B are for explaining an example of a process of training a corresponding GAN according to various embodiments of the present disclosure.
- an encoder network 1110 for sequentially receiving a plurality of image frames included in a video 1111 and extracting spatiotemporal features, and information on objects from spatiotemporal features in the form of a saliency map 1121
- a network including an edition network 1120 for extraction may be used (see: TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection. Kyle Min, Jason J. Corso, the entire contents of this document) may be incorporated by reference herein).
- a pair of an image frame including an object and a saliency map including information on the object may be obtained.
- an image frame that represents the same space as the corresponding image frame but contains no objects may be obtained.
- an image frame 1151 and a saliency map 1152 that do not include an object may be input/output, respectively, as a training data set of the GAN.
- the saliency map 1152 may be obtained by inputting an image frame 1150 including an object to the networks 1110 and 1120 as shown in FIG. 11A .
- the GAN of the synthesizer 720 may determine the location of an object region to be added in an image captured in an actual space.
- FIG. 12 is a block diagram illustrating a configuration example of an MR providing apparatus according to various embodiments of the present disclosure.
- the MR providing device 100 includes a camera 110 , an optical display unit 120 , a communication unit 130 , and a processor 140 , a sensor 150 , a speaker 160 , and a user input unit 170 . ) (eg, including an input circuit) and the like may be further included.
- the communication unit 130 may include various communication circuits, and may communicate with various external devices in addition to the above-described external electronic device 200 .
- At least one of the above-described operations of the processor 140 may be performed through at least one external control device capable of communicating with the MR providing device 100 through the communication unit 130 .
- a separate external computing device that performs most of the functions of the above-described processor 140 may be connected to the MR providing apparatus 100 through the communication unit 130 . .
- the remote control device for inputting a user command to the MR providing device 100
- information on the user command input through the remote control device is also provided by the communication unit 130 . can be received through
- the communication unit 130 may communicate with one or more external devices through wireless communication or wired communication.
- Wireless communication includes long-term evolution (LTE), LTE Advance (LTE-A), 5th generation (5G) mobile communication, code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), WiBro (Wireless Broadband), GSM (Global System for Mobile Communications), DMA (Time Division Multiple Access), WiFi (Wi-Fi), WiFi Direct, Bluetooth, NFC (near field communication), at least one of the communication methods such as Zigbee may include
- Wired communication may include at least one of communication methods such as Ethernet, optical network, USB (Universal Serial Bus), and ThunderBolt.
- the communication unit 130 may include a network interface or a network chip according to the above-described wired/wireless communication method.
- the communication unit 130 may be directly connected to an external device, but may also be connected to an external device through one or more external servers (eg, Internet Service Providers (ISPs)) and/or relay devices that provide a network.
- external servers eg, Internet Service Providers (ISPs)
- ISPs Internet Service Providers
- the network may be a personal area network (PAN), a local area network (LAN), a wide area network (WAN), etc. depending on the area or size, and depending on the openness of the network, an intranet, It may be an extranet or the Internet.
- PAN personal area network
- LAN local area network
- WAN wide area network
- the communication method is not limited to the above example, and may include a communication method newly appearing according to the development of technology.
- the processor 140 may be connected to at least one memory of the MR providing apparatus 100 to control the MR providing apparatus 100 .
- the processor 140 may include various control circuits, and for example, hardware at least a central processing unit (CPU), a dedicated processor, a graphic processing unit (GPU), a neural processing unit (NPU), etc. It may include one, but is not limited thereto. In addition, the processor 140 may execute an operation or data processing related to control of other components included in the MR providing apparatus 100 .
- CPU central processing unit
- GPU graphic processing unit
- NPU neural processing unit
- the processor 140 may control one or more software modules included in the MR providing device 100 as well as hardware components included in the electronic device 10 , and as a result of the processor 140 controlling the software modules may be derived from the operation of hardware configurations.
- the processor 140 may include one or a plurality of processors.
- one or more processors may be general-purpose processors such as CPUs and APs, graphics-only processors such as GPUs and VPUs, or artificial intelligence-only processors such as NPUs.
- One or a plurality of processors control to process input data according to predefined operation rules or artificial intelligence models stored in the memory.
- a predefined action rule or artificial intelligence model is characterized by being created through learning (training).
- Such learning may mean that a predefined operation rule or artificial intelligence model of a desired characteristic is created.
- Such learning may be performed in the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server/system.
- the learning algorithm may refer to, for example, a method of training a predetermined target device (eg, a robot) using a plurality of learning data so that the predetermined target device can make a decision or make a prediction by itself.
- a predetermined target device eg, a robot
- Examples of the learning algorithm include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified when It is not limited to the above-mentioned example except for.
- the sensor 150 is a component for acquiring the surrounding information of the MR providing apparatus 100 .
- the sensor 150 may include, for example, various sensors such as an Inertial Measurement Unit (IMU) sensor, a Global Position System (GPS) sensor, a geomagnetic sensor, and the like, but is not limited thereto.
- IMU Inertial Measurement Unit
- GPS Global Position System
- geomagnetic sensor a geomagnetic sensor
- the processor 140 performs Simultaneous Localization and Mapping (SLAM) using depth information (eg, lidar sensor data) and/or IMU sensor data acquired through the depth camera, thereby providing the MR providing apparatus 100 . ), a 3D map of the real space viewed by the user may be configured, and the location of the MR providing apparatus 100 (user) on the map may be tracked.
- SLAM Simultaneous Localization and Mapping
- the above-described operation of the extractor 141 for identifying a horizontal plane (a candidate of a semantic anchor point) in real space may also be performed in the SLAM process.
- the processor 140 may perform visual SLAM using an image acquired through a stereo camera.
- the speaker 160 is configured to output sound.
- the processor 140 may control the speaker 160 to output a sound corresponding to the received audio signal.
- the sound of the video may be provided audibly.
- the user input unit 170 may include various components and/or circuits for receiving user commands/information.
- the user input unit 170 may include various components such as at least one button, a microphone, a touch sensor, and a motion sensor.
- the user input unit 170 may include at least one contact/proximity sensor for determining whether the user wears the MR providing device 100 .
- the processor 140 communicates with the electronic device 200 while the Extractor 141 and The above-described operations may be performed using the object positing module 142 .
- At least a part (object region, sound) of the video provided by the electronic device 200 may be provided in the real space through the MR providing device 100 .
- FIG. 13 is a block diagram for explaining an example of a configuration of an MR providing apparatus that provides MR using a display according to various embodiments of the present disclosure.
- the MR providing apparatus 100 uses the optical display unit 120 .
- the MR providing apparatus 100' using the general display 120' instead of the optical display unit 120 is described.
- the MR providing apparatus 100 ′ may be implemented as, for example, a smart phone, a tablet PC, or the like, but is not limited thereto.
- the MR providing device 100 ′ is the same or similar to the above-described MR providing device 100 in that it performs the operation of the extractor 141 and receives an object region according to characteristic information, but ultimately provides MR. There is a difference in the process.
- the processor 140 ′ may include various control circuits, and when an object region according to characteristic information of a semantic anchor point is received from the electronic device 200 , the real space is photographed through the camera 110 .
- a corresponding object area can be synthesized in one image.
- at least one GAN may be used.
- the processor 140' may control the display 120' to display the synthesized image.
- the present MR providing apparatus 100 ′ may not display a virtual image (: object region) in a real space using the optical display unit 120, and an image captured in real space and a virtual image may generate and display the synthesized composite image.
- the present MR providing apparatus may provide real space and virtual images within a preset viewing angle range, and may include an optical display unit and/or a display.
- an exemplary control method may acquire an image (in real space) by photographing a preset viewing angle range through a camera.
- the camera may include an RGB camera and/or a depth camera.
- depth information of a plurality of pixels of an image acquired through a camera may be acquired, and at least one horizontal plane may be identified in the acquired image based on the acquired depth information.
- an artificial intelligence model trained to extract semantic anchor points and characteristic information included in the input image is included.
- the control method may identify at least one object included in the acquired image. Based on the identified type of object, it is possible to determine the type of object that may be located at the semantic anchor point.
- characteristic information of the semantic anchor point may be generated.
- the memory of the MR providing apparatus may include an artificial intelligence model trained to output the types of objects that may additionally exist when the number of each type of object is input.
- the present control method may transmit characteristic information of the semantic anchor point to an external electronic device (S1420).
- the electronic device may extract an object region for each image frame by identifying and tracking an object according to characteristic information from an image frame of a video.
- An object region including an object corresponding to characteristic information among at least one object included in an image frame of a video provided by the electronic device may be received from the electronic device (S1430).
- the present control method may display the received object region on the semantic anchor point (S1440).
- the present control method may determine a position where the object region is to be displayed and display the object region according to the determined position.
- the present control method may use the distance between the MR providing apparatus and the semantic anchor point and/or the location information of the object region in the image frame of the video.
- a semantic anchor for locating each of the plurality of received object regions among the plurality of semantic anchor points You can select points.
- Each of the plurality of object regions may be displayed on each of the selected semantic anchor points.
- the type or size of an object present at each of the plurality of semantic anchor points in an image captured in real space may be identified together.
- a semantic anchor point for locating the received object region from among a plurality of semantic anchor points may be selected. Display the received object region on the selected semantic anchor point.
- the acquired image real space
- a GAN trained to synthesize at least one object region in the image
- 15 is a flowchart illustrating an example of an algorithm for explaining an MR providing apparatus and a method of controlling an electronic device according to various embodiments of the present disclosure.
- the MR providing device is implemented as an HMD and the electronic device is implemented as a TV providing video content.
- the HMD is worn by the user, and the HMD and the TV can communicate with each other.
- the immersive search mode of the HMD and TV may be activated (S1505).
- the immersive search mode corresponds to a mode for determining whether an immersive mode providing MR in which real space and video are combined can be performed.
- the immersive search mode of the HMD and the TV may be activated according to a user's command input to the HMD.
- the HMD may identify the location of the current user (: HMD) (S1510).
- a GPS sensor may be used or at least one repeater (eg, a WiFi router) may be used.
- the current location may be identified by comparing an image obtained by photographing the surroundings with the HMD with pre-stored images of various locations.
- the HMD may use the history information in which the semantic anchor point is identified at the current location.
- the history information may include information stored by matching the semantic anchor point identified by the HMD and its characteristic information to the location where the semantic anchor point is identified.
- the HMD may determine whether the corresponding semantic anchor point is currently available (S1520). For example, it can identify whether other objects are already placed on the point.
- feature information of the corresponding semantic anchor point may be transmitted to the TV (S1530).
- the HMD displays the image the user is looking at (: through the camera It is possible to identify a semantic anchor point from (S1525).
- Characteristic information of the identified semantic anchor point may be transmitted to the TV (S1525).
- the TV may identify an object in the video based on the received feature information (S1535).
- the TV may transmit information indicating that there is no possible object area to the HMD.
- the HMD may visually (virtual image) or aurally provide a UI (User Interface) informing that the immersive mode cannot be performed (S1545).
- UI User Interface
- the TV may transmit information indicating that there is a possible object area to the HMD.
- the immersive mode of the HMD and the TV may be activated (S1550).
- the HMD may provide the user with a UI for inquiring whether to activate the immersive mode. Also, when a user command for activating the immersive mode is input, the immersive mode of the HMD and the TV may be activated.
- the TV may stream the identified object region for each image frame to the HMD (S1555).
- the HMD may display the object region received in real time as a virtual image on the semantic anchor point (S1560).
- S1560 semantic anchor point
- the MR providing apparatus may select a semantic anchor point in real space according to a user's command input through motion or the like.
- an object to be located at the corresponding semantic anchor point may also be selected according to a user command (eg, user's voice).
- a user command eg, user's voice
- points at which persons in the talk show are located may be set according to a user's command.
- the MR providing device may set the size of the object region to be provided differently according to a user's command.
- the MR providing device may provide the user with a UI for selecting either full or small.
- the MR providing apparatus may display the object regions of the persons in the talk show in the actual size of the persons on a semantic anchor point (eg, a floor, a sofa, a chair, etc.).
- a semantic anchor point eg, a floor, a sofa, a chair, etc.
- the MR providing apparatus may display the object regions of the people in the talk show in a size much smaller than the actual size on a semantic anchor point (eg, a dining table, a plate, etc.).
- a semantic anchor point eg, a dining table, a plate, etc.
- the characters in the talk show can be expressed in a very small size.
- a semantic anchor point at which the object region is located may vary depending on the size of the object region.
- the above-described MR providing apparatus and/or the method of controlling the electronic device may include, for example, the MR providing apparatus 100 or 100 ′ and/or the electronic device 200 shown and described with reference to FIGS. 2, 12, and 13 . can be done through
- the above-described MR providing device and/or method of controlling the electronic device may be performed, for example, through a system further including at least one external device in addition to the MR providing device 100 or 100 ′ and/or the electronic device 200 . may be
- a user wearing the MR providing device may be provided with video content while performing various tasks (eg, eating, studying, cooking, etc.) in a real space.
- tasks eg, eating, studying, cooking, etc.
- users do not need to look away and experience a more immersive MR.
- the embodiments described in the present disclosure are ASICs (Application Specific Integrated Circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays) ), processors, controllers, micro-controllers, microprocessors, and other electrical units for performing other functions may be implemented using at least one.
- ASICs Application Specific Integrated Circuits
- DSPs digital signal processors
- DSPDs digital signal processing devices
- PLDs programmable logic devices
- FPGAs field programmable gate arrays
- processors controllers, micro-controllers, microprocessors, and other electrical units for performing other functions may be implemented using at least one.
- embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules described above may perform one or more functions and operations described herein.
- the computer instructions for performing a processing operation in the MR providing apparatus 100 and/or the electronic device 200 according to various embodiments of the present disclosure described above are a non-transitory computer readable medium (non-transitory computer). -readable medium).
- non-transitory computer non-transitory computer
- -readable medium When the computer instructions stored in such a non-transitory computer-readable medium are executed by the processor of a specific device, the specific processing operation in the MR providing apparatus 100 and/or the electronic device 200 according to the above-described various embodiments is described above. Let the device do it.
- the non-transitory computer-readable medium refers to a medium that stores data semi-permanently and can be read by a device.
- Examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
MR(Mixed Reality) 제공 장치가 개시된다. 본 MR 제공 장치는, 카메라, 비디오를 제공하는 전자 장치와 통신하기 위한 통신 회로를 포함하는 통신부, 기설정된 시야각 범위 내의 현실 공간 및 가상의 이미지를 동시에 디스플레이하기 위한 디스플레이를 포함하는 광학 디스플레이부, 프로세서를 포함한다. 프로세서는, 카메라를 통해 기설정된 시야각 범위를 촬영하여 이미지를 획득하고, 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별하고, 통신부를 통해 의미론적 앵커 지점의 특성 정보(charicteristic information)를 전자 장치로 전송하고, 비디오의 이미지 프레임에 포함되고 특성 정보에 대응되는 객체가 포함된 객체 영역을 통신부를 통해 전자 장치로부터 수신하고, 의미론적 앵커 지점 상에 수신된 객체 영역을 디스플레이하도록 광학 디스플레이부를 제어한다.
Description
본 개시는, MR(Mixed Reality) 제공 장치에 관한 것으로, 예를 들어, 현실의 물리적 공간 및 비디오 컨텐츠를 함께 제공하는 MR 제공 장치에 관한 것이다.
혼합 현실(MR. Mixed Reality)은 실제의 이미지와 가상의 이미지를 혼합하여 제공하는 개념으로, 현실의 물리적 객체와 가상의 객체가 상호 작용하는 환경을 시각적으로 제공하는 기술을 말한다. 혼합 현실은 종종 증강 현실(AR.Augmented Reality)과 혼용되어 사용되는 개념이기도 하다.
미래에 스마트폰을 대체할 강력한 후보로 부상하고 있는 AR/MR 제공 장치는, 주로 HMD(Head Mounted Device) 또는 웨어러블 글래스의 형태로 개발되고 있다.
그리고, 현실의 공간과 가상의 정보를 함께 보여주기 위한 다양한 형태의 광학 디스플레이부가 이미 개발된 바 있다.
예를 들어, 미니 프로젝터의 빛을 산란(splitting)하여 복수의 광 도파관에 입력하는 기술(ex. Magic Leap One), 홀로그래픽 방식을 이용하는 기술(ex. HoloLense), 렌즈 상에 빛을 반사하는 작은 핀홀들이 배치된 핀 미러 방식을 이용하는 기술(ex. LetinAR의 PinMR) 등 가상의 이미지를 사용자의 시야각 내 원하는 위치/뎁스로 표시하기 위한 다양한 AR/MR 광학 기술들이 공개된 바 있다.
한편, 카메라를 통해 촬영된 현실의 이미지에 가상의 이미지를 합성한 합성 이미지를 일반적인 디스플레이를 통해 제공하는 방식도 가능하다. 본 방식은, 상술한 광학 디스플레이부를 필요로 하지 않기 때문에, 현재 통용되는 일반적인 스마트폰이나 태블릿 PC 등으로도 구현 가능하다(ex. 포켓몬고).
상술한 기술들을 이용함으로써, 거실의 벽에 가상의 TV 화면을 제공하는 등 가상의 비디오 컨텐츠를 실제 공간 상에 제공하는 것이 충분히 가능한 기술 수준에 이르렀다.
다만, MR 제공 장치를 이용하여 가상의 비디오 컨텐츠를 제공하는 경우, 일반적으로 HMD나 웨어러블 글래스 형태로 제공되는 MR 제공 장치의 크기/무게/연산 속도 등의 한계 때문에 실제 TV와 비교했을 때 그 화질이 매우 떨어질 수밖에 없다.
또한, 설령 화질을 실제의 TV와 동일한 수준으로 구현할 수 있다고 하더라도, MR 제공 장치가 벽에 놓인 가상의 TV 화면를 통해 2D 이미지를 제공하는 방식이, MR 제공 장치 없이 실제 TV를 통해 비디오 컨텐츠를 제공하는 방식보다 더 몰입감 높은 사용자 경험을 제공한다고 보기도 힘들다.
본 개시에 따른 실시예는, 외부 전자 장치로부터 수신된 비디오 컨텐츠를 실제 환경 내에 적절히 융합하여 제공하는 MR 제공 장치를 제공한다.
본 개시에 따른 실시예는, 비디오 컨텐츠에 포함된 객체가 위치할 만한 실제 위치를 식별하고, 식별된 위치 상에, 해당 객체를 가상의 이미지로서 사용자에게 제공하는 MR 제공 장치를 제공한다.
본 개시의 일 실시 예에 따른 MR(Mixed Reality) 제공 장치는, 카메라, 비디오를 제공하는 전자 장치와 통신하기 위한 통신 회로를 포함하는 통신부, 기설정된 시야각 범위 내의 현실 공간 및 가상의 이미지를 동시에 디스플레이하기 위한 디스플레이를 포함하는 광학 디스플레이부, 프로세서를 포함한다. 상기 프로세서는, 상기 카메라를 통해 상기 기설정된 시야각 범위를 촬영하여 이미지를 획득하고, 상기 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별하고, 상기 위치할 수 있는 객체와 관련된 상기 의미론적 앵커 지점의 특성 정보(charicteristic information)를 상기 전자 장치로 전송하도록 상기 통신부를 제어하고, 상기 비디오의 이미지 프레임에 포함된 적어도 하나의 객체 중 상기 특성 정보에 대응되는 객체가 포함된 객체 영역을 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 의미론적 앵커 지점 상에 상기 수신된 객체 영역을 디스플레이하도록 상기 광학 디스플레이부를 제어한다.
본 개시의 일 실시 예에 따른 전자 장치는, 비디오가 저장된 메모리, MR 제공 장치와 통신하기 위한 통신 회로를 포함하는 통신부, 상기 메모리 및 상기 통신부와 연결된 프로세서를 포함한다. 상기 프로세서는, 상기 MR 제공 장치를 통해 획득된 이미지에 포함되는 의미론적 앵커 지점의 특성 정보를 상기 MR 제공 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 비디오에 포함된 이미지 프레임 내에서 상기 수신된 특성 정보에 대응되는 객체를 식별하고, 상기 식별된 객체를 포함하는 객체 영역을 상기 통신부를 통해 상기 MR 제공 장치로 전송할 수 있다.
본 개시의 일 실시 예에 따라 기설정된 시야각 범위 내의 현실 공간 및 가상의 이미지를 제공하기 위한 MR 제공 장치의 제어 방법은, 카메라를 통해 상기 기설정된 시야각 범위를 촬영하여 이미지를 획득하는 단계, 상기 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별하는 단계, 상기 위치할 수 있는 객체와 관련된 상기 의미론적 앵커 지점의 특성 정보(charicteristic information)를 전자 장치로 전송하는 단계, 상기 전자 장치가 제공하는 비디오의 이미지 프레임에 포함된 적어도 하나의 객체 중 상기 특성 정보에 대응되는 객체가 포함된 객체 영역을 상기 전자 장치로부터 수신하는 단계, 상기 의미론적 앵커 지점 상에 상기 수신된 객체 영역을 디스플레이하는 단계;를 포함한다.
본 개시의 일 실시 예에 따른 MR(Mixed Reality) 제공 장치는, 카메라, 비디오를 제공하는 전자 장치와 통신하기 위한 통신 회로를 포함하는 통신부, 디스플레이, 프로세서를 포함한다. 상기 프로세서는, 상기 카메라를 통해 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별하고, 상기 위치할 수 있는 객체와 관련된 상기 의미론적 앵커 지점의 특성 정보(charicteristic information)를 상기 전자 장치로 전송하도록 상기 통신부를 제어하고, 상기 비디오의 이미지 프레임에 포함된 적어도 하나의 객체 중 상기 특성 정보에 대응되는 객체가 포함된 객체 영역을 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고, 상기 획득된 이미지에 포함된 상기 의미론적 앵커 지점 상에 상기 수신된 객체 영역을 합성하여 MR 이미지를 획득하고, 상기 획득된 MR 이미지를 디스플레이하도록 상기 디스플레이를 제어한다.
본 개시의 다양한 일 실시 예에 따른 MR 제공 장치는, 현실의 공간 상에 비디오 컨텐츠 내 객체를 함께 제공하므로, 보다 몰입감 있는 MR 비디오 컨텐츠를 제공한다는 효과가 있다.
본 MR 제공 장치가 제공한 MR에 의해, 사용자는 현실 공간의 물건들(ex. 요리 도구, 식기 등)을 이용하여 현실의 일을 수행(ex. 요리, 식사 등)하면서도 동시에 비디오 컨텐츠 내 객체들의 퍼포먼스를 제공받을 수 있다. 일 예로, 사용자는 요리를 하던 도중 비디오 컨텐츠를 보기 위해 가상의 TV 화면으로 고개를 돌릴 필요가 없다.
본 개시의 다양한 일 실시예에 따른 MR 제공 장치는, 비디오 컨텐츠 전체가 아니라 비디오 컨텐츠 내에서 의미론적으로 식별된 객체 영역을 외부 전자 장치로부터 수신하기 때문에, 비디오 컨텐츠의 스트리밍 데이터 용량을 줄이면서도 몰입감 있는 MR을 제공한다는 효과가 있다.
도 1은 본 개시의 다양한 실시 예에 따른 MR 제공 장치의 동작을 설명하기 위한 도면,
도 2는 본 개시의 다양한 실시 예에 따른 MR 제공 장치 및 전자 장치 각각의 구성 및 동작의 예시를 설명하기 위한 블록도,
도 3a, 3b 및 3c는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 수평면의 넓이 및 높이를 기반으로 의미론적 앵커 지점을 식별하는 동작의 예시를 설명하기 위한 도면들,
도 4a는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 인공지능 모델을 이용하여 의미론적 앵커 지점을 식별하는 동작의 예시를 설명하기 위한 도면,
도 4b 내지 도 4c는 본 개시의 다양한 실시 예에 따라 도 4a에서 이용되는 인공지능 모델의 학습 과정의 일 예를 설명하기 위한 도면들,
도 5a는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 기존재하는 객체들의 종류 별 수를 이용하여 의미론적 앵커 지점에 위치할 수 있는 객체를 예측하는 동작의 예시를 설명하기 위한 도면,
도 5b는 본 개시의 다양한 실시 예에 따라 도 5a에서 이용되는 인공지능 모델을 훈련하기 위한 훈련 데이터를 생성하는 일 예를 설명하기 위한 도면,
도 5c는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 도 5b에서 획득된 훈련 데이터를 이용하여 도 5a의 인공지능 모델을 훈련시키고, 훈련된 인공지능 모델을 이용하여 객체를 예측하는 예를 설명하기 위한 블록도,
도 6a는 본 개시의 일 실시 예에 따른 전자 장치가 특성 정보를 기반으로 비디오 내 객체를 인식하는 동작을 설명하기 위한 도면,
도 6b는 본 개시의 다양한 실시 예에 따른 전자 장치가 특성 정보(: 예측된 객체 리스트)를 기반으로 비디오 내 객체를 인식하는 동작을 설명하기 위한 도면,
도 7은 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 사용자의 시야 내에 표시될 객체 영역의 위치를 판단하는 동작의 예시를 설명하기 위한 도면,
도 8은 본 개시의 다양한 실시 예에 따른 MR 제공 장치가, MR 제공 장치와 의미론적 앵커 지점 간의 거리 및 객체 영역들 간의 위치 관계를 이용하여 객체 영역들의 위치를 판단하는 동작의 예시를 설명하기 위한 도면,
도 9a는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 의미론적 앵커 지점들 및 의미론적 앵커 지점들 각각에 기존재하는 객체들을 인식하는 동작의 예시를 설명하기 위한 도면,
도 9b는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 선택된 의미론적 앵커 지점 상에 객체 영역을 위치시키는 동작의 예시를 설명하기 위한 도면,
도 10은 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 GAN 모델을 이용하여 객체 영역의 위치를 판단하는 동작의 예시를 설명하기 위한 도면,
도 11a는 본 개시의 다양한 실시 예에 따라 객체 영역의 위치를 판단하는 데에 이용되는 GAN 모델의 훈련 데이터를 생성하는 예를 설명하기 위한 도면,
도 11b는 본 개시의 다양한 실시 예에 따라 GAN 모델의 훈련 데이터의 일 예를 설명하기 위한 도면,
도 12는 본 개시의 다양한 실시 예에 따른 MR 제공 장치의 구성 예시를 설명하기 위한 블록도,
도 13은 본 개시의 다양한 실시 예에 따라 디스플레이를 이용하여 MR을 제공하는 MR 제공 장치의 구성 및 동작의 예시를 설명하기 위한 블록도,
도 14는 본 개시의 다양한 실시 예에 따른 MR 제공 장치의 제어 방법의 예시를 설명하기 위한 순서도, 그리고
도 15는 본 개시의 다양한 실시 예에 따른 MR 제공 장치 및 전자 장치의 제어 방법을 설명하기 위한 알고리즘의 예시를 나타내는 흐름도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 임의로 선정된 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 단순히 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 예를 들어 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭할 수 있으며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 다양한 실시 예에 따른 MR 제공 장치의 동작의 예시를 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 사용자가 예를 들어 HMD로 구현된 MR 제공 장치(100)를 착용한 경우, MR 제공 장치(100)는 사용자(1)에게 실제 공간의 영상(10)을 제공할 수 있다.
MR 제공 장치(100)는 복수의 이미지 프레임으로 구성된 비디오(20)를 제공하는 적어도 하나의 외부 전자 장치와 통신을 수행할 수 있다.
비디오(20)는 다양한 컨텐츠에 해당할 수 있다. 예를 들어, 뉴스, 토크쇼, 콘서트, 스포츠, E-스포츠, 영화 등 다양할 수 있다. 비디오(20)는 실시간으로 제공되는 라이브 방송일 수도 있고, 화상 통화의 상대방을 담은 실시간 영상일 수도 있다.
이때, MR 제공 장치(100)는 비디오(20)의 전체를 스트리밍 받지 않고, 비디오(20)에 포함된 일부 객체 영역만을 이미지 프레임 별로 실시간으로 수신할 수 있다.
도 1을 참조하면, MR 제공 장치(100)는, 비디오(20)의 각 이미지 프레임 전체가 아니라, 이미지 프레임에 포함된 인물들(21, 22)을 각각 포함하는 객체 영역들(11, 12)을 수신할 수 있다.
그리고, MR 제공 장치(100)는 실제 공간 내 의자 및 특정 빈 공간 상에, 객체 영역들(11, 12) 각각을 가상의 이미지로서 제공할 수 있다.
그 결과, 사용자(1)는 마치 실제 공간 상에 비디오(20) 내 인물들(21, 22)이 함께 있는 것처럼 느낄 수 있다(10').
이하 도면들을 통해, MR 제공 장치(100)의 구성 및 동작의 예시를 보다 상세하게 설명한다.
도 2는 본 개시의 다양한 실시 예에 따른 MR 제공 장치 및 전자 장치 각각의 구성 및 동작의 예시를 설명하기 위한 블록도이다.
도 2를 참조하면, MR 제공 장치(100)는 카메라(110), 광학 디스플레이부(120)(예를 들어, 디스플레이를 포함한다), 통신부(130)(예를 들어, 통신 회로를 포함한다), 프로세서(140)(예를 들어, 제어 회로를 포함한다) 등을 포함할 수 있다.
MR 제공 장치(100)는 HMD, AR/MR 글래스 등 다양한 형태로 구현될 수 있다. 또한, 기술의 발전에 따라서는, 적어도 하나의 컴퓨팅 장치와 통신 가능한 스마트 렌즈로도 구현될 수 있다.
카메라(110)는 실제 공간을 촬영하기 위한 구성으로, 뎁스 카메라 및 RGB 카메라 중 적어도 하나를 포함할 수 있다.
뎁스 카메라는 실제 공간 상의 각 지점과 뎁스 카메라 간의 거리를 나타내는 뎁스 정보(: 뎁스 이미지 또는 뎁스 맵)를 획득할 수 있다. 이를 위해, 뎁스 카메라는 적어도 하나의 ToF 센서를 포함할 수 있다.
RGB 카메라는 RGB 이미지를 획득할 수 있다. 이를 위해, RGB 카메라는 적어도 하나의 광 센서 단자를 포함할 수 있다.
카메라(110)는 두 개 이상의 RGB 카메라(ex. 스테레오 카메라)를 포함할 수도 있는 바, 이 경우 RGB 카메라들을 통해 촬영된 이미지들 내 서로 대응되는 픽셀들의 위치 차이를 기반으로 뎁스 정보가 획득될 수도 있다.
광학 디스플레이부(120)는 디스플레이를 포함할 수 있고, 사용자가 바라보는 시야각 범위 내의 실제 공간과 프로세서(140)를 통해 제공되는 가상의 이미지를 동시에 디스플레이하기 위한 구성이다.
광학 디스플레이부(120)가 실제 공간을 제공하는 시야각 범위는 MR 제공 장치(100) 내 광학 디스플레이부(120)의 설치 구조에 따라 기설정될 수 있다.
시야각 범위는, MR 제공 장치(100)의 정면 방향(: 사용자의 시선 방향)을 기준으로 할 수 있다.
프로세서(140)는 다양한 제어 회로를 포함할 수 있고, 카메라(110)를 통해 기설정된 시야각 범위를 촬영할 수 있는데, 카메라(110)가 촬영하는 시야각 범위 역시, 광학 디스플레이부(120)가 제공하는 시야각 범위의 기준 각도와 마찬가지로 MR 제공 장치(100)의 정면 방향을 기준으로 할 수 있다.
광학 디스플레이부(120)는 빛을 산란(splitting)하여 복수의 광 도파관에 입력하는 방식, 홀로그래픽 방식, 핀 미러 방식 등 다양한 방식을 통해 가상의 이미지를 제공할 수 있다. 이를 위해, 광학 디스플레이부(120)는 프로젝터, 렌즈, 디스플레이, 미러 등 다양한 구성을 포함할 수 있다.
프로세서(140)는, 광학 디스플레이부(120)를 통해, 사용자에게 제공되는 시야각(: 실제 공간) 범위 내 다양한 위치에, 다양한 뎁스의 가상 이미지 또는 가상 정보를 디스플레이하도록 디스플레이를 제어할 수 있다.
통신부(130)를 통해, 프로세서(140)는 외부의 전자 장치(200)와 통신을 수행할 수 있다.
도 2를 참조하면, MR 제공 장치(100)의 프로세서(140)는 semantic anchor spot extractor(140. 이하 extractor로 지칭함)(예를 들어, 다양한 제어 회로 및/또는 실행할 수 있는 프로그램 명령을 포함한다) 및 object positioning module(142)(예를 들어, 다양한 제어 회로 및/또는 실행할 수 있는 프로그램 명령을 포함한다) 등을 포함할 수 있다.
전자 장치(200)는 적어도 하나의 비디오를 저장/제공할 수 있는 장치를 포함할 수 있다. 전자 장치(200)는 TV, 셋탑 박스, 서버 등 다양한 장치로 구현될 수 있으며, 이에 한정되지 않는다.
도 2를 참조하면, 전자 장치(200)는, 메모리(210), 통신부(220)(예를 들어, 통신 회로를 포함한다), 프로세서(230)(예를 들어, 제어 회로를 포함한다) 등을 포함할 수 있다.
메모리(210)에는 복수의 이미지 프레임으로 구성된 비디오를 포함할 수 있다.
전자 장치(200)의 프로세서(230)는 제어 회로를 포함할 수 있고, 통신부(220)를 통해 MR 제공 장치(100)와 통신을 수행할 수 있다.
프로세서(230)는, semantic object recognizer(231)(예를 들어, 다양한 제어 회로 및/또는 실행할 수 있는 프로그램 명령을 포함한다)를 포함할 수 있다.
상술한 모듈들(141, 142, 231)은 각각 소프트웨어 또는 하드웨어로 구현될 수 있으며, 소프트웨어 및 하드웨어가 결합된 형태로 구현될 수도 있다.
본 개시의 일 실시 예에 따른 MR 제공 장치(100)의 프로세서(140)는 카메라(110)를 통해 기설정된 시야각 범위를 촬영하여 실제 공간에 대한 이미지를 획득할 수 있다.
Extractor(141)는 실제 공간 상에 존재하는 의미론적 앵커 지점을 식별하기 위해 다양한 제어 회로 및/또는 실행할 수 있는 프로그램 명령을 포함할 수 있다. Extractor(141)는 카메라(110)를 통해 실제 공간을 촬영하여 획득된 이미지 내에서 적어도 하나의 의미론적 앵커 지점을 식별할 수 있다.
의미론적 앵커 지점은, 적어도 하나의 객체가 위치할 수 있을 만한 지점을 포함할 수 있다.
예를 들어, 의미론적 앵커 지점은, 서 있는 사람이 위치할 수 있는 바닥면, 앉은 사람이 위치할 수 있는 의자면, 식기가 위치할 수 있는 식탁면, 사무 용품이 위치할 수 있는 책상면 등 실제 공간 상에 존재하는 다양한 수평면에 해당할 수 있다.
다만, 의미론적 앵커 지점은 반드시 수평면에 해당할 필요는 없고, 예를 들어, 실제 공간 상의 옷걸이의 경우, 옷이 위치할 수 있는 의미론적 앵커 지점이 될 수도 있다.
또한, Extractor(141)는 의미론적 앵커 지점과 함께 정의되는 의미론적 앵커 지점의 특성 정보도 획득할 수 있다.
의미론적 앵커 지점의 특성 정보는, 의미론적 앵커 지점에 위치할 수 있는 객체에 대한 정보를 포함할 수 있다.
예를 들어, 의미론적 앵커 지점의 특성 정보는, 의미론적 앵커 지점에 위치할 수 있는 객체의 종류에 대한 정보를 포함할 수 있다.
객체의 종류는, 사람, 강아지, 캐릭터(ex. 괴물) 등 움직이는 대상뿐만 아니라, 컵, 책, TV, 나무 등 움직이지 않는 사물이나 식물도 포함할 수 있다. 또한, 객체의 종류는, 서 있는 사람, 앉아 있는 사람, 달리는 사람, 걷는 사람, 누워 있는 사람, 큰 강아지, 작은 강아지 등으로 더욱 세분화될 수도 있다.
더하여, 의미론적 앵커 지점에 위치할 수 있는 객체의 종류는, 상술한 각 객체들(사람, 나무)의 일부분(팔, 다리, 나뭇잎)으로 더욱 세분화될 수도 있다.
일 실시 예에 따르면, 의미론적 앵커 지점의 특성 정보는, 의미론적 앵커 지점에 객체가 존재할 가능성을 객체의 종류 별로 수치화한 적어도 하나의 벡터로 구성될 수도 있다.
의미론적 앵커 지점의 특성 정보는, 그밖에 의미론적 앵커 지점에 위치할 수 있는 객체의 크기, 모양, 수 등에 대한 정보도 포함할 수 있다.
일 실시 예에 따르면, Extractor(141)는 카메라(110)를 통해 촬영된 (뎁스) 이미지 내에서 수평면을 식별하고, 식별된 수평면의 수평 넓이 및 수직 높이 등을 이용하여, 해당 수평면이 의미론적 앵커 지점인지 여부를 판단할 수 있다.
일 예로, 수평면의 수평 넓이와 관련하여, 가로 길이가 40mm 이상이고 세로 길이가 40mm 이상인 경우, Extractor(141)는 해당 수평면을 '서 있는 사람'이 위치할 수 있는 의미론적 앵커 지점으로 식별할 수 있다. '서 있는 사람'은 의미론적 앵커 지점의 특성 정보를 포함할 수 있다. 관련된 실시 예는 도 3a 내지 도 3b를 통해 더욱 상세히 후술한다.
Extractor(141)는 이밖에도 다양한 방식으로 의미론적 앵커 지점을 추출할 수 있는바, 도 4a 내지 도 4c 및 도 5a 내지 도 5c 등을 통해 후술한다.
Extractor(141)는 실시간으로 의미론적 앵커 지점을 식별함으로써, 이미 식별된 의미론적 앵커 지점을 추적할 수도 있다.
Extractor(141)는 카메라(110)를 통해 촬영되는 시야각 범위 내에서 의미론적 앵커 지점의 위치를 식별할 수 있다.
카메라(110)를 통해 촬영되는 시야각 범위의 기준 각도가 광학 디스플레이부(120)의 시야각 범위의 기준 각도와 동일한 경우(또는 기설정된 각도 관계로 기설치된 경우), Extractor(141)는 식별된 의미론적 앵커 지점의 위치를 이용하여, 사용자가 광학 디스플레이부(120)를 바라보는 시야각 범위 내의 의미론적 앵커 지점의 위치도 판단할 수 있다.
또한, Extractor(141)는 카메라(110)를 통해 의미론적 앵커 지점의 뎁스 정보도 실시간으로 획득할 수 있다.
한편, 의미론적 앵커 지점 및 특성 정보가 획득된 경우, 프로세서(140)는 통신부(130)를 통해 외부의 전자 장치(200)로 의미론적 앵커 지점의 특성 정보를 전송할 수 있다.
이 경우, 전자 장치(200)의 프로세서(230)는 수신된 특성 정보를 이용하여, 메모리(210)에 저장된 비디오 내 적어도 하나의 객체를 인식할 수 있다.
예를 들어, 전자 장치(200)의 통신부(220)를 통해 수신된 특성 정보가 '서 있는 사람'인 경우를 가정할 수 있다.
이 경우, 프로세서(230)는 semantic object recognizer(231)를 통해 비디오에 포함되는 이미지 프레임 내에서 '서 있는 사람'을 식별할 수 있다.
이를 위해, semantic object recognizer(231)는 다양한 종류의 객체를 식별하기 위한 적어도 하나의 인공지능 모델을 이용할 수 있다.
비록 해당 인공지능 모델이 '서 있는 사람', '앉아있는 사람', '강아지' 등을 각각 식별하기 위한 연산을 수행하는 형태라고 하더라도, semantic object recognizer(231)는 인공지능 모델이 '서 있는 사람'을 식별하기 위한 연산만을 구동하도록 제어할 수 있다.
그 결과, 객체 인식을 수행하는 전자 장치(200)의 연산량이 줄어들 수 있는바, 관련된 구체적인 실시 예는 도 6a 내지 도 6b를 통해 후술한다.
특성 정보에 따라 객체 영역이 인식되면, 프로세서(230)는 통신부(220)를 통해 객체 영역을 MR 제공 장치(100)로 전송할 수 있다.
이때, 객체 영역에 포함된 객체의 종류, 크기에 대한 정보가 함께 전송될 수 있다. 만약, 비디오의 이미지 프레임 내에서 복수의 객체가 식별된 경우, 이미지 프레임 내의 복수의 객체의 위치 관계(ex. 거리, 방향 등)에 대한 정보도 함께 전송될 수 있다.
객체 영역이 수신되면, MR 제공 장치(100)의 프로세서(140)는 object positioning module(142)를 통해 객체 영역의 위치를 판단할 수 있다.
Object positioning module(142)은 사용자의 시야각 범위 내 수신된 객체 영역의 위치를 판단하기 위한 다양한 제어 회로 및/또는 실행 가능한 프로그램 명령을 포함할 수 있다.
Object positioning module(142)은, semantic anchor spot exractor(141)로부터 의미론적 앵커 지점의 위치 및 뎁스 정보를 전달받을 수 있다. 의미론적 앵커 지점의 위치는, 광학 디스플레이부(120)의 시야각 범위 내 위치일 수 있다.
object positioning module(142)은 의미론적 앵커 지점의 위치, 의미론적 앵커 지점의 뎁스 정보에 따라 객체 영역의 위치 및 뎁스 정보를 판단할 수 있다.
만약, 객체 영역이 위치할 수 있는 의미론적 앵커 지점이 복수 개인 경우, object positioning module(142)은 사용자(MR 제공 장치)와의 거리가 가장 가까운(: 뎁스가 낮은) 의미론적 앵커 지점의 위치에 따라 객체 영역의 위치를 판단할 수 있다.
만약, 복수의 객체 영역이 수신되는 경우, object positioning module(142)은 복수의 객체 영역 간의 위치 관계를 이용하여 복수의 객체 영역 각각의 위치를 판단할 수도 있다.
관련된 실시 예는 도 8을 통해 더욱 상세히 후술한다.
그리고, 프로세서(140)는 판단된 객체 영역의 위치 및 뎁스 정보에 따라 객체 영역을 디스플레이하도록 광학 디스플레이부(120)를 제어할 수 있다.
그 결과, MR 제공 장치(100)는 실제 공간 상의 의미론적 앵커 지점 상에 비디오의 객체가 위치하는 장면을 사용자에게 제공할 수 있다.
도 3a, 3b 및 3c는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 수평면의 수평 넓이 및 높이를 기반으로 의미론적 앵커 지점을 식별하는 동작의 예시를 설명하기 위한 도면들이다.
Extractor(141)는, 카메라(110)를 통해 실제 공간이 촬영된 이미지(310) 내에서 수평면을 모두 식별한 뒤, 수평면들의 수직 높이 및 수평 넓이 등에 따른 조건을 이용하여, 수평면들 중 적어도 하나의 수평면을 의미론적 앵커 지점으로 식별할 수 있다.
의미론적 앵커 지점이 되기 위한 수평면의 조건은, 객체의 종류 별로 다르게 기설정될 수 있다.
예를 들어, Extractor(141)는, 이미지(310) 내 수평면들 중 수직 높이가 가장 낮으며 수평 넓이가 가로 60mm 및 세로 60mm 이상인 수평면을 서 있는 사람이 위치할 수 있는 의미론적 앵커 지점으로 식별할 수 있다.
그 결과, 도 3a와 같이 Extractor(141)는 수평면(311)을 서 있는 사람이 위치할 수 있는 의미론적 앵커 지점으로 식별할 수 있다.
또한, Extractor(141)는 수평면(312)을 앉아 있는 사람이 위치할 수 있는 의미론적 앵커 지점을 식별할 수 있다.
예를 들어, 도 3b를 참조하면, Extractor(141)는, 수직 높이가 30mm 이상 90mm 미만이고, 수평 넓이가 가로 40mm 및 세로 40mm 이상이며, 수평면의 가장자리를 수직으로 내린 지점으로부터 20mm 이내에 가장 낮은 수평면(바닥)이 위치하는 수평면(312)을 앉아 있는 사람이 위치할 수 있는 의미론적 앵커 지점으로 식별할 수 있다.
상술한 과정을 거친 결과, 도 3c를 참조하면, 서 있는 사람이 위치할 수 있는 의미론적 앵커 지점이 36개 식별되고, 앉아 있는 사람이 위치할 수 있는 의미론적 앵커 지점이 5개 식별될 수 있다.
도 3a, 3b 및 3c에 도시된 룰 베이스 방식 외에, Extractor(141)는 적어도 하나의 인공지능 모델을 이용하여 의미론적 앵커 지점을 식별할 수도 있다.
이를 위해, MR 제공 장치(100)의 메모리는, 이미지가 입력되면, 입력된 이미지에 포함된 의미론적 앵커 지점 및 의미론적 앵커 지점의 특성 정보를 추출하도록 훈련된 인공지능 모델을 포함할 수 있다.
Extractor(141)는, 카메라를 통해 획득된 이미지를 해당 인공지능 모델에 입력하여, 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점을 식별할 수 있다.
관련하여, 도 4a는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 인공지능 모델을 이용하여 의미론적 앵커 지점을 식별하는 동작의 예시를 설명하기 위한 도면이다.
도 4a를 참조하면, Extractor(141)는, 카메라(110)를 통해 촬영된 실제 공간의 이미지(401)를 신경망 모델(410)에 입력할 수 있다.
신경망 모델(410)은 이미지(401) 내의 의미론적 앵커 지점(402)을 출력할 수 있다.
예를 들어, 신경망 모델(410)은 이미지(401)에 포함되는 의미론적 앵커 지점(402)의 히트 맵 형태로 의미론적 앵커 지점(402)을 출력할 수 있다.
또한, 신경망 모델(410)은 의미론적 앵커 지점(402)의 특성 정보(403)를 출력할 수 있다.
특성 정보(403)는 의미론적 앵커 지점(402)에 위치할 가능성이 높은 적어도 하나의 객체의 종류(ex. 서 있는 사람)에 대한 정보를 포함할 수 있다.
만약, 의미론적 앵커 지점이 복수 개인 경우, 신경망 모델(410)은 의미론적 앵커 지점의 수를 (위치할 수 있는) 객체의 종류 별로 출력할 수도 있다. 예를 들어, 서 있는 사람이 위치할 수 있는 의미론적 앵커 지점의 수는 36개이고, 앉아 있는 사람이 위치할 수 있는 의미론적 앵커 지점의 수는 5개일 수 있다.
관련하여, 도 4b 내지 도 4c는 본 개시의 다양한 실시 예에 따른 도 4a에서 이용되는 신경망 모델의 훈련 과정의 일 예를 설명하기 위한 도면들이다.
본 훈련 과정은, MR 제공 장치(100)에서 수행될 수도 있으나, 적어도 하나의 다른 외부 장치에서 수행될 수도 있음은 물론이다.
도 4b를 참조하면, 먼저 비디오(421)로부터 적어도 하나의 객체를 인식할 수 있다(S410). 이때, 객체(ex. 서 있는 사람)를 인식하도록 훈련된 적어도 하나의 인공지능 모델이 이용될 수 있으며, 비디오(421)는 뎁스 정보를 포함할 수 있다.
객체들(421-1, 2, 3)이 인식되면, 객체들(421-1, 2, 3) 각각의 복수의 픽셀 중 가장 낮은 수직 높이의 픽셀을 식별할 수 있다.
식별된 픽셀과 가장 인접한 수평면(402)을 인식할 수 있다(S420). 이때, 비디오(421) 상에서 움직이는 객체들(421-1, 2, 3)이 모두 제외된 상태의 이미지 프레임(421') 내에서, 해당 수평면들을 인식할 수도 있다.
그리고, 도 4c를 참조하면, 이미지 프레임(421') 및 수평면(402)의 히트 맵(402')을 훈련 데이터셋으로 하여 신경망 모델(410)을 훈련시킬 수 있다(S430).
마찬가지의 방식으로 수많은 이미지-히트 맵 페어를 통해 훈련된 결과, 신경망 모델(410)은, 입력된 이미지 내에서 객체(ex. 서 있는 사람)가 위치할 수 있는 의미론적 앵커 지점(히트 맵)을 식별할 수 있게 된다.
비록 상술한 도 3a의 실시 예를 통해서는, 가장 낮은 수평면에 위치할 수 있는 객체가 '서 있는 사람'인 것으로 단정적으로 전제하였으나, 이 밖에도 다양한 종류의 객체(ex. 강아지, 고양이 등)가 해당 수평면에 위치할 수 있다.
일 예로, 해당 수평면은, 서 있는 사람, 강아지, 고양이 등의 다양한 객체들이 위치할 가능성이 높은 특성 정보를 가지는 의미론적 앵커 지점으로 식별될 수도 있다. 이는, 의미론적 앵커 지점의 특성 정보가 객체의 종류 별 가능성을 수치화한 벡터 형태로 구현됨으로써 가능하다.
다만, 여기서 특성 정보에 따르면, 의미론적 앵커 지점에 위치할 수 있는 객체의 종류가 너무 많아지는 문제가 있을 수 있다.
이 경우, 전자 장치(200)에서 수행되는 의미론적 객체 인식(231)에 걸리는 시간이 증가할 수 있으며, 전자 장치(200)에서 MR 제공 장치(100)로 수신되는 객체 영역의 수가 너무 많아질 수도 있다.
따라서, 일 실시 예에 따르면, Extractor(141)는, 실제 공간 상에 기존재하고 있는 객체의 종류 별 수를 이용하여, 해당 공간(: 의미론적 앵커 지점) 상에 추가적으로 위치할 수 있을 만한 객체의 종류를 예측할 수 있다.
Extractor(141)는, 예측된 종류의 객체만을 포함하도록 의미론적 앵커 지점(: 해당 수평면)의 특성 정보를 업데이트할 수 있다.
관련하여, 도 5a는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 기존재하는 객체들의 종류 별 수를 이용하여 의미론적 앵커 지점에 위치할 수 있는 객체를 예측하는 동작의 예시를 설명하기 위한 도면이다.
도 5a는, 적어도 하나의 의미론적 앵커 지점(ex. 수평면)이 이미 식별된 상황을 전제로 한다.
도 5a를 참조하면, Extractor(141)는 object recognizer(510) 및 object predictor(520)를 포함할 수 있고, 예를 들어, 각각은 다양한 처리 회로 및/또는 실행 가능한 프로그램 명령을 포함할 수 있다.
object recognizer(510)는, 카메라(110)를 통해 획득된 이미지(: 실제 공간)에 포함된 적어도 하나의 (기존재하는) 객체를 식별할 수 있다. 이때, 다양한 종류의 객체를 식별하도록 훈련된 적어도 하나의 인공지능 모델이 이용될 수 있다.
object predictor(520)는 식별된 객체의 종류를 기반으로, 의미론적 앵커 지점에 위치할 수 있는 객체의 종류를 식별(예측)할 수 있다.
object predictor(520)는, 객체의 종류 별 수가 입력되면, 추가적으로 존재할 수 있는 객체의 종류를 출력하도록 훈련된 인공지능 모델(525)을 이용할 수 있다. 본 인공지능 모델은 MR 제공 장치(100)의 메모리에 저장된 것일 수 있다.
예를 들어, object predictor(520)는, 식별된 객체의 수를 종류 별로 인공지능 모델(525)에 입력하여, 추가적으로 존재할 수 있는 적어도 하나의 객체의 종류를 판단할 수 있다.
이 경우, Extractor(141)는, 판단된 (객체의) 종류에 따라 의미론적 앵커 지점의 특성 정보를 업데이트/생성할 수 있다.
도 5b는 본 개시의 다양한 실시 예에 따른 도 5a에서 이용되는 인공지능 모델을 훈련하기 위한 훈련 데이터를 생성하는 일 예를 설명하기 위한 도면이다.
도 5b를 참조하면, m개의 이미지(images [1 - m]) 각각에서 k개의 종류(클래스)에 대한 객체 인식이 수행될 수 있다.
그 결과, 이미지 별로, k개의 종류(클래스)의 객체에 대한 인식 결과가 종류 별 객체의 수로서 산출될 수 있다.
산출된 각 이미지에 대한 종류 별 객체의 수에 따라 훈련 데이터인 행렬(501)이 획득될 수 있다.
인공지능 모델(525)은 행렬(501)을 훈련 데이터로 하여 훈련될 수 있다.
관련하여, 도 5c는 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 도 5b에서 획득된 훈련 데이터(501)를 이용하여 인공지능 모델(525)을 훈련시키고, 훈련된 인공지능 모델(525)을 이용하여 객체를 예측하는 예를 설명하기 위한 블록도이다.
도 5c는 종래의 "Market Basket Analysis"의 개념을 이용할 수 있다. Market Basket Analysis는, 어떤 상품들(items)이 고객에 의해 빈번하게 함께 구매되는가에 대한 판단을 위한 것이다.
마찬가지로, 본 개시의 실시 예는, 어떤 객체들이 하나의 이미지(또는 실제 공간) 내에 함께 존재하는가를 판단하게 된다.
따라서, 각 이미지 별로 함께 식별된 객체의 종류 별 수에 대한 정보를 포함하는 도 5b의 행렬(501)은 훈련 데이터가 될 수 있다.
도 5c에서, S501(S511, S512, S513, S514, S515, S516, S517 및 S518, 이하 S511-S518이라 한다)은 "A Survey of Collaborative Filtering-Based Recommnder Systems: From Traditional Methods to Hybrid Methods Based on Social Networks"(Rui Chen, Qinhyi Hua 등)에서 설명된 훈련 및 rating 과정을 그대로 차용한 것이며, 이 문서의 전체 내용은 본 명세서의 참조로서 포함될 수 있다.
S511 과정에서, "User"는 "image"로, "item"은 "object(type)"로 대체할 필요가 있다. S511의 훈련 데이터로는, 도 5b에서 획득된 행렬(501)이 이용될 수 있다.
그 결과, 도 5a의 인공지능 모델(525)은, S511-S515의 과정을 통해, 이미지에 추가적으로 존재할 가능성이 높은 적어도 하나의 객체를 예측하도록 훈련될 수 있다.
그 결과, Extractor(141)는 이미지(: 실제 공간이 촬영된)로부터 객체를 인식하고(S521), 식별된 객체의 리스트를 획득할 수 있다(S522).
Extractor(141)는 식별된 객체의 리스트를 모델(525)에 입력한 결과(S516-S517), 실제 공간 상에 추가적으로 존재할 가능성이 가장 높은 객체들(종류)의 리스트(502)를 획득할 수 있다.
Extractor(141)는 리스트(502)에 따라 기식별된 의미론적 앵커 지점의 특성 정보를 정의할 수 있다.
도 6a는 본 개시의 다양한 실시 예에 따른 전자 장치가 특성 정보를 기반으로 비디오 내 객체를 인식하는 동작의 예시를 설명하기 위한 도면이다.
도 6a를 참조하면, 전자 장치(200)의 semantic object recognizer(231)는 MR 제공 장치(100)로부터 수신된 특성 정보를 이용하여, 비디오에 포함된 이미지 프레임(610)으로부터, 적어도 하나의 객체 영역을 추출할 수 있다.
예를 들어, 의미론적 앵커 지점에 위치할 수 있는 객체의 종류(: 특성 정보)가 서 있는 사람 및 앉아 있는 사람인 경우를 가정할 수 있다.
이 경우, 도 6a를 참조하면, semantic object recognizer(231)는 이미지 프레임(610)으로부터 앉아 있는 사람(611)을 포함하는 객체 영역 및 서 있는 사람(612)을 포함하는 객체 영역을 각각 식별할 수 있다.
이때, semantic object recognizer(231)는 특성 정보에 대응되는 객체를 식별하도록 훈련된 적어도 하나의 인공지능 모델을 이용할 수 있다.
일 예로, 전자 장치(200)의 메모리(220)에 복수의 종류의 객체를 식별하도록 훈련된 인공지능 모델이 저장된 경우를 가정한다. 객체 인식 방식으로는, keypoint estimation 방식, bounding box 방식(1, 2 stage 등)
semantic object recognizer(231)는, 복수의 종류 중 특성 정보(ex. 서 있는 사람, 앉아 있는 사람)에 대응되는 종류를 선택하고, 이미지 프레임 내에서 선택된 종류의 객체를 식별하도록 인공지능 모델을 제어할 수 있다.
관련하여, 도 6b는 본 개시의 다양한 실시 예에 따른 전자 장치가 특성 정보(: 예측된 객체 리스트)를 기반으로 비디오 내 객체를 인식하는 동작의 예시를 설명하기 위한 도면이다.
도 6b는, 객체 인식 과정에 있어서, 일 예로써 "CenterMask: single shot instance segmentation with point representation"(Yuqing Wang, Zhaoliang Xu 등)에 기재된 의미론적 객체 인식 알고리즘을 차용한 것이고, 이 문서의 전체 내용은 본 명세서의 참조로서 포함될 수 있다.
도 6b를 참조하면, semantic object recognizer(231)는 비디오에 포함되는 이미지 프레임(620)을 예를 들어, backbone network일 수 있는 ConvNet(601)에 입력할 수 있다.
이때, ConvNet(601) 이후에는 다섯 개의 헤드가 있고, 다섯 개의 헤드의 출력들(621, 622, 623, 624, 625)은 동일한 Height(H)와 Width(W)를 가지지만 채널의 수가 다르다. C는 객체의 종류(클래스)의 수이다. 그리고, S2는 모양 벡터의 크기이다.
도 6b에서, 히트맵 헤드는 종래의 keypoint estimation pipeline에 따라 센터 포인트들 각각의 위치 및 카테고리(: 객체의 종류)를 예측할 수 있다.
이때, 출력(624)의 각 채널은 각 카테고리(: 객체의 종류)의 히트맵에 해당한다.
여기서, 본 개시의 실시 예에 따른 semantic object recognizer(231)는, 수신된 특성 정보에 따라, 특성 정보(ex. 도 5c의 리스트(502))에 포함된 객체의 종류에 매칭되는 카테고리의 히트맵만을 출력하도록 히트맵 헤드의 연산을 제어할 수 있다.
예를 들어, 전체 히트맵 레이어들 중, 특성 정보에 포함된 객체의 종류에 매칭되는 카테고리의 히트맵 레이어만이 연산을 수행할 수 있고, 따라서 연산량이 줄어들 수 있다는 효과가 있다.
히트맵 헤드와 오프셋 헤드의 출력들(624, 625)은 센터 포인트의 위치를 나타낸다. 이때, 센터 포인트는 서로 다른 종류의 객체들마다 별도로 획득될 수 있다. 모양 및 크기 헤드들은 센터 포인트의 해당 위치에서의 Local Shapes를 예측한다. Saliency 헤드는 Global Saliency Map(621)을 출력하는데, Global Saliency Map상에서 크롭된 객체 영역이 Local Shapes에 곱해져, 이미지 프레임(620) 상에 각 개체를 나타내는 마스크를 형성할 수 있다. 형성된 마스크에 따라 최종적인 객체 인식이 완성될 수 있다.
이렇듯, 의미론적 앵커 지점의 특성 정보가 객체 인식에 이용됨에 따라, 전자 장치(200)의 객체 인식 속도가 빨라질 수 있다. 이는, 실시간 스트리밍에 매우 긍정적인 요소에 해당한다.
비록 상술한 도 6a에서는 센터 포인트 방식에 따른 객체 인식이 이용되었으나, 도 6a는 일 예일 뿐, semantic object recognizer(231)의 객체 인식 방식이 도 6a와 같은 센터 포인트 방식에만 한정되는 것은 아니며, 바운딩 박스(1 size patch, multi-size patch 등) 기반 객체 인식, 엣지 포인트 기반 객체 인식 등 다양한 방식이 이용될 수 있음은 물론이다.
도 7은 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 사용자의 시야 내에 표시될 객체 영역의 위치를 판단하는 동작의 예시를 설명하기 위한 도면이다.
도 7을 참조하면, MR 제공 장치(100)의 Object positioning module(142)은 inpainting module(710) 및 synthesizer(720) 중 적어도 하나를 포함할 수 있다.
Inpainting module(710)은 전자 장치(200)로부터 수신된 객체 영역에 불완전한 부분이 있는 경우, 이를 보완하기 위한 모듈이다.
예를 들어, inpainting module(710)은 전자 장치(200)로부터 수신된 객체 영역에 포함된 객체에서 생략된 부분을 새롭게 생성할 수 있다.
예를 들어, 전자 장치(200)의 비디오의 이미지 프레임 내에서 객체(ex. 서 있는 사람)의 일부(ex. 오른쪽 다리 아래 부분)가 다른 객체에 의해 가려진 경우, 또는 이미지 프레임 내에 객체(ex. 서 있는 사람)의 전체가 아닌 일부 신체 부위만 나와 있는 경우를 가정할 수 있다.
이 경우, 추출된 객체 영역 내에, 객체(ex. 서 있는 사람)의 일부(ex. 오른쪽 다리 아래 부분)는 포함되지 않은 상태일 수 있다.
여기서, inpainting module(710)은 전자 장치(200)에서 수신된 객체 영역에 포함된 객체(ex. 서 있는 사람)의 모습이 완전한지 판단하고, 불완전한 부분(ex. 오른쪽 다리 아래 부분)을 생성하여 객체 영역을 보완할 수 있다.
그 결과, 기존에 비디오에 포함되지 않았던 객체의 일부가 객체의 기존재하는 부분들에 맞게 생성될 수 있고, 사용자는 MR 제공 장치(100)를 통해 완전한 형태를 갖춘 가상의 객체 이미지를 제공받을 수 있게 된다.
이를 위해, inpainting module(710)은 예를 들어 불완전하게 그려진 객체의 적어도 일부를 보완하기 위한 적어도 하나의 GAN을 이용할 수 있는바, 이미지 내에서 일부가 생략된 객체를 재구성하는 종래의 기술(ex. SeGAN: Segmenting and Generating the Invisible. Kiana Ehsani, Roozbeh Mottaghi 등이고, 이 문서의 전체 내용은 본 명세서의 참조로서 포함될 수 있다)이 이용될 수 있다.
Synthesizer(720)는 실제 공간을 바라보는 사용자의 시야각 범위 내에서 객체 영역을 합성하기 위한 모듈이다. synthesizer(720)는 사용자의 시야각 범위 내에 디스플레이될 객체 영역의 위치 및/또는 뎁스를 판단할 수 있다.
일 실시 예에 따르면, synthesizer(720)는 MR 제공 장치(100)와 의미론적 앵커 지점 간의 거리, 객체 영역의 이미지 프레임(비디오) 내 위치 등을 이용하여 객체 영역의 위치를 판단할 수 있다.
관련하여, 도 8은 본 개시의 다양한 실시 예에 따라, MR 제공 장치가, MR 제공 장치와 의미론적 앵커 지점 간의 거리 및 객체 영역들 간의 위치 관계를 이용하여 객체 영역들의 위치를 판단하는 동작의 예시를 설명하기 위한 도면이다.
도 8은, 서 있는 사람이 위치할 수 있는 36개의 의미론적 앵커 지점들 및 앉아있는 사람이 위치할 수 있는 5개의 의미론적 앵커 지점들이 식별된 경우를 가정한다. 도 8은, 전자 장치(200)로부터 수신된 (특성 정보에 대응되는) 객체 영역들(21, 22)이 각각 앉아 있는 사람 및 서 있는 사람을 포함하는 경우를 가정한다. 이미지(310)는 카메라(110)를 통해 촬영된 실제 공간의 이미지이다.
synthesizer(720)는 MR 제공 장치(100)와의 거리가 비교적 가까운 의미론적 앵커 지점을 선택할 수 있다.
도 8을 참조하면, synthesizer(720)는 앉아 있는 사람이 위치할 수 있는 의미론적 앵커 지점들 중 첫 번째 의미론적 앵커 지점의 위치를, 객체 영역(21)의 위치로 판단할 수 있다.
또한, synthesizer(720)는, 비디오의 이미지 프레임(ex. 도 1의 20) 내 객체 영역들(21, 22) 간의 위치 관계(ex. 거리, 방향 등)가 유지되도록, 판단된 객체 영역(21)의 위치를 고려하여 객체 영역(22)의 위치를 판단할 수 있다.
그 결과, 도 8을 참조하면, synthesizer(720)는 서 있는 사람이 위치할 수 있는 36개의 의미론적 앵커 지점 중 9번째 의미론적 앵커 지점을 객체 영역(22)의 위치로 판단할 수 있다.
다만, 도 8은 일 예일 뿐, MR 제공 장치(100)와 의미론적 앵커 지점 간의 거리 및/또는 객체 영역들 간의 위치 관계를 이용하는 방식이 도 8의 예에만 한정되는 것은 아니고, 통상의 기술 수준에서 다양하게 변형 가능함은 물론이다.
synthesizer(720)는, 각 의미론적 앵커 지점 상에 기존재하는 객체의 종류 및/또는 크기에 따라, 새롭게 추가될 객체 영역의 위치를 판단할 수도 있다. 이하 도 9a 및 도 9b를 통해 예시를 더욱 상세하게 설명한다.
도 9a는, 실제 공간(910) 내에서, 세 개의 의미론적 앵커 지점들(911, 912, 913)이 식별된 경우를 가정한다.
또한, 도 9a는, 의미론적 앵커 지점(911) 상에는 노트북(921)이 기존재하고 있고, 의미론적 앵커 지점(912) 상에는 연필꽂이들(922, 923)이 기존재하고 있는 상황을 가정한다. 객체들(921, 922, 923)은 상술한 Extractor(141)에 의해 인식된 것들일 수 있다.
synthesizer(720)는 기존재하는 객체의 종류(노트북, 연필통 등) 및 각 객체의 크기 등을 식별할 수 있다. 그 결과, 의미론적 앵커 지점들(911, 912, 913) 각각에 기존재하는 객체들의 종류 및 크기에 대한 정보가 획득될 수 있다.
도 9b와 같이 수신된 객체 영역(920)이 컵을 포함하는 경우, synthesizer(720)는 컵의 크기(ex. 높이)에 따라 적어도 하나의 의미론적 앵커 지점을 선택할 수 있다.
도 9b를 참조하면, 실제 공간(910) 내에 기존재하는 객체들 중 의미론적 앵커 지점(912)에 존재하는 연필꽂이들(922, 923)의 크기/높이가 컵의 크기/높이와 가장 유사하므로, synthesizer(720)는 의미론적 앵커 지점(912)을 객체 영역(920)이 위치로 선택할 수 있다.
일 실시 예에 따르면, Synthesizer(720)는 카메라(110)가 촬영한 실제 공간의 이미지에 객체 영역을 합성하기 위한 GAN을 이용할 수도 있다.
관련하여, 도 10은 본 개시의 다양한 실시 예에 따른 MR 제공 장치가 GAN 모델을 이용하여 객체 영역의 위치를 판단하는 동작의 예시를 설명하기 위한 도면이다.
도 10을 참조하면, synthesizer(720)는 GAN에 해당하는 synthesizer network(731), target network(732), discriminator(733) 등을 이용할 수 있다.
Synthesizer network(731)는 이미지에 객체 영역을 합성하여 합성 이미지를 생성하도록 훈련된 네트워크를 나타내고, Target network(732)를 속이도록 업데이트 된다.
Target network(732) 역시 합성 이미지를 통해 훈련될 수 있으며, Discriminator(733)는 합성 이미지의 품질을 향상시키도록 Synthesizer netowork(731)에 피드백을 제공할 수 있는바, 많은 수의 실제 이미지를 기반으로 훈련될 수 있다.
다만, 도 10의 예는 종래 기술의 일 예(Learning to Generate Synthetic Data via Compositing. Shashank Tripathi, Siddhartha Chandra 등이고, 이 문서의 전체 내용은 본 명세서의 참조로서 포함될 수 있다)를 이용한 것이고, 이밖에도 다양한 형태/방식의 GAN이 이용될 수 있다.
일 실시 예에 따르면, Synthesizer(720)는, 객체를 포함하지 않는 이미지가 입력되면 해당 이미지에 위치할 수 있는 객체에 대한 정보를 포함하는 saliency map을 출력하도록 훈련된 GAN을 이용할 수도 있다.
비교적 단순한 형태(binary mask)로 객체의 위치(좌표)를 나타내는 saliency map을 이용함으로써, 실제 공간을 바라보는 사용자의 시야 상에 배치될 객체 영역의 위치가 빠르게 판단할 수 있다.
이때, GAN을 훈련시키기 위해, 객체를 포함하는 이미지 프레임과, 동일한 공간을 나타내지만 객체를 포함하지 않는 이미지 프레임이 필요하다.
도 11a 내지 도 11b는 본 개시의 다양한 실시 예에 따라 해당 GAN을 훈련시키는 과정의 일 예를 설명하기 위한 것이다.
도 11a를 참조하면, 비디오(1111)에 포함된 복수의 이미지 프레임을 순차적으로 입력받아 시공간 특징을 추출하기 위한 Encoder network(1110), 및 시공간 특징으로부터 객체에 대한 정보를 saliency map(1121) 형태로 추출하기 위한 ediction network(1120)를 포함하는 네트워크가 이용될 수 있다(참조: TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection. Kyle Min, Jason J. Corso, 이 문서의 전체 내용은 본 명세서의 참조로서 포함될 수 있다).
그 결과, 객체를 포함하는 이미지 프레임 및 객체에 대한 정보를 포함하는 saliency map의 페어가 획득될 수 있다. 더하여, 해당 이미지 프레임과 동일한 공간을 나타내지만 객체를 포함하지 않는 이미지 프레임이 필요하다.
도 11b를 참조하면, 객체를 포함하지 않는 이미지 프레임(1151) 및 saliency map(1152)이 각각 입출력으로서 GAN의 훈련 데이터 셋이 될 수 있다.
saliency map(1152)은, 객체를 포함하는 이미지 프레임(1150)을 도 11a와 같은 네트워크들(1110, 1120)에 입력함으로써 획득될 수 있다.
도 11a 내지 도 11b의 과정을 거친 결과, synthesizer(720)의 GAN은, 실제 공간을 촬영한 이미지 내에 추가될 객체 영역의 위치를 판단할 수 있다.
도 12는 본 개시의 다양한 실시 예에 따른 MR 제공 장치의 구성 예시를 설명하기 위한 블록도이다.
도 12를 참조하면, MR 제공 장치(100)는 카메라(110), 광학 디스플레이부(120), 통신부(130) 및 프로세서(140) 외에도, 센서(150), 스피커(160), 사용자 입력부(170)(예를 들어, 입력 회로를 포함한다) 등을 더 포함할 수 있다.
통신부(130)는 다양한 통신 회로를 포함할 수 있고, 상술한 외부의 전자 장치(200) 이외에도 다양한 외부 장치와 통신을 수행할 수 있다.
일 예로, 상술한 프로세서(140)의 동작들 중 적어도 하나는, 통신부(130)를 통해 MR 제공 장치(100)와 통신할 수 있는 적어도 하나의 외부 제어 장치를 통해 수행될 수도 있다.
예를 들어, MR 제공 장치(100)의 부피를 줄이기 위해, 상술한 프로세서(140)의 기능을 대부분 수행하는 별도의 외부 컴퓨팅 장치가 통신부(130)를 통해 MR 제공 장치(100)와 연결될 수 있다.
또한, MR 제공 장치(100)에 대한 사용자 명령을 입력하기 위한 별도의 원격 제어 장치가 있는 경우, 원격 제어 장치(ex. 사용자 모션 입력 장치)를 통해 입력되는 사용자 명령에 대한 정보 역시 통신부(130)를 통해 수신될 수 있다.
통신부(130)는 무선 통신 또는 유선 통신을 통해 하나 이상의 외부 장치와 통신을 수행할 수 있다.
무선 통신은 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등의 통신 방식 중 적어도 하나를 포함할 수 있다.
유선 통신은 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 통신 방식 중 적어도 하나를 포함할 수 있다. 여기서, 통신부(130)는 상술한 유무선 통신 방식에 따른 네트워크 인터페이스(Network Interface) 또는 네트워크 칩을 포함할 수 있다.
통신부(130)는 외부 장치와 직접적으로 연결될 수도 있지만, 네트워크를 제공하는 하나 이상의 외부 서버(ex. ISP(Internet Service Provider)) 및/또는 중계 장치를 통해서 외부 장치와 연결될 수도 있다.
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.
통신 방식은 상술한 예에 한정되지 아니하고, 기술의 발전에 따라 새롭게 등장하는 통신 방식을 포함할 수 있다.
프로세서(140)는 MR 제공 장치(100)의 적어도 하나의 메모리와 연결되어 MR 제공 장치(100)를 제어할 수 있다.
프로세서(140)는 다양한 제어 회로를 포함할 수 있고, 예를 들어, 하드웨어적으로 CPU(central processing unit), 전용 프로세서(dedicated processor), GPU(Graphic processing unit), NPU(neural processing unit) 등에서 적어도 하나를 포함할 수 있으며 이에 한정되지는 않는다. 또한, 프로세서(140)는 MR 제공 장치(100)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
프로세서(140)는 전자 장치(10)에 포함된 하드웨어적 구성요소뿐만 아니라, MR 제공 장치(100)에 포함되는 하나 이상의 소프트웨어 모듈을 제어할 수도 있으며, 프로세서(140)가 소프트웨어 모듈을 제어한 결과가 하드웨어 구성들의 동작으로 도출될 수도 있다.
프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP 등과 같은 범용 프로세서, GPU, VPU 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습(훈련)을 통해 만들어진 것을 특징으로 한다.
학습을 통해 만들어진다는 것은, 예를 들어 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미할 수 있다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
학습 알고리즘은, 예를 들어 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법을 말할 수 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
센서(150)는 MR 제공 장치(100)의 주변 정보를 획득하기 위한 구성이다.
센서(150)는 예를 들어 IMU(Inertial Measurement Unit) 센서, GPS(Global Position System) 센서, 지자기 센서 등과 같은 다양한 센서를 포함할 수 있으며, 이에 한정되지는 않는다.
프로세서(140)는, 뎁스 카메라를 통해 획득된 뎁스 정보(ex. 라이다 센서의 데이터) 및/또는 IMU 센서의 데이터 등을 이용하여 SLAM(Simultaneous Localization and Mapping)을 수행함으로써, MR 제공 장치(100)를 통해 사용자가 바라보는 실제 공간의 3D 맵을 구성함과 동시에 MR 제공 장치(100)(사용자)의 맵상 위치를 추적할 수 있다.
실제 공간 상에서 수평면(: 의미론적 앵커 지점의 후보)을 식별하는 Extractor(141)의 상술한 동작 역시 SLAM 과정에서 함께 수행될 수 있다.
프로세서(140)는 스테레오 카메라를 통해 획득된 이미지를 이용하여 visual SLAM을 수행할 수도 있다.
스피커(160)는 사운드를 출력하기 위한 구성이다.
전자 장치(200)로부터 비디오에 포함되는 오디오 신호가 수신되면, 프로세서(140)는, 수신된 오디오 신호에 해당하는 사운드를 출력하도록 스피커(160)를 제어할 수 있다.
시각적으로 객체 영역들이 제공됨과 동시에, 청각적으로는 비디오의 사운드가 제공될 수 있다.
사용자 입력부(170)는 사용자 명령/정보를 수신하기 위한 다양한 구성 및/또는 회로를 포함할 수 있다.
사용자 입력부(170)는 적어도 하나의 버튼, 마이크, 터치 센서, 모션 센서 등 다양한 구성을 포함할 수 있다.
또한, MR 제공 장치(100)가 HMD 또는 AR/MR 글래스로 구현된 경우, 사용자 입력부(170)는 사용자의 MR 제공 장치(100) 착용 여부를 판단하기 위한 적어도 하나의 접촉/근접 센서를 포함할 수 있다.
예를 들어, MR 제공 장치(100)가 착용된 상태에서, immersive mode를 활성화하기 위한 사용자 명령이 수신된 경우, 프로세서(140)는 전자 장치(200)와 통신을 수행하는 한편 Extractor(141) 및 object positing module(142)을 이용하여 상술한 동작들을 수행할 수 있다.
그 결과, 전자 장치(200)가 제공하는 비디오의 적어도 일부(객체 영역, 사운드)가 MR 제공 장치(100)를 통해 실제 공간 상에 제공될 수 있다.
도 13은 본 개시의 다양한 실시 예에 따라 디스플레이를 이용하여 MR을 제공하는 MR 제공 장치의 구성의 예시를 설명하기 위한 블록도이다.
상술한 도면들을 통해서는, MR 제공 장치(100)가 광학 디스플레이부(120)를 이용하는 다양한 실시 예들이 설명되었으나, 광학 디스플레이부(120) 대신 일반적인 디스플레이(120')를 이용하는 MR 제공 장치(100') 역시 본 개시의 실시 예가 될 수 있다.
본 MR 제공 장치(100')는 예를 들어 스마트폰, 태블릿 PC 등으로 구현될 수 있으며, 이에 한정되지는 않는다.
본 MR 제공 장치(100')는, Extractor(141)의 동작을 수행하고 특성 정보에 따른 객체 영역을 수신한다는 점에서 상술한 MR 제공 장치(100)와 동일 또는 유사하나, 최종적으로 MR을 제공하는 과정에 있어서 차이가 있다.
예를 들어, 프로세서(140')는 다양한 제어 회로를 포함할 수 있고, 의미론적 앵커 지점의 특성 정보에 따른 객체 영역이 전자 장치(200)로부터 수신되면, 카메라(110)를 통해 실제 공간을 촬영한 이미지에 해당 객체 영역을 합성할 수 있다. 이때, 적어도 하나의 GAN이 이용될 수 있다.
프로세서(140')는 합성된 이미지를 디스플레이하도록 디스플레이(120')를 제어할 수 있다.
예를 들어, 본 MR 제공 장치(100')는, 광학 디스플레이부(120)를 이용하여 실제 공간 상에 가상 이미지(: 객체 영역)를 보여주는 것이 아닐 수 있고, 실제 공간이 촬영된 이미지 및 가상 이미지가 합성된 합성 이미지를 생성하여 디스플레이할 수 있다.
이 경우, 실제 공간 자체도 딜레이를 거쳐 보이게 된다는 문제가 있지만, 기존의 스마트폰 또는 태블릿 PC 등으로도 MR을 제공할 수 있다는 장점이 있다.
도 14는 본 개시의 다양한 실시 예에 따른 MR 제공 장치의 제어 방법의 예시를 설명하기 위한 순서도이다. 본 MR 제공 장치는, 기설정된 시야각 범위 내의 현실 공간 및 가상의 이미지를 제공할 수 있고, 광학 디스플레이부 및/또는 디스플레이를 포함할 수 있다.
도 14를 참조하면, 예시적인 제어 방법은, 카메라를 통해 기설정된 시야각 범위를 촬영하여 (실제 공간의) 이미지를 획득할 수 있다. 이때, 카메라는, RGB 카메라 및/또는 뎁스 카메라를 포함할 수 있다.
그리고, 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별할 수 있다(S1410).
이때, 카메라를 통해 획득된 이미지의 복수의 픽셀의 뎁스 정보를 획득하고, 획득된 뎁스 정보를 기반으로, 획득된 이미지 내에서 적어도 하나의 수평면을 식별할 수 있다.
식별된 적어도 하나의 수평면의 넓이 및 수직 방향의 높이에 기초하여, 식별된 적어도 하나의 수평면 중 객체가 위치할 수 있는 의미론적 앵커 지점을 식별하 수 있다.
MR 제공 장치의 메모리에, 이미지가 입력되면, 입력된 이미지에 포함된 의미론적 앵커 지점 및 특성 정보를 추출하도록 훈련된 인공지능 모델이 포함된 경우를 가정할 수 있다.
이 경우, 카메라를 통해 획득된 이미지를 인공지능 모델에 입력하여, 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점을 식별할 수 있다.
본 제어 방법은, 획득된 이미지에 포함된 적어도 하나의 객체를 식별할 수 있다. 식별된 객체의 종류를 기반으로, 의미론적 앵커 지점에 위치할 수 있는 객체의 종류를 판단할 수 있다.
이 경우, 판단된 객체의 종류를 기반으로, 의미론적 앵커 지점의 특성 정보를 생성할 수 있다.
일 예로, MR 제공 장치의 메모리에는, 객체의 종류 별 수가 입력되면, 추가적으로 존재할 수 있는 객체의 종류를 출력하도록 훈련된 인공지능 모델이 포함될 수 있다.
이때, 획득된 이미지로부터 식별된 객체의 수를 종류 별로 인공지능 모델에 입력하여, 추가적으로 존재할 수 있는 적어도 하나의 객체의 종류를 판단할 수 있다.
상술한 실시 예들에 따라 의미론적 앵커 지점 및 그 특성 정보가 식별되면(S1410), 본 제어 방법은, 의미론적 앵커 지점의 특성 정보(charicteristic information)를 외부의 전자 장치로 전송할 수 있다(S1420).
이때, 전자 장치는, 비디오의 이미지 프레임으로부터 특성 정보에 따른 객체를 식별 및 추적함으로써 이미지 프레임 별로 객체 영역을 추출할 수 있다.
전자 장치가 제공하는 비디오의 이미지 프레임에 포함된 적어도 하나의 객체 중 특성 정보에 대응되는 객체가 포함된 객체 영역을 전자 장치로부터 수신할 수 있다(S1430).
본 제어 방법은, 의미론적 앵커 지점 상에 수신된 객체 영역을 디스플레이할 수 있다(S1440).
본 제어 방법은, 객체 영역이 디스플레이 될 위치를 판단하고, 판단된 위치에 따라 객체 영역을 디스플레이할 수 있다.
일 예로, 본 제어 방법은, MR 제공 장치와 의미론적 앵커 지점 간의 거리 및/또는 비디오의 이미지 프레임 내 객체 영역의 위치 정보를 이용할 수 있다.
일 예로, 획득된 이미지 내에서 복수의 의미론적 앵커 지점이 식별되고, 전자 장치로부터 복수의 객체 영역이 수신된 경우를 가정한다.
복수의 의미론적 앵커 지점 각각과 MR 제공 장치 간의 거리 및 이미지 프레임 내에서 복수의 객체 영역 간의 위치 관계에 기초하여, 복수의 의미론적 앵커 지점 중 수신된 복수의 객체 영역 각각이 위치하기 위한 의미론적 앵커 지점들을 선택할 수 있다.
선택된 의미론적 앵커 지점들 각각 상에 복수의 객체 영역 각각을 디스플레이할 수 있다.
복수의 의미론적 앵커 지점이 식별된 경우, 실제 공간을 촬영한 이미지 내에서 복수의 의미론적 앵커 지점 각각에 존재하는 객체의 종류 또는 크기를 함께 식별할 수 있다.
이 경우, 식별된 객체의 종류 또는 크기를 기반으로, 복수의 의미론적 앵커 지점 중 수신된 객체 영역이 위치하기 위한 의미론적 앵커 지점을 선택할 수 있다. 선택된 의미론적 앵커 지점 상에 수신된 객체 영역을 디스플레이할 수 있다.
이미지에 적어도 하나의 객체 영역을 합성하도록 훈련된 GAN에 획득된 이미지(실제 공간)를 입력하여, 수신된 객체 영역이 디스플레이되는 위치를 식별할 수도 있다. 이 경우, 식별된 위치를 기반으로, 수신된 객체 영역을 디스플레이할 수 있다.
도 15는 본 개시의 다양한 실시 예에 따른 MR 제공 장치 및 전자 장치의 제어 방법을 설명하기 위한 알고리즘의 예시를 나타내는 흐름도이다.
도 15는 MR 제공 장치가 HMD로 구현되고, 전자 장치가 비디오 컨텐츠를 제공하는 TV로 구현된 경우를 가정한다. 또한, 도 15는, HMD가 사용자에 착용되고, HMD와 TV가 서로 통신 가능한 상태를 가정한다.
도 15를 참조하면, HMD 및 TV의 immersive search mode가 활성화될 수 있다(S1505).
immersive search mode는, 실제 공간 및 비디오가 결합된 MR을 제공하는 immersive mode를 수행할 수 있는지 여부를 판단하기 위한 모드에 해당한다.
일 예로, HMD에 입력된 사용자의 명령에 따라 HMD 및 TV의 immersive search mode가 활성화될 수 있다.
이 경우, HMD는 현재 사용자(: HMD)의 위치를 식별할 수 있다(S1510). 이때, GPS 센서가 이용되거나 또는 적어도 하나의 중계기(ex. WiFi 공유기)가 이용될 수 있다. HMD가 주변을 촬영하여 획득된 이미지를 기저장된 다양한 위치의 이미지들과 비교함으로써, 현재 위치를 식별할 수도 있다.
해당 장소에, 이전에 식별된 의미론적 앵커 지점이 있었는지 식별할 수 있다(S1515).
이때, HMD는 현재 위치에서 의미론적 앵커 지점이 식별된 히스토리 정보를 이용할 수 있다. 히스토리 정보는, HMD가 식별한 의미론적 앵커 지점 및 그 특성 정보가 의미론적 앵커 지점이 식별된 위치와 매칭되어 저장된 정보를 포함할 수 있다.
만약, 이전에 식별된 의미론적 앵커 지점이 있는 경우(S1515), HMD는 해당 의미론적 앵커 지점이 현재 이용 가능한지 판단할 수 있다(S1520). 예를 들어, 해당 지점 상에 이미 다른 물체들이 놓여있지 않은지 식별할 수 있다.
의미론적 앵커 지점이 이용 가능한 경우(S1520 - Y), 해당 의미론적 앵커 지점의 특징 정보를 TV로 전송할 수 있다(S1530).
이전에 식별된 의미론적 앵커 지점이 없었던 경우(S1515 - N) 또는 이전에 식별된 의미론적 앵커 지점이 현재 이용 가능하지 않은 경우(S1520 - N), HMD는 사용자가 바라보는 이미지(: 카메라를 통해 촬영)로부터 의미론적 앵커 지점을 식별할 수 있다(S1525).
식별된 의미론적 앵커 지점의 특성 정보를 TV로 전송할 수 있다(S1525).
TV는, 수신된 특징 정보를 기반으로 비디오 내 객체를 식별할 수 있다(S1535).
만약 특징 정보에 맞는 객체가 비디오의 이미지 프레임 내에서 식별되지 않는 경우(S1540 - N), TV는 가능한 객체 영역이 없음을 알리는 정보를 HMD로 전송할 수 있다. 그리고, HMD는 immersive mode를 수행할 수 없음을 알리는 UI(User Interface)를 시각적(가상 이미지) 또는 청각적으로 제공할 수 있다(S1545).
특정 정보에 맞는 객체가 비디오의 이미지 프레임 내에서 식별된 경우(S1540 - Y), TV는 가능한 객체 영역이 있음을 알리는 정보를 HMD로 전송할 수 있다. 이 경우, HMD 및 TV의 immersive mode가 활성화될 수 있다(S1550).
HMD는 immersive mode의 활성화 여부를 문의하기 위한 UI를 사용자에게 제공할 수 있다. 그리고, immersive mode를 활성화하기 위한 사용자 명령이 입력되는 경우, HMD 및 TV의 immersive mode가 활성화될 수도 있다.
immersive mode가 활성화되면, TV는 이미지 프레임 별로 식별된 객체 영역을 HMD로 스트리밍할 수 있다(S1555).
HMD는, 실시간으로 수신되는 객체 영역을, 의미론적 앵커 지점 상에 가상 이미지로써 디스플레이할 수 있다(S1560). 그 결과, 실제 공간과 비디오의 객체 영역이 결합된 MR이 제공될 수 있다.
이밖에도 다양한 응용례가 가능하다.
일 실시 예로, MR 제공 장치는 모션 등으로 입력되는 사용자의 명령에 따라 실제 공간 상에서 의미론적 앵커 지점을 선택할 수도 있다.
이 경우, 해당 의미론적 앵커 지점에 위치할 객체 역시 사용자 명령(ex. 사용자의 음성)에 따라 선택될 수도 있다.
일 예로, 토크 쇼를 스트리밍 받고자 하는 경우, 사용자의 명령에 따라 토크 쇼 내의 인물들 각각이 위치할 지점들이 설정될 수도 있다.
일 실시 예에 따르면, MR 제공 장치의 immersive mode가 활성화된 경우, MR 제공 장치는 제공될 객체 영역의 크기를 사용자의 명령에 따라 다르게 설정할 수 있다.
일 예로, 토크 쇼를 스트리밍 받는 경우, MR 제공 장치는 full 또는 small 중 어느 하나를 선택받기 위한 UI를 사용자에게 제공할 수 있다.
만약, full이 선택되는 경우, MR 제공 장치는 토크 쇼 내 인물들의 객체 영역을 해당 인물들의 실제 크기로 의미론적 앵커 지점(ex. 바닥면, 소파, 의자 등) 상에 디스플레이할 수 있다.
small이 선택되는 경우, MR 제공 장치는 토크 쇼 내 인물들의 객체 영역을 실제보다 훨씬 작은 크기로 의미론적 앵커 지점(ex. 식탁, 접시 등) 상에 디스플레이할 수 있다. 이 경우, 토크 쇼 내 인물들이 아주 작은 크기로 표현될 수 있다.
즉, 동일한 객체를 포함하는 객체 영역이라고 하더라도, 객체 영역이 제공되는 크기에 따라, 객체 영역이 위치할 의미론적 앵커 지점이 달라질 수 있다.
상술한 MR 제공 장치 및/또는 전자 장치의 제어 방법은, 예를 들어 도 2, 도 12, 도 13 등을 통해 도시 및 설명한 MR 제공 장치(100 또는 100') 및/또는 전자 장치(200)를 통해 수행될 수 있다.
상술한 MR 제공 장치 및/또는 전자 장치의 제어 방법은, 예를 들어 MR 제공 장치(100 또는 100') 및/또는 전자 장치(200) 외에 적어도 하나의 외부 장치를 더 포함하는 시스템을 통해 수행될 수도 있다.
상술한 다양한 실시 예들에 따르면, MR 제공 장치를 착용한 사용자는 실제 공간 상에서 다양한 일(ex. 식사, 공부, 요리 등)을 하면서, 동시에 비디오 컨텐츠를 제공받을 수 있다. 단순히 가상의 TV를 실제 공간의 벽면에 디스플레이하는 경우와 달리, 사용자는 시선을 돌릴 필요가 없으며 더욱 몰입감 넘치는 MR을 경험할 수 있다.
이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
상술한 본 개시의 다양한 실시 예들에 따른 MR 제공 장치(100) 및/또는 전자 장치(200)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 MR 제공 장치(100) 및/또는 전자 장치(200)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 예시로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 다양한 실시 예에 대하여 도시하고 설명하였지만, 본 개시의 실시 예는 예시하기 위한 것이고, 특정한 실시 예에 한정되지 아니하는 것으로 이해될 것이다. 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 벗어나지 않을 것이다.
Claims (15)
- MR(Mixed Reality) 제공 장치에 있어서,카메라;비디오를 제공하는 전자 장치와 통신하기 위한 통신 회로를 포함하는 통신부;기설정된 시야각 범위 내의 현실 공간 및 가상의 이미지를 동시에 디스플레이하기 위한 디스플레이를 포함하는 광학 디스플레이부; 및상기 카메라, 상기 통신부 및 상기 광학 디스플레이부와 연결된 프로세서;를 포함하고,상기 프로세서는,상기 기설정된 시야각 범위를 촬영하여 이미지를 획득하기 위해 상기 카메라를 제어하고,상기 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별하고,상기 위치할 수 있는 객체와 관련된 상기 의미론적 앵커 지점의 특성 정보(charicteristic information)를 상기 전자 장치로 전송하기 위해 상기 통신부를 제어하고,상기 비디오의 이미지 프레임에 포함된 적어도 하나의 객체 중 상기 특성 정보에 대응되는 객체가 포함된 객체 영역을 상기 전자 장치로부터 수신하기 위해 상기 통신부를 제어하고,상기 의미론적 앵커 지점 상에 상기 수신된 객체 영역을 디스플레이하도록 상기 광학 디스플레이부를 제어하는, MR 제공 장치.
- 제1항에 있어서,상기 카메라는, 뎁스 카메라를 포함하고,상기 프로세서는,상기 카메라를 통해 획득된 이미지의 복수의 픽셀의 뎁스 정보를 획득하고,상기 획득된 뎁스 정보를 기반으로, 상기 획득된 이미지 내에서 적어도 하나의 수평면을 식별하고,상기 식별된 적어도 하나의 수평면의 넓이 및 수직 방향의 높이에 기초하여, 상기 식별된 적어도 하나의 수평면 중 객체가 위치할 수 있는 의미론적 앵커 지점을 식별하는, MR 제공 장치.
- 제1항에 있어서,이미지가 입력되면, 상기 입력된 이미지에 포함된 의미론적 앵커 지점 및 상기 의미론적 앵커 지점의 특성 정보를 추출하도록 훈련된 인공지능 모델을 포함하는 메모리;를 더 포함하고,상기 프로세서는,상기 카메라를 통해 획득된 이미지를 상기 인공지능 모델에 입력하여, 상기 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점을 식별하는, MR 제공 장치.
- 제1항에 있어서,상기 의미론적 앵커 지점의 특성 정보는,상기 의미론적 앵커 지점에 위치할 수 있는 객체의 종류에 대한 정보를 포함하는, MR 제공 장치.
- 제4항에 있어서,상기 프로세서는,상기 카메라를 통해 획득된 이미지에 포함된 적어도 하나의 객체를 식별하고,상기 식별된 객체의 종류를 기반으로, 상기 의미론적 앵커 지점에 위치할 수 있는 객체의 종류를 식별하는, MR 제공 장치.
- 제5항에 있어서,객체의 종류 별 수가 입력되면, 추가적으로 존재할 수 있는 객체의 종류를 출력하도록 훈련된 인공지능 모델을 포함하는 메모리;를 더 포함하고,상기 프로세서는,상기 획득된 이미지로부터 식별된 객체의 수를 종류 별로 상기 인공지능 모델에 입력하여, 추가적으로 존재할 수 있는 적어도 하나의 객체의 종류를 판단하고,상기 판단된 종류에 기초하여 상기 의미론적 앵커 지점에 위치할 수 있는 객체의 종류를 식별하는, MR 제공 장치.
- 제1항에 있어서,상기 프로세서는,상기 획득된 이미지 내에서 복수의 의미론적 앵커 지점이 식별되고, 상기 전자 장치로부터 상기 복수의 의미론적 앵커 지점의 특성 정보에 대응되는 복수의 객체 영역이 수신된 경우, 상기 복수의 의미론적 앵커 지점 각각과 상기 MR 제공 장치 간의 거리 및 상기 이미지 프레임 내에서 상기 복수의 객체 영역 간의 위치 관계에 기초하여, 상기 복수의 의미론적 앵커 지점 중 상기 수신된 복수의 객체 영역 각각이 위치할 수 있는 의미론적 앵커 지점들을 선택하고,상기 선택된 의미론적 앵커 지점들 각각 상에 상기 수신된 복수의 객체 영역 각각을 디스플레이하도록 상기 광학 디스플레이부를 제어하는, MR 제공 장치.
- 제1항에 있어서,상기 프로세서는,상기 획득된 이미지 내에서 복수의 의미론적 앵커 지점이 식별된 경우, 상기 이미지 내에서 상기 복수의 의미론적 앵커 지점 각각에 존재하는 객체의 종류 또는 크기를 식별하고,상기 식별된 객체의 종류 또는 크기를 기반으로, 상기 복수의 의미론적 앵커 지점 중 상기 수신된 객체 영역이 위치하기 위한 의미론적 앵커 지점을 선택하고,상기 선택된 의미론적 앵커 지점에 상기 수신된 객체 영역을 디스플레이하도록 상기 광학 디스플레이부를 제어하는, MR 제공 장치.
- 제1항에 있어서,상기 프로세서는,이미지에 적어도 하나의 객체 영역을 합성하도록 훈련된 GAN(Generative Adversarial Network)에 상기 획득된 이미지를 입력하여, 상기 수신된 객체 영역이 디스플레이되는 위치를 식별하고,상기 식별된 위치를 기반으로, 상기 수신된 객체 영역을 디스플레이하도록 상기 광학 디스플레이부를 제어하는, MR 제공 장치.
- 전자 장치에 있어서,비디오가 저장된 메모리;MR 제공 장치와 통신하기 위한 통신 회로를 포함하는 통신부; 및상기 메모리 및 상기 통신부와 연결된 프로세서;를 포함하고,상기 프로세서는,상기 MR 제공 장치를 통해 획득된 이미지에 포함되는 의미론적 앵커 지점의 특성 정보를 상기 통신부를 통해 상기 MR 제공 장치로부터 수신하고,상기 비디오에 포함된 이미지 프레임 내에서 상기 수신된 특성 정보에 대응되는 객체를 식별하고,상기 식별된 객체를 포함하는 객체 영역을 상기 통신부를 통해 상기 MR 제공 장치로 전송하는, 전자 장치.
- 제10항에 있어서,상기 메모리는,복수의 종류의 객체를 식별하도록 훈련된 인공지능 모델을 포함하고,상기 프로세서는,상기 복수의 종류 중 상기 특성 정보에 대응되는 종류를 선택하고,상기 이미지 프레임 내에서 상기 선택된 종류의 객체를 식별하도록 상기 인공지능 모델을 제어하는, 전자 장치.
- 기설정된 시야각 범위 내의 현실 공간 및 가상의 이미지를 제공하기 위한 MR 제공 장치의 제어 방법에 있어서,카메라를 통해 상기 기설정된 시야각 범위를 촬영하여 이미지를 획득하는 단계;상기 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점(semantic anchor spot)을 식별하는 단계;상기 위치할 수 있는 객체와 관련된 상기 의미론적 앵커 지점의 특성 정보(charicteristic information)를 전자 장치로 전송하는 단계;상기 전자 장치가 제공하는 비디오의 이미지 프레임에 포함된 적어도 하나의 객체 중 상기 특성 정보에 대응되는 객체가 포함된 객체 영역을 상기 전자 장치로부터 수신하는 단계; 및상기 의미론적 앵커 지점 상에 상기 수신된 객체 영역을 디스플레이하는 단계;를 포함하는, MR 제공 장치의 제어 방법.
- 제12항에 있어서,상기 카메라는, 뎁스 카메라를 포함하고,상기 의미론적 앵커 지점을 식별하는 단계는,상기 카메라를 통해 획득된 이미지의 복수의 픽셀의 뎁스 정보를 획득하고,상기 획득된 뎁스 정보를 기반으로, 상기 획득된 이미지 내에서 적어도 하나의 수평면을 식별하고,상기 식별된 적어도 하나의 수평면의 넓이 및 수직 방향의 높이에 기초하여, 상기 식별된 적어도 하나의 수평면 중 객체가 위치할 수 있는 의미론적 앵커 지점을 식별하는, MR 제공 장치의 제어 방법.
- 제12항에 있어서,상기 MR 제공 장치의 메모리는,이미지가 입력되면, 상기 입력된 이미지에 포함된 의미론적 앵커 지점 및 상기 의미론적 앵커 지점의 특성 정보를 추출하도록 훈련된 인공지능 모델을 포함하고,상기 의미론적 앵커 지점을 식별하는 단계는,상기 카메라를 통해 획득된 이미지를 상기 인공지능 모델에 입력하여, 상기 획득된 이미지 내에서 객체가 위치할 수 있는 적어도 하나의 의미론적 앵커 지점을 식별하는, MR 제공 장치의 제어 방법.
- 제12항에 있어서,상기 획득된 이미지에 포함된 적어도 하나의 객체를 식별하는 단계;상기 식별된 객체의 종류를 기반으로, 상기 의미론적 앵커 지점에 위치할 수 있는 객체의 종류를 판단하는 단계; 및상기 판단된 객체의 종류를 기반으로, 상기 의미론적 앵커 지점의 상기 특성 정보를 생성하는 단계;를 포함하는, MR 제공 장치의 제어 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/952,102 US20230020454A1 (en) | 2020-10-06 | 2022-09-23 | Mixed reality (mr) providing device for providing immersive mr, and control method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200128589A KR20220045685A (ko) | 2020-10-06 | 2020-10-06 | 몰입감 있는 Mixed Reality를 제공하기 위한 MR 제공 장치 및 그 제어 방법 |
KR10-2020-0128589 | 2020-10-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/952,102 Continuation US20230020454A1 (en) | 2020-10-06 | 2022-09-23 | Mixed reality (mr) providing device for providing immersive mr, and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022075738A1 true WO2022075738A1 (ko) | 2022-04-14 |
Family
ID=81126280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2021/013689 WO2022075738A1 (ko) | 2020-10-06 | 2021-10-06 | 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230020454A1 (ko) |
KR (1) | KR20220045685A (ko) |
WO (1) | WO2022075738A1 (ko) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024010220A1 (ko) * | 2022-07-06 | 2024-01-11 | 삼성전자 주식회사 | 거리 센서 활성화 방법 및 전자 장치 |
US20240071002A1 (en) * | 2022-08-30 | 2024-02-29 | Rovi Guides, Inc. | Systems and methods for pinning content items to locations in an augmented reality display based on user preferences |
CN116310918B (zh) * | 2023-02-16 | 2024-01-09 | 东易日盛家居装饰集团股份有限公司 | 基于混合现实的室内关键物体识别定位方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090061514A (ko) * | 2007-12-11 | 2009-06-16 | 한국전자통신연구원 | 혼합현실용 콘텐츠 재생 시스템 및 방법 |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
KR20180055764A (ko) * | 2018-01-22 | 2018-05-25 | (주) 올림플래닛 | 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치 |
KR20190085335A (ko) * | 2018-01-10 | 2019-07-18 | 주식회사 동우 이앤씨 | 혼합 현실 서비스 제공 방법 및 시스템 |
KR102051309B1 (ko) * | 2019-06-27 | 2019-12-03 | 주식회사 버넥트 | 지능형 인지기술기반 증강현실시스템 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8854412B2 (en) * | 2012-09-21 | 2014-10-07 | Cisco Technology, Inc. | Real-time automatic scene relighting in video conference sessions |
US10002442B1 (en) * | 2017-12-21 | 2018-06-19 | Capital One Services, Llc | Placement of augmented reality objects using a guide marker |
GB2572786B (en) * | 2018-04-10 | 2022-03-09 | Advanced Risc Mach Ltd | Image processing for augmented reality |
US10325201B1 (en) * | 2019-01-31 | 2019-06-18 | StradVision, Inc. | Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately |
US11151747B2 (en) * | 2019-03-20 | 2021-10-19 | Kt Corporation | Creating video augmented reality using set-top box |
US20210133850A1 (en) * | 2019-11-06 | 2021-05-06 | Adobe Inc. | Machine learning predictions of recommended products in augmented reality environments |
-
2020
- 2020-10-06 KR KR1020200128589A patent/KR20220045685A/ko unknown
-
2021
- 2021-10-06 WO PCT/KR2021/013689 patent/WO2022075738A1/ko active Application Filing
-
2022
- 2022-09-23 US US17/952,102 patent/US20230020454A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090061514A (ko) * | 2007-12-11 | 2009-06-16 | 한국전자통신연구원 | 혼합현실용 콘텐츠 재생 시스템 및 방법 |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
KR20190085335A (ko) * | 2018-01-10 | 2019-07-18 | 주식회사 동우 이앤씨 | 혼합 현실 서비스 제공 방법 및 시스템 |
KR20180055764A (ko) * | 2018-01-22 | 2018-05-25 | (주) 올림플래닛 | 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치 |
KR102051309B1 (ko) * | 2019-06-27 | 2019-12-03 | 주식회사 버넥트 | 지능형 인지기술기반 증강현실시스템 |
Also Published As
Publication number | Publication date |
---|---|
US20230020454A1 (en) | 2023-01-19 |
KR20220045685A (ko) | 2022-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022075738A1 (ko) | 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법 | |
WO2015142019A1 (en) | Method and apparatus for preventing a collision between subjects | |
WO2017164716A1 (en) | Method and device for processing multimedia information | |
WO2016117836A1 (en) | Apparatus and method for editing content | |
WO2016017975A1 (en) | Method of modifying image including photographing restricted element, and device and system for performing the method | |
WO2014014238A1 (en) | System and method for providing image | |
WO2018016837A1 (en) | Method and apparatus for iris recognition | |
WO2016190458A1 (ko) | Hmd 장치를 통하여 가상 이미지를 디스플레이하는 시스템 및 방법 | |
WO2016017987A1 (en) | Method and device for providing image | |
WO2016060486A1 (en) | User terminal apparatus and iris recognition method thereof | |
WO2019143095A1 (ko) | 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버 | |
WO2015126044A1 (ko) | 이미지를 처리하기 위한 방법 및 그 전자 장치 | |
WO2017191978A1 (en) | Method, apparatus, and recording medium for processing image | |
WO2017164640A1 (en) | System and method for editing video contents automatically technical field | |
WO2014098465A1 (en) | Method and terminal for reproducing content | |
WO2020235852A1 (ko) | 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법 | |
WO2016175424A1 (ko) | 이동 단말기 및 그 제어 방법 | |
WO2015111833A1 (ko) | 가상 광고 제공 장치 및 방법 | |
WO2017090833A1 (en) | Photographing device and method of controlling the same | |
EP3440593A1 (en) | Method and apparatus for iris recognition | |
WO2021029497A1 (en) | Immersive display system and method thereof | |
WO2019031676A1 (ko) | 이미지 처리 방법 및 그에 따른 장치 | |
WO2019125036A1 (en) | Image processing method and display apparatus therefor | |
WO2022031041A1 (ko) | 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법 | |
WO2022050785A1 (ko) | 디스플레이 기기 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21877989 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21877989 Country of ref document: EP Kind code of ref document: A1 |