WO2024005356A1 - 이미지 표시를 위한 전자 장치 및 그 동작 방법 - Google Patents

이미지 표시를 위한 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024005356A1
WO2024005356A1 PCT/KR2023/006324 KR2023006324W WO2024005356A1 WO 2024005356 A1 WO2024005356 A1 WO 2024005356A1 KR 2023006324 W KR2023006324 W KR 2023006324W WO 2024005356 A1 WO2024005356 A1 WO 2024005356A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
subject
distance
electronic device
Prior art date
Application number
PCT/KR2023/006324
Other languages
English (en)
French (fr)
Inventor
조규현
박진솔
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024005356A1 publication Critical patent/WO2024005356A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • Embodiments disclosed in this document relate to an electronic device for displaying images and a method of operating the same.
  • AR augmented reality
  • VR images that combine images of the real world and virtual images can be provided.
  • content containing additional information that is difficult to obtain through the real world alone can be produced, and content created through VR technology can be provided to users through various services such as advertisements, navigation, and games.
  • An electronic device includes a memory and at least one processor electrically connected to the memory, wherein the at least one processor stores subject information of the first image and subject information of the second image. Generate, identify the distance information of the first image and the distance information of the second image, identify first coordinate information based on the subject information of the first image and the distance information of the first image, and Identify second coordinate information based on the subject information of the second image and the distance information of the second image, generate first plane information based on the first coordinate information and the second coordinate information, and generate the generated first coordinate information.
  • 1 Plane information can be stored in the memory.
  • FIG. 1 illustrates a block configuration of an electronic device according to an embodiment.
  • FIG. 2 illustrates an example of subject information generated by an electronic device according to an embodiment.
  • Figure 3 shows an example of planar information generated by an electronic device according to an embodiment.
  • FIG. 4 illustrates another example of planar information generated by an electronic device according to an embodiment.
  • Figure 5 shows the operation flow of an electronic device according to an embodiment.
  • Figure 7 illustrates an example of content provision by an electronic device according to an embodiment.
  • Figure 8 illustrates another example of content provision by an electronic device, according to an embodiment.
  • FIG. 1 illustrates a block configuration of an electronic device according to an embodiment.
  • an electronic device 100 includes a device capable of providing augmented reality.
  • Electronic devices according to the present invention include laptop PCs, desktop PCs, tablet PCs, smart phones, high definition televisions (HDTVs), smart TVs, 3-dimensional (3D) TVs, internet protocol televisions (IPTVs), and home theaters. It can be applied to etc.
  • the electronic device 100 may include a processor 110, a camera unit 120, a sensor unit 130, a memory unit 140, and a display unit 150.
  • the block configuration of the electronic device 100 shown in FIG. 1 shows only the configuration necessary to describe the following invention. Referring to FIG. 1 , the electronic device 100 may not include the camera unit 120 and the sensor unit 130.
  • the camera unit 120 and the sensor unit 130 may include a camera or sensor connected to the electronic device 100.
  • the camera unit 120 may include an image sensor such as a lens, a charged coupled device (CCD), a complementary metal oxide semiconductor (CMOS), and an analog-to-digital converter.
  • an image sensor such as a lens, a charged coupled device (CCD), a complementary metal oxide semiconductor (CMOS), and an analog-to-digital converter.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • analog-to-digital converter an analog-to-digital converter
  • the camera unit 120 may capture a space in the front direction of the electronic device 100.
  • the camera unit 120 may acquire a captured image by capturing a space including a subject and a plane.
  • the camera unit 120 may convert the acquired image into a digital signal and transmit it to the processor 110.
  • the processor 110 which will be described later, can perform processing on images converted into digital signals.
  • the camera unit 120 may include an external device connected to the electronic device 100.
  • the camera unit 120 is not a component included inside the electronic device 100, but exists separately from the electronic device 100 and is connected to an external electronic device (e.g., an external electronic device) connected to the electronic device 100. cams, external cameras, other external electronic devices containing cameras, etc.).
  • the sensor unit 130 may include at least one sensor that performs a function of identifying a subject located adjacent to the electronic device 100.
  • the sensor unit 130 may include at least one sensor selected from the group consisting of a motion sensor, a radio frequency (RF) sensor, an ultra-wideband (UWB) sensor, and an ultrasonic sensor.
  • RF radio frequency
  • UWB ultra-wideband
  • the sensor unit 130 may obtain information related to the location of a subject located adjacent to the electronic device 100. For example, the sensor unit 130 may obtain information about the distance and direction between the subject and the electronic device 100. The sensor unit 130 may transmit information related to the acquired location of the subject to the processor 110. The processor 110, which will be described later, can process information related to the location of the received subject.
  • the sensor unit 130 may include an external device connected to the electronic device 100.
  • the sensor unit 130 is not a component included inside the electronic device 100, but exists separately from the electronic device 100 and may include an external sensor connected to the electronic device 100. .
  • the memory unit 140 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM) ), and may include at least one type of storage medium among magnetic memory, magnetic disk, and optical disk.
  • RAM random access memory
  • SRAM static random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • the memory unit 140 may store images acquired through the camera unit 120 and information related to the user's location acquired through the sensor unit 130. In addition, the memory unit 140 can store various data for detecting a plane in an image.
  • the display unit 150 may display information processed by the processor 110.
  • the display unit 150 may display an image of a space captured by the camera unit 120.
  • the display unit 150 may display an augmented reality image in which a virtual image is synthesized with an image of space.
  • the display unit 150 may display a graphic user interface (GUI) related to various functions of the electronic device 100.
  • GUI graphic user interface
  • the display unit 150 may also include a touch panel and be used as an input device.
  • the display unit 150 includes a liquid crystal display, a thin film transistor liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display ( It can be implemented through 3D display, etc.
  • the processor 110 provides information about the plane of the photographed space based on data about the image received from the camera unit 120 and information about the user's location received from the sensor unit 130. can be created.
  • the processor 110 may include a subject information generator that generates subject information related to a subject included in an image received through an image input unit.
  • the processor 110 may obtain information about the subject based on data about the received image.
  • the subject may refer to a user located adjacent to the electronic device 100.
  • information about the subject may include information about the area in which the subject is located, information about the main characteristics of the subject (e.g., the user's head position, hand position, toe position, central body position, etc.) there is.
  • the processor 110 may include a distance detection unit that detects the distance between the user and the electronic device based on user location information received through the sensor unit 130.
  • the processor 110 may include a coordinate storage unit that generates coordinate information of the subject based on the subject information generated by the subject information generation unit and the distance between the user and the electronic device detected by the distance detection unit.
  • the processor 110 may include a plane detector that generates plane information based on the generated coordinate information.
  • the processor 110 may determine the location of the subject in virtual space based on the generated plane information and display it through the display 150.
  • the electronic device 100 may include a communication unit (not shown) for communicating with a server (not shown) or an external device (not shown).
  • the communication unit (not shown) can receive an image from an external device (not shown), and can transmit and receive data necessary to detect the plane of the image.
  • the communication unit (not shown) may include a short-range communication unit, a mobile communication unit, and a broadcast reception unit.
  • the short-range communication unit includes a Bluetooth communication unit, a Bluetooth low energy (BLE) communication unit, a near field communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared data association (IrDA) communication unit.
  • BLE Bluetooth low energy
  • Wi-Fi Wireless Fidelity
  • Zigbee Zigbee
  • IrDA infrared data association
  • WFD Wi-Fi Direct
  • UWB ultra-wideband communication unit
  • Ant+ communication unit etc., but is not limited thereto.
  • the broadcast receiver may receive broadcast signals and/or broadcast-related information from the outside through a broadcast channel.
  • Broadcast channels may include satellite channels and terrestrial channels.
  • FIG. 2 illustrates an example of subject information generated by an electronic device according to an embodiment.
  • the electronic device 100 may acquire at least two images (eg, a first image 201 and a second image 202) through the camera unit 120.
  • the electronic device 100 may generate subject information (eg, pose) based on the acquired image.
  • the electronic device 100 may acquire a first image 201 including the first subject 210 and a second image 202 including the second subject 220.
  • the first subject 210 may refer to a subject included in the first image 201
  • the second subject 220 may refer to a subject included in the second image 202.
  • the first subject 210 and the second subject 220 may represent objects corresponding to the same user.
  • the first subject 210 may represent a user included in an image captured when the user is in a first location
  • the second subject 220 may represent a user included in an image captured when the user is in a second location.
  • the subject included in the image can be displayed.
  • the first location and the second location may have different y-axis coordinate values.
  • the first user distance d1 may mean the distance between the first subject 210 and the electronic device 100.
  • the second user distance d2 may mean the distance between the second subject 220 and the electronic device 100. The first user distance d1 and the second user distance d2 may be obtained through the sensor unit 130 of the electronic device 100.
  • subject information may mean information (eg, coordinate values) about a plurality of measurement points identified for the subject.
  • the electronic device 100 can use the acquired image to identify the shape and characteristics of the subject using deep learning-based learning, and identify a plurality of measurement points corresponding to each shape and characteristic.
  • the plurality of measurement points may mean measurement points corresponding to a plurality of body parts of the subject. For example, it may mean points corresponding to the positions of the user's neck, shoulders, elbows, fingertips, chest, waist, hips, thighs, calves, and toes.
  • the center point (e.g., center point 211, center point 221) may mean a point (e.g., waist) located at the center of the subject among a plurality of measurement points. In one embodiment, the center point may mean a point corresponding to the central position of the subject calculated based on at least some of the plurality of measurement points.
  • the electronic device 100 may generate location information of the electronic device 100 and the subject based on the center point.
  • a reference point may mean a measurement point (e.g., the tip of a toe) that is closest to a plane among a plurality of measurement points.
  • the reference point 212 may include a first reference point 212-1 corresponding to the end of one foot and a second reference point 212-2 corresponding to the end of the other foot.
  • the reference point 222 may include a first reference point 222-1 corresponding to the end of one foot and a second reference point 222-2 corresponding to the end of the other foot.
  • the electronic device 100 may set the location of the subject so that the reference point is located on the created plane.
  • the electronic device 100 may obtain second subject information about the second subject 220 based on the second image 202 acquired by being photographed at a second viewpoint.
  • the second subject information may include information about the coordinate values of a plurality of measurement points, information about the coordinate value of the center point 221, and information about the coordinate value of the reference point 222.
  • the virtual plane generated by the electronic device 100 may be displayed in the form of a grid with a constant slope.
  • the width and height of one cell of the grid may have predetermined values (e.g., 0.5 m).
  • the electronic device 100 may generate information about one plane based on at least two images.
  • Each image may include a subject, and the location of the subject included in each image may be different.
  • a subject included in images may mean an object corresponding to the same user in different locations.
  • the electronic device 100 may generate a virtual plane (e.g., a first plane 330 and a second plane 430) based on information about the first image and information about the second image. You can. Matters related to the first and second images described in FIGS. 3 and 4 are the same as those described above in FIG. 2 .
  • the first plane 330 has a first user distance d1 between the first subject 310 and the electronic device 100 of 5 m, and the first user distance d1 between the second subject 320 and the electronic device 100 is 5 m.
  • the second plane 430 has a first user distance d1 between the first subject 410 and the electronic device 100 of 5 m, and the first user distance d1 between the second subject 420 and the electronic device 100 is 5 m. It represents a plane created when the second user distance (d2) is 3m.
  • the above-mentioned numbers are just an example, and information about the plane having various values may exist.
  • the positional difference (eg, h1, h2) between the first subject and the second subject may have a value corresponding to the difference between the first user distance (d1) and the second user distance (d2).
  • the position difference between the first subject 310 and the second subject 320 may have a value corresponding to 1 m, which is the difference between d1 and d2.
  • the second subject 320 may be located two spaces ahead of the first subject 310.
  • the positional difference between the first subject 410 and the second subject 420 may have a value corresponding to 2m, which is the difference between d1 and d2. Accordingly, the second subject 420 may be located two spaces ahead of the first subject 410.
  • the electronic device 100 may arrange the subject so that the reference point of the subject corresponds to the generated plane information. In other words, by arranging the subject so that the position of the toes is located on the created plane, it is possible to display the screen with perspective.
  • Figure 5 shows the operation flow of an electronic device according to an embodiment.
  • Figure 6 shows an example of generating coordinate information of an electronic device according to an embodiment.
  • the electronic device described in FIGS. 5 and 6 may refer to an electronic device corresponding to the electronic device 100 of FIG. 1 .
  • descriptions of parts that overlap with or are self-explanatory parts previously described in FIGS. 1, 2, 3, and 4 may be omitted.
  • the electronic device may generate subject information of the first image and subject information of the second image.
  • the electronic device may generate subject information about the subject included in the first image, based on the first image.
  • the electronic device may generate subject information about the subject included in the first image based on the first image input to the camera unit.
  • the electronic device may generate subject information about the subject included in the first image based on the first image acquired through an external device.
  • the first image may refer to an image captured through a camera unit at a first viewpoint different from the second viewpoint, and may include a subject and a background area.
  • the subject may include a user controlling an electronic device.
  • the electronic device can detect the user's pose and generate information related to it through an image processing method such as machine learning.
  • the subject information of the first image includes information about a plurality of measurement points related to the subject included in the first image, information about the center point, and information about the measurement point (e.g., first measurement point, second measurement point) may include.
  • the subject information of the first image may include information about coordinate values of a plurality of measurement points, a center point, and a reference point.
  • the coordinate value may include at least one of 1D, 2D, and 3D coordinate values.
  • a measurement point may mean a point indicating a component of the subject (e.g., head, shoulders, elbows, hands, waist, thighs, toes, etc.).
  • the center point and the reference point may be any one of a plurality of measurement points. In one embodiment, the center point and reference point may be identified from a plurality of predetermined measurement points in consideration of the area and characteristics occupied by the subject.
  • the center point may mean a point corresponding to the center position of the subject.
  • the center point may mean a point corresponding to the center coordinate among the coordinates of a plurality of identified measurement points.
  • the center may mean the center in the horizontal direction (x-axis direction) in an image, such as the center of the neck, chest, both shoulders, and the center of the hips.
  • the reference point may mean a point corresponding to the position of the toe of the subject.
  • the reference point may include a point corresponding to the left (-x) toe tip and a point corresponding to the right (+x) toe tip.
  • the electronic device may determine the measurement point as the reference point. For example, when it is identified that the toe of the user being photographed is fixed and does not move for more than one second, the electronic device may determine the point where the toe is located as the reference point.
  • the electronic device may determine the corresponding measurement points as the first and second reference points, respectively.
  • the electronic device may generate subject information of the second image based on the second image.
  • the electronic device may generate subject information of the second image based on the second image input to the camera unit.
  • the electronic device may generate subject information about the subject included in the first image based on the first image acquired through an external device.
  • the second image may refer to an image captured by the electronic device at a second viewpoint through the camera unit.
  • the operation of generating subject information of the second image may include an operation corresponding to the operation of generating subject information of the first image.
  • the electronic device may acquire distance information of the first image and distance information of the second image through at least one sensor.
  • the distance information may include information about the distance between the electronic device and the subject (hereinafter referred to as “subject distance”).
  • the location information may include information about the coordinate value of the location where the subject is located relative to the electronic device.
  • the coordinate value may be any of 1D, 2D, or 3D coordinate values.
  • the distance between the electronic device and the subject may be determined based on coordinate values of the subject detected through a motion sensor.
  • Electronic devices can reduce the dimensionality to a single data (distance) even if the user's location is identified with 2D and 3D coordinate values.
  • the electronic device may generate first coordinate information based on subject information of the first image and distance information of the first image.
  • the first coordinate information may mean information about a value obtained by correcting the coordinate value of the subject identified at the first time point.
  • the first coordinate information may be generated based on information about the subject direction and subject distance.
  • the subject direction may have a value corresponding to the angle between the center position of the first image and the center position of the first subject, that is, the position of the center point.
  • the subject direction may have a value within the angle of view of the camera unit of the electronic device.
  • the corrected user distance may be determined based on the following equation.
  • d' is the corrected subject distance
  • d is the user distance before correction
  • r is the subject direction
  • ⁇ x is a value corresponding to the difference in the horizontal direction between the center position of the image (501) and the center position of the subject (511). It can mean.
  • the distance between the electronic device 501 and the center position 511 of the subject 510 may correspond to d, and the center position 521 of the image and the center position 511 of the subject 510 may correspond to d.
  • the difference in the horizontal direction may be ⁇ x, and the angle formed between the center position 521 of the image and the center position 511 of the subject 510 may mean the subject direction (r).
  • the corrected subject distance can be obtained.
  • the electronic device can generate planar information based on this.
  • the electronic device may generate second coordinate information based on subject information and second distance information of the second image.
  • operation 540 may include an operation corresponding to operation 530.
  • the electronic device may generate planar information based on first coordinate information and second coordinate information.
  • first coordinate information may mean the coordinate value after correction is performed on the coordinates of the subject at the first viewpoint according to Equation 1
  • the second coordinate information may be the coordinates of the subject at the second viewpoint. It may mean the coordinate value after correction is performed according to Equation 1.
  • the first coordinate value included in the first coordinate information and the second coordinate value included in the second coordinate information may have the same x-axis and z-axis coordinate values and different y coordinates.
  • both x-axis and z-axis components can be equally corrected based on the central axis of the electronic device, so the first coordinate value and the second coordinate value are corresponding to the y-axis coordinate value. Only the values can be different.
  • the electronic device may determine a vector perpendicular to a line connecting the first coordinate and the second coordinate as a vector in the y-axis direction.
  • the electronic device may generate information about the plane using the value of the line connecting the first coordinate and the second coordinate and the normal vector.
  • the electronic device may store the generated plane information in memory.
  • the electronic device may update plane information by performing operations such as generating subject information, generating distance information, and generating coordinate information for an input image. For example, the electronic device acquires a third image that is different from the first image and the second image, generates subject information of the third image and distance information of the third image, and generates subject information of the third image and third image Third coordinate information can be generated based on the distance information of the image, second plane information different from the first plane information can be generated based on the third coordinate information and the plane information, and the second plane information can be stored in the memory. there is.
  • Figure 7 illustrates an example of content provision by an electronic device according to an embodiment.
  • Figure 8 illustrates another example of content provision by an electronic device, according to an embodiment.
  • an electronic device creates objects (e.g., a first object 701, a second object 702, and a third object) together with the plane 710 based on the generated plane information.
  • 703, the fourth object 704, and the fifth object 705 can be displayed.
  • five objects are shown in the drawing, this is only an example, and the content provided by the electronic device according to one embodiment is five. It may include more or less objects.
  • the objects shown in Figure 7 may represent virtual objects.
  • content 700 provided by an electronic device includes at least one object (e.g., first object 701, second object 702, third object 703, fourth object 704, It may include a fifth object 705) and a plane 710.
  • the electronic device may display the plane 710 in the form of a grid based on the generated plane information.
  • the electronic device may match the position of the toe of the object to the position of the plane based on the position of the toe of the object and the position of the object.
  • the electronic device may adjust the size of the displayed object by applying perspective according to the location of the object to be displayed.
  • the second object 702 and the fourth object 704, which are located further away from the electronic device have smaller sizes than the first object 701 and the fifth object 705, which are displayed relatively close. can be displayed.
  • the third object 703 located furthest from the electronic device will be displayed to have a smaller size than the first object 701, the second object 702, the fourth object 704, and the fifth object 705. You can.
  • content 700 provided by an electronic device may include a plurality of objects.
  • the content 700 includes a plurality of objects (e.g., a first object 701, a second object 702, a third object 703, and a fourth object 704). and a fifth object 705) and a background image.
  • a plurality of objects displayed in the content 700 may mean virtual objects, and the background image may include an image that is actually captured through a camera unit of the electronic device or an image stored in a memory.
  • content provided by an electronic device may omit flat display.
  • the content 800 unlike the content 700 of FIG. 7, omits the display of a plane displayed in the form of a grid.
  • the electronic device displays objects (e.g., the first object 801, the second object 802, the third object 803, and the fourth object 804). and the fifth object 805) and the position of the object, the position of the toe of the object may be matched to the position of the plane.
  • the electronic device may adjust the size of the displayed object by applying perspective according to the location of the object to be displayed. For example, the second object 802 and the fourth object 804, which are located further away from the electronic device, have smaller sizes than the first object 801 and the fifth object 805, which are displayed relatively close. can be displayed.
  • the third object 803 located furthest from the electronic device will be displayed to have a smaller size than the first object 801, the second object 802, the fourth object 804, and the fifth object 805. You can.
  • An electronic device includes a memory and at least one processor electrically connected to the memory, wherein the at least one processor stores subject information of the first image and subject information of the second image. Generate, identify the distance information of the first image and the distance information of the second image, identify first coordinate information based on the subject information of the first image and the distance information of the first image, and Identify second coordinate information based on the subject information of the second image and the distance information of the second image, generate first plane information based on the first coordinate information and the second coordinate information, and generate the generated first coordinate information.
  • 1 Plane information can be stored in the memory.
  • the subject information of the first image and the subject information of the second image include information about coordinate values of the central positions of the subject included in the first image and the subject included in the second image, and It may include information about coordinate values of the positions of both toes of the subject included in the first image and the subject included in the second image.
  • the at least one processor is configured to, when the difference between coordinate values corresponding to the positions of both toes of the subject included in the first image and the subject included in the second image is less than or equal to a predetermined value, Coordinate values of the positions of both toes can be determined as subject information of the first image and subject information of the second image.
  • the subject included in the second image is the same as the subject included in the first image, and the coordinate value of the subject included in the second image and the coordinate value of the subject included in the first image are may be different.
  • the distance information of the first image includes a first distance d1 between the electronic device and the central position of the subject included in the first image
  • the distance information of the second image includes the electronic device. It may include a second distance d2 between the device and the central position of the subject included in the second image.
  • the first coordinate information includes information about the angle (r1) between the central position of the first image and the central position of the subject included in the first image, and the first distance (d1) is corrected. It includes a determined first correction distance (d1'), and the second coordinate information includes information about the angle (r2) between the central position of the second image and the central position of the subject included in the second image.
  • the second distance d2 may include a second correction distance d2' determined by correction.
  • the at least one processor determines the first correction distance (d1') and the second correction distance (d2') based on the following equation, , in the above equation, d' is the correction distance, d is the distance between the electronic device and the subject, r is the angle between the image center and the subject, may be the horizontal distance between the central position of the image and the central position of the subject.
  • the at least one processor may acquire the first image and the second image from an external image sensor electrically connected to the electronic device.
  • the electronic device further includes a camera, and the at least one processor acquires the first image and the second image through the camera, and uses the acquired first image and the second image. can be stored in the memory.
  • the electronic device further includes at least one sensor, and the at least one processor identifies distance information of the first image and distance information of the second image through the at least one sensor, Distance information of the identified first image and distance information of the second image may be stored in the memory.
  • the at least one sensor may include at least one of a motion sensor, a radio frequency (RF) sensor, an ultra-wideband (UWB) sensor, and an ultrasonic sensor.
  • RF radio frequency
  • UWB ultra-wideband
  • the subject information of the first image and the subject information of the second image include information about coordinate values of the central positions of the subject included in the first image and the subject included in the second image, and It may include information about coordinate values of the positions of both toes of the subject included in the first image and the subject included in the second image.
  • the method may further include determining subject information of the first image and subject information of the second image.
  • the subject included in the second image is the same as the subject included in the first image, and the coordinate value of the subject included in the second image and the coordinate value of the subject included in the first image are may be different.
  • Electronic devices may be of various types. Electronic devices may include, for example, display devices, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • a program executed by the electronic device 100 described throughout this document may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • a program can be executed by any system that can execute computer-readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software may be implemented as a computer program including instructions stored on computer-readable storage media.
  • Computer-readable storage media include, for example, magnetic storage media (e.g., ROM (Read-Only Memory), RAM (Random-Access Memory), floppy disk, hard disk, etc.) and optical read media (e.g., CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable storage medium is distributed across networked computer systems, so that computer-readable code can be stored and executed in a distributed manner.
  • Computer programs may be distributed (e.g., downloaded or uploaded) online, through an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • two user devices e.g., smart phones
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Viewfinders (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 개시의 일 실시 예에 따른 전자 장치는, 제1 이미지 및 제2 이미지를 획득하기 위한 카메라, 적어도 하나의 센서, 메모리, 상기 카메라, 상기 적어도 하나의 센서 및 상기 메모리와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보를 생성하고, 상기 적어도 하나의 센서를 통하여, 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 획득하고, 상기 제1 이미지의 피사체 정보 및 상기 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 생성하고, 상기 제2 이미지의 피사체 정보 및 상기 제2 이미지의 거리 정보에 기반하여 제2 좌표 정보를 생성하고, 상기 제1 좌표 정보 및 상기 제2 좌표 정보에 기반하여 제1 평면 정보를 생성하고, 상기 생성된 평면 정보를 상기 메모리에 저장할 수 있다.

Description

이미지 표시를 위한 전자 장치 및 그 동작 방법
본 문서에서 개시되는 실시 예들은, 이미지 표시를 위한 전자 장치 및 그 동작 방법에 관한 것이다.
증강 현실(augmented reality, AR) 기술을 통하여 현실 세계의 이미지와 가상의 이미지가 결합된 VR 이미지가 제공될 수 있다. 증강 현실 기술을 통해 현실 세계만으로 얻기 어려운 부가적인 정보들이 포함되는 컨텐츠가 생산될 수 있으며 VR 기술을 통해 생성된 컨텐츠들은 광고, 네비게이션, 게임 등과 같이 다양한 서비스를 통해 사용자에게 제공될 수 있다.
사용자가 VR 이미지에 포함되는 가상 이미지와 현실 세계의 이미지 간에 식별할 수 있는 이질감을 최소화하기 위하여, 현실 세계의 장면에서 검출된 평면을 기준으로 이미지를 배치할 수 있다. 평면이 정확하게 검출되지 않는 경우, 증강 현실 이미지가 잘못된 위치에 배치될 우려가 있어, 향상된 사용자 경험을 제공하기 위하여, 카메라를 통하여 입력되는 실제 이미지에 기반하여 평면을 식별할 수 있다. 획득되는 이미지로부터 평면을 식별하기 위하여 다수의 이미지 센서 또는 하나의 이미지 센서와 기울기 센서(예: 6측 센서)가 활용될 수 있다.
디스플레이 장치(예: TV, 모니터 등) 내부에 포함되는 카메라 등을 통하여 획득되는 이미지에 대하여 평면을 검출하는 경우, 이미지 센서가 디스플레이 장치 내부에 고정되어 있으므로, 디스플레이 장치에 다수의 카메라 또는 특수 카메라를 실장할 필요가 있다. 또한, 디스플레이 장치에 연결되는 외부 카메라를 통해서 획득되는 이미지에 대하여 평면을 검출하는 경우, 디스플레이 장치에 6측 센서를 포함할 필요가 있다.
본 문서에 개시되는 다양한 실시 예들은 디스플레이 장치가 획득하는 이미지에 대하여 평면을 검출함에 있어, 별도의 특수한 카메라 또는 다수의 이미지 센서를 사용하지 않고도 정확하게 평면을 검출하기 위한 전자 장치 및 그 동작 방법을 제공할 수 있다.
또한, 디스플레이 장치에 인접하여 위치하는 사용자 감지 센서를 활용하여 평면을 검출하기 위한 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 메모리, 상기 메모리와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지의 피사체 정보 및 제2 이미지의 피사체 정보를 생성하고, 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하고, 상기 제1 이미지의 피사체 정보 및 상기 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 식별하고, 상기 제2 이미지의 피사체 정보 및 상기 제2 이미지의 거리 정보에 기반하여 제2 좌표 정보를 식별하고, 상기 제1 좌표 정보 및 상기 제2 좌표 정보에 기반하여 제1 평면 정보를 생성하고, 상기 생성된 제1 평면 정보를 상기 메모리에 저장할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은, 제1 이미지의 피사체 정보 및 제2 이미지의 피사체 정보를 생성하는 동작, 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하는 동작, 상기 제1 이미지의 피사체 정보 및 상기 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 식별하는 동작, 상기 제2 이미지의 피사체 정보 및 상기 제2 이미지의 거리 정보에 기반하여 제2 좌표 정보를 식별하는 동작, 상기 제1 좌표 정보 및 상기 제2 좌표 정보에 기반하여 제1 평면 정보를 생성하는 동작 및, 상기 생성된 제1 평면 정보를 저장하는 동작을 포함할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 이미지 센서와 모션 센서를 활용하여 평면을 검출하여 향상된 사용자 경험을 가능케하는 효과를 제공할 수 있다.
또한 다양한 실시 예에 따르면, 검출된 평면에 상응하도록 피사체를 표시하여, 이질감 없는 이미지를 표시할 수 있는 효과를 제공할 수 있다.
본 개시의 예시적 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 아니하며, 언급되지 아니한 다른 효과들은 이하의 기재로부터 본 개시의 예시적 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 개시의 예시적 실시예들을 실시함에 따른 의도하지 아니한 효과들 역시 본 개시의 예시적 실시예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
도 1은 일 실시 예에 따른 전자 장치의 블록 구성을 도시한다.
도 2는 일 실시 예에 따른 전자 장치가 생성하는 피사체 정보의 예를 도시한다.
도 3은 일 실시 예에 따른 전자 장치가 생성하는 평면 정보의 예를 도시한다.
도 4는 일 실시 예에 따른 전자 장치가 생성하는 평면 정보의 다른 예를 도시한다.
도 5는 일 실시 예에 따른 전자 장치의 동작 흐름을 도시한다.
도 6는 일 실시 예에 따른 전자 장치의 좌표 정보 생성의 예를 도시한다.
도 7은 일 실시 예에 따른 전자 장치의 컨텐츠 제공의 예를 도시한다.
도 8은 일 실시 예에 따른 전자 장치의 컨텐츠 제공의 다른 예를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
도 1은 일 실시 예에 따른 전자 장치의 블록 구성을 도시한다.
도 1을 참고하면, 일 실시 예에 따른 전자 장치(100)는 증강 현실을 제공할 수 있는 장치를 포함한다. 본 발명에 따른 전자 장치는 노트북 PC, 데스크탑 PC, 태블릿 PC, 스마트 폰, HDTV(high definition television), 스마트 TV, 3D(3-dimensional) TV, IPTV(internet protocol television), 홈시어터(home theater) 등에 적용될 수 있다.
일 실시 예에 따른 전자 장치(100)는, 프로세서(110), 카메라부(120), 센서부(130), 메모리부(140) 및 디스플레이부(150)를 포함할 수 있다. 도 1에 도시되는 전자 장치(100)의 블록 구성은 이하 발명을 설명하기 위하여 필요한 구성만을 도시한 것이다. 도 1을 참조하면, 전자 장치(100)는 카메라부(120) 및 센서부(130)를 포함하지 않을 수 있다. 예를 들어, 카메라부(120) 및 센서부(130)는 전자 장치(100)와 연결되는 카메라 또는 센서를 포함할 수 있다.
일 실시 에에 따른 카메라부(120)는 렌즈, CCD(charged coupled device), CMOS(complementary metal oxide semiconductor)와 같은 이미지 센서 및 아날로그-디지털 컨버터를 포함할 수 있다.
일 실시 예에 따른 카메라부(120)는 전자 장치(100)의 전면 방향의 공간을 촬영할 수 있다. 카메라부(120)는 피사체 및 평면을 포함하는 공간을 포착하여 촬영한 이미지를 획득할 수 있다. 카메라부(120)는 획득한 이미지를 디지털 신호로 변환하여 프로세서(110)로 전송할 수 있다. 후술되는 프로세서(110)는 디지털 신호로 변환된 이미지에 대한 처리를 수행할 수 있다.
일 실시 예에 따른 카메라부(120)는 전자 장치(100)와 연결되는 외부 장치를 포함할 수 있다. 예를 들어, 카메라부(120)는 전자 장치(100)의 내부에 포함되는 구성 요소가 아니라, 전자 장치(100)와 별도로 존재하고, 전자 장치(100)와 연결되는 외부 전자 장치(예: 외부 캠, 외부 카메라, 카메라를 포함하는 다른 외부 전자 장치 등)를 포함할 수 있다.
일 실시 예에 따른 센서부(130)는 전자 장치(100)에 인접하여 위치하는 피사체를 식별하는 기능을 수행하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 센서부(130)는 모션 센서, RF(radio frequency) 센서, UWB(ultra-wideband) 센서, 초음파 센서 중 적어도 하나의 센서를 포함할 수 있다.
일 실시 예에 따른 센서부(130)는 전자 장치(100)에 인접하여 위치하는 피사체의 위치와 관련된 정보를 획득할 수 있다. 예를 들어, 센서부(130)는 피사체와 전자 장치(100)의 거리에 관한 정보, 방향에 관한 정보를 획득할 수 있다. 센서부(130)는 획득한 피사체의 위치와 관련된 정보를 프로세서(110)로 전송할 수 있다. 후술되는 프로세서(110)는 수신한 피사체의 위치와 관련된 정보를 처리할 수 있다.
일 실시 예에 따른 센서부(130)는 전자 장치(100)와 연결되는 외부 장치를 포함할 수 있다. 예를 들어, 센서부(130)는 전자 장치(100)의 내부에 포함되는 구성 요소가 아니라, 전자 장치(100)와 별도로 존재하고, 전자 장치(100)와 연결되는 외부 센서를 포함할 수 있다.
일 실시 예에 따른 메모리부(140)는 플래쉬 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read-only memory, ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
일 실시 예에 따른 메모리부(140)는 카메라부(120)를 통해 획득한 이미지 및 센서부(130)을 통하여 획득된 사용자의 위치와 관련된 정보를 저장할 수 있다. 이외에도, 메모리부(140)는 이미지에서 평면을 검출하기 위한 다양한 데이터를 저장할 수 있다.
일 실시 예에 따른 디스플레이부(150)는 프로세서(110)에서 처리되는 정보를 표시할 수 있다. 일 실시 예에서, 디스플레이부(150)는 카메라부(120)에 의하여 촬영되는 공간의 이미지를 표시할 수 있다. 일 실시 예에서, 디스플레이부(150)는 공간의 이미지에 가상 이미지가 합성된 증강 현실 이미지를 표시할 수 있다.
일 실시 예에서, 디스플레이부(150)는 전자 장치(100)의 각종 기능과 관련된 그래픽 유저 인터페이스(graphic user interface, GUI)를 표시할 수 있다.
일 실시 예에서, 디스플레이부(150)는 터치 패널을 포함하여 입력 장치로도 사용될 수 있다. 디스플레이부(150)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transit-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
일 실시 예에 따른 프로세서(110)는 카메라부(120)로부터 수신한 이미지에 관한 데이터 및 센서부(130)로부터 수신한 사용자의 위치에 관한 정보에 기반하여, 촬영된 공간의 평면에 관한 정보를 생성할 수 있다.
일 실시 예에서, 프로세서(110)는 카메라부(120)로부터 촬영되는 이미지를 수신하는 이미지 입력부를 포함할 수 있다.
일 실시 예에서, 프로세서(110)는 이미지 입력부를 통해 수신되는 이미지에 포함된 피사체와 관련된 피사체의 정보를 생성하는 피사체 정보 생성부를 포함할 수 있다.
일 실시 예에서, 프로세서(110)는 수신한 이미지에 관한 데이터에 기반하여 피사체에 관한 정보를 획득할 수 있다. 피사체는 전자 장치(100)에 인접하여 위치하는 사용자를 의미할 수 있다. 예를 들어, 피사체에 관한 정보는 피사체가 위치하는 영역에 관한 정보, 피사체의 주요 특징(예: 사용자의 머리 위치, 손 위치, 발 끝 위치, 몸의 중앙 위치 등)에 관한 정보를 포함할 수 있다.
일 실시 예에서, 프로세서(110)는 센서부(130)를 통해 수신되는 사용자 위치 정보에 기반하여 사용자와 전자 장치의 거리를 감지하는 거리 감지부를 포함할 수 있다.
일 실시 예에서, 프로세서(110)는 피사체 정보 생성부에서 생성된 피사체 정보 및 거리 감지부에서 감지된 사용자와 전자 장치의 거리에 기반하여 피사체의 좌표 정보를 생성하는 좌표 저장부를 포함할 수 있다.
일 실시 예에서, 프로세서(110)는 생성된 좌표 정보에 기반하여 평면 정보를 생성하는 평면 검출부를 포함할 수 있다.
일 실시 예에서, 프로세서(110)는 생성된 평면 정보에 기반하여 피사체의 가상 공간 상의 위치를 결정하고, 디스플레이(150)를 통해 표시할 수 있다.
도면에는 도시되지 않았으나, 전자 장치(100)는 서버(미도시) 또는 외부 장치(미도시)와 통신을 하기 위한 통신부(미도시)를 포함할 수 있다. 통신부(미도시)는 외부 장치(미도시)로부터 이미지를 수신할 수 있고, 이미지의 평면을 검출하는데 필요한 데이터를 송신 및 수신할 수 있다. 통신부(미도시)는 근거리 통신부, 이동 통신부 및 방송 수신부를 포함할 수 있다.
일 실시 예에서, 근거리 통신부는 블루투스 통신부, BLE(Bluetooth low energy) 통신부, 근거리 무선 통신부(Near field communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, Infrared data association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra-wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에서, 이동 통신부는 이동 통신 망 상에서 기지국, 외부의 장치, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
일 실시 예에서, 방송 수신부는 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신할 수 있다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다.
도 2는 일 실시 예에 따른 전자 장치가 생성하는 피사체 정보의 예를 도시한다.
도 2를 참고하면, 전자 장치(100)는 카메라부(120)를 통해서 적어도 두개의 이미지들(예: 제1 이미지(201), 제2 이미지(202))을 획득할 수 있다. 전자 장치(100)는 획득한 이미지에 기반하여 피사체 정보(예: 포즈)를 생성할 수 있다.
일 실시 예에서, 전자 장치(100)는 제1 피사체(210)를 포함하는 제1 이미지(201) 및 제2 피사체(220)를 포함하는 제2 이미지(202)를 획득할 수 있다. 제1 피사체(210)는 제1 이미지(201)에 포함되는 피사체를 의미할 수 있고, 제2 피사체(220)는 제2 이미지(202)에 포함되는 피사체를 의미할 수 있다.
일 실시 예에서, 제1 피사체(210) 및 제2 피사체(220)는 동일한 사용자에 상응하는 객체를 나타낼 수 있다. 예를 들어, 제1 피사체(210)는 사용자가 제1 위치에 있는 경우에 촬영된 이미지에 포함되는 사용자를 나타낼 수 있고, 제2 피사체(220)는 사용자가 제2 위치에 있는 경우에 촬영된 이미지에 포함된 피사체를 나타낼 수 있다. 일 실시 예에서, 제1 위치와 제2 위치는 상이한 y축 좌표 값을 가질 수 있다.
일 실시 예에서, 제1 사용자 거리(d1)는 제1 피사체(210)와 전자 장치 사이(100)의 거리를 의미할 수 있다. 일 실시 예에서, 제2 사용자 거리(d2)는 제2 피사체(220)와 전자 장치 사이(100)의 거리를 의미할 수 있다. 제1 사용자 거리(d1) 및 제2 사용자 거리(d2)는 전자 장치(100)의 센서부(130)를 통하여 획득될 수 있다.
일 실시 예에서, 피사체 정보는 피사체에 대하여 식별되는 복수의 측정점들에 대한 정보(예: 좌표 값)를 의미할 수 있다. 전자 장치(100)는 획득된 이미지를 딥 러닝에 기반한 학습을 사용하여 피사체의 형태 및 특징을 식별하고, 각각의 형태 및 특징에 대응하는 복수의 측정점들을 식별할 수 있다.
일 실시 예에서, 복수의 측정점들은 피사체의 복수의 신체 부분에 대응하는 측정점을 의미할 수 있다. 예를 들어, 사용자의 목, 어깨, 팔꿈치, 손 끝, 가슴, 허리, 엉덩이, 허벅지, 종아리, 발 끝 위치에 대응되는 점을 의미할 수 있다.
일 실시 예에서, 중앙점(예: 중앙점(211), 중앙점(221))은 복수의 측정점들 중, 피사체의 중심에 위치하는 점(예: 허리)을 의미할 수 있다. 일 실시 예에서, 중앙점은 복수의 측정점들 중 적어도 일부에 기반하여 계산되는 피사체의 중앙 위치에 상응하는 점을 의미할 수 있다.
일 실시 예에서, 전자 장치(100)는 중앙점을 기준으로 전자 장치(100)와 피사체의 위치 정보를 생성할 수 있다.
일 실시 예에서, 기준점(예: 기준점(221), 기준점(222))은 복수의 측정점들 중, 평면에 가장 가까운 측정점(예: 발 끝)을 의미할 수 있다. 기준점(212)은 한쪽 발 끝에 대응하는 제1 기준점(212-1) 및 다른 한쪽 발 끝에 대응하는 제2 기준점(212-2)을 포함할 수 있다. 기준점(222)은 한쪽 발 끝에 대응하는 제1 기준점(222-1) 및 다른 한쪽 발 끝에 대응하는 제2 기준점(222-2)을 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 생성된 평면에 기준점이 위치하도록 피사체의 위치를 설정할 수 있다.
일 실시 예에서, 전자 장치(100)는 제1 시점에 촬영되어 획득된 제1 이미지(201)에 기반하여, 제1 피사체(210)에 대한 제1 피사체 정보를 획득할 수 있다. 예를 들어, 제1 피사체 정보는 복수의 측정점들의 좌표 값에 관한 정보, 중앙점(211)의 좌표 값에 관한 정보 및 기준점(212)의 좌표 값에 관한 정보를 포함할 수 있다.
일 실시 예에서, 전자 장치(100)는 제2 시점에 촬영되어 획득된 제2 이미지(202)에 기반하여, 제2 피사체(220)에 대한 제2 피사체 정보를 획득할 수 있다. 예를 들어, 제2 피사체 정보는 복수의 측정점들의 좌표 값에 관한 정보, 중앙점(221)의 좌표 값에 관한 정보 및 기준점(222)의 좌표 값에 관한 정보를 포함할 수 있다.
도 3은 일 실시 예에 따른 전자 장치가 생성하는 평면 정보의 예를 도시한다. 도 4는 일 실시 예에 따른 전자 장치가 생성하는 평면 정보의 다른 예를 도시한다.
도 3 및 도 4를 참고하면, 일 실시 예에 따른 전자 장치(100)가 생성하는 가상의 평면은 일정한 기울기를 갖는 그리드(grid)의 형태로 표시될 수 있다. 그리드의 한 칸의 폭 및 높이는 미리 정해진 값(예: 0.5m)을 가질 수 있다.
일 실시 예에서, 전자 장치(100)는 적어도 두개의 이미지들에 기반하여 하나의 평면에 관한 정보를 생성할 수 있다. 이미지들은 각각 피사체를 포함할 수 있으며, 각각의 이미지들에 포함되는 피사체의 위치는 상이할 수 있다. 예를 들어, 이미지들에 포함되는 피사체는 위치를 달리하는 동일한 사용자에 대응되는 객체를 의미할 수 있다.
일 실시 예에 따른 전자 장치(100)는 제1 이미지에 관한 정보 및 제2 이미지에 관한 정보에 기반하여 가상의 평면(예: 제1 평면(330), 제2 평면(430))을 생성할 수 있다. 도 3 및 도 4에서 설명되는 제1 이미지 및 제2 이미지에 관한 사항은 도 2에서 상술한 바와 같다.
도 3 및 도 4를 참고하면, 제1 평면(330)과 제2 평면(430) 간에 기울기의 차이가 존재할 수 있다. 다시 말해, 획득되는 2개의 이미지에 따라 서로 다른 평면 정보가 생성될 수 있다.
일 실시 예에서, 제1 평면(330)은 제1 피사체(310)와 전자 장치(100) 사이의 제1 사용자 거리(d1)가 5m이고, 제2 피사체(320)와 전자 장치(100) 사이의 제2 사용자 거리(d2)가 4m인 경우에 생성되는 평면을 나타낸다. 일 실시 예에서, 제2 평면(430)은 제1 피사체(410)와 전자 장치(100) 사이의 제1 사용자 거리(d1)가 5m이고, 제2 피사체(420)와 전자 장치(100) 사이의 제2 사용자 거리(d2)가 3m인 경우에 생성되는 평면을 나타낸다. 상술한 수치는 일 예시일 뿐이며, 다양한 값을 갖는 평면에 관한 정보가 존재할 수 있다.
일 실시 예에서, 제1 피사체와 제2 피사체의 위치 차이(예: h1, h2)는 제1 사용자 거리(d1)와 제2 사용자 거리(d2)의 차이에 상응하는 값을 가질 수 있다. 예를 들어, 제1 피사체(310)와 제2 피사체(320)의 위치 차이는 d1과 d2의 차이인 1m에 상응하는 값을 가질 수 있다. 이에 따라 제2 피사체(320)는 제1 피사체(310) 보다 2칸 앞에 위치할 수 있다. 또한, 예를 들어, 제1 피사체(410)와 제2 피사체(420)의 위치 차이는 d1과 d2의 차이인 2m에 상응하는 값을 가질 수 있다. 이에 따라, 제2 피사체(420)는 제1 피사체(410) 보다 2칸 앞에 위치할 수 있다.
일 실시 예에서, 전자 장치(100)는 피사체의 기준점을 생성된 평면 정보에 상응하도록 피사체를 배치할 수 있다. 다시 말해, 발끝 위치를 생성된 평면 상에 위치하도록 피사체를 배치하여, 원근감 있는 화면 표시를 가능케 할 수 있다.
도 5는 일 실시 예에 따른 전자 장치의 동작 흐름을 도시한다. 도 6은 일 실시 예에 따른 전자 장치의 좌표 정보 생성의 예를 도시한다. 도 5 및 도 6에서 설명되는 전자 장치는 도 1의 전자 장치(100)에 상응하는 전자 장치를 의미할 수 있다. 도 5 및 도 6의 설명에 사용되는 용어와 관련하여, 앞선 도 1, 도 2, 도 3 및 도 4에서 설명된 부분과 중복되거나 자명한 부분은 설명이 생략될 수 있다.
일 실시 예에 따르면 동작 510에서, 전자 장치는 제1 이미지의 피사체 정보 및 제2 이미지의 피사체 정보를 생성할 수 있다.
일 실시 예에서, 전자 장치는 제1 이미지에 기반하여, 제1 이미지에 포함되는 피사체에 관한 피사체 정보를 생성할 수 있다. 전자 장치는 카메라부에 입력되는 제1 이미지에 기반하여 제1 이미지에 포함되는 피사체에 관한 피사체 정보를 생성할 수 있다. 전자 장치는 외부 장치를 통해 획득되는 제1 이미지에 기반하여 제1 이미지에 포함되는 피사체에 관한 피사체 정보를 생성할 수 있다.
일 실시 예에서, 제1 이미지는 제2 시점과 상이한 제1 시점에 카메라부를 통하여 촬영되는 이미지를 의미할 수 있으며, 피사체와 배경 영역을 포함할 수 있다. 일 실시 예에서, 피사체는 전자 장치를 제어하는 사용자를 포함할 수 있다.
일 실시 예에서, 전자 장치는 기계 학습 등을 통한 이미지 처리 방법을 통하여, 사용자의 포즈(pose)를 감지할 수 있고, 이와 관련된 정보를 생성할 수 있다.
일 실시 예에서, 제1 이미지의 피사체 정보는 제1 이미지에 포함되는 피사체에 관한 복수의 측정점들에 관한 정보, 중앙점에 관한 정보, 측정점(예: 제1 측정점, 제2 측정점)에 관한 정보를 포함할 수 있다. 일 실시 예에서, 제1 이미지의 피사체 정보는 복수의 측정점들, 중앙점, 기준점의 좌표 값에 관한 정보를 포함할 수 있다. 좌표 값은 1D, 2D 및 3D 좌표 값 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 측정점은 피사체의 구성 요소(예: 머리, 어깨, 팔꿈치, 손, 허리, 허벅지, 발끝 등)을 지시하는 점을 의미할 수 있다.
일 실시 예에서, 중앙점 및 기준점은 복수의 측정점들 중 어느 하나일 수 있다. 일 실시 예에서, 중앙점 및 기준점은 피사체가 점유하는 영역 및 특성을 고려하여 미리 정해진 복수의 측정점들 중에서 식별될 수 있다.
일 실시 예에서, 중앙점은 피사체의 중심 위치에 상응하는 점을 의미할 수 있다. 예를 들어, 중앙점은 식별된 복수의 측정점들의 좌표 중 중심 좌표에 상응하는 점을 의미할 수 있다. 일 실시 예에서, 중심은 목, 가슴, 양 어깨의 중심, 엉덩이의 중심 등 이미지에서 수평 방향(x축 방향)에서의 중심을 의미할 수 있다.
일 실시 예에서, 기준점은 피사체의 발끝 위치에 상응하는 점을 의미할 수 있다. 예를 들어, 기준점은 좌측(-x) 발 끝에 상응하는 점 및 우측(+x) 발 끝에 상응하는 점을 포함할 수 있다.
일 실시 예에서, 전자 장치는 피사체의 발끝 위치에 상응하는 측정점이, 움직이지 않고 미리 정해진 시간 이상 일정 범위 내에서 벗어나지 않는 경우, 해당 측정점을 기준점으로 결정할 수 있다. 예를 들어, 촬영되는 사용자의 발 끝이 고정되어 1초 이상 움직이지 않음을 식별하는 경우, 전자 장치는 발끝이 위치하는 점을 기준점으로 결정할 수 있다.
일 실시 예에서, 전자 장치는 피사체의 발끝 위치로 식별된 측정점들 사이의 거리가, 미리 정해진 값 이하인 경우에 해당 측정점들을 각각 제1 기준점 및 제2 기준점으로 결정할 수 있다.
일 실시 예에서, 전자 장치는 제2 이미지에 기반하여, 제2 이미지의 피사체 정보를 생성할 수 있다. 전자 장치는 카메라부에 입력되는 제2 이미지에 기반하여, 제2 이미지의 피사체 정보를 생성할 수 있다. 전자 장치는 외부 장치를 통해 획득되는 제1 이미지에 기반하여 제1 이미지에 포함되는 피사체에 관한 피사체 정보를 생성할 수 있다.
일 실시 예에서, 제2 이미지는 전자 장치가 카메라부를 통하여 제2 시점에 촬영한 이미지를 의미할 수 있다. 일 실시 예에서, 제2 이미지의 피사체 정보를 생성하는 동작은 제1 이미지의 피사체 정보를 생성하는 동작에 상응하는 동작을 포함할 수 있다.
일 실시 예에 따르면 동작 520에서, 전자 장치는 적어도 하나의 센서를 통하여 제1 이미지의 거리 정보 및 제2 이미지의 거리 정보를 획득할 수 있다.
일 실시 예에서, 거리 정보는 전자 장치와 피사체의 거리(이하, “피사체 거리”으로 지칭한다)에 관한 정보를 포함할 수 있다. 일 실시 예에서, 위치 정보는 전자 장치를 기준으로 피사체가 존재하는 위치의 좌표 값에 관한 정보를 포함할 수 있다. 좌표 값은 1D, 2D 또는 3D 좌표 값 중 어느 하나일 수 있다.
일 실시 예에서, 전자 장치와 피사체의 거리는 모션 센서를 통해 감지되는 피사체의 좌표 값에 기반하여 결정될 수 있다. 전자 장치는 사용자의 위치가 2D 및 3D 좌표 값으로 식별되어도, 단일 데이터(거리)로 차원을 낮출 수 있다.
일 실시 예에 따르면 동작 530에서, 전자 장치는 제1 이미지의 피사체 정보 및 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 생성할 수 있다. 제1 좌표 정보는 제1 시점에 식별된 피사체의 좌표 값을 보정한 값에 관한 정보를 의미할 수 있다. 전자 장치의 좌표 정보 생성 동작은 도 5를 참고하여 설명될 수 있다.
일 실시 예에서, 제1 좌표 정보는 피사체 방향 및 피사체 거리에 관한 정보에 기반하여 생성될 수 있다. 피사체 방향은 제1 이미지의 중심 위치와 제1 피사체의 중심 위치, 즉 중앙점의 위치 사이의 각에 상응하는 값을 가질 수 있다. 피사체 방향은 전자 장치의 카메라부의 화각 내 범위의 값을 가질 수 있다.
일 실시 예에서, 보정된 사용자 거리는 하기의 수학식에 기반하여 결정될 수 있다.
Figure PCTKR2023006324-appb-img-000001
상기 수학식에서, d'는 보정된 피사체 거리, d는 보정 전 사용자 거리, r은 피사체 방향, Δx는 이미지의 중심 위치(501)와 피사체의 중심 위치(511)의 수평 방향의 차이에 상응하는 값을 의미할 수 있다.
도 5를 참고하면, 전자 장치(501)와 피사체(510)의 중심 위치(511) 사이의 거리가 d에 상응할 수 있고, 이미지의 중심 위치(521)와 피사체(510)의 중심 위치(511)의 수평 방향의 차이가 Δx일 수 있고, 이미지의 중심 위치(521)와 피사체(510)의 중심 위치(511)간에 형성되는 각도가 피사 체 방향(r)을 의미할 수 있다. 상술한 값에 기반하여 Cos 연산을 수행하는 경우, 보정된 피사체 거리를 획득할 수 있다. 전자 장치는 이에 기반하여 평면 정보를 생성할 수 있다.
일 실시 예에 따르면 동작 540에서, 전자 장치는 제2 이미지의 피사체 정보 및 제2 거리 정보에 기반하여 제2 좌표 정보를 생성할 수 있다. 일 실시 예에서, 동작 540는 동작 530에 상응하는 동작을 포함할 수 있다.
일 실시 예에 따르면 동작 550에서, 전자 장치는 제1 좌표 정보 및 제2 좌표 정보에 기반하여 평면 정보를 생성할 수 있다. 상술한 바와 같이, 제1 좌표 정보는 제1 시점의 피사체의 좌표에 대하여 수학식 1에 따라 보정을 수행한 이후의 좌표 값을 의미할 수 있으며, 제2 좌표 정보는 제2 시점의 피사체의 좌표에 대하여 수학식 1에 따라 보정을 수행한 이후의 좌표 값을 의미할 수 있다.
일 실시 예에서, 제1 좌표 정보에 포함되는 제1 좌표 값과 제2 좌표 정보에 포함되는 제2 좌표 값은 동일한 x축 및 z축 좌표 값을 가질 수 있고, 서로 다른 y 좌표를 가질 수 있다. 수학식 1에서 수행되는 연산의 결과에 따라 x축 및 z축의 성분이 모두 전자 장치의 중심축을 기준으로 동일하게 보정될 수 있으므로, 제1 좌표 값과 제2 좌표 값은 y축 좌표 값에 대응하는 값만이 다를 수 있다.
일 실시 예에서, 전자 장치는 제1 좌표와 제2 좌표를 연결하는 선과 수직인 벡터를 y축 방향의 벡터로 결정할 수 있다.
일 실시 예에서, 전자 장치는 제1 좌표와 제2 좌표를 연결하는 선과 법선 벡터의 값을 이용하여 평면에 관한 정보를 생성할 수 있다.
일 실시 예에 따르면, 동작 560에서, 전자 장치는 생성된 평면 정보를 메모리에 저장할 수 있다.
일 실시 예에서, 전자 장치는 입력되는 이미지에 대하여 피사체 정보 생성, 거리 정보 생성, 좌표 정보 생성의 동작을 수행하여, 평면 정보를 갱신할 수 있다. 예를 들어, 전자 장치는 제1 이미지 및 제2 이미지와 상이한 제3 이미지를 획득하고, 제3 이미지의 피사체 정보 및 제3 이미지의 거리 정보를 생성하고, 상기 제3 이미지의 피사체 정보 및 제3 이미지의 거리 정보에 기반하여 제3 좌표 정보를 생성하고, 제3 좌표 정보와 상기 평면 정보에 기반하여 제1 평면 정보와 다른 제2 평면 정보를 생성하고, 제2 평면 정보를 상기 메모리에 저장할 수 있다.
도 7은 일 실시 예에 따른 전자 장치의 컨텐츠 제공의 예를 도시한다. 도 8은 일 실시 예에 따른 전자 장치의 컨텐츠 제공의 다른 예를 도시한다.
도 7을 참조하면, 일 실시 예에 따른 전자 장치는 생성된 평면 정보에 기반하여, 평면(710)과 함께 객체들(예: 제1 객체(701), 제2 객체(702), 제3 객체(703), 제4 객체(704), 제5 객체(705)을 표시할 수 있다. 도면에는 5개의 객체들이 도시되었으나, 이는 일 예시일 뿐이며 일 실시 예에 따른 전자 장치가 제공하는 컨텐츠는 5개보다 더 많거나 적은 객체를 포함할 수 있다. 도 7에 도시되는 객체들은 가상의 객체를 나타낼 수 있다.
일 실시 예에서, 전자 장치가 제공하는 컨텐츠(700)는 적어도 하나의 객체(예: 제1 객체(701), 제2 객체(702), 제3 객체(703), 제4 객체(704), 제5 객체(705)) 및 평면(710)을 포함할 수 있다. 예를 들어, 전자 장치는 생성된 평면 정보에 기반하여, 평면(710)을 그리드(grid)의 형태로 표시할 수 있다.
일 실시 예에서, 전자 장치는 객체의 발끝 위치 및 객체의 위치에 기반하여, 객체의 발끝 위치를 평면의 위치에 매치(match)할 수 있다.
일 실시 예에서, 전자 장치는 표시할 객체의 위치에 따라 원근감을 적용하여 표시되는 객체의 크기를 조절할 수 있다. 예를 들어, 전자 장치에서 더 멀리 떨어져 위치하는 제2 객체(702) 및 제4 객체(704)는 상대적으로 가까이 표시되는 제1 객체(701), 제5 객체(705)보다 작은 크기를 가지도록 표시될 수 있다. 전자 장치에서 가장 멀리 떨어져 위치하는 제3 객체(703)는 제1 객체(701), 제2 객체(702), 제4 객체(704) 및 제5 객체(705)보다 작은 크기를 가지도록 표시될 수 있다.
일 실시 예에서, 전자 장치가 제공하는 컨텐츠(700)에 포함되는 복수의 객체들을 포함할 수 있다. 도 7의 컨텐츠(700)을 참고하면, 컨텐츠(700)는 복수의 객체들(예: 제1 객체(701), 제2 객체(702), 제3 객체(703), 제4 객체(704) 및 제5 객체(705)) 및 배경 이미지를 포함할 수 있다. 컨텐츠(700)에 표시되는 복수의 객체들은 가상의 객체들을 의미할 수 있으며, 배경 이미지는 전자 장치의 카메라부를 통하여 실제 촬영되고 있는 이미지 또는 메모리에 저장되어 있는 이미지를 포함할 수 있다.
일 실시 예에서, 전자 장치가 제공하는 컨텐츠는 평면의 표시를 생략할 수 있다. 도 8을 참고하면, 컨텐츠(800)은 도 7의 컨텐츠(700)과 다르게 그리드의 형태로 표시되는 평면의 표시가 생략된 것을 알 수 있다. 다만, 전자 장치는 도 7의 컨텐츠(700)를 표시하는 동작과 마찬가지로, 객체(예: 제1 객체(801), 제2 객체(802), 제3 객체(803), 제4 객체(804) 및 제5 객체(805))의 발끝 위치 및 객체의 위치에 기반하여, 객체의 발끝 위치를 평면의 위치에 매치(match)할 수 있다.
일 실시 예에서, 전자 장치는 표시할 객체의 위치에 따라 원근감을 적용하여 표시되는 객체의 크기를 조절할 수 있다. 예를 들어, 전자 장치에서 더 멀리 떨어져 위치하는 제2 객체(802) 및 제4 객체(804)는 상대적으로 가까이 표시되는 제1 객체(801), 제5 객체(805)보다 작은 크기를 가지도록 표시될 수 있다. 전자 장치에서 가장 멀리 떨어져 위치하는 제3 객체(803)는 제1 객체(801), 제2 객체(802), 제4 객체(804) 및 제5 객체(805)보다 작은 크기를 가지도록 표시될 수 있다.
본 개시의 일 실시 예에 따른 전자 장치는, 메모리, 상기 메모리와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 제1 이미지의 피사체 정보 및 제2 이미지의 피사체 정보를 생성하고, 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하고, 상기 제1 이미지의 피사체 정보 및 상기 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 식별하고, 상기 제2 이미지의 피사체 정보 및 상기 제2 이미지의 거리 정보에 기반하여 제2 좌표 정보를 식별하고, 상기 제1 좌표 정보 및 상기 제2 좌표 정보에 기반하여 제1 평면 정보를 생성하고, 상기 생성된 제1 평면 정보를 상기 메모리에 저장할 수 있다.
일 실시 예에서, 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보는, 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 중앙 위치의 좌표 값에 관한 정보, 및 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치의 좌표 값들에 관한 정보를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치가 미리 정해진 시간 동안 일정 범위 내에서 고정되어 있는 경우, 상기 피사체의 양 발끝 위치의 좌표 값들을 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보로 결정할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치에 상응하는 좌표 값들의 차이가 미리 정해진 값 이하인 경우, 상기 피사체의 양 발끝 위치의 좌표 값들을 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보로 결정할 수 있다.
일 실시 예에서, 상기 제2 이미지에 포함되는 피사체는 상기 제1 이미지에 포함되는 피사체와 동일하고, 상기 제2 이미지에 포함되는 피사체의 좌표 값과 상기 제1 이미지에 포함되는 피사체의 좌표 값은 상이할 수 있다.
일 실시 예에서, 상기 제1 이미지의 거리 정보는 상기 전자 장치와 상기 제1 이미지에 포함되는 피사체의 중앙 위치 사이의 제1 거리(d1)를 포함하고, 상기 제2 이미지의 거리 정보는 상기 전자 장치와 상기 제2 이미지에 포함되는 피사체의 중앙 위치 사이의 제2 거리(d2)를 포함할 수 있다.
일 실시 예에서, 상기 제1 좌표 정보는 상기 제1 이미지의 중앙 위치와 상기 제1 이미지에 포함되는 피사체의 중앙 위치 사이의 각도(r1)에 관한 정보 및 상기 제1 거리(d1)가 보정되어 결정되는 제1 보정 거리(d1')를 포함하고, 상기 제2 좌표 정보는 상기 제2 이미지의 중앙 위치와 상기 제2 이미지에 포함되는 피사체의 중앙 위치 사이의 각도(r2)에 관한 정보 및 상기 제2 거리(d2)가 보정되어 결정되는 제2 보정 거리(d2')를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 제1 보정 거리(d1') 및 상기 제2 보정 거리(d2')는 하기 수학식에 기반하여 결정되고,
Figure PCTKR2023006324-appb-img-000002
, 상기 수학식에서, d'는 보정 거리, d는 전자 장치와 피사체 사이의 거리, r은 이미지 중심과 피사체 사이의 각도,
Figure PCTKR2023006324-appb-img-000003
는 이미지의 중앙 위치와 상기 피사체의 중앙 위치의 수평 방향의 거리일 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 전자 장치와 전기적으로 연결되는 외부 이미지 센서로부터 상기 제1 이미지 및 상기 제2 이미지를 획득할 수 있다.
일 실시 예에서, 전자 장치는 카메라를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라를 통하여 상기 제1 이미지 및 상기 제2 이미지를 획득하고, 상기 획득된 상기 제1 이미지 및 상기 제2 이미지를 상기 메모리에 저장할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 카메라 또는 상기 전자 장치와 전기적으로 연결되는 외부 이미지 센서 중 적어도 하나로부터 상기 제1 이미지 및 상기 제2 이미지와 상이한 제3 이미지를 획득하고, 상기 제3 이미지의 피사체 정보 및 상기 제3 이미지의 거리 정보를 생성하고, 상기 제3 이미지의 피사체 정보 및 상기 제3 이미지의 거리 정보에 기반하여 제3 좌표 정보를 생성하고, 상기 제3 좌표 정보와 상기 평면 정보에 기반하여 상기 제1 평면 정보와 다른 제2 평면 정보를 생성하고, 상기 제2 평면 정보를 상기 메모리에 저장할 수 있다.
일 실시 예에서, 전자 장치는 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 생성된 제1 평면 정보에 기반하여 적어도 하나의 객체를 상기 디스플레이에 표시하고, 상기 적어도 하나의 객체의 발끝 위치는 상기 제1 평면 정보에 따라 정의되는 가상의 평면 상에 위치할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 제1 평면 정보에 기반하여 정의되는 가상의 평면을 그리드(grid)의 형태로 상기 디스플레이에 표시할 수 있다.
일 실시 예에서, 전자 장치는 적어도 하나의 센서를 더 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센서를 통하여 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하고, 상기 식별된 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 상기 메모리에 저장할 수 있다.
일 실시 예에서, 상기 적어도 하나의 센서는, 모션 센서, RF(radio frequency) 센서, UWB(ultra-wideband) 센서, 초음파 센서 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은, 제1 이미지의 피사체 정보 및 제2 이미지의 피사체 정보를 생성하는 동작, 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하는 동작, 상기 제1 이미지의 피사체 정보 및 상기 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 식별하는 동작, 상기 제2 이미지의 피사체 정보 및 상기 제2 이미지의 거리 정보에 기반하여 제2 좌표 정보를 식별하는 동작, 상기 제1 좌표 정보 및 상기 제2 좌표 정보에 기반하여 제1 평면 정보를 생성하는 동작 및, 상기 생성된 제1 평면 정보를 저장하는 동작을 포함할 수 있다.
일 실시 예에서, 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보는, 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 중앙 위치의 좌표 값에 관한 정보, 및 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치의 좌표 값들에 관한 정보를 포함할 수 있다.
일 실시 예에서, 상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치가 미리 정해진 시간 동안 일정 범위 내에서 고정되어 있는 경우, 상기 피사체의 양 발끝 위치의 좌표 값들을 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보로 결정하는 동작을 더 포함할 수 있다.
일 실시 예에서, 상기 피사체의 양 발끝 위치에 상응하는 좌표 값들의 차이가 미리 정해진 값 이하인 경우, 상기 피사체의 양 발끝 위치의 좌표 값들을 기준점으로 결정하는 동작을 더 포함할 수 있다.
일 실시 예에서, 상기 제2 이미지에 포함되는 피사체는 상기 제1 이미지에 포함되는 피사체와 동일하고, 상기 제2 이미지에 포함되는 피사체의 좌표 값과 상기 제1 이미지에 포함되는 피사체의 좌표 값은 상이할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 디스플레이 장치, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 문서에서 사용되는 '및/또는'이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다,' '가지다,' '구성되다' 등의 용어는 본 개시 상에 기재된 특징, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
본 문서의 다양한 실시예들에서 사용된 용어 "~부" 또는 "~모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. "~부" 또는 "~모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, "~부" 또는 "~모듈"은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들에서 사용된 용어 “할 경우”는 문맥에 따라 “할 때”, 또는 “할 시” 또는 “결정하는 것에 응답하여” 또는 “검출하는 것에 응답하여”를 의미하는 것으로 해석될 수 있다. 유사하게, “라고 결정되는 경우” 또는 “이 검출되는 경우”는 문맥에 따라 “결정 시” 또는 “결정하는 것에 응답하여”, 또는 “검출 시” 또는 “검출하는 것에 응답하여”를 의미하는 것으로 해석될 수 있다.
본 문서를 통해 설명된 전자 장치(100)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 저장 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(Read-Only Memory), RAM(Random-Access Memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 저장 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 컴퓨터 프로그램은 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    메모리;
    상기 메모리와 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    제1 이미지의 피사체 정보 및 제2 이미지의 피사체 정보를 생성하고,
    상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하고,
    상기 제1 이미지의 피사체 정보 및 상기 제1 이미지의 거리 정보에 기반하여 제1 좌표 정보를 식별하고,
    상기 제2 이미지의 피사체 정보 및 상기 제2 이미지의 거리 정보에 기반하여 제2 좌표 정보를 식별하고,
    상기 제1 좌표 정보 및 상기 제2 좌표 정보에 기반하여 제1 평면 정보를 생성하고,
    상기 생성된 제1 평면 정보를 상기 메모리에 저장하는, 장치.
  2. 청구항 1에 있어서,
    상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보는:
    상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 중앙 위치의 좌표 값에 관한 정보; 및
    상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치의 좌표 값들에 관한 정보를 포함하는, 장치.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치가 미리 정해진 시간 동안 일정 범위 내에서 고정되어 있는 경우, 상기 피사체의 양 발끝 위치의 좌표 값들을 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보로 결정하는, 장치.
  4. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 제1 이미지에 포함되는 피사체 및 상기 제2 이미지에 포함되는 피사체의 양 발끝 위치에 상응하는 좌표 값들의 차이가 미리 정해진 값 이하인 경우, 상기 피사체의 양 발끝 위치의 좌표 값들을 상기 제1 이미지의 피사체 정보 및 상기 제2 이미지의 피사체 정보로 결정하는, 장치.
  5. 청구항 2에 있어서,
    상기 제2 이미지에 포함되는 피사체는 상기 제1 이미지에 포함되는 피사체와 동일하고,
    상기 제2 이미지에 포함되는 피사체의 좌표 값과 상기 제1 이미지에 포함되는 피사체의 좌표 값은 상이한, 장치.
  6. 청구항 2에 있어서,
    상기 제1 이미지의 거리 정보는 상기 전자 장치와 상기 제1 이미지에 포함되는 피사체의 중앙 위치 사이의 제1 거리(d1)를 포함하고,
    상기 제2 이미지의 거리 정보는 상기 전자 장치와 상기 제2 이미지에 포함되는 피사체의 중앙 위치 사이의 제2 거리(d2)를 포함하는, 장치.
  7. 청구항 6에 있어서,
    상기 제1 좌표 정보는 상기 제1 이미지의 중앙 위치와 상기 제1 이미지에 포함되는 피사체의 중앙 위치 사이의 각도(r1)에 관한 정보 및 상기 제1 거리(d1)가 보정되어 결정되는 제1 보정 거리(d1')를 포함하고,
    상기 제2 좌표 정보는 상기 제2 이미지의 중앙 위치와 상기 제2 이미지에 포함되는 피사체의 중앙 위치 사이의 각도(r2)에 관한 정보 및 상기 제2 거리(d2)가 보정되어 결정되는 제2 보정 거리(d2')를 포함하는, 장치.
  8. 청구항 7에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 제1 보정 거리(d1') 및 상기 제2 보정 거리(d2')는 하기 수학식에 기반하여 결정되고,
    Figure PCTKR2023006324-appb-img-000004
    상기 수학식에서, d'는 보정 거리, d는 전자 장치와 피사체 사이의 거리, r은 이미지 중심과 피사체 사이의 각도,
    Figure PCTKR2023006324-appb-img-000005
    는 이미지의 중앙 위치와 상기 피사체의 중앙 위치의 수평 방향의 거리인, 장치.
  9. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치와 전기적으로 연결되는 외부 이미지 센서로부터 상기 제1 이미지 및 상기 제2 이미지를 획득하는, 장치.
  10. 청구항 1에 있어서,
    카메라를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라를 통하여 상기 제1 이미지 및 상기 제2 이미지를 획득하고,
    상기 획득된 상기 제1 이미지 및 상기 제2 이미지를 상기 메모리에 저장하는, 장치.
  11. 청구항 10에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 카메라 또는 상기 전자 장치와 전기적으로 연결되는 외부 이미지 센서 중 적어도 하나로부터 상기 제1 이미지 및 상기 제2 이미지와 상이한 제3 이미지를 획득하고,
    상기 제3 이미지의 피사체 정보 및 상기 제3 이미지의 거리 정보를 생성하고,
    상기 제3 이미지의 피사체 정보 및 상기 제3 이미지의 거리 정보에 기반하여 제3 좌표 정보를 생성하고,
    상기 제3 좌표 정보와 상기 평면 정보에 기반하여 상기 제1 평면 정보와 다른 제2 평면 정보를 생성하고,
    상기 제2 평면 정보를 상기 메모리에 저장하는, 장치.
  12. 청구항 1에 있어서,
    디스플레이를 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 생성된 제1 평면 정보에 기반하여 적어도 하나의 객체를 상기 디스플레이에 표시하고,
    상기 적어도 하나의 객체의 발끝 위치는 상기 제1 평면 정보에 따라 정의되는 가상의 평면 상에 위치하는, 장치.
  13. 청구항 12에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 제1 평면 정보에 기반하여 정의되는 가상의 평면을 그리드(grid)의 형태로 상기 디스플레이에 표시하는, 장치.
  14. 청구항 1에 있어서,
    적어도 하나의 센서를 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 적어도 하나의 센서를 통하여 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 식별하고,
    상기 식별된 상기 제1 이미지의 거리 정보 및 상기 제2 이미지의 거리 정보를 상기 메모리에 저장하는, 장치.
  15. 청구항 14에 있어서,
    상기 적어도 하나의 센서는,
    모션 센서, RF(radio frequency) 센서, UWB(ultra-wideband) 센서, 초음파 센서 중 적어도 하나를 포함하는, 장치.
PCT/KR2023/006324 2022-06-29 2023-05-10 이미지 표시를 위한 전자 장치 및 그 동작 방법 WO2024005356A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220079875A KR20240002559A (ko) 2022-06-29 2022-06-29 이미지 표시를 위한 전자 장치 및 그 동작 방법
KR10-2022-0079875 2022-06-29

Publications (1)

Publication Number Publication Date
WO2024005356A1 true WO2024005356A1 (ko) 2024-01-04

Family

ID=89380946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/006324 WO2024005356A1 (ko) 2022-06-29 2023-05-10 이미지 표시를 위한 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20240002559A (ko)
WO (1) WO2024005356A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082288A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 情報処理装置およびその制御方法
JP2018120604A (ja) * 2018-03-05 2018-08-02 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2019028653A (ja) * 2017-07-28 2019-02-21 日産自動車株式会社 物体検出方法及び物体検出装置
KR102129206B1 (ko) * 2019-06-14 2020-07-01 주식회사 큐픽스 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치
KR20200124463A (ko) * 2019-04-24 2020-11-03 동의대학교 산학협력단 깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082288A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 情報処理装置およびその制御方法
JP2019028653A (ja) * 2017-07-28 2019-02-21 日産自動車株式会社 物体検出方法及び物体検出装置
JP2018120604A (ja) * 2018-03-05 2018-08-02 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20200124463A (ko) * 2019-04-24 2020-11-03 동의대학교 산학협력단 깊이 영상을 통한 평면 검출 방법 및 장치 그리고 비일시적 컴퓨터 판독가능 기록매체
KR102129206B1 (ko) * 2019-06-14 2020-07-01 주식회사 큐픽스 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치

Also Published As

Publication number Publication date
KR20240002559A (ko) 2024-01-05

Similar Documents

Publication Publication Date Title
WO2020185029A1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
WO2018182321A1 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
JP2017539169A (ja) カラービデオと深度ビデオとの同期方法、装置、および媒体
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2017217713A1 (en) Method and apparatus for providing augmented reality services
WO2020080845A1 (en) Electronic device and method for obtaining images
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2017164545A1 (ko) 디스플레이 장치, 및 디스플레이 장치의 제어방법
WO2021157996A1 (en) Electronic device and method for processing image thereof
WO2021230568A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
WO2019160237A1 (en) Electronic device and method for controlling display of images
WO2020171558A1 (en) Method of providing augmented reality contents and electronic device therefor
WO2024005356A1 (ko) 이미지 표시를 위한 전자 장치 및 그 동작 방법
WO2020246710A1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
WO2020190030A1 (en) Electronic device for generating composite image and method thereof
WO2022255730A1 (ko) 전자장치 및 그 제어방법
WO2020130579A1 (ko) 이미지 처리 방법 및 그 전자 장치
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2020159115A1 (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
WO2017204598A1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
WO2017086635A1 (ko) 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2019013443A1 (ko) 디스플레이장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831720

Country of ref document: EP

Kind code of ref document: A1