KR20220066559A - Electronic apparatus and controlling method thereof - Google Patents
Electronic apparatus and controlling method thereof Download PDFInfo
- Publication number
- KR20220066559A KR20220066559A KR1020200152728A KR20200152728A KR20220066559A KR 20220066559 A KR20220066559 A KR 20220066559A KR 1020200152728 A KR1020200152728 A KR 1020200152728A KR 20200152728 A KR20200152728 A KR 20200152728A KR 20220066559 A KR20220066559 A KR 20220066559A
- Authority
- KR
- South Korea
- Prior art keywords
- captured image
- image
- region
- target object
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 129
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
Abstract
Description
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 장애물에 가려진 타겟 오브젝트를 식별하는 전자 장치 및 그 제어방법에 대한 것이다.The present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device for identifying a target object obscured by an obstacle and a control method thereof.
다양한 제품에 대한 재고 파악 업무를 자동화하기 위하여 이동 로봇을 이용할 수 있다. 여기서, 이동 로봇을 카메라를 포함하여 제품의 위치 및 수량 등을 파악할 수 있다. 다만, 모든 제품들이 카메라를 통해 쉽게 인식되도록 배치되어 있지 않을 수 있다. 예를 들어, 하나의 제품과 다른 제품이 겹쳐져 있거나, 하나의 제품과 장애물이 서로 겹쳐져 있는 경우 이동 로봇은 재고 파악에 어려움이 있을 수 있다.A mobile robot can be used to automate the task of stocking a variety of products. Here, it is possible to grasp the position and quantity of the product including the camera of the mobile robot. However, not all products may be arranged to be easily recognized by the camera. For example, when one product and another product overlap, or when one product and an obstacle overlap each other, the mobile robot may have difficulty in checking inventory.
또한, 이동 로봇을 플래시를 포함할 수 있다. 제품을 촬상함에 있어 실내 공간의 조명이 어둡거나 텍스트를 인식하기 위하여 이미지가 더 밝은 상태로 획득해야 할 수 있다. 여기서, 제품 자체 또는 라벨 등은 빛이 쉽게 반사되는 재질일 수 있다. 여기서, 플래시 등에 의해 빛이 많이 반사되는 경우, 이동 로봇이 촬상한 이미지는 다소 인식률이 떨어지는 문제가 있을 수 있다.In addition, the mobile robot may include a flash. When imaging a product, the lighting in the indoor space may be dim or the image may need to be acquired in a brighter state in order to recognize text. Here, the product itself or the label may be a material that easily reflects light. Here, when a lot of light is reflected by a flash or the like, there may be a problem in that the recognition rate of the image captured by the mobile robot is somewhat lowered.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 서로 다른 촬상각을 갖는 복수의 카메라에서 획득된 이미지를 이용하여 장애물에 가려진 타겟을 식별하는 전자 장치 및 그의 제어 방법을 제공함에 있다.The present disclosure has been devised to improve the above problems, and an object of the present disclosure is to provide an electronic device for identifying a target obscured by an obstacle using images obtained from a plurality of cameras having different imaging angles, and a method for controlling the same. have.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 제1 촬상각을 갖는 제1 카메라, 상기 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라 및 상기 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제2 카메라로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하고, 상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서를 포함한다.An electronic device according to an embodiment of the present invention for achieving the above object includes a first camera having a first imaging angle, a second camera having a second imaging angle greater than the first imaging angle, and a second camera obtained from the first camera. When a part of the target object is identified in the first captured image or the second captured image obtained from the second camera and an obstacle object overlapping the other part of the target object is identified, the position information of the identified obstacle object is obtained and a processor configured to identify a region of interest of the second captured image based on the obtained position information of the obstacle object and a remaining part of the target object based on the region of interest of the second captured image.
한편, 상기 프로세서는 상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득할 수 있고, 상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별할 수 있다.Meanwhile, the processor may obtain a combined image including the entire image of the target object based on the region including the target object and the obstacle object in the first captured image and the region of interest of the second captured image, , the target object may be identified based on the obtained combined image.
한편, 상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고, 상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지일 수 있다.Meanwhile, the first captured image is an image captured by the first camera at a first capturing position, and the second captured image is captured by the second camera at a second capturing position different from the first capturing position. It can be an image.
한편, 상기 프로세서는 상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득할 수 있고, 상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다.Meanwhile, the processor may acquire a third captured image captured by the second camera at a third capturing position different from the first capturing position and the second capturing position, and based on the position information of the identified obstacle object Thus, the ROI of the third captured image may be identified, and the remaining part of the target object may be identified based on the ROI of the second captured image and the ROI of the third captured image.
한편, 상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치할 수 있다.Meanwhile, the second imaging position may be located in a first direction with respect to the first imaging position, and the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position. can do.
한편, 상기 프로세서는 상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별할 수 있다.Meanwhile, the processor may identify the region of interest of the second captured image based on the direction information in which the second captured image is captured and the location information of the obstacle object, and the direction information in which the third captured image is captured and The ROI of the third captured image may be identified based on the location information of the obstacle object.
한편, 상기 프로세서는 상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하고, 상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득할 수 있다.Meanwhile, the processor acquires first information of a target object based on a portion of the target object identified in the first captured image, and based on the remaining portion of the target object identified in the second captured image Second information of the target object may be obtained.
한편, 상기 프로세서는 상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별할 수 있고, 상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별할 수 있고, 상기 제2 촬상 이미지는 상기 식별된 촬상 위치에서 촬상된 이미지일 수 있다.Meanwhile, the processor may identify location information and size information of the obstacle object based on the first captured image, and determine the capturing position of the second camera based on the identified location information and size information of the obstacle object. may be identified, and the second captured image may be an image captured at the identified capturing location.
한편, 전자 장치는 발광부를 더 포함할 수 있고, 상기 프로세서는 상기 제1 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별할 수 있고, 상기 식별된 위치로 임계 세기 이상의 광을 조사하도록 상기 발광부를 제어할 수 있다.Meanwhile, the electronic device may further include a light emitting unit, the processor may identify a region of interest of the first captured image, and a region adjacent to the region of interest of the first captured image and the region of interest of the second captured image A position corresponding to may be identified, and the light emitting unit may be controlled to irradiate light having a threshold intensity or higher to the identified position.
한편, 상기 프로세서는 상기 식별된 위치로 상기 광이 조사되도록 상기 발광부의 발광 각도를 변경할 수 있다.Meanwhile, the processor may change the emission angle of the light emitting unit so that the light is irradiated to the identified position.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 제1 촬상각을 갖는 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제1 촬상각보다 큰 제2 촬상각을 가지는 제2 카메라로부터 획득된 제2 촬상 이미지 에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하는 단계, 상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 포함한다.A method of controlling an electronic device according to an embodiment of the present disclosure includes a first captured image obtained from a first camera having a first capturing angle or a second captured image obtained from a second camera having a second capturing angle greater than the first capturing angle. If a part of the target object is identified in the second captured image and an obstacle object overlapping the other part of the target object is identified, acquiring location information of the identified obstacle object; location information of the acquired obstacle object and identifying the remaining portion of the target object based on the ROI of the second captured image based on the .
한편, 상기 제어 방법은 상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하는 단계 및 상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별하는 단계를 더 포함할 수 있다.Meanwhile, the control method includes: obtaining a combined image including the entire image of the target object based on a region including the target object and the obstacle object in the first captured image and a region of interest of the second captured image and identifying the target object based on the obtained combined image.
한편, 상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고, 상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지일 수 있다.Meanwhile, the first captured image is an image captured by the first camera at a first capturing position, and the second captured image is captured by the second camera at a second capturing position different from the first capturing position. It can be an image.
한편, 상기 제어 방법은 상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하는 단계, 상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는 단계 및 상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 더 포함할 수 있다.On the other hand, the control method includes: acquiring a third captured image captured by the second camera at a third capturing position different from the first capturing position and the second capturing position, based on the position information of the identified obstacle object to identify a region of interest in the third captured image; and identifying the remaining portion of the target object based on the region of interest in the second captured image and the region of interest in the third captured image. have.
한편, 상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치할 수 있다.Meanwhile, the second imaging position may be located in a first direction with respect to the first imaging position, and the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position. can do.
한편, 상기 제2 촬상 이미지의 관심 영역을 식별하는 단계는 상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 상기 제3 촬상 이미지의 관심 영역을 식별하는 단계는 상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별할 수 있다.Meanwhile, the step of identifying the region of interest of the second captured image may include identifying the region of interest of the second captured image based on direction information in which the second captured image is captured and location information of the obstacle object, The identifying of the region of interest of the third captured image may include identifying the region of interest of the third captured image based on direction information in which the third captured image is captured and location information of the obstacle object.
한편, 상기 제어 방법은 상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하는 단계 및 상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득하는 단계를 더 포함할 수 있다.Meanwhile, the control method includes obtaining first information of a target object based on a part of the target object identified in the first captured image, and adding the remaining part of the target object identified in the second captured image. The method may further include obtaining second information of the target object based on the method.
한편, 상기 제어 방법은 상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하는 단계 및 상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별하는 단계를 더 포함할 수 있고, 상기 제2 촬상 이미지는 상기 식별된 촬상 위치에서 촬상된 이미지일 수 있다.On the other hand, the control method includes the steps of identifying the position information and size information of the obstacle object based on the first captured image, and the capturing position of the second camera based on the identified position information and size information of the obstacle object. The method may further include identifying, and the second captured image may be an image captured at the identified capturing location.
한편, 상기 제어 방법은 상기 제1 촬상 이미지의 관심 영역을 식별하는 단계, 상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하는 단계 및 상기 식별된 위치로 임계 세기 이상의 광을 조사하는 단계를 더 포함할 수 있다.Meanwhile, the control method may include identifying a region of interest in the first captured image, identifying positions corresponding to regions adjacent to the region of interest in the first captured image and the region of interest in the second captured image, and the identification It may further include the step of irradiating light of a threshold intensity or more to the selected location.
한편, 상기 제어 방법은 상기 식별된 위치로 상기 광이 조사되도록 발광 각도를 변경하는 단계를 더 포함할 수 있다.Meanwhile, the control method may further include changing the light emission angle so that the light is irradiated to the identified position.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치에 포함된 카메라 모듈을 설명하기 위한 도면이다.
도 5는 전자 장치가 타겟 오브젝트 및 장애물 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
도 6은 타겟 오브젝트의 전체 영역을 식별하는 동작을 설명하기 위한 흐름도이다.
도 7은 제1 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 8은 제2 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 9는 제3 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.
도 10은 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.
도 11은 일 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.
도 12는 다른 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.
도 13은 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역에 기초하여 발광부를 제어하는 동작을 설명하기 위한 흐름도이다.
도 14는 제1 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 15는 제1 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 16은 제2 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 17은 제2 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 18은 제3 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.
도 19는 제3 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.
도 20은 복수의 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 도면이다.
도 21은 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.
도 22는 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 생성된 결합 이미지를 설명하기 위한 도면이다.
도 23은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure.
2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
3 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 2 .
4 is a view for explaining a camera module included in an electronic device according to an embodiment of the present disclosure.
5 is a diagram for explaining an operation of an electronic device to identify a target object and an obstacle object.
6 is a flowchart illustrating an operation of identifying an entire area of a target object.
7 is a diagram for explaining an image captured at a first imaging position.
8 is a diagram for explaining an image captured at a second imaging position.
9 is a diagram for explaining an image captured at a third imaging position.
10 is a flowchart illustrating an operation of generating a combined image.
11 is a view for explaining an operation of generating a combined image according to an embodiment.
12 is a view for explaining an operation of generating a combined image according to another embodiment.
13 is a flowchart illustrating an operation of controlling a light emitting unit based on an ROI of a narrow-angle image and a ROI of a wide-angle image.
14 is a diagram for explaining an operation of identifying an irradiation area at a first imaging position.
15 is a view for explaining an operation of controlling a light emitting unit at a first imaging position.
16 is a diagram for explaining an operation of identifying an irradiation area at a second imaging position.
17 is a view for explaining an operation of controlling the light emitting unit at the second imaging position.
18 is a diagram for explaining an operation of identifying an irradiation area at a third imaging position.
19 is a view for explaining an operation of controlling the light emitting unit at the third imaging position.
20 is a diagram for describing an electronic device including a plurality of camera modules.
21 is a flowchart for explaining an operation of generating a combined image based on images acquired by a plurality of camera modules.
22 is a view for explaining a combined image generated based on images obtained by a plurality of camera modules.
23 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in the embodiments of the present disclosure are selected as currently widely used general terms as possible while considering the functions in the present disclosure, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. . In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding disclosure. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, rather than the simple name of the term.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this specification, expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.The expression "at least one of A and/or B" is to be understood as indicating either "A" or "B" or "A and B".
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.As used herein, expressions such as "first," "second," "first," or "second," can modify various elements, regardless of order and/or importance, and refer to one element. It is used only to distinguish it from other components, and does not limit the components.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.A component (eg, a first component) is "coupled with/to (operatively or communicatively)" to another component (eg, a second component); When referring to "connected to", it should be understood that an element may be directly connected to another element or may be connected through another element (eg, a third element).
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and are intended to indicate that one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In the present disclosure, a “module” or “unit” performs at least one function or operation, and may be implemented as hardware or software, or a combination of hardware and software. In addition, a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented with at least one processor (not shown) except for “modules” or “units” that need to be implemented with specific hardware. can be
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.In this specification, the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) using the electronic device.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.Hereinafter, an embodiment of the present disclosure will be described in more detail with reference to the accompanying drawings.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.1 is a diagram for explaining an operation of an electronic device according to an embodiment of the present disclosure.
도 1을 참조하면, 전자 장치(100)는 카메라를 통해 전방의 오브젝트를 촬상(또는 촬영)할 수 있다. 여기서, 전자 장치(100)는 카메라를 포함하는 이동형 기기를 의미할 수 있다. 예를 들어, 전자 장치(100)는 카메라를 포함하는 이동형 로봇일 수 있다.Referring to FIG. 1 , the
전자 장치(100)는 카메라를 통해 전방의 타겟 오브젝트를 촬상할 수 있다. 여기서, 타겟 오브젝트는 사용자가 촬상하고자 의도하는 물체를 의미할 수 있다. 예를 들어, 타겟 오브젝트는 라벨 또는 제품 그 자체를 의미할 수 있다. 전자 장치(100)는 촬상된 이미지에 기초하여 타겟 오브젝트를 식별하고, 식별된 타겟 오브젝트에 기초하여 타겟 오브젝트에 대응되는 정보를 획득할 수 있다.The
전자 장치(100)는 촬상된 이미지에서 라벨을 식별하고, 식별된 라벨에 기초하여 라벨에 포함된 텍스트 정보를 획득할 수 있다. 획득되는 텍스트 정보에는 제품 이름, 제품 번호, 제품, 종류, 제품 회사, 제품 수량, 제품 기타 정보 중 적어도 하나가 포함될 수 있다.The
전자 장치(100)는 촬상된 이미지에서 제품을 식별하고, 식별된 제품에 기초하여 제품 이름, 제품 번호, 제품, 종류, 제품 회사, 제품 수량, 제품 기타 정보 중 적어도 하나가 포함될 수 있다.The
이미지에 포함된 라벨에서 획득되는 정보는 촬상된 라벨 자체에서 획득되는 정보이며, 이미지에 포함된 제품에서 획득되는 정보는 제품 이미지를 분석하여 획득되는 정보일 수 있다.The information obtained from the label included in the image may be information obtained from the photographed label itself, and the information obtained from the product included in the image may be information obtained by analyzing the product image.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.2 is a block diagram illustrating an electronic device according to an embodiment of the present disclosure.
도 2를 참조하면, 전자 장치(100)는 제1 카메라(111), 제2 카메라(112) 및 프로세서(120)로 구성될 수 있다.Referring to FIG. 2 , the
제1 카메라(111)는 협각 이미지를 촬상하는 카메라일 수 있다. 제2 카메라(112)는 광각 이미지를 촬상하는 카메라일 수 있다. 따라서, 제1 카메라(111)는 제1 촬상각으로 촬상할 수 있으며, 제2 카메라(112)는 제1 촬상각보다 큰 제2 촬상각으로 촬상할 수 있다.The
제1 카메라(111) 및 제2 카메라(112)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 제1 카메라(111) 및 제2 카메라(112)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.The
제1 카메라(111) 및 제2 카메라(112)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 전자 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.The
제1 카메라(111) 및 제2 카메라(112)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 제1 카메라(111) 및 제2 카메라(112)는 렌즈, 화소 및 AD 컨버터를 구비할 수 있다. 렌즈는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력할 수 있다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력할 수 있다. 특히, 제1 카메라(111) 및 제2 카메라(112)는 전자 장치(100)의 전면 방향을 촬상하도록 배치되어, 전자 장치(100)의 전면에 존재하는 사용자를 촬상하여 촬상 영상을 생성할 수 있다.The
프로세서(120)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.The
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(120)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.The
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치(100)는 제1 촬상각을 갖는 제1 카메라(111), 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라(112) 및 제1 카메라(111)로부터 획득된 제1 촬상 이미지 또는 제2 카메라(112)로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분(장애물 오브젝트에 가려져 있지 않은 영역)이 식별되고 타겟 오브젝트의 나머지 일 부분(장애물 오브젝트에 가려져 있는 영역)에 오버랩되는 장애물 오브젝트가 식별되면, 식별된 장애물 오브젝트의 위치 정보를 획득하고, 획득된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별하고 제2 카메라(112)로부터 획득된 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서(120)를 포함한다.The
여기서, 제1 카메라(111)는 협각 렌즈를 이용하여 제1 촬상각으로 촬상하는 협각 카메라일 수 있다. 여기서, 제2 카메라(112)는 광각 렌즈를 이용하여 제2 촬상각으로 촬상하는 광각 카메라일 수 있다. 따라서, 제2 카메라(112)는 광각 카메라에 해당하므로, 제2 촬상각은 제1 촬상각보다 클 수 있다. 본 개시의 촬상은 촬영으로 대체될 수 있다.Here, the
프로세서(120)는 제1 카메라(111)를 통해 촬상된 제1 촬상 이미지를 획득할 수 있고, 제2 카메라(112)를 통해 촬상된 제2 촬상 이미지를 획득할 수 있다. 여기서, 제1 카메라(111)를 통해 획득한 이미지는 협각 이미지일 수 있고, 제2 카메라(112)를 통해 획득한 이미지는 광각 이미지일 수 있다.The
장애물 오브젝트를 식별하는 동작에 이용되는 제1 촬상 이미지와 관심 영역을 식별하는데 이용되는 제2 촬상 이미지는 서로 다른 촬상 위치에서 촬상된 이미지일 수 있다. 일 예로, 제1 촬상 이미지는 장애물 오브젝트의 정면에서 촬상된 협각 이미지일 수 있고, 제2 촬상 이미지는 장애물 오브젝트의 측면(또는 대각선 방향)에서 촬상된 광각 이미지일 수 있다. 한편, 서로 다른 촬상 위치에서 획득되는 이미지들에 대한 설명은 도 5 내지 도 9에서 후술한다.The first captured image used to identify the obstacle object and the second captured image used to identify the region of interest may be images captured at different capturing positions. For example, the first captured image may be a narrow-angle image captured from the front of the obstacle object, and the second captured image may be a wide-angle image captured from the side (or diagonal direction) of the obstacle object. Meanwhile, a description of images obtained at different imaging positions will be described later with reference to FIGS. 5 to 9 .
따라서, 프로세서(120)는 제1 촬상 이미지를 통해 식별하지 못한 타겟 오브젝트의 나머지 일 부분을 제2 촬상 이미지를 통해 식별할 수 있다.Accordingly, the
프로세서(120)는 이미지에 포함된 오브젝트가 타겟 오브젝트인지 여부를 판다하기 위하여 반드시 타겟 오브젝트의 모든 영역이 필요한 것은 아니다. 예를 들어, 3cm * 4cm의 라벨을 타겟 오브젝트로 기 결정하였다고 가정한다. 프로세서(120)가 획득되는 이미지에서 3cm * 4cm의 라벨을 식별하기 위하여 라벨 전체가 이미지에 포함되어야 하는 것은 아니다. 예를 들어, 라벨의 일부가 이미지에 포함되어 있는 경우에도 프로세서(120)는 이미지에 라벨이 포함된 것으로 식별될 수 있다. 다만, 프로세서(120)는 라벨이 장애물에 의해 가려져 있거나 라벨이 일부만 촬상된 것으로 식별할 수 있다.In order to determine whether the object included in the image is the target object, the
프로세서(120)는 촬상된 제1 촬상 이미지 또는 제2 촬상 이미지 중 적어도 하나의 이미지로부터 타겟 오브젝트의 일 부분(예를 들어, 라벨의 일부)을 식별할 수 있다. 여기서, 타겟 오브젝트(예를 들어, 라벨)는 사용자가 인식하고자 하는 오브젝트를 의미할 수 있다. 타겟 오브젝트는 기 결정된 형태(예를 들어, 3cm * 4cm)를 포함할 수 있다. 여기서, 기 결정된 형태는 기 결정된 크기를 갖는 사각형 모양일 수 있다. 프로세서(120)는 획득된 이미지에서 기 결정된 크기를 갖는 사각형 모양을 식별할 수 있다.The
본 개시의 주요 실시 예는 타겟 오브젝트 앞에 장애물 오브젝트가 놓여져 있는 상황을 가정한다. 장애물 오브젝트가 타겟 오브젝트를 가리는 경우, 촬상된 이미지에서 타겟 오브젝트는 일 부분만이 식별될 수 있다. 하지만, 프로세서(120)는 일 부분만으로도 타겟 오브젝트인지 여부를 식별할 수 있다.A main embodiment of the present disclosure assumes a situation in which an obstacle object is placed in front of a target object. When the obstacle object obscures the target object, only a portion of the target object may be identified in the captured image. However, the
또한, 식별된 타겟 오브젝트의 일 부분 이외의 나머지 일 부분은 장애물 오브젝트에 의해 오버랩될 수 있다. 여기서, 프로세서(120)는 장애물 오브젝트를 식별할 수 있다. 그리고, 프로세서(120)는 식별된 장애물 오브젝트의 위치 정보를 획득할 수 있다.In addition, a portion other than the one portion of the identified target object may be overlapped by the obstacle object. Here, the
또한, 프로세서(120)는 식별된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별할 수 있다. 여기서, 관심 영역(Region of Interest)은 획득되는 전체 이미지 영역 중 사용자의 의도에 대응되는 일부 영역을 의미할 수 있다. 여기서, 관심 영역은, 타겟 오브젝트 또는 장애물 오브젝트 중 적어도 하나를 포함하는 영역을 의미할 수 있다. 일 예로, 관심 영역은 타겟 오브젝트가 포함되는 영역일 수 있으며, 다른 예로, 타겟 오브젝트 및 장애물 오브젝트가 모두 포함되는 영역일 수 있다.Also, the
관심 영역을 설정하는 경우 이미지 분석 및 이미지 처리에 있어 처리량 및 속도를 향상시킬 수 있다. 예를 들어, 장애물 오브젝트의 위치 정보가 전체 촬상 범위에서 우측에 있다고 가정한다. 프로세서(120)는 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지에서 관심 영역을 우측 영역으로 설정할 수 있다.Setting a region of interest can improve throughput and speed in image analysis and image processing. For example, it is assumed that the position information of the obstacle object is on the right side in the entire imaging range. The
프로세서(120)는 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다. 여기서, 나머지 일 부분은 제1 촬상 이미지에서 장애물 오브젝트에 의해 가려졌던 부분을 의미할 수 있다.The
한편, 프로세서(120)는 제1 촬상 이미지에서 타겟 오브젝트 및 장애물 오브젝트가 포함된 영역 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득할 수 있고, 획득된 결합 이미지에 기초하여 타겟 오브젝트를 식별할 수 있다.Meanwhile, the
프로세서(120)는 타겟 오브젝트에 대한 정보를 완전히 획득하기 위하여 제1 촬상 이미지뿐 아니라 제2 촬상 이미지를 함께 이용해야 한다. 특히, 프로세서(120)는 데이터 처리 속도를 빨리 하기 위하여 제2 촬상 이미지에서 관심 영역을 설정할 수 있다. 프로세서(120)는 제1 촬상 이미지 및 제2 촬상 이미지를 결합하되 장애물 오브젝트를 제거하여 결합 이미지를 생성할 수 있다. 여기서, 결합 이미지는 장애물 오브젝트가 제거되었다는 점에서 가상의 이미지를 의미할 수 있다. 결합 이미지 생성 동작은 도 10 내지 도 12에서 후술한다.The
한편, 제1 촬상 이미지는 제1 촬상 위치에서 제1 카메라(111)에 의해 촬상된 이미지이고, 제2 촬상 이미지는 제1 촬상 위치와 상이한 제2 촬상 위치에서 제2 카메라(112)에 의해 촬상된 이미지일 수 있다.On the other hand, the first captured image is an image captured by the
여기서, 제1 촬상 위치는 장애물 오브젝트의 정면에 대응되는 위치일 수 있다. 예를 들어, 제1 촬상 위치는 도 8의 제2 촬상 위치(802)일 수 있다. 제2 촬상 위치는 장애물 오브젝트의 측면에 대응되는 위치일 수 있다. 예를 들어, 제2 촬상 위치는 도 7의 제1 촬상 위치(701) 또는 도 9의 제3 촬상 위치(901)일 수 있다. 2개의 촬상 이미지에 따라 관심 영역을 설정하는 동작은 도 12에서 후술한다.Here, the first imaging position may be a position corresponding to the front of the obstacle object. For example, the first imaging location may be the second imaging location 802 of FIG. 8 . The second imaging location may be a location corresponding to the side of the obstacle object. For example, the second imaging location may be the
한편, 프로세서(120)는 제1 촬상 위치 및 제2 촬상 위치와 상이한 제3 촬상 위치에서 제2 카메라(112)로부터 촬상된 제3 촬상 이미지를 획득할 수 있고, 식별된 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별할 수 있고, 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다.Meanwhile, the
여기서, 제1 촬상 이미지는 제1 촬상 위치에서 획득된 것이고 제2 촬상 이미지는 제2 촬상 위치에서 획득된 것이고, 제3 촬상 이미지는 제3 촬상 위치에서 획득된 것일 수 있다. 여기서, 제1 촬상 위치 내지 제3 촬상 위치가 모두 상이할 수 있다. 프로세서(120)는 제3 촬상 이미지에 대해서 관심 영역을 식별할 수 있다. 구체적으로, 프로세서(120)는 제3 촬상 이미지에서 장애물 오브젝트를 식별하고, 식별된 장애물 오브젝트에 대응되는 영역을 관심 영역으로 식별할 수 있다. 그리고, 프로세서(120)는 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분(제1 촬상 이미지에서 장애물 오브젝트에 가려진 부분)을 식별할 수 있다. 또한, 프로세서(120)는 타겟 오브젝트의 전체 부분을 식별하기 위하여 제1 촬상 이미지의 일 부분을 이용할 수 있다. 예를 들어, 프로세서(120)는 제1 촬상 이미지의 일 부분(장애물 오브젝트에 의해 가려지지 않은 부분)과 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역을 모두 고려하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다. 3개의 촬상 이미지에 따라 관심 영역을 설정하는 동작은 도 11에서 후술한다.Here, the first captured image may be obtained at the first capturing location, the second captured image may be obtained at the second capturing location, and the third captured image may be obtained at the third capturing location. Here, all of the first imaging position to the third imaging position may be different. The
한편, 제2 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 제3 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향과 상이한 제2 방향에 위치할 수 있다.Meanwhile, the second imaging position may be located in a first direction with respect to the first imaging position, and the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position.
제1 촬상 위치는 제1 촬상 이미지인 협각 이미지가 획득되는 위치일 수 있으며 장애물 오브젝트의 정면에 해당하는 위치일 수 있다. 제2 촬상 위치 및 제3 촬상 위치는 장애물 오브젝트를 기준으로 상이한 대각선 측면 방향에 해당하는 위치일 수 있다. 예를 들어, 제2 촬상 위치는 제1 촬상 위치(장애물 오브젝트의 정면)에서 (전자 장치(100)에서 장애물 오브젝트를 향하는 기준에서) 왼쪽에 해당하는 위치일 수 있다. 다만, 제3 촬상 위치는 제1 촬상 위치(장애물 오브젝트의 정면)에서 (전자 장치(100)에서 장애물 오브젝트를 향하는 기준에서) 오른쪽에 해당하는 위치일 수 있다.The first capturing position may be a position at which a narrow-angle image, which is the first captured image, is obtained, or may be a position corresponding to the front of the obstacle object. The second imaging position and the third imaging position may be positions corresponding to different diagonal lateral directions with respect to the obstacle object. For example, the second imaging position may be a position corresponding to the left side of the first imaging position (in front of the obstacle object) (based on the
한편, 프로세서(120)는 제2 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 제3 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별할 수 있다.Meanwhile, the
여기서, 제2 촬상 이미지가 촬상된 방향 정보는 제1 촬상 위치를 기준으로 좌측에 해당한다. 또한, 제2 촬상 이미지가 촬상된 방향 정보는 촬상 방향을 기준으로 우측 5도 내지 10도일 수 있다. 또한, 제3 촬상 이미지가 촬상된 방향 정보는 제1 촬상 위치를 기준으로 우측에 해당할 수 있다. 또한, 제3 촬상 이미지가 촬상된 방향 정보는 촬상 방향을 기준으로 좌측 5도 내지 10도일 수 있다.Here, the direction information in which the second captured image is captured corresponds to the left side with respect to the first captured position. Also, information on the direction in which the second captured image is captured may be 5 degrees to 10 degrees to the right with respect to the capturing direction. Also, the direction information in which the third captured image is captured may correspond to the right side with respect to the first captured position. Also, information on the direction in which the third captured image is captured may be 5 degrees to 10 degrees to the left with respect to the capturing direction.
예를 들어, 도 12에서 광각 이미지(710)의 관심 영역(1201)은 전체 이미지 중 우측에 위치할 수 있으며, 광각 이미지(910)의 관심 영역(1202)은 전체 이미지 중 좌측에 위치할 수 있다.For example, in FIG. 12 , the region of
한편, 프로세서(120)는 제1 촬상 이미지에서 식별된 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보(제1 촬상 이미지를 기준으로 장애물에 가려져 있지 않았던 영역에 대응되는 정보)를 획득할 수 있고, 제2 촬상 이미지에서 식별된 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보(제1 촬상 이미지를 기준으로 장애물에 가려져 식별 할 수 없었던 정보)를 획득할 수 있다.Meanwhile, the
프로세서(120)는 각각의 촬상 이미지에서 동일한 오브젝트를 식별함에도 불과하고 서로 다른 정보를 획득할 수 있다. 제1 촬상 이미지에 포함된 타겟 오브젝트가 일부 가려져 있기 때문이다. 따라서, 프로세서(120)는 제1 카메라(111)를 통해 획득한 제1 촬상 이미지에서 타겟 오브젝트의 일부 정보(제1 정보)를 획득하고, 제2 카메라(112)를 통해 획득한 제2 촬상 이미지에서 타겟 오브젝트의 나머지 정보(제2 정보)를 획득할 수 있다.The
한편, 프로세서(120)는 제1 촬상 이미지에 기초하여 장애물 오브젝트의 위치 정보 및 크기 정보를 식별할 수 있고, 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 제2 카메라(112)의 촬상 위치를 식별할 수 있고, 제2 촬상 이미지는 식별된 촬상 위치에서 촬상된 이미지일 수 있다.Meanwhile, the
프로세서(120)는 장애물의 위치 정보 및 크기 정보에 기초하여 어느 위치에 대응되는 제2 촬상 이미지를 식별할 것인지 결정할 수 있다. 만약, 장애물 오브젝트의 크기가 커지면 제2 촬상 이미지가 식별되는 제2 촬상 위치는 제1 촬상 위치로부터 더 멀어질 수 있다. 만약, 장애물 오브젝트의 크기가 작아지면 제2 촬상 이미지가 식별되는 제2 촬상 위치는 제1 촬상 위치로부터 더 가까워질 수 있다. 즉, 제1 촬상 위치 및 제2 촬상 위치 사이의 거리는 장애물 오브젝트의 크기에 비례할 수 있다.The
여기서, 프로세서(120)는 전자 장치(100)의 이동 및 카메라 모듈(110)의 배치 구조에 기초하여 장애물의 위치 정보 및 크기 정보를 식별할 수 있다. 여기서, 카메라 모듈(110)의 배치 구조는 제1 카메라(111) 및 제2 카메라(112) 간 지오메트리(geometry)를 의미할 수 있다.Here, the
한편, 전자 장치(100)는 발광부(130)를 더 포함할 수 있고, 프로세서(120)는 제1 촬상 이미지의 관심 영역을 식별할 수 있고, 제1 촬상 이미지의 관심 영역 및 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별할 수 있고, 식별된 위치로 임계 세기 이상의 광을 조사하도록 발광부(130)를 제어할 수 있다.Meanwhile, the
발광부(130)와 관련된 구체적인 동작은 도 14 내지 도 19에서 후술한다.A detailed operation related to the
한편, 프로세서(120)는 식별된 위치로 광이 조사되도록 발광부(130)의 발광 각도를 변경할 수 있다.Meanwhile, the
일 실시 예에 따라, 조사 영역은 관심 영역에 따라 변경될 수 있다. 프로세서(120)는 타겟 오브젝트 및 장애물 오브젝트에 기초하여 촬상 이미지에서 관심 영역을 식별할 수 있다. 따라서, 관심 영역이 변경되면 조사 영역도 변경될 수 있다. 프로세서(120)는 변경되는 조사 영역에 빛을 조사하기 위하여 발광부(130)의 발광 각도를 변경할 수 있다.According to an embodiment, the irradiation area may be changed according to the ROI. The
다른 실시 예에 따라, 조사 영역은 기존에 저장된 데이터에 따라 결정되고, 프로세서(120)는 결정된 조사 영역에 빛이 조사되도록 발광부(130)를 제어할 수 있다. 여기서, 하나의 운행 동작이 이루어지는 동안 조사 영역은 고정될 수 있다. 예를 들어, 프로세서(120)는 제1 운행시 저장하였던 관심 영역의 기록들을 종합하여 가장 최적의 조사 영역을 결정할 수 있고, 제2 운행시 결정된 조사 영역에 빛을 조사할 수 있다.According to another embodiment, the irradiation area is determined according to previously stored data, and the
한편, 다른 실시 예에 따라, 발광부(130)는 최적화된 각도로 광이 조사되도록 배치될 수 있다. 예를 들어, 사용자가 다양한 데이터를 통하여 조사 영역을 결정할 수 있고, 조사 영역에 빛을 조사하기 위한 최적의 발광 각도를 결정할 수 있다. 그리고, 발광부(130)는 최적의 발광 각도로 조사되도록 배치될 수 있다. 예를 들어, 발광부(130)에 포함된 발광 모듈이 정면을 기준으로 좌측 5도를 향하도록 배치될 수 있다. 여기서, 좌측 5도는 최적의 발광 각도에 해당할 수 있으며, 사용자 설정에 따라 최적의 발광 각도는 변경될 수 있다.Meanwhile, according to another embodiment, the
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 협각 이미지를 통해 장애물 오브젝트를 식별하고, 협각 이미지를 통해 장애물 오브젝트가 식별되면 보조적으로 광각 이미지를 이용하여 타겟 오브젝트를 분석할 수 있다. 특히, 협각 이미지는 제1 촬상 위치에서 획득된 것이며 광각 이미지는 제1 촬상 위치와 다른 제2 촬상 위치에서 획득된 것이므로 상호 보완적일 수 있다. 따라서, 전자 장치(100)는 장애물 오브젝트에 가려진 타겟 오브젝트를 분석할 수 있다.Meanwhile, the
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 관심 영역 사이의 공간을 조사 영역으로 결정하여 최대 세기의 빛을 조사할 수 있다. 관심 영역이 아닌 공간에 최대 세기의 빛을 조사함으로써 전자 장치(100)는 오브젝트에 반사되는 빛의 양을 최소한으로 줄일 수 있다. 따라서, 이미지에 포함된 타겟 오브젝트의 인식률을 높일 수 있다. 여기서, 최대 세기의 빛은 전자 장치(100)가 현재 조사할 수 있는 빛에서 가장 밝은 빛을 의미할 수 있다. 또한, 최대 세기의 빛은 조명 피크(peak)에 해당할 수 있다. 다른 구현 예에 따라, 전자 장치(100)는 적정 세기의 빛을 조사 영역에 조사할 수 있다.Meanwhile, the
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 장애물 오브젝트에 의해 타겟 오브젝트의 정보를 정확히 식별하지 못하는 것을 하나의 이벤트로 식별할 수 있다. 따라서, 기 설정된 이벤트가 식별되면, 전자 장치(100)는 적절한 광각 이미지를 선택하여 스티칭 동작을 통한 결합 이미지를 생성할 수 있다. 여기서, 기 설정된 이벤트는 타겟 오브젝트가 장애물 오브젝트에 가려져 있는 이벤트, 타겟 오브젝트의 정보가 식별되지 않는 이벤트, 바코드가 장애물 오브젝트에 가려져 있는 이벤트 등이 있을 수 있다.Meanwhile, the
한편, 기 설정된 임계 시간 동안 기 설정된 이벤트가 발생하지 않는 경우, 전자 장치(100)는 메모리(160)에 저장된 복수의 이미지(다양한 위치에서 촬상된 이미지들)를 삭제할 수 있다. 계속하여 반복적으로 모든 위치에서 촬상된 이미지를 저장하는 것은 비효율일 수 있다. 따라서, 전자 장치(100)는 프로세서(120)를 통해 임계 시간 이상 기 설정된 이벤트가 발생하지 않는 경우, 저장된 복수의 이미지를 삭제할 수 있다.Meanwhile, when a preset event does not occur for a preset threshold time, the
다른 실시 예에 따라, 전자 장치(100)는 이미지의 촬상 시간이 임계 시간이상 경과한 이미지를 삭제할 수 있다. 예를 들어, 전자 장치(100)는 촬상된지 10초 이상 지난 이미지를 자동으로 삭제할 수 있다.According to another embodiment, the
한편, 프로세서(120)는 제1 카메라(1110) 또는 제2 카메라(112) 중 적어도 하나의 카메라로부터 획득된 촬상 이미지에 기초하여 타겟 오브젝트의 일 부분을 식별하면, 타겟 오브젝트의 나머지 일 부분(장애물 오브젝트에 가려져 있는 영역)에 오버랩되는 장애물 오브젝트를 식별하기 위하여 촬상 이미지를 분석할 수 있다. 프로세서(120)는 획득되는 제1 촬상 이미지 또는 제2 촬상 이미지 중 적어도 하나의 촬상 이미지에서 타겟 오브젝트가 일부라도 식별된 경우에 한하여 장애물 오브젝트의 위치를 식별할 수 있다.On the other hand, when the
한편, 또 다른 구현 예에 따라, 타겟 오브젝트의 일부가 식별되지 않더라도 폴로노그램 또는 기존 선반 데이터를 이용하여 장애물 오브젝트를 식별할 수 있다.Meanwhile, according to another implementation example, even if a part of the target object is not identified, the obstacle object may be identified using a polonogram or existing shelf data.
한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 3을 참조하여 이하에서 설명한다.Meanwhile, although only a simple configuration constituting the
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.3 is a block diagram illustrating a detailed configuration of the electronic device of FIG. 2 .
도 3을 참조하면, 전자 장치(100)는 제1 카메라(111), 제2 카메라(112), 프로세서(120), 디스플레이(140), 통신 인터페이스(150), 메모리(160), 마이크(170) 및 스피커(180)로 구성될 수 있다.Referring to FIG. 3 , the
한편, 제1 카메라(111), 제2 카메라(112) 및 프로세서(120)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.Meanwhile, redundant descriptions of the same operations as those described above among the operations of the
제1 카메라(111) 및 제2 카메라(112)는 카메라 모듈(110)에 포함될 수 있다. 카메라 모듈(110)은 하나의 하드웨어로 구성될 수 있으며, 제1 카메라(111) 및 제2 카메라(112)는 하나의 카메라 모듈(110)에 나란히 배치된 형태로 구현될 수 있다.The
발광부(130)는 기 결정된 영역 또는 기 결정된 방향으로 빛을 조사하는 모듈을 의미할 수 있다. 여기서, 발광부(130)는 촬상 동작에 이용되는 카메라 플래시를 의미할 수 있으며, 램프, 발광 다이오드 형태로 구현될 수 있다. 또한, 발광부(130)는 조명 모듈로 표현될 수 있다.The
디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.The
또한, 본 개시의 일 실시 예에 따른, 디스플레이(140)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.Also, according to an embodiment of the present disclosure, the
통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(150)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.The
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.The Wi-Fi module and the Bluetooth module perform communication using a WiFi method and a Bluetooth method, respectively. In the case of using a Wi-Fi module or a Bluetooth module, various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted/received after communication connection using this.
적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.The infrared communication module communicates according to the infrared data association (IrDA) technology, which wirelessly transmits data in a short distance using infrared that is between visible light and millimeter wave.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.In addition to the above-described communication methods, the wireless communication module includes Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
그 밖에 통신 인터페이스(150)는LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.In addition, the
일 예에 따라 통신 인터페이스(150)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.According to an example, the
다른 예에 따라 통신 인터페이스(150)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(150)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(150)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.According to another example, the
메모리(160)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(160)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.The
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.Meanwhile, in the case of a memory embedded in the
전자 장치(100)는 마이크(170)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.The
마이크(170)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(170)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(170)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.The
전자 장치(100)는 스피커(180)를 포함할 수 있다. 스피커(180)는 입출력 인터페이스에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.The
도 4는 본 개시의 일 실시 예에 따른 전자 장치에 포함된 카메라 모듈을 설명하기 위한 도면이다.4 is a view for explaining a camera module included in an electronic device according to an embodiment of the present disclosure.
도 4를 참조하면, 전자 장치(100)는 카메라 모듈(110)을 포함할 수 있다. 그리고, 카메라 모듈(110)은 제1 카메라(111), 제2 카메라(112) 및 발광부(130)를 포함할 수 있다. 그리고, 전자 장치(100)는 전자 장치(100)의 하단부에 바퀴를 포함할 수 있으며, 전자 장치(100)는 바퀴를 이용하여 이동할 수 있다.Referring to FIG. 4 , the
한편, 제1 카메라(111), 제2 카메라(112) 및 발광부(130)의 배치 위치는 구현 예에 따라 상이할 수 있다.Meanwhile, the arrangement positions of the
도 5는 전자 장치가 타겟 오브젝트 및 장애물 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.5 is a diagram for explaining an operation of an electronic device to identify a target object and an obstacle object.
도 5를 참조하면, 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 이용하여 전방을 촬상할 수 있다. 여기서, 제1 카메라(111) 및 제2 카메라(112)는 카메라 모듈(110)에 포함될 수 있다.Referring to FIG. 5 , the
전자 장치(100)의 전방에 A라벨(501), B라벨(502), C라벨(503)이 있으며, A라벨(501)에 대응되는 A제품(511), B라벨(502)에 대응되는 B제품(512), C라벨(503)에 대응되는 C제품(513)이 존재한다고 가정한다. 여기서, A라벨(501), B라벨(502), C라벨(503)은 제1라벨, 제2라벨, 제3라벨로 표현될 수 있다. 또한, A제품(511), B제품(512), C제품(513)은 제1제품, 제2제품, 제3제품으로 표현될 수 있다.
여기서, 타겟 오브젝트는 사용자가 기 결정한 형태의 오브젝트를 의미할 수 있다. 일 예로, 타겟 오브젝트는 한 개일 수 있다. 사용자는 특정 크기의 사각형 형태의 라벨을 타겟 오브젝트로 설정할 수 있다. 예를 들어, 타겟 오브젝트는 A라벨(501), B라벨(502) 및 C라벨(503)일 수 있다.Here, the target object may mean an object of a shape previously determined by the user. As an example, there may be one target object. A user can set a label in the form of a rectangle of a specific size as a target object. For example, the target object may be an
다른 예로, 타겟 오브젝트는 복수 개일 수 있다. 사용자는 특정 크기의 사각형 형태의 라벨을 타겟 오브젝트로 설정하고 라벨로부터 임계 거리 이내에 있는 제품을 타겟 오브젝트로 설정할 수 있다. 예를 들어, 타겟 오브젝트는 A라벨(501), B라벨(502), C라벨(503), A제품(511), B제품(512) 및 C제품(513)일 수 있다.As another example, there may be a plurality of target objects. A user can set a label in a rectangular shape of a specific size as a target object and set a product within a threshold distance from the label as a target object. For example, the target object may be a
또 다른 예로, 전자 장치(100)는 타겟 오브젝트를 그룹별로 인식할 수 있다. 전자 장치(100)는 A라벨(501) 및 A제품(511)을 포함하는 제1 그룹을 타겟 오브젝트로 인식하고, B라벨(502) 및 B제품(512)을 포함하는 제2 그룹을 타겟 오브젝트로 인식하고, C라벨(503) 및 C제품(513)을 포함하는 제3 그룹을 타겟 오브젝트로 인식할 수 있다.As another example, the
한편, 타겟 오브젝트와 인접한 공간에 장애물 오브젝트(520)가 존재하는 상황을 가정한다. 장애물 오브젝트(520)는 타겟 오브젝트의 일부를 가릴 수 있다. 따라서, 촬상된 이미지에서 B라벨(502), B제품(812)의 전체 영역이 식별되지 않고 일부 영역만 식별될 수 있다.Meanwhile, it is assumed that an
한편, 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)가 타겟 오브젝트를 바라보는 방향을 기준으로 좌측에서 우측으로 이동할 수 있다. 이후 설명하는 도면에서는 전자 장치(100)가 좌측에서 우측으로 이동하는 실시 예를 기준으로 설명한다.Meanwhile, the
다만, 구현 예에 따라 이동 방향은 우측에서 좌측일 수 있다. 또한, 이동 방향은 타겟 오브젝트에 가까워지거나 멀어지는 방향일 수 있다.However, according to an embodiment, the movement direction may be from right to left. Also, the moving direction may be a direction closer to or farther away from the target object.
도 6은 타겟 오브젝트의 전체 영역을 식별하는 동작을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an operation of identifying an entire area of a target object.
도 6을 참조하면, 전자 장치(100)는 제1 카메라(111)로부터 복수의 협각 이미지를 획득할 수 있다 (S605). 또한, 전자 장치(100)는 제2 카메라(112)로부터 복수의 광각 이미지를 획득할 수 있다 (S610). 여기서, 전자 장치(100)는 복수의 협각 이미지 및 복수의 광각 이미지 중 적어도 하나의 이미지로부터 타겟 오브젝트의 일부분을 식별할 수 있다 (S615). 여기서, 타겟 오브젝트의 일부분은 장애물 오브젝트에 가려지지 않고 이미지에서 식별되는 영역을 의미할 수 있다. 전자 장치(100)는 장애물에 가려지지 않고 식별되는 타겟 오브젝트의 일부분에 기초하여 해당 오브젝트가 타겟 오브젝트임을 식별할 수 있다. 또한, 전자 장치(100)는 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트를 식별할 수 있다 (S620). 또한, 전자 장치(100)는 획득된 장애물 오브젝트의 위치 정보를 획득할 수 있다 (S625). 또한, 전자 장치(100)는 장애물 오브젝트의 위치 정보에 기초하여 복수의 광각 이미지 중 타겟 오브젝트의 가장 많은 부분이 식별되는 광각 이미지를 식별할 수 있다 (S630). 또한, 전자 장치(100)는 식별된 광각 이미지에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별할 수 있다 (S635).Referring to FIG. 6 , the
예를 들어, 전자 장치(100)는 제1 카메라(111) 또는 제2 카메라(112)로부터 획득된 복수의 이미지 중 적어도 하나의 이미지에 기초하여 B라벨(502)의 일부분을 식별할 수 있다. 전자 장치(100)는 전체가 아닌 B라벨(502)의 일부만 식별된 경우에도 해당 오브젝트가 타겟 오브젝트인 것으로 식별할 수 있다. 또한, 전자 장치(100)는 B라벨(502)의 나머지 일 부분을 가리고 있는 장애물 오브젝트(520)를 식별할 수 있으며, 장애물 오브젝트(520)의 위치 정보를 식별할 수 있다. 또한, 전자 장치(100)는 이동 과정에서 저장했던 복수의 광각 이미지에서 장애물 오브젝트(520)에 가려서 식별되지 않은 B라벨(502) 의 나머지 일부분이 가장 많이 식별되는 광각 이미지를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 광각 이미지에 기초하여 장애물 오브젝트 에 의해 가려져 있던 B라벨(502)의 나머지 일부분을 식별할 수 있다.For example, the
도 7은 제1 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.7 is a diagram for explaining an image captured at a first imaging position.
도 7을 참조하면, 전자 장치(100)는 제1 촬상 위치(701)에서 전방을 촬상할 수 있다. 여기서, 제1 촬상 위치(701)는 A라벨(501) 및 A제품(511)의 정면일 수 있다. 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 통해 동일 시점의 촬상 이미지들을 획득할 수 있다.Referring to FIG. 7 , the
전자 장치(100)는 제1 카메라(111)를 통해 A라벨(501) 및 A제품(511)이 포함된 협각 이미지(705)를 획득할 수 있다. 여기서, 협각 이미지(705)는 협각 렌즈로 촬상된 협각 이미지일 수 있다.The
또한, 전자 장치(100)는 제2 카메라(112)를 통해 A라벨(501), A제품(511), B라벨(502) 및 B제품(512)이 포함된 광각 이미지(710)를 획득할 수 있다. 여기서, 광각 이미지(710)는 광각 렌즈로 촬상된 광각 이미지일 수 있다. 그리고, 광각 이미지(710)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩될 수 있다.In addition, the
도 8은 제2 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.8 is a diagram for explaining an image captured at a second imaging position.
도 8을 참조하면, 전자 장치(100)는 제2 촬상 위치(801)에서 전방을 촬상할 수 있다. 여기서, 제2 촬상 위치(801)는 B라벨(502) 및 B제품(512)의 정면일 수 있다. 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 통해 동일 시점의 촬상 이미지들을 획득할 수 있다.Referring to FIG. 8 , the
전자 장치(100)는 제1 카메라(111)를 통해 B라벨(502) 및 B제품(512)이 포함된 협각 이미지(805)를 획득할 수 있다. 여기서, 협각 이미지(805)는 협각 렌즈로 촬상된 협각 이미지일 수 있다.The
또한, 전자 장치(100)는 제2 카메라(112)를 통해 A라벨(501), A제품(511), B라벨(502), B제품(512), C라벨(503) 및 C제품(513)이 포함된 광각 이미지(810)를 획득할 수 있다. 여기서, 광각 이미지(810)는 광각 렌즈로 촬상된 광각 이미지일 수 있다. 그리고, 광각 이미지(810)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩될 수 있다. 여기서, A라벨(501), A제품(511), C라벨(503) 및 C제품(513)은 장애물 오브젝트(520)와 오버랩되지 않을 수 있다.In addition, the
도 9는 제3 촬상 위치에서 촬상된 이미지를 설명하기 위한 도면이다.9 is a diagram for explaining an image captured at a third imaging position.
도 9를 참조하면, 전자 장치(100)는 제3 촬상 위치(901)에서 전방을 촬상할 수 있다. 여기서, 제3 촬상 위치(901)는 C라벨(503) 및 C제품(513)의 정면일 수 있다. 전자 장치(100)는 제1 카메라(111) 및 제2 카메라(112)를 통해 동일 시점의 촬상 이미지들을 획득할 수 있다.Referring to FIG. 9 , the
전자 장치(100)는 제1 카메라(111)를 통해 C라벨(503) 및 C제품(513)이 포함된 협각 이미지(905)를 획득할 수 있다. 여기서, 협각 이미지(905)는 협각 렌즈로 촬상된 협각 이미지일 수 있다.The
또한, 전자 장치(100)는 제2 카메라(112)를 통해 B라벨(502), B제품(512), C라벨(503) 및 C제품(513)이 포함된 광각 이미지(910)를 획득할 수 있다. 여기서, 광각 이미지(910)는 광각 렌즈로 촬상된 광각 이미지일 수 있다. 그리고, 광각 이미지(910)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩될 수 있다.In addition, the
도 10은 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.10 is a flowchart illustrating an operation of generating a combined image.
도 10을 참조하면, 전자 장치(100)는 다양한 위치에서 촬상된 복수의 협각 이미지 및 복수의 광각 이미지를 메모리(160)에 저장할 수 있다. 여기서, 전자 장치(100)는 복수의 협각 이미지 중 장애물 오브젝트가 포함된 협각 이미지를 식별할 수 있다 (S1005). 여기서, 협각 이미지는 협각 렌즈를 포함하는 제1 카메라(111)로부터 획득된 이미지를 의미할 수 있다. 따라서, 전자 장치(100)는 협각 이미지인 협각 이미지에 기초하여 장애물 오브젝트를 식별할 수 있다. 여기서, 협각 이미지는 정면의 객체를 촬상하는 이미지일 수 있다.Referring to FIG. 10 , the
또한, 전자 장치(100)는 메모리(160)에 저장된 복수의 광각 이미지 중 타겟 오브젝트의 가장 많은 부분이 식별되는 광각 이미지를 식별할 수 있다 (S1010). S1005 단계를 통하여 전자 장치(100)는 장애물 오브젝트가 전방에 위치한다는 것을 판단할 수 있다. 또한, 전자 장치(100)는 다른 촬상 위치에서 촬상된 이미지를 통하여 장애물에 가려져 있는 타겟 오브젝트의 일부 영역을 식별할 수 있다. 장애물에 가려져 있는 부분을 판단하기 위해서, 전자 장치(100)는 광각이미지인 광각 이미지 중 타겟 오브젝트의 가장 많은 부분이 식별되는 이미지를 식별할 수 있다. 여기서, 전자 장치(100)는 단순히 타겟 오브젝트의 가장 많은 부분이 식별되는 이미지를 찾는 것이 아니며, 동시에 해당 부분에 대한 분석이 가능한 정도의 선명도를 갖는 이미지를 찾는 것일 수 있다.Also, the
또한, 전자 장치(100)는 식별된 협각 이미지 또는 식별된 광각 이미지 중 적어도 하나의 이미지에 기초하여 결합 이미지를 생성할 수 있다 (S1015). 여기서, 광각 이미지는 복수 개의 광각 이미지를 포함할 수 있다. 여기서, 결합 이미지는 장애물 오브젝트가 포함되지 않는 이미지일 수 있다. 즉, 타겟 오브젝트 앞에 장애물 오브젝트가 있는 실시 예에서, 전자 장치(100)는 가상의 이미지인 결합 이미지를 생성하여 장애물 오브젝트가 없이 타겟 오브젝트만 존재하는 이미지를 획득할 수 있다.Also, the
예를 들어, B라벨(502) 및 B제품(512) 앞에 장애물 오브젝트(520)가 존재하는 실시 예에서, 전자 장치(100)는 제2 촬상 위치(801)에서 협각 이미지(805)를 획득할 수 있다. 그리고, 전자 장치(100)는 협각 이미지(805)에 기초하여 장애물 오브젝트(520)가 B라벨(502) 및 B제품(512)에 있는 것으로 식별할 수 있다. 전자 장치(100)는 협각 이미지(805)를 통해 B라벨(502) 및 B제품(512)에 대한 완전한 정보를 획득할 수 없다. 협각 이미지(805)에 포함된 B라벨(502) 및 B제품(512)은 장애물 오브젝트(520)와 일부 오버랩되기 때문이다. 따라서, 전자 장치(100)는 다른 위치(또는 다른 각도)에서 촬상된 이미지를 추가적으로 이용할 수 있다. 구체적으로, 전자 장치(100)는 메모리(160)에 저장된 복수의 광각 이미지에서 장애물 오브젝트(520)와 오버랩되지 않고 B라벨(502) 및 B제품(512)이 식별 가능한 광각 이미지를 식별할 수 있다. 여기서, 식별된 광각 이미지는 제2 촬상 위치(801)가 아닌 다른 위치에서 촬상된 광각 이미지일 수 있다. 식별된 광각 이미지는 제1 촬상 위치(701)에서 촬상된 광각 이미지(710) 또는 제3 촬상 위치(901)에서 촬상된 광각 이미지(910) 중 적어도 하나의 이미지일 수 있다. 전자 장치(100)는 협각 이미지(805), 광각 이미지(710) 또는 제3 촬상 위치(901) 중 적어도 하나의 이미지에 기초하여 결합 이미지를 생성할 수 있다. 여기서, 결합 이미지는 B라벨(502) 및 B제품(512) 앞에 장애물 오브젝트(520)가 없는 이미지일 수 있다.For example, in an embodiment in which the
도 11은 일 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.11 is a view for explaining an operation of generating a combined image according to an embodiment.
도 11을 참조하면, 전자 장치(100)는 제2 촬상 위치(801)에서 촬상된 협각 이미지(805), 제1 촬상 위치(701)에서 촬상된 광각 이미지(710) 및 제3 촬상 위치(901)에서 촬상된 광각 이미지(910)에 기초하여 결합 이미지(1105)를 생성할 수 있다. 여기서, 협각 이미지(805)는 협각 렌즈를 통해 촬상된 이미지일 수 있고, 광각 이미지(710) 및 광각 이미지(910)는 광각 렌즈를 통해 촬상된 이미지일 수 있다.Referring to FIG. 11 , the
여기서, 전자 장치(100)는 각 촬상 이미지의 관심 영역에 기초하여 결합 이미지를 생성할 수 있다. 전자 장치(100)는 타겟 오브젝트 및 장애물 오브젝트에 기초하여 협각 이미지(805)의 관심 영역(1101)을 식별할 수 있다. 그리고, 전자 장치(100)는 광각 이미지(710)의 관심 영역(1102)을 식별할 수 있다. 그리고, 전자 장치(100)는 광각 이미지(910)의 관심 영역(1103)을 식별할 수 있다.Here, the
또한, 결합 이미지(1105)는 장애물 오브젝트(520)가 제거된 가상의 이미지일 수 있다. 사용자는 장애물 오브젝트(520)가 제거된 이미지를 통해 타겟 오브젝트의 전체 영역을 식별할 수 있으며, 타겟 오브젝트의 완전한 정보를 획득할 수 있다.Also, the combined
여기서, 협각 이미지(805)는 협각 이미지이고 광각 이미지(710) 및 광각 이미지(910)는 광각 이미지이므로 일부 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 광각 이미지를 협각 이미지에 대응되는 비율로 이미지를 변환하고, 변환된 이미지에 기초하여 결합 이미지(1105)를 생성할 수 있다.Here, since the narrow-
도 12는 다른 실시 예에 따른 결합 이미지 생성 동작을 설명하기 위한 도면이다.12 is a view for explaining an operation of generating a combined image according to another embodiment.
도 12를 참조하면, 전자 장치(100)는 광각 이미지(710) 및 광각 이미지(910)에 기초하여 결합 이미지(1205)를 생성할 수 있다. 여기서, 전자 장치(100)는 타겟 오브젝트 및 장애물 오브젝트에 기초하여 광각 이미지(710)의 관심 영역(1201)을 식별하고, 광각 이미지(910)의 관심 영역(1202)을 식별할 수 있다. 그리고, 전자 장치(100)는 광각 이미지 각각의 관심 영역(1201, 1202)에 기초하여 결합 이미지(1205)를 생성할 수 있다.Referring to FIG. 12 , the
여기서, 광각 이미지(710) 및 광각 이미지(910)는 광각 렌즈를 통해 촬상된 이미지일 수 있다. 여기서, 결합 이미지(1205)는 장애물 오브젝트(520)에 대응되는 이미지가 제거된 가상의 이미지일 수 있다.Here, the wide-
도 13은 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역에 기초하여 발광부를 제어하는 동작을 설명하기 위한 흐름도이다.13 is a flowchart illustrating an operation of controlling a light emitting unit based on an ROI of a narrow-angle image and a ROI of a wide-angle image.
도 13을 참조하면, 전자 장치(100)는 제1 카메라(111)를 통해 협각 이미지를 획득할 수 있다 (S1305).Referring to FIG. 13 , the
한편, 전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지의 관심 영역을 식별할 수 있다 (S1310). 여기서, 관심 영역은 획득되는 전체 이미지의 전체 영역 중 사용자의 의도에 따라 분석 대상이 되는 영역을 의미할 수 있다. 협각 이미지는 제1 카메라(111)로부터 획득되고, 제1 카메라(111)는 협각 카메라일 수 있다. 따라서, 협각 이미지의 관심 영역은 협각 이미지 안에서의 관심 영역일 수 있다. 전방에 타겟 오브젝트가 있는 경우, 협각 이미지의 관심 영역은 타겟 오브젝트가 식별되는 영역일 수 있다. 전방에 타겟 오브젝트가 전혀 식별되지 않는 경우, 협각 이미지의 관심 영역은 기 설정된 영역일 수 있다. 여기서, 기 설정된 영역은 협각 이미지의 중앙 영역일 수 있다.Meanwhile, the
한편, 전자 장치(100)는 제2 카메라(112)를 통해 광각 이미지를 획득할 수 있다 (S1315).Meanwhile, the
그리고, 전자 장치(100)는 협각 이미지에서 장애물 오브젝트가 식별되는지 식별할 수 있다 (S1316). 협각 이미지에서 장애물 오브젝트가 식별되면, 전자 장치(100)는 장애물 오브젝트에 가장 인접한 타겟 오브젝트를 제외한 타겟 오브젝트에 기초하여 광각 이미지의 관심 영역을 식별할 수 있다 (S1317). 장애물 오브젝트에 가장 인접한 타겟 오브젝트는 장애물 오브젝트가 가리고 있는 타겟 오브젝트를 의미할 수 있다. 그리고, ‘장애물 오브젝트에 가장 인접한 타겟 오브젝트’ 표현은 ‘장애물 오브젝트로부터 임계 거리 이내에 있는 타겟 오브젝트’로 대체될 수 있다. 이와 관련된 구체적인 설명은 도 16 및 도 17에서 후술한다.Then, the
협각 이미지에서 장애물 오브젝트가 식별되지 않으면, 전자 장치(100)는 장애물 오브젝트 및 장애물 오브젝트에 가장 인접한 타겟 오브젝트에 기초하여 광각 이미지의 관심 영역을 식별할 수 있다 (S1320). 여기서, 전자 장치(100)는 광각 이미지에서 장애물 오브젝트를 식별할 수 있다. 광각 이미지는 촬영 시점 및 촬영 위치에 따라 동일한 오브젝트를 촬상함에도 장애물 오브젝트가 상이한 위치에서 식별될 수 있다. 따라서, 광각 이미지 각각의 관심 영역은 촬영 시점 및 촬영 위치에 따라 상이할 수 있다. 또한, S1320 동작에서 장애물 오브젝트가 식별되지 않는 경우, 전자 장치(100)는 협각 이미지에서 식별되지 않은 타겟 오브젝트에 기초하여 관심 영역을 식별할 수 있다. 즉, S1320 단계에서 이용되는 타겟 오브젝트와 S1310 단계에서 이용되는 타겟 오브젝트가 상이할 수 있다. 이와 관련된 구체적인 설명은 도 14, 도 15, 도 18 및 도 19에서 후술한다.If the obstacle object is not identified in the narrow-angle image, the
한편, 전자 장치(100)는 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역 모두에 인접한 영역을 식별할 수 있다 (S1325). 여기서, 인접한 영역은 임계 크기일 수 있다.Meanwhile, the
한편, 전자 장치(100)는 S1325 단계에서 식별된 영역이 복수 개인지 판단할 수 있다 (S1330). 식별된 영역이 복수 개가 아니라면, 전자 장치(100)는 식별된 하나의 영역을 조사 영역으로 결정하고 결정된 조사 영역에 최대 세기의 빛을 조사할 수 있다 (S1335). 여기서, 조사 영역은 빛이 쏘여지는 영역일 수 있다. 이와 관련된 설명은 도 14, 도 15, 도 18 및 도 19에서 후술한다.Meanwhile, the
식별된 영역이 복수 개라면, 전자 장치(100)는 식별된 복수의 영역 중 발광부(130)에 가장 가까운 영역을 조사 영역으로 결정하고, 결정된 조사 영역에 최대 세기의 빛을 조사할 수 있다 (S1340). 이와 관련된 설명은 도 16 및 도 17에서 후술한다.If there are a plurality of identified areas, the
한편, 구현 예에 따라, 전자 장치(100)는 협각 이미지의 관심 영역 및 광각 이미지의 관심 영역에서 가장 가까운 포인트를 식별하고, 식별된 포인트들의 중앙값을 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 중앙값에 기초하여 조사 포인트를 결정할 수 있다. 전자 장치(100)는 결정된 조사 포인트에 최대 세기의 빛이 조사되도록 발광부(130)를 제어할 수 있다.Meanwhile, according to an embodiment, the
일 실시 예에 따라, 도 13의 동작들은 실시간으로 조사 영역을 결정하는 동작일 수 있다.According to an embodiment, the operations of FIG. 13 may be an operation of determining an irradiation area in real time.
하지만, 다른 실시 예에 따라, 전자 장치(100)는 이미 한번 모든 촬상 동작이 완료된 후 저장된 복수의 이미지에 기초하여 조사 영역을 결정할 수 있다. 여기서, 결정된 조사 영역은 다음 촬상 동작에서 이용될 수 있다. 전자 장치(100)는 저장된 복수의 이미지를 분석하여 가장 적합한 조사 영역이 어디인지 결정할 수 있다. 다른 실시 예에 따른 조사 영역 결정 방식을 위해서 전자 장치(100)는 S1305 단계 대신에 ‘복수의 협각 이미지 중 타겟 오브젝트가 포함된 적어도 하나의 협각 이미지를 식별’하는 동작을 수행할 수 있다. 구체적으로, 전자 장치(100)는 복수의 협각 이미지를 분석하여 타겟 오브젝트가 적어도 일부 식별되는 이미지를 식별할 수 있다. 여기서, 식별되는 협각 이미지는 타겟 오브젝트의 전체 영역이 포함될 수 있으며, 타겟 오브젝트의 일부 영역만 포함될 수도 있다.However, according to another embodiment, the
또한, 다른 실시 예에 따른 조사 영역 결정 방식을 위해서 전자 장치(100)는 S1315 단계 대신에 ‘복수의 광각 이미지 중 장애물 오브젝트에 의해 오버랩되지 않고 타겟 오브젝트가 식별 가능한 광각 이미지를 식별’하는 동작을 수행할 수 있다. 여기서, 광각 이미지는 광각 이미지이므로 복수의 타겟 오브젝트를 포함할 수 있다. 일부 타겟 오브젝트는 장애물과 전혀 오버랩되지 않고, 하나의 타겟 오브젝트는 장애물과 일부 오버랩될 수 있다. 장애물과 전혀 오버랩되지 않는 타겟 오브젝트는 제1 카메라(111)에서 획득되는 협각 이미지로부터 분석이 가능할 수 있다. 따라서, ‘장애물 오브젝트에 의해 오버랩되지 않고 타겟 오브젝트가 식별 가능한 광각 이미지’는 장애물 오브젝트와 인접한 거리에 있는 타겟 오브젝트가 식별 가능한 광각 이미지를 의미할 수 있다.In addition, for the method of determining the irradiation area according to another embodiment, the
도 14는 제1 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.14 is a diagram for explaining an operation of identifying an irradiation area at a first imaging position.
도 14를 참조하면, 전자 장치(100)는 제1 촬상 위치(701)에서 전방을 촬상할 수 있으며, 제1 카메라(111)를 통해 협각 이미지(705)를 획득하고 제2 카메라(112)를 통해 광각 이미지(710)를 획득할 수 있다.Referring to FIG. 14 , the
전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지(705)의 관심 영역(1401)을 식별할 수 있다. 예를 들어, 협각 이미지(705)의 관심 영역(1401)은 타겟 오브젝트인 A라벨(501) 및 A제품(511)이 식별되는 영역일 수 있다.The
또한, 전자 장치(100)는 협각 이미지(705)에서 장애물 오브젝트가 식별되는지 여부를 판단할 수 있다. 협각 이미지(705)에서 장애물 오브젝트가 식별되지 않으면, 전자 장치(100)는 장애물 오브젝트 및 타겟 오브젝트(장애물 오브젝트에 가장 인접한 타겟 오브젝트)기초하여 광각 이미지(710)의 관심 영역(1402)을 식별할 수 있다. 여기서, 전자 장치(100)는 광각 이미지(710)는 장애물 오브젝트와 타겟 오브젝트가 모두 포함된 영역을 광각 이미지(710)의 관심 영역(1402)으로 설정할 수 있다. 여기서, 광각 이미지(710)의 관심 영역(1402)을 식별하는데 이용되는 타겟 오브젝트는 협각 이미지(705)의 관심 영역(1401)을 식별하는데 이용되는 타겟 오브젝트와 상이할 수 있다. 예를 들어, 전자 장치(100)는 광각 이미지(710)에서 장애물 오브젝트(520)의 적어도 일부를 식별할 수 있다. 그리고, 광각 이미지(710)에 포함된 복수의 타겟 오브젝트 중 장애물 오브젝트(520)와 가장 인접한 타겟 오브젝트인 B라벨(502) 및 B제품(512)을 식별할 수 있다. 그리고, 전자 장치(100)는 장애물 오브젝트(520), B라벨(502) 및 B제품(512)이 모두 포함된 영역을 광각 이미지(710)의 관심 영역(1402)으로 식별할 수 있다.Also, the
전자 장치(100)는 식별된 협각 이미지(705)의 관심 영역(1401)과 식별된 광각 이미지(710)의 관심 영역(1402)에 기초하여 관심 영역(1401) 및 관심 영역(1402)에 인접한 영역(1403)을 식별할 수 있다. 여기서, 전자 장치(100)는 전자 장치(100)의 촬상 범위(1415)에서 관심 영역(1401) 및 관심 영역(1402)을 판단할 수 있다. 여기서, 협각 이미지(705)와 광각 이미지(710)는 객체를 표시하는 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 각 이미지가 동일한 비율로 객체를 표시하도록 적어도 하나의 이미지를 보정할 수 있다. 전자 장치(100)는 촬상 범위(1415)에서 관심 영역(1401) 및 관심 영역(1402)이 인접한 영역(1403)을 식별할 수 있다. 여기서, 인접한 영역(1403)은 조사 영역 비 간섭 영역, 비 중첩 영역 중 하나로 표현될 수 있다. 이후 편의상 인접한 영역을 조사 영역으로 기재한다. 한편, 조사 영역을 따로 결정하는 이유는 빛의 반사로 인한 객체 인식률 저하를 해결하기 위함이다. 타겟 오브젝트 부분에 가장 강한 빛이 조사되는 경우, 빛의 반사로 인해 타겟 오브젝트 인식률이 저하될 수 있으므로, 타겟 오브젝트가 식별되지 않는 영역에 가장 강한 세기의 빛을 조사할 수 있다.The
도 15는 제1 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.15 is a view for explaining an operation of controlling a light emitting unit at a first imaging position.
도 15를 참조하면, 전자 장치(100)는 관심 협각 이미지(705)의 관심 영역(1401) 및 광각 이미지(710)의 관심 영역(1402) 사이에 위치한 조사 영역(1403)을 결정할 수 있다. 그리고, 전자 장치(100)는 결정된 조사 영역(1403)에 기초하여 조사 영역(1403)에 대응되는 위치에 가장 밝은 빛을 조사하도록 발광부(130)를 제어할 수 있다.Referring to FIG. 15 , the
그래프(1510)를 참조하면, 전자 장치(100)가 제1 촬상 위치(701)에 있을 때, 조사 영역(1403)에 대응되는 위치(1511)에 가장 밝은 빛이 조사될 수 있다. 조사 영역(1403)에 대응되는 위치에만 빛이 조사되는 것이 아니며 조사 영역(1403)에 대응되는 위치에 가장 밝은 빛이 조사되도록 조사되는 것일 수 있다.Referring to the
도 16은 제2 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.16 is a diagram for explaining an operation of identifying an irradiation area at a second imaging position.
도 16을 참조하면, 전자 장치(100)는 제2 촬상 위치(801)에서 전방을 촬상할 수 있으며, 제1 카메라(111)를 통해 협각 이미지(805)를 획득하고 제2 카메라(112)를 통해 광각 이미지(810)를 획득할 수 있다.Referring to FIG. 16 , the
전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지(805)의 관심 영역(1601)을 식별할 수 있다. 예를 들어, 협각 이미지(805)의 관심 영역(1601)은 타겟 오브젝트인 B라벨(502) 및 B제품(512)이 식별되는 영역일 수 있다.The
또한, 전자 장치(100)는 협각 이미지(805)에서 장애물 오브젝트가 식별되는지 판단할 수 있다. 협각 이미지(805)에서 장애물 오브젝트가 식별되면, 전자 장치(100)는 장애물 오브젝트 및 장애물 오브젝트에 가장 인접한 타겟 오브젝트를 제외한 타겟 오브젝트에 기초하여 광각 이미지(810)의 관심 영역(1602, 1603)을 식별할 수 있다. 여기서, 장애물 오브젝트에 가장 인접한 타겟 오브젝트는 B라벨(502) 및 B제품(512)일 수 있고, 장애물 오브젝트에 가장 인접한 타겟 오브젝트를 제외한 타겟 오브젝트는 A라벨(501), A제품(511), C라벨(503) 및 C제품(513)일 수 있다. 여기서, 전자 장치(100)는 A라벨(501), A제품(511)을 포함하는 영역을 광각 이미지(810)의 관심 영역(1602)으로 식별할 수 있고, C라벨(503) 및 C제품(513)을 포함하는 영역을 광각 이미지(810)의 관심 영역(1603)으로 식별할 수 있다.Also, the
여기서, 광각 이미지(810)의 관심 영역(1602, 1603)을 식별하는데 이용되는 타겟 오브젝트는 협각 이미지(805)의 관심 영역(1601)을 식별하는데 이용되는 타겟 오브젝트와 상이할 수 있다.Here, the target object used to identify the
전자 장치(100)는 식별된 협각 이미지(805)의 관심 영역(1601)과 식별된 광각 이미지(810)의 관심 영역(1602, 1603)에 기초하여 관심 영역(1601) 및 관심 영역(1602, 1603)에 인접한 영역(1604-1, 1604-2)을 식별할 수 있다. 구체적으로, 협각 이미지(805)의 관심 영역(1601)과 광각 이미지(810)의 관심 영역(1602)에 인접한 영역(1604-1)을 식별하고, 협각 이미지(805)의 관심 영역(1601)과 광각 이미지(810)의 관심 영역(1603)에 인접한 영역(1604-2)을 식별할 수 있다.The
여기서, 전자 장치(100)는 전자 장치(100)의 촬상 범위(1615)에서 협각 이미지(805)의 관심 영역(1601) 및 광각 이미지(810)의 관심 영역(1602, 1603)을 판단할 수 있다. 여기서, 협각 이미지(805)와 광각 이미지(810)는 객체를 표시하는 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 각 이미지가 동일한 비율로 객체를 표시하도록 적어도 하나의 이미지를 보정할 수 있다. 전자 장치(100)는 촬상 범위(1615)에서 관심 영역(1601) 및 관심 영역(1602, 1603)이 인접한 영역(1604-1, 1604-2)을 식별할 수 있다. 여기서, 인접한 영역(1604-1, 1604-2)은 조사 영역 비 간섭 영역, 비 중첩 영역 중 하나로 표현될 수 있다. 이후 편의상 인접한 영역을 조사 영역으로 기재한다.Here, the
도 17은 제2 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.17 is a view for explaining an operation of controlling the light emitting unit at the second imaging position.
도 17을 참조하면, 협각 이미지(805)의 관심 영역(1601) 및 광각 이미지(810)의 관심 영역(1602) 사이에 위치한 조사 영역(1604-1) 및 협각 이미지(805)의 관심 영역(1601) 및 광각 이미지(810)의 관심 영역(1603) 사이에 위치한 조사 영역(1604-2)을 결정할 수 있다. 그리고, 복수의 조사 영역이 식별되면, 그 중 하나의 조사 영역을 결정할 수 있다. 전자 장치(100)는 복수의 조사 영역 중 발광부(130)의 위치와 가까운 조사 영역을 결정하고, 결정된 조사 영역에 대응되는 위치에 가장 밝은 빛을 조사하도록 발광부(130)를 제어할 수 있다. 구체적인 동작은 도 13의 S1330 및 S1340 단계에서 전술하였다. 제2 촬상 위치(801)를 기준으로 2개의 조사 영역(1604-1, 1604-2) 중 발광부(130)에 가까운 조사 영역은 1604-2 영역일 수 있다.Referring to FIG. 17 , an irradiation region 1604 - 1 positioned between the region of
그래프(1710)를 참조하면, 전자 장치(100)가 제2 촬상 위치(801)에 있을 때, 조사 영역(1604-2)에 대응되는 위치(1711)에 가장 밝은 빛이 조사될 수 있다.Referring to the
도 18은 제3 촬상 위치에서 조사 영역을 식별하는 동작을 설명하기 위한 도면이다.18 is a diagram for explaining an operation of identifying an irradiation area at a third imaging position.
도 18를 참조하면, 전자 장치(100)는 제3 촬상 위치(901)에서 전방을 촬상할 수 있으며, 제1 카메라(111)를 통해 협각 이미지(905)를 획득하고 제2 카메라(112)를 통해 광각 이미지(910)를 획득할 수 있다.Referring to FIG. 18 , the
전자 장치(100)는 타겟 오브젝트에 기초하여 협각 이미지(905)의 관심 영역(1801)을 식별할 수 있다. 예를 들어, 협각 이미지(905)의 관심 영역(1801)은 타겟 오브젝트인 C라벨(503) 및 C제품(513)이 식별되는 영역일 수 있다.The
또한, 전자 장치(100)는 협각 이미지(905)에서 장애물 오브젝트가 식별되는지 여부를 판단할 수 있다. 협각 이미지(905)에서 장애물 오브젝트가 식별되지 않으면, 전자 장치(100)는 장애물 오브젝트 및 타겟 오브젝트(장애물 오브젝트에 가장 인접한 타겟 오브젝트)기초하여 광각 이미지(910)의 관심 영역(1802)을 식별할 수 있다. 여기서, 전자 장치(100)는 광각 이미지(910)는 장애물 오브젝트와 타겟 오브젝트가 모두 포함된 영역을 광각 이미지(910)의 관심 영역(1802)으로 설정할 수 있다. 여기서, 광각 이미지(910)의 관심 영역(1802)을 식별하는데 이용되는 타겟 오브젝트는 협각 이미지(905)의 관심 영역(1801)을 식별하는데 이용되는 타겟 오브젝트와 상이할 수 있다. 예를 들어, 전자 장치(100)는 광각 이미지(910)에서 장애물 오브젝트(520)의 적어도 일부를 식별할 수 있다. 그리고, 광각 이미지(910)에 포함된 복수의 타겟 오브젝트 중 장애물 오브젝트(520)와 가장 인접한 타겟 오브젝트인 B라벨(502) 및 B제품(512)을 식별할 수 있다. 그리고, 전자 장치(100)는 장애물 오브젝트(520), B라벨(502) 및 B제품(512)이 모두 포함된 영역을 광각 이미지(910)의 관심 영역(1802)으로 식별할 수 있다.Also, the
전자 장치(100)는 식별된 협각 이미지(905)의 관심 영역(1801)과 식별된 광각 이미지(910)의 관심 영역(1802)에 기초하여 관심 영역(1801) 및 관심 영역(1802)에 인접한 영역(1803)을 식별할 수 있다. 여기서, 전자 장치(100)는 전자 장치(100)의 촬상 범위(1815)에서 관심 영역(1801) 및 관심 영역(1802)을 판단할 수 있다. 여기서, 협각 이미지(905)와 광각 이미지(910)는 객체를 표시하는 비율이 상이할 수 있다. 따라서, 전자 장치(100)는 각 이미지가 동일한 비율로 객체를 표시하도록 적어도 하나의 이미지를 보정할 수 있다. 전자 장치(100)는 촬상 범위(1815)에서 관심 영역(1801) 및 관심 영역(1802)이 인접한 영역(1803)을 식별할 수 있다. 여기서, 인접한 영역(1803)은 조사 영역 비 간섭 영역, 비 중첩 영역 중 하나로 표현될 수 있다. 이후 편의상 인접한 영역을 조사 영역으로 기재한다. 한편, 조사 영역을 따로 결정하는 이유는 빛의 반사로 인한 객체 인식률 저하를 해결하기 위함이다. 타겟 오브젝트 부분에 가장 강한 빛이 조사되는 경우, 빛의 반사로 인해 타겟 오브젝트 인식률이 저하될 수 있으므로, 타겟 오브젝트가 식별되지 않는 영역에 가장 강한 세기의 빛을 조사할 수 있다.The
도 19는 제3 촬상 위치에서 발광부를 제어하는 동작을 설명하기 위한 도면이다.19 is a view for explaining an operation of controlling the light emitting unit at the third imaging position.
도 19를 참조하면, 전자 장치(100)는 관심 협각 이미지(905)의 관심 영역(1801) 및 광각 이미지(910)의 관심 영역(1802) 사이에 위치한 조사 영역(1803)을 결정할 수 있다. 그리고, 전자 장치(100)는 결정된 조사 영역(1803)에 기초하여 조사 영역(1803)에 대응되는 위치에 가장 밝은 빛을 조사하도록 발광부(130)를 제어할 수 있다.Referring to FIG. 19 , the
그래프(1910)를 참조하면, 전자 장치(100)가 제3 촬상 위치(901)에 있을 때, 조사 영역(1803)에 대응되는 위치(1911)에 가장 밝은 빛이 조사될 수 있다. 조사 영역(1803)에 대응되는 위치에만 빛이 조사되는 것이 아니며 조사 영역(1803)에 대응되는 위치에 가장 밝은 빛이 조사되도록 조사되는 것일 수 있다.Referring to the
도 20은 복수의 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 도면이다.20 is a diagram for describing an electronic device including a plurality of camera modules.
도 20을 참조하면, 전자 장치(100)는 복수의 카메라 모듈을 포함할 수 있다. 제1 카메라 모듈(110)은 제1 카메라(111), 제2 카메라(112) 및 발광부(130)를 포함할 수 있다. 그리고, 제2 카메라 모듈(110-2)은 제1 카메라(111)와 동일한 촬상각을 갖는 제3 카메라(111-2), 제2 카메라(112)와 동일한 촬상각을 갖는 제4 카메라(112-2) 및 발광부(130-2)를 포함할 수 있다. 그리고, 제3 카메라 모듈(110-3)은 제1 카메라(111)와 동일한 촬상각을 갖는 제5 카메라(111-3), 제2 카메라(112)와 동일한 촬상각을 갖는 제6 카메라(112-3) 및 발광부(130-3)를 포함할 수 있다.Referring to FIG. 20 , the
각 카메라 모듈은 협각 렌즈를 포함하는 카메라, 광각 렌즈를 포함하는 카메라 및 발광부를 포함할 수 있다. 각 카메라 모듈은 전자 장치(100)에서 수직 방향으로 배치될 수 있다.Each camera module may include a camera including a narrow-angle lens, a camera including a wide-angle lens, and a light emitting unit. Each camera module may be disposed in a vertical direction in the
도 21은 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 결합 이미지를 생성하는 동작을 설명하기 위한 흐름도이다.21 is a flowchart for explaining an operation of generating a combined image based on images acquired by a plurality of camera modules.
도 21을 참조하면, 전자 장치(100)는 제1 카메라 모듈(110)에 포함된 제1 카메라(111) 및 제2 카메라(112)로부터 제1 협각 이미지 및 제2 광각 이미지를 획득할 수 있다 (S2105). 그리고, 전자 장치(100)는 제2 카메라 모듈(110-2)에 포함된 제3 카메라(111-2) 및 제4 카메라(112-2)로부터 제3 협각 이미지 및 제4 광각 이미지를 획득할 수 있다. 여기서, 제1 협각 이미지는 제1 카메라(111)로부터 획득한 협각 이미지이며, 제3 협각 이미지는 제3 카메라(111-2)로부터 획득한 협각 이미지일 수 있다. 또한, 제2 광각 이미지는 제2 카메라(112)로부터 획득한 광각 이미지이며, 제4 광각 이미지는 제4 카메라(112-2)로부터 획득한 광각 이미지일 수 있다.Referring to FIG. 21 , the
전자 장치(100)는 제1 협각 이미지 또는 제2 광각 이미지에서 장애물 오브젝트가 포함된 이미지를 식별할 수 있다 (S2115). 그리고, 전자 장치(100)는 제3 협각 이미지 또는 제4 광각 이미지에서 타겟 오브젝트(장애물 오브젝트로부터 임계 거리 이내에 존재하는)의 가장 많은 부분이 식별되는 제2 광각 이미지를 식별할 수 있다 (S2120). 즉, 제1 카메라 모듈(110)에서 획득한 제1 협각 이미지 및 제2 광각 이미지에서 장애물 오브젝트가 식별되면, 제1 카메라 모듈(110)과 다른 수직 높이에 위치한 제2 카메라 모듈(110-2)에서 획득한 제3 협각 이미지 및 제4 광각 이미지를 이용하여 장애물 오브젝트에 가려진 부분을 식별할 수 있다.The
전자 장치(100)는 제1 카메라 모듈(110)에서 획득한 이미지 및 제2 카메라 모듈(110-2)에서 획득한 이미지에 기초하여 결합 이미지를 생성할 수 있다 (S2125). 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 결합 이미지를 생성하는 구체적인 동작은 도 22에서 후술한다.The
도 22는 복수의 카메라 모듈에 의해 획득된 이미지에 기초하여 생성된 결합 이미지를 설명하기 위한 도면이다.22 is a view for explaining a combined image generated based on images obtained by a plurality of camera modules.
도 22를 참조하면, 전자 장치(100)는 복수의 카메라 모듈을 포함하고 있다고 가정한다. 도 20에서와 같이 전자 장치(100)는 제1 카메라 모듈(110), 제2 카메라 모듈(110-2) 및 제3 카메라 모듈(110-3)을 포함하고 있다고 가정한다.Referring to FIG. 22 , it is assumed that the
전자 장치(100)는 제1 카메라 모듈(110)에 포함된 제1 카메라(111)를 통해 제1 협각 이미지(2205)를 획득하고, 제2 카메라 모듈(110-2)에 포함된 제3 카메라(111-2)를 통해 제3 협각 이미지(2210)를 획득하고, 제3 카메라 모듈(110-3)에 포함된 제5 카메라(111-3)를 통해 제5 협각 이미지(2215)를 획득할 수 있다.The
제1 협각 이미지, 제3 협각 이미지, 제5 협각 이미지는 타겟 오브젝트 및 장애물 오브젝트를 포함할 수 있다. 다만, 각 촬상 이미지는 촬상 각도가 상이할 수 있다. 따라서, 장애물 오브젝트에 가려진 타겟 오브젝트의 부분이 상이할 수 있다. 즉, 하나의 이미지에서 장애물 오브젝트에 가려졌던 부분이 다른 이미지에서는 장애물 오브젝트에 가려지지 않을 수 있다.The first narrow-angle image, the third narrow-angle image, and the fifth narrow-angle image may include a target object and an obstacle object. However, each captured image may have a different capturing angle. Accordingly, the portion of the target object that is obscured by the obstacle object may be different. That is, a portion covered by the obstacle object in one image may not be covered by the obstacle object in another image.
전자 장치(100)는 제1 협각 이미지(2205), 제3 협각 이미지(2210) 및 제5 협각 이미지(2215)에 기초하여 결합 이미지(2220)를 생성할 수 있다. 여기서, 결합 이미지(2220)는 장애물 오브젝트가 제거된 이미지일 수 있다.The
도 23은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.23 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
도 23을 참조하면, 전자 장치(100)의 제어 방법은 제1 촬상각을 갖는 제1 카메라로부터 획득된 제1 촬상 이미지 또는 제1 촬상각보다 큰 제2 촬상각을 가지는 제2 카메라로부터 획득된 제2 촬상 이미지 중 적어도 하나로부터 타겟 오브젝트의 일 부분이 식별되고 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 식별된 장애물 오브젝트의 위치 정보를 획득하는 단계 (S2305), 획득된 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별하는 단계 (S2310) 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 단계 (S2315)를 포함한다.Referring to FIG. 23 , in the method of controlling the
한편, 제어 방법은 제1 촬상 이미지에서 타겟 오브젝트 및 장애물 오브젝트가 포함된 영역 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하는 단계 및 획득된 결합 이미지에 기초하여 타겟 오브젝트를 식별하는 단계를 더 포함할 수 있다.On the other hand, the control method includes the steps of: obtaining a combined image including the entire image of the target object based on the region including the target object and the obstacle object in the first captured image and the region of interest of the second captured image; It may further include the step of identifying the target object based on the.
한편, 제1 촬상 이미지는 제1 촬상 위치에서 제1 카메라에 의해 촬상된 이미지이고, 제2 촬상 이미지는 제1 촬상 위치와 상이한 제2 촬상 위치에서 제2 카메라에 의해 촬상된 이미지일 수 있다.Meanwhile, the first captured image may be an image captured by the first camera at the first capturing position, and the second captured image may be an image captured by the second camera at a second capturing position different from the first capturing position.
한편, 제어 방법은 제1 촬상 위치 및 제2 촬상 위치와 상이한 제3 촬상 위치에서 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하는 단계, 식별된 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별하는 단계 및 제2 촬상 이미지의 관심 영역 및 제3 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 더 포함할 수 있다.On the other hand, the control method includes: acquiring a third captured image captured from the second camera at a third capturing position different from the first capturing position and the second capturing position; based on the position information of the identified obstacle object, the third captured image The method may further include identifying a region of interest of , and identifying the remaining part of the target object based on the region of interest in the second captured image and the region of interest in the third captured image.
한편, 제2 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향에 위치할 수 있고, 제3 촬상 위치는 제1 촬상 위치를 기준으로 제1 방향과 상이한 제2 방향에 위치할 수 있다.Meanwhile, the second imaging position may be located in a first direction with respect to the first imaging position, and the third imaging position may be located in a second direction different from the first direction with respect to the first imaging position.
한편, 제2 촬상 이미지의 관심 영역을 식별하는 단계 (S2310)는 제2 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제2 촬상 이미지의 관심 영역을 식별할 수 있고, 제3 촬상 이미지의 관심 영역을 식별하는 단계는 제3 촬상 이미지가 촬상된 방향 정보 및 장애물 오브젝트의 위치 정보에 기초하여 제3 촬상 이미지의 관심 영역을 식별할 수 있다.Meanwhile, in the step of identifying the region of interest of the second captured image ( S2310 ), the region of interest of the second captured image may be identified based on direction information in which the second captured image is captured and location information of an obstacle object, and the third The step of identifying the region of interest of the captured image may include identifying the region of interest of the third captured image based on direction information in which the third captured image is captured and location information of the obstacle object.
한편, 제어 방법은 제1 촬상 이미지에 기초하여 타겟 오브젝트의 일 부분 및 장애물 오브젝트를 식별하는 단계 및 제2 촬상 이미지의 관심 영역에 기초하여 타겟 오브젝트의 나머지 일 부분을 식별하는 단계를 더 포함할 수 있다.Meanwhile, the control method may further include identifying a part of the target object and the obstacle object based on the first captured image and identifying the remaining part of the target object based on the region of interest of the second captured image. have.
한편, 제어 방법은 제1 촬상 이미지에 기초하여 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하는 단계 및 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 제2 카메라의 촬상 위치를 식별하는 단계를 더 포함할 수 있고, 제2 촬상 이미지는 식별된 촬상 위치에서 촬상된 이미지일 수 있다.On the other hand, the control method further includes the steps of identifying position information and size information of the obstacle object based on the first captured image and identifying the capturing position of the second camera based on the identified position information and size information of the obstacle object may include, and the second captured image may be an image captured at the identified capturing location.
한편, 제어 방법은 제1 촬상 이미지의 관심 영역을 식별하는 단계, 제1 촬상 이미지의 관심 영역 및 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하는 단계 및 식별된 위치로 임계 세기 이상의 광을 조사하는 단계를 더 포함할 수 있다.Meanwhile, the control method includes the steps of identifying a region of interest in the first captured image, identifying positions corresponding to regions adjacent to the region of interest in the first captured image and the region of interest in the second captured image, and threshold intensity as the identified position It may further include the step of irradiating the above light.
한편, 제어 방법은 식별된 위치로 광이 조사되도록 발광 각도를 변경하는 단계를 더 포함할 수 있다.Meanwhile, the control method may further include changing the light emission angle so that light is irradiated to the identified position.
한편, 도 23과 같은 전자 장치의 제어 방법은 도 2 또는 도 3의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.Meanwhile, the method of controlling the electronic device as shown in FIG. 23 may be executed on the electronic device having the configuration of FIG. 2 or FIG. 3 , and may also be executed on the electronic device having other configurations.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.Meanwhile, the above-described methods according to various embodiments of the present disclosure may be implemented in the form of an application that can be installed in an existing electronic device.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.In addition, the above-described methods according to various embodiments of the present disclosure may be implemented only by software upgrade or hardware upgrade of an existing electronic device.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.In addition, various embodiments of the present disclosure described above may be performed through an embedded server provided in an electronic device or an external server of at least one of an electronic device and a display device.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.Meanwhile, according to a temporary example of the present disclosure, the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media readable by a machine (eg, a computer). can A device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include the electronic device according to the disclosed embodiments. When the instruction is executed by the processor, the processor may perform a function corresponding to the instruction by using other components directly or under the control of the processor. Instructions may include code generated or executed by a compiler or interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.In addition, according to an embodiment of the present disclosure, the method according to the various embodiments described above may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play Store™). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.In addition, each of the components (eg, a module or a program) according to the various embodiments described above may be composed of a single or a plurality of entities, and some sub-components of the aforementioned sub-components may be omitted, or other sub-components may be omitted. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, a module or a program) may be integrated into a single entity, so that functions performed by each corresponding component prior to integration may be performed identically or similarly. According to various embodiments, operations performed by a module, program, or other component may be sequentially, parallelly, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added. can
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present disclosure have been illustrated and described, but the present disclosure is not limited to the specific embodiments described above, and is generally used in the technical field belonging to the present disclosure without departing from the gist of the present disclosure as claimed in the claims. Various modifications may be made by those having the knowledge of
111: 제1 카메라
112:제2 카메라
130: 프로세서111: first camera 112: second camera
130: processor
Claims (20)
제1 촬상각을 갖는 제1 카메라;
상기 제1 촬상각보다 큰 제2 촬상각을 갖는 제2 카메라; 및
상기 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제2 카메라로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하고,
상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고,
상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 프로세서;를 포함하는 전자 장치. In an electronic device,
a first camera having a first imaging angle;
a second camera having a second imaging angle greater than the first imaging angle; and
When a portion of a target object is identified in the first captured image obtained from the first camera or the second captured image obtained from the second camera and an obstacle object overlapping the remaining portion of the target object is identified, the identification obtain the location information of the obstacle object,
identify a region of interest in the second captured image based on the obtained position information of the obstacle object;
and a processor configured to identify the remaining portion of the target object based on the ROI of the second captured image.
상기 프로세서는,
상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하고,
상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별하는, 전자 장치.According to claim 1,
The processor is
obtaining a combined image including the entire image of the target object based on a region including the target object and the obstacle object in the first captured image and a region of interest of the second captured image,
identifying the target object based on the acquired combined image.
상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고,
상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지인, 전자 장치. According to claim 1,
The first captured image is an image captured by the first camera at a first capturing position,
and the second captured image is an image captured by the second camera at a second capturing position different from the first capturing position.
상기 프로세서는,
상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하고,
상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하고,
상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는, 전자 장치.4. The method of claim 3,
The processor is
acquiring a third captured image captured by the second camera at a third capturing position different from the first capturing position and the second capturing position;
identify a region of interest in the third captured image based on the position information of the identified obstacle object;
and identifying the remaining portion of the target object based on the region of interest of the second captured image and the region of interest of the third captured image.
상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치하며,
상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치하는, 전자 장치. 5. The method of claim 4,
The second imaging position is located in a first direction with respect to the first imaging position,
and the third imaging position is located in a second direction different from the first direction with respect to the first imaging position.
상기 프로세서는,
상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고,
상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는, 전자 장치.6. The method of claim 5,
The processor is
identifying a region of interest in the second captured image based on the direction information in which the second captured image is captured and location information of the obstacle object;
and identifying a region of interest in the third captured image based on direction information in which the third captured image is captured and location information of the obstacle object.
상기 프로세서는,
상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하고,
상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득하는, 전자 장치.According to claim 1,
The processor is
obtaining first information of a target object based on a portion of the target object identified in the first captured image;
Obtaining second information of the target object based on the remaining part of the target object identified in the second captured image.
상기 프로세서는,
상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하고,
상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별하며,
상기 제2 촬상 이미지는, 상기 식별된 촬상 위치에서 촬상된 이미지인, 전자 장치.According to claim 1,
The processor is
Identifies location information and size information of the obstacle object based on the first captured image,
Identifies the imaging position of the second camera based on the position information and size information of the identified obstacle object,
and the second captured image is an image captured at the identified capturing location.
발광부;를 더 포함하고,
상기 프로세서는,
상기 제1 촬상 이미지의 관심 영역을 식별하고,
상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하고,
상기 식별된 위치로 임계 세기 이상의 광을 조사하도록 상기 발광부를 제어하는, 전자 장치.According to claim 1,
It further comprises a light emitting unit;
The processor is
identifying a region of interest in the first captured image;
identifying a position corresponding to a region of interest in the first captured image and a region adjacent to the region of interest in the second captured image;
and controlling the light emitting unit to irradiate light of a threshold intensity or higher to the identified location.
상기 프로세서는,
상기 식별된 위치로 상기 광이 조사되도록 상기 발광부의 발광 각도를 변경하는, 전자 장치.10. The method of claim 9,
The processor is
and changing the light emitting angle of the light emitting unit so that the light is irradiated to the identified position.
제1 촬상각을 갖는 제1 카메라로부터 획득된 제1 촬상 이미지 또는 상기 제1 촬상각보다 큰 제2 촬상각을 가지는 제2 카메라로부터 획득된 제2 촬상 이미지에서 타겟 오브젝트의 일 부분이 식별되고 상기 타겟 오브젝트의 나머지 일 부분에 오버랩되는 장애물 오브젝트가 식별되면, 상기 식별된 장애물 오브젝트의 위치 정보를 획득하는 단계;
상기 획득된 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하는 단계; 및
상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계;를 포함하는 전자 장치의 제어 방법. A method for controlling an electronic device, comprising:
A portion of the target object is identified in a first captured image obtained from a first camera having a first capturing angle or a second captured image obtained from a second captured image obtained from a second camera having a second capturing angle greater than the first capturing angle, and when an obstacle object overlapping the remaining part of the target object is identified, acquiring location information of the identified obstacle object;
identifying a region of interest in the second captured image based on the obtained position information of the obstacle object; and
and identifying the remaining part of the target object based on the ROI of the second captured image.
상기 제어 방법은,
상기 제1 촬상 이미지에서 상기 타겟 오브젝트 및 상기 장애물 오브젝트가 포함된 영역 및 상기 제2 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 전체 이미지를 포함하는 결합 이미지를 획득하는 단계; 및
상기 획득된 결합 이미지에 기초하여 상기 타겟 오브젝트를 식별하는 단계;를 더 포함하는, 전자 장치의 제어 방법.12. The method of claim 11,
The control method is
obtaining a combined image including an entire image of the target object based on a region including the target object and the obstacle object in the first captured image and a region of interest of the second captured image; and
Identifying the target object based on the acquired combined image; further comprising a control method of an electronic device.
상기 제1 촬상 이미지는 제1 촬상 위치에서 상기 제1 카메라에 의해 촬상된 이미지이고,
상기 제2 촬상 이미지는 상기 제1 촬상 위치와 상이한 제2 촬상 위치에서 상기 제2 카메라에 의해 촬상된 이미지인, 전자 장치의 제어 방법. 12. The method of claim 11,
The first captured image is an image captured by the first camera at a first capturing position,
and the second captured image is an image captured by the second camera at a second capturing position different from the first capturing position.
상기 제어 방법은,
상기 제1 촬상 위치 및 상기 제2 촬상 위치와 상이한 제3 촬상 위치에서 상기 제2 카메라로부터 촬상된 제3 촬상 이미지를 획득하는 단계;
상기 식별된 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는 단계; 및
상기 제2 촬상 이미지의 관심 영역 및 상기 제3 촬상 이미지의 관심 영역에 기초하여 상기 타겟 오브젝트의 나머지 일 부분을 식별하는 단계;를 더 포함하는, 전자 장치의 제어 방법.14. The method of claim 13,
The control method is
acquiring a third captured image captured by the second camera at a third capturing position different from the first capturing position and the second capturing position;
identifying a region of interest in the third captured image based on location information of the identified obstacle object; and
The method of controlling an electronic device further comprising: identifying the remaining part of the target object based on the ROI of the second captured image and the ROI of the third captured image.
상기 제2 촬상 위치는 상기 제1 촬상 위치를 기준으로 제1 방향에 위치하며,
상기 제3 촬상 위치는 상기 제1 촬상 위치를 기준으로 상기 제1 방향과 상이한 제2 방향에 위치하는, 전자 장치의 제어 방법. 15. The method of claim 14,
The second imaging position is located in a first direction with respect to the first imaging position,
and the third imaging position is located in a second direction different from the first direction with respect to the first imaging position.
상기 제2 촬상 이미지의 관심 영역을 식별하는 단계는,
상기 제2 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제2 촬상 이미지의 관심 영역을 식별하고,
상기 제3 촬상 이미지의 관심 영역을 식별하는 단계는,
상기 제3 촬상 이미지가 촬상된 방향 정보 및 상기 장애물 오브젝트의 위치 정보에 기초하여 상기 제3 촬상 이미지의 관심 영역을 식별하는, 전자 장치의 제어 방법.16. The method of claim 15,
The step of identifying the region of interest in the second captured image includes:
identifying a region of interest in the second captured image based on the direction information in which the second captured image is captured and location information of the obstacle object;
The step of identifying the region of interest in the third captured image includes:
and identifying a region of interest in the third captured image based on direction information in which the third captured image is captured and location information of the obstacle object.
상기 제어 방법은,
상기 제1 촬상 이미지에서 식별된 상기 타겟 오브젝트의 일 부분에 기초하여 타겟 오브젝트의 제1 정보를 획득하는 단계; 및
상기 제2 촬상 이미지에서 식별된 상기 타겟 오브젝트의 나머지 일 부분에 기초하여 타겟 오브젝트의 제2 정보를 획득하는 단계;를 더 포함하는, 전자 장치의 제어 방법.12. The method of claim 11,
The control method is
obtaining first information of a target object based on a portion of the target object identified in the first captured image; and
The method further comprising: obtaining second information of the target object based on the remaining part of the target object identified in the second captured image;
상기 제어 방법은,
상기 제1 촬상 이미지에 기초하여 상기 장애물 오브젝트의 위치 정보 및 크기 정보를 식별하는 단계; 및
상기 식별된 장애물 오브젝트의 위치 정보 및 크기 정보에 기초하여 상기 제2 카메라의 촬상 위치를 식별하는 단계;를 더 포함하고,
상기 제2 촬상 이미지는, 상기 식별된 촬상 위치에서 촬상된 이미지인, 전자 장치의 제어 방법.12. The method of claim 11,
The control method is
identifying location information and size information of the obstacle object based on the first captured image; and
Further comprising; identifying the imaging position of the second camera based on the location information and the size information of the identified obstacle object;
and the second captured image is an image captured at the identified capturing location.
상기 제어 방법은,
상기 제1 촬상 이미지의 관심 영역을 식별하는 단계;
상기 제1 촬상 이미지의 관심 영역 및 상기 제2 촬상 이미지의 관심 영역에 인접한 영역에 대응되는 위치를 식별하는 단계; 및
상기 식별된 위치로 임계 세기 이상의 광을 조사하는 단계;를 더 포함하는, 전자 장치의 제어 방법.12. The method of claim 11,
The control method is
identifying a region of interest in the first captured image;
identifying a position corresponding to a region of interest in the first captured image and a region adjacent to the region of interest in the second captured image; and
The method of controlling an electronic device further comprising; irradiating light of a threshold intensity or more to the identified location.
상기 제어 방법은
상기 식별된 위치로 상기 광이 조사되도록 발광 각도를 변경하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
20. The method of claim 19,
The control method is
Changing the light emission angle so that the light is irradiated to the identified position; further comprising, the control method of the electronic device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200152728A KR20220066559A (en) | 2020-11-16 | 2020-11-16 | Electronic apparatus and controlling method thereof |
CN202180069624.7A CN116368532A (en) | 2020-11-16 | 2021-10-14 | Electronic device and control method thereof |
EP21892165.8A EP4187495A4 (en) | 2020-11-16 | 2021-10-14 | Electronic apparatus and controlling method thereof |
PCT/KR2021/014242 WO2022102995A1 (en) | 2020-11-16 | 2021-10-14 | Electronic apparatus and controlling method thereof |
US18/118,445 US20230222818A1 (en) | 2020-11-16 | 2023-03-07 | Electronic apparatus and controlling method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200152728A KR20220066559A (en) | 2020-11-16 | 2020-11-16 | Electronic apparatus and controlling method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220066559A true KR20220066559A (en) | 2022-05-24 |
Family
ID=81601431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200152728A KR20220066559A (en) | 2020-11-16 | 2020-11-16 | Electronic apparatus and controlling method thereof |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230222818A1 (en) |
EP (1) | EP4187495A4 (en) |
KR (1) | KR20220066559A (en) |
CN (1) | CN116368532A (en) |
WO (1) | WO2022102995A1 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4469471B2 (en) * | 2000-07-13 | 2010-05-26 | 亮介 柴崎 | Wide viewing angle multidirectional image acquisition device for moving body and wide viewing angle multidirectional image acquisition system for moving body |
KR101188564B1 (en) * | 2010-12-02 | 2012-10-05 | 김주환 | Closed circuit camera system using narrow angle lens and wide angle lens and practicing method thereof |
JP2012235198A (en) * | 2011-04-28 | 2012-11-29 | Sanyo Electric Co Ltd | Imaging apparatus |
CN109937568B (en) * | 2016-11-17 | 2021-03-09 | 索尼公司 | Image processing apparatus, image processing method, and program |
KR20180059099A (en) * | 2016-11-25 | 2018-06-04 | 에스엘 주식회사 | Environment monitoring apparatus and method for commercial vehicle |
KR101991370B1 (en) * | 2017-09-15 | 2019-06-20 | 한국광기술원 | Infrared camera and obstacle detection system for ship |
KR102031635B1 (en) * | 2017-12-07 | 2019-10-14 | (주)캠시스 | Collision warning device and method using heterogeneous cameras having overlapped capture area |
-
2020
- 2020-11-16 KR KR1020200152728A patent/KR20220066559A/en active Search and Examination
-
2021
- 2021-10-14 WO PCT/KR2021/014242 patent/WO2022102995A1/en unknown
- 2021-10-14 EP EP21892165.8A patent/EP4187495A4/en active Pending
- 2021-10-14 CN CN202180069624.7A patent/CN116368532A/en active Pending
-
2023
- 2023-03-07 US US18/118,445 patent/US20230222818A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022102995A1 (en) | 2022-05-19 |
US20230222818A1 (en) | 2023-07-13 |
EP4187495A4 (en) | 2024-01-10 |
CN116368532A (en) | 2023-06-30 |
EP4187495A1 (en) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10531069B2 (en) | Three-dimensional image sensors | |
US11782516B2 (en) | Differentiating a detected object from a background using a gaussian brightness falloff pattern | |
KR102265326B1 (en) | Apparatus and method for shooting an image in eletronic device havinag a camera | |
EP3133647B1 (en) | Image sensor and signal processing method thereof | |
JP6897679B2 (en) | Imaging device, imaging method, program | |
US20140028861A1 (en) | Object detection and tracking | |
JP2016186793A (en) | Enhanced contrast for object detection and characterization by optical imaging | |
US20150356738A1 (en) | Method and apparatus for generating images | |
CN107820567B (en) | Raman detection method, device and storage medium | |
KR20160050755A (en) | Electronic Device and Method for Recognizing Iris by the same | |
KR101850534B1 (en) | System and method for picture taking using IR camera and maker and application therefor | |
US9848121B2 (en) | Method and device to obtain an image aligned with a reference image | |
KR102655625B1 (en) | Method and photographing device for controlling the photographing device according to proximity of a user | |
US10893182B2 (en) | Systems and methods for spectral imaging with compensation functions | |
JP5605565B2 (en) | Object identification device and object identification method | |
US20210318234A1 (en) | Terahertz wave detection device, terahertz wave detection method, and terahertz wave detection system | |
KR20220066559A (en) | Electronic apparatus and controlling method thereof | |
TWI485505B (en) | Digital camera and image capturing method thereof | |
US20160073087A1 (en) | Augmenting a digital image with distance data derived based on acoustic range information | |
JP7416231B2 (en) | Installation support device, installation support method, and program | |
WO2018120353A1 (en) | Vr capturing method, system and mobile terminal | |
JP2019121987A (en) | Information processing device, information processing method, and program | |
CN220913361U (en) | Equipment for searching hidden object | |
US20160316126A1 (en) | Computer-readable recording medium, imaging method, and imaging system | |
CN114519814A (en) | Image identification method and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination |