KR20240041196A - Projecting device and method for recognizing object with image projection - Google Patents
Projecting device and method for recognizing object with image projection Download PDFInfo
- Publication number
- KR20240041196A KR20240041196A KR1020220173049A KR20220173049A KR20240041196A KR 20240041196 A KR20240041196 A KR 20240041196A KR 1020220173049 A KR1020220173049 A KR 1020220173049A KR 20220173049 A KR20220173049 A KR 20220173049A KR 20240041196 A KR20240041196 A KR 20240041196A
- Authority
- KR
- South Korea
- Prior art keywords
- section
- image
- illuminance
- projecting device
- light
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000903 blocking effect Effects 0.000 claims abstract description 187
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000005286 illumination Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Studio Devices (AREA)
Abstract
본 개시는 영상 투사와 함께 객체를 인식하기 위한 방법 및 이를 위한 프로젝팅 장치를 제공한다. 본 개시의 일 실시 예에 따른 프로젝팅 장치는 이미지 광을 출력하는 광원부, 출력되는 이미지 광을 외부로 투사시키는 프로젝션 렌즈, 투사되는 이미지 광의 외부 투사면에 대해 위치하는 객체를 촬영하는 카메라, 소정 구간 동안 출력되는 이미지 광을 차단하는 광차단부, 및 광원부, 프로젝션 렌즈, 카메라, 광차단부의 동작을 제어하는 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 외부 투사면의 조도를 나타내는 조도 정보를 획득하고, 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정하고, 차단 구간 내에 포함되도록 촬영 구간을 설정하고, 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어하고, 촬영 구간 동안 객체를 촬영하도록 카메라를 제어한다.The present disclosure provides a method for recognizing an object with image projection and a projecting device for the same. A projecting device according to an embodiment of the present disclosure includes a light source unit that outputs image light, a projection lens that projects the output image light to the outside, a camera that photographs an object positioned with respect to the external projection surface of the projected image light, and a predetermined section. It includes a light blocking unit that blocks image light output during the image, and at least one processor that controls the operation of the light source unit, a projection lens, a camera, and the light blocking unit, wherein the at least one processor provides illuminance information indicating the illuminance of the external projection surface. Obtaining and, based on the illuminance information, set a blocking section to block the output image light, set the shooting section to be included in the blocking section, and control the light blocking unit to block the image light output during the blocking section, Control the camera to capture objects during the shooting section.
Description
본 개시의 다양한 실시 예들은 영상 투사와 함께 객체를 인식하기 위한 방법 및 이를 위한 프로젝팅 장치에 관한 것이다. 보다 구체적으로는, 본 개시의 다양한 실시 예들은 프로젝팅 장치를 통해 영상을 투사함과 동시에 투사된 영상 위에 위치한 객체를 인식함으로써, 영상과 객체 간의 상호 작용을 통한 증강 현실(AR; Augmented Reality)을 경험할 수 있도록 하는 방법에 관한 것이다.Various embodiments of the present disclosure relate to a method for recognizing an object while projecting an image and a projecting device for the same. More specifically, various embodiments of the present disclosure project an image through a projecting device and simultaneously recognize an object located on the projected image, thereby providing augmented reality (AR) through interaction between the image and the object. It's about how to experience it.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 기술이다. 증강 현실 기술을 활용하여 영상을 투사하는 AR 프로젝터가 일상 생활에서 유용하게 사용될 수 있다.Augmented Reality is a technology that overlays and displays virtual images on the physical environment space or real world objects of the real world. AR projectors that project images using augmented reality technology can be useful in everyday life.
AR 프로젝터는 영상을 투사하는 것뿐만 아니라, 영상 투사면 상에 위치한 객체를 인식할 수 있다. AR 프로젝터는 투사된 영상과 인식된 객체 간의 상호 작용을 통한 증강 현실 경험을 제공할 수 있다.AR projectors can not only project images, but also recognize objects located on the image projection surface. AR projectors can provide an augmented reality experience through interaction between projected images and recognized objects.
AR 프로젝터는 영상 투사면 상에 위치한 객체를 인식해야 하므로, 영상과 객체를 명확하게 구별할 필요가 있다. 또한, AR 프로젝터는 특정 조도 환경에 위치한 객체를 쉽게 인식할 수 있다. 즉, AR 프로젝터는 조도 변화에 따라 너무 어둡거나 너무 밝은 환경에 위치한 객체를 쉽게 인식하지 못할 수 있다. 따라서, 영상을 투사하면서도, 조도 환경 변화와 무관하게 영상 투사면 상에 위치한 객체를 명확히 인식할 것이 요구된다.Since the AR projector must recognize objects located on the image projection surface, it is necessary to clearly distinguish between the image and the object. Additionally, AR projectors can easily recognize objects located in a specific illumination environment. In other words, the AR projector may not be able to easily recognize objects located in an environment that is too dark or too bright depending on changes in illumination. Therefore, while projecting an image, it is required to clearly recognize objects located on the image projection surface regardless of changes in the illumination environment.
상술한 기술적 과제를 해결하기 위하여 본 개시는 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치를 제공한다. 본 개시의 일 실시 예에 따른 프로젝팅 장치는 광원부, 프로젝션 렌즈, 카메라, 광차단부 및 적어도 하나의 프로세서를 포함할 수 있다. 광원부는 이미지 광을 출력할 수 있다. 프로젝션 렌즈는 출력되는 이미지 광을 외부로 투사시킬 수 있다. 카메라는 투사되는 이미지 광의 외부 투사면에 대해 위치하는 객체를 촬영할 수 있다. 광차단부는 소정 구간 동안 출력되는 이미지 광을 차단할 수 있다. In order to solve the above-described technical problem, the present disclosure provides a projecting device for recognizing objects along with image projection. A projecting device according to an embodiment of the present disclosure may include a light source unit, a projection lens, a camera, a light blocking unit, and at least one processor. The light source unit may output image light. The projection lens can project the output image light to the outside. The camera can photograph an object positioned relative to the external projection surface of the projected image light. The light blocking unit may block image light output for a predetermined period.
적어도 하나의 프로세서는, 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 적어도 하나의 프로세서는, 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 적어도 하나의 프로세서는, 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 적어도 하나의 프로세서는, 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다.At least one processor may obtain illuminance information indicating the illuminance of the external projection surface. At least one processor may obtain illuminance information indicating the illuminance of the external projection surface. At least one processor may set a blocking section to block output image light based on the illuminance information. At least one processor may set the shooting section to be included within the blocking section. At least one processor may control the light blocking unit to block image light output during the blocking period. At least one processor may control the camera to photograph an object during a photographing period.
본 개시의 일 실시 예에 따라 영상 투사와 함께 객체를 인식하기 위한 방법은 프로젝션 렌즈에 의해 투사된 이미지 광의 외부 투사면의 조도를 나타내는 조도 정보를 획득하는 단계를 포함할 수 있다. 상기 방법은, 조도 정보에 기초하여, 광원부에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 내에 포함되도록 촬영 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 동안 출력되는 이미지 광을 차단하는 단계를 포함할 수 있다. 상기 방법은, 카메라를 이용하여, 촬영 구간 동안 외부 투사면에 위치하는 객체를 촬영하는 단계를 포함할 수 있다.According to an embodiment of the present disclosure, a method for recognizing an object with image projection may include obtaining illuminance information indicating the illuminance of an external projection surface of image light projected by a projection lens. The method may include setting a blocking section for blocking image light output by the light source unit, based on illuminance information. The method may include setting the shooting section to be included within the blocking section. The method may include blocking image light output during the blocking period. The method may include photographing an object located on an external projection surface during a photographing period using a camera.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시 예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In order to solve the above-described technical problem, another embodiment of the present disclosure provides a computer-readable recording medium on which a program for execution on a computer is recorded.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 영상을 투사함과 함께 객체를 인식하는 동작을 도시한 개념도이다.
도 2는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작 방법을 도시한 흐름도이다.
도 3은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도가 낮은 경우 촬영된 영상을 정합함으로써 객체를 인식하는 동작을 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영 주기를 활용하여 객체를 포함하는 영상을 반복적으로 촬영하는 동작 방법을 도시한 흐름도이다.
도 5는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하기 위한 동작 방법을 도시한 흐름도이다.
도 6은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다.
도 7은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 촬영된 객체 영상을 활용하여 정합 이미지를 획득하는 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하는 동작 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 프로젝터를 세부적으로 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작이 광차단부의 동작에 따라 결정되는 특징을 설명하기 위한 개념도이다.
도 13은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다.
도 14는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성을 설명하기 위한 블록도이다.The present disclosure may be readily understood by combination of the following detailed description and accompanying drawings, where reference numerals refer to structural elements.
1 is a conceptual diagram illustrating an operation in which a projecting device projects an image and recognizes an object according to an embodiment of the present disclosure.
Figure 2 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure.
FIG. 3 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images when illumination is low.
FIG. 4 is a flowchart illustrating an operation method in which a projecting device repeatedly captures an image including an object using a capture cycle according to an embodiment of the present disclosure.
FIG. 5 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images.
FIG. 6 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance.
FIG. 7 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to obtain a registered image using an object image captured according to illuminance.
FIG. 8 is a flowchart illustrating a method of recognizing an object by matching images captured by a projecting device according to an embodiment of the present disclosure.
FIG. 9 is a diagram for explaining in detail a projector among the configuration of a projecting device according to an embodiment of the present disclosure.
Figure 10 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure.
Figure 11 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure.
FIG. 12 is a conceptual diagram illustrating features in which the operation of a projecting device according to an embodiment of the present disclosure is determined according to the operation of the light blocking unit.
FIG. 13 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance.
Figure 14 is a block diagram for explaining the configuration of a projecting device according to an embodiment of the present disclosure.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the embodiments of the present specification are general terms that are currently widely used as much as possible while considering the function of the present disclosure, but this may vary depending on the intention or precedent of a person working in the art, the emergence of new technology, etc. . In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant embodiment. Therefore, the terms used in this specification should not be defined simply as the names of the terms, but should be defined based on the meaning of the term and the overall content of the present disclosure.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. Singular expressions may include plural expressions, unless the context clearly indicates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as generally understood by a person of ordinary skill in the technical field described herein.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Throughout the present disclosure, when a part “includes” a certain element, this means that it may further include other elements rather than excluding other elements, unless specifically stated to the contrary. In addition, terms such as "...unit" and "...module" used in this specification refer to a unit that processes at least one function or operation, which is implemented as hardware or software or as a combination of hardware and software. It can be implemented.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. It can be used interchangeably with ", "designed to," "adapted to," "made to," or "capable of." The term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware. Instead, in some contexts, the expression “system configured to” may mean that the system is “capable of” in conjunction with other devices or components. For example, the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored in memory. It may refer to a general-purpose processor (e.g., CPU or application processor) that can perform the corresponding operations.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. In addition, in the present disclosure, when a component is referred to as “connected” or “connected” to another component, the component may be directly connected or directly connected to the other component, but in particular, the contrary It should be understood that unless a base material exists, it may be connected or connected through another component in the middle.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Below, with reference to the attached drawings, embodiments of the present disclosure will be described in detail so that those skilled in the art can easily practice them. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein.
이하에서는 도면을 참조하여 본 개시의 실시 예들을 상세하게 설명한다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.
도 1은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 영상을 투사함과 함께 객체를 인식하는 동작을 도시한 개념도이다.1 is a conceptual diagram illustrating an operation in which a projecting device projects an image and recognizes an object according to an embodiment of the present disclosure.
도 1을 참조하면, 일 실시 예에 따른 프로젝팅 장치(100)는 영상을 투사할 수 있다. Referring to FIG. 1, a
프로젝팅 장치(100)는 영상을 투사하는 프로젝터를 포함할 수 있다. 본 개시에서, 프로젝터는 광원부 및 프로젝션 렌즈를 포함하는 의미로 사용될 수 있다. 참고적으로, 프로젝팅 장치(100)의 세부적인 구성에 관하여 도 9를 이용하여 설명하고, 도 1을 이용하여 프로젝팅 장치(100)의 동작을 위주로 설명한다.The projecting
프로젝팅 장치(100)는 광원부를 이용하여 이미지 광을 출력할 수 있다. 광원부에 의해 출력된 이미지 광은 백색광일 수 있다. 프로젝팅 장치(100)는 프로젝션 렌즈를 이용하여, 광원부에 의해 출력되는 이미지 광을 외부로 투사시킬 수 있다. 프로젝팅 장치(100)에 의해 외부로 투사된 이미지 광은, 프로젝팅 장치(100)에 의해 투사된 영상(120)을 의미할 수 있다. 즉, 프로젝팅 장치(100)는 광원부 및 프로젝션 렌즈를 이용하여 영상(120)을 투사할 수 있다. The projecting
단, 프로젝팅 장치(100)는 더 많은 구성을 이용하여 영상(120)을 투사할 수 있으며, 프로젝팅 장치(100)의 구성은 광원부 및 프로젝션 렌즈에 한정되지 않는다.However, the projecting
일 실시 예에서, 프로젝팅 장치(100)는 투사되는 이미지 광의 외부 투사면(140)에 대해 위치하는 객체(160)를 촬영하는 카메라를 더 포함할 수 있다. 프로젝팅 장치(100)는 카메라를 이용하여, 객체(160)가 포함된 객체 이미지를 획득할 수 있다. 객체 이미지는 외부 투사면(140)에 대해 위치한 객체(160)를 포함하는 이미지일 수 있다.In one embodiment, the projecting
프로젝팅 장치(100)는 RGB 카메라를 이용하여 객체 이미지를 획득할 수 있지만, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 프로젝팅 장치(100)는 스테레오 카메라(Stereo Camera), IR(infrared) 카메라, RGB-D(RGB-depth) 카메라 및 TOF(Time of Flight) 카메라 중 하나를 이용하여 객체 이미지를 획득할 수도 있다.The projecting
본 개시에서, 외부 투사면(140)은 프로젝팅 장치(100)의 프로젝션 렌즈에 의해 이미지 광이 투사된 면을 의미할 수 있다. In the present disclosure, the
본 개시에서, 외부 투사면(140)에 대해 위치하는 객체(160)는 외부 투사면(140)에 접촉하여 위치하는 객체(160), 외부 투사면(140) 상에 위치하는 객체(160), 외부 투사면(140)과 카메라 사이에 위치함으로써 영상이 투사된 영역 내에 위치된 객체(160)를 의미할 수 있다. In the present disclosure, the
일 실시 예에서, 프로젝팅 장치(100)는 영상(120)을 투사하는 동작과 객체(160)를 촬영하는 동작을 수행할 수 있다. 영상(120)을 투사하는 동작과 객체(160)를 촬영하는 동작은 동시에 수행되지 않을 수 있고, 분리될 수 있다.In one embodiment, the projecting
일 실시 예에서, 프로젝팅 장치(100)는 촬영 구간 및 투사 구간을 설정할 수 있다. 프로젝팅 장치(100)는 촬영 구간 동안 객체(160)를 촬영하도록 카메라를 제어할 수 있다. 프로젝팅 장치(100)는 투사 구간 동안 영상을 투사하도록 광원부 및 프로젝션 렌즈를 제어할 수 있다. 촬영 구간과 투사 구간은 겹치지 않을 수 있다.In one embodiment, the projecting
일 실시 예에서, 프로젝팅 장치(100)는 객체(160)를 포함하는 객체 이미지에 기초하여 객체를 검출할 수 있다. 프로젝팅 장치(100)는 객체 검출(object detection) 알고리즘을 이용하여 객체 이미지 내에 포함된 객체(160)를 검출할 수 있다.In one embodiment, the projecting
예를 들어, 도시된 바와 같이, 외부 투사면(140)에 대해 위치한 객체(160)는 손일 수 있다. 프로젝팅 장치(100)에 스테레오 카메라가 포함되어 있다면, 프로젝팅 장치(100)는 손 골격 감지 및 추적(hand skeleton detection and tracking)’기술을 통해 손을 검출하고, 나아가 깊이 정보를 통해 손의 3차원 포즈를 인식할 수도 있다.For example, as shown, object 160 positioned relative to
손 골격 감지 및 추적 기술은, 사람의 손 이미지 상에서 움직이는 관절 부위를 탐지하여, 미리 정해진 골격(skeleton) 구조를 분할해서 투영해 주는 기술이다. 사람의 손의 골격 구조는 각 손가락의 끝점(5개), 각 손가락의 관절점(5*3=15개), 손바닥 점(1개) 및 손목 점(1개)을 포함할 수 있으나, 이에 한정되는 것은 아니다. Hand skeleton detection and tracking technology is a technology that detects moving joints in an image of a person's hand, divides and projects a predetermined skeleton structure. The skeletal structure of the human hand may include the tip point of each finger (5 points), the joint point of each finger (5 * 3 = 15 points), the palm point (1 point), and the wrist point (1 point). It is not limited.
즉, 일 실시 예에서, 프로젝팅 장치(100)는 손 골격 감지 및 추적 기술을 통해 손을 인식하고, 손가락의 관절점, 손바닥 점 및 손목 점을 통해 손의 골격을 추적함으로써 외부 투사면(140)에서의 터치(touch), 스위핑(sweeping), 핀치(pinch) 등과 같은 손의 동작(motion)을 구체적으로 인식할 수 있다.That is, in one embodiment, the projecting
도 2는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작 방법을 도시한 흐름도이다. 설명의 편의상, 도 1을 이용하여 설명한 것과 중복되는 것은 간략히 한다.Figure 2 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure. For convenience of explanation, things that overlap with what was explained using FIG. 1 will be simplified.
도 2를 참조하면, 단계 S210에서, 프로젝팅 장치는 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다.Referring to FIG. 2, in step S210, the projecting device may obtain illuminance information indicating the illuminance of the external projection surface.
일 실시 예에서, 프로젝팅 장치는 예를 들어, 외부 투사면의 조도를 측정하기 위한 조도 센서를 더 포함할 수 있다. 프로젝팅 장치는 조도 센서를 이용하여, 외부 투사면의 조도를 측정할 수 있다.In one embodiment, the projecting device may further include, for example, an illumination sensor for measuring the illumination of an external projection surface. The projecting device can measure the illuminance of the external projection surface using an illuminance sensor.
단, 프로젝팅 장치가 조도 정보를 획득하기 위해 조도 센서를 포함하는 특징은 예시일 뿐, 조도 정보를 획득하는 방법은 본 개시의 기술적 사상을 한정하지 않는다. 예를 들어, 프로젝팅 장치는 카메라를 이용하여 외부 투사면에 대한 객체 이미지를 획득할 수 있고, 외부 투사면에 대한 객체 이미지에 기초하여 외부 투사면의 조도를 계산함으로써 조도 정보를 획득할 수 있다. However, the feature that the projecting device includes an illuminance sensor to obtain illuminance information is only an example, and the method of acquiring illuminance information does not limit the technical idea of the present disclosure. For example, the projecting device may acquire an object image for the external projection surface using a camera, and may obtain illuminance information by calculating the illuminance of the external projection surface based on the object image for the external projection surface. .
단계 S220에서, 프로젝팅 장치는 조도 정보에 기초하여 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다.In step S220, the projecting device may set a blocking section to block the output image light based on the illuminance information.
일 실시 예에서, 프로젝팅 장치는 광원부 및 프로젝션 렌즈를 이용하여 영상을 투사할 수 있다. 프로젝팅 장치는 광차단부를 더 포함할 수 있고, 프로젝팅 장치는 광차단부를 제어함으로써 광원부로부터 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다.In one embodiment, a projecting device may project an image using a light source and a projection lens. The projecting device may further include a light blocking unit, and the projecting device may control the light blocking unit to set a blocking section that blocks image light output from the light source unit.
본 개시에서, 광원부로부터 출력되는 이미지 광을 차단하는 것은 프로젝팅 장치로부터 영상이 투사되지 않는 것을 의미할 수 있다. 즉, 차단 구간은 프로젝팅 장치에 의해 영상이 투사되지 않는 구간을 의미할 수 있다. 참고적으로, 프로젝팅 장치에 의해 영상이 투사되는 구간은 투사 구간일 수 있다. 투사 구간은 차단 구간을 제외한 구간일 수 있고, 차단 구간과 겹치지 않을 수 있다.In the present disclosure, blocking the image light output from the light source unit may mean that the image is not projected from the projecting device. In other words, the blocking section may mean a section in which an image is not projected by the projecting device. For reference, the section in which an image is projected by a projecting device may be a projection section. The projection section may be a section excluding the blocking section and may not overlap with the blocking section.
일 실시 예에서, 프로젝팅 장치는 조도 정보에 기초하여 차단 구간을 설정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 높을수록 차단 구간의 간격이 길어짐에 따라 촬영 주기가 길어지거나, 차단 구간이 짧아짐에 따라 카메라의 노출 시간(exposure time)이 길어질 수 있다. 프로젝팅 장치는 조도 정보에 기초하여 차단 구간을 설정함으로써, 조도 환경 변화에 대응하여 카메라 및 프로젝터의 동작을 제어할 수 있다.In one embodiment, the projecting device may set a blocking section based on illuminance information. For example, as the illuminance according to the illuminance information increases, the shooting cycle may become longer as the interval between the blocking sections becomes longer, or the exposure time of the camera may become longer as the blocking sections become shorter. The projecting device can control the operation of the camera and projector in response to changes in the illuminance environment by setting a blocking section based on illuminance information.
일 실시 예에서, 프로젝팅 장치는 조도 정보에 따른 조도가 높을수록 투사 구간 대비 차단 구간의 비율이 작아지도록, 차단 구간을 설정할 수 있다. 즉, 프로젝팅 장치는 번갈아 반복되는 투사 구간 및 촬영 구간에 따라 영상을 투사하고 객체를 촬영할 수 있으나, 조도가 높은 경우 객체를 빈번하게 촬영하도록 카메라를 제어할 수 있다.In one embodiment, the projecting device may set the blocking section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the blocking section to the projection section. That is, the projecting device can project images and photograph objects according to alternately repeated projection and photographing sections, but when illuminance is high, the camera can be controlled to photograph objects frequently.
단계 S230에서, 프로젝팅 장치는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 촬영 구간은 차단 구간보다 짧을 수 있다. In step S230, the projecting device may set the shooting section to be included within the blocking section. The shooting section may be shorter than the blocking section.
일 실시 예에서, 촬영 구간의 시작점은 차단 구간의 시작점과 일치할 수 있다. 즉, 프로젝팅 장치는 프로젝터에 의한 영상 투사가 차단되기 시작하는 순간부터, 외부 투사면에 위치한 객체를 촬영하도록 카메라를 제어할 수 있다.In one embodiment, the starting point of the shooting section may coincide with the starting point of the blocking section. That is, the projecting device can control the camera to photograph an object located on the external projection surface from the moment the image projection by the projector begins to be blocked.
단계 S240에서, 프로젝팅 장치는 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 단계 S250에서, 프로젝팅 장치는 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다.In step S240, the projecting device may control the light blocking unit to block image light output during the blocking period. In step S250, the projecting device may control the camera to photograph the object during the photographing period.
일 실시 예에서, 프로젝팅 장치는 광원부를 이용하여 이미지 광을 출력할 수 있다. 프로젝팅 장치는 설정된 차단 구간 동안, 출력된 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 즉, 프로젝팅 장치는 차단 구간 동안 외부 투사면 상에 영상을 투사하지 않을 수 있다.In one embodiment, the projecting device may output image light using a light source. The projecting device may control the light blocking unit to block output image light during a set blocking period. That is, the projecting device may not project an image on the external projection surface during the blocking period.
일 실시 예에서, 프로젝팅 장치는 차단 구간 내에 포함된 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다. 즉, 프로젝팅 장치는 영상이 투사되지 않는 동안, 외부 투사면에 대해 위치하는 객체를 촬영할 수 있다. In one embodiment, the projecting device may control the camera to photograph an object during a photographing section included in the blocking section. That is, the projecting device can photograph an object positioned relative to an external projection surface while an image is not being projected.
프로젝팅 장치는 영상을 투사하는 동작과 객체를 촬영하는 동작을 분리함으로써, 객체를 포함하는 객체 이미지를 선명하게 획득할 수 있다. 프로젝팅 장치는 선명하게 획득된 객체 이미지에 기초하여, 객체를 인식할 수 있다. 일 실시 예에서, 영상을 투사하는 동작과 객체를 촬영하는 동작은 육안으로 분간되지 않을 정도로 빠른 속도로 반복될 수 있고, 프로젝팅 장치는 사용자가 보기에 투사된 영상 위의 객체를 인식하는 듯한 증강 현실을 사용자에게 제공할 수 있다. A projecting device can clearly obtain an object image including the object by separating the operation of projecting an image and the operation of photographing the object. A projecting device can recognize an object based on a clearly acquired object image. In one embodiment, the operation of projecting an image and the operation of photographing an object may be repeated at a rate so fast that they are not distinguishable with the naked eye, and the projecting device creates an augmented image that appears to the user to recognize an object on the projected image. Reality can be provided to users.
도 3은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도가 낮은 경우 촬영된 영상을 정합함으로써 객체를 인식하는 동작을 도시한 도면이다.FIG. 3 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images when illumination is low.
참고적으로, 도 3은 프로젝터 신호와 카메라 신호를 비교하여, 프로젝팅 장치가 영상을 투사하는 동작과 객체를 촬영하는 동작의 분리를 설명하기 위한 도면이다. 프로젝터 신호와 카메라 신호는 각각 동기화에 사용하는 주기적 신호인 클록 신호(clock signal)를 의미할 수 있다.For reference, FIG. 3 is a diagram for explaining the separation of the operation of projecting an image and the operation of photographing an object by comparing a projector signal and a camera signal. The projector signal and camera signal may each refer to a clock signal, which is a periodic signal used for synchronization.
도 3을 참조하면, 일 실시 예에서, 프로젝팅 장치는 프로젝터 신호 및 카메라 신호를 획득할 수 있다.Referring to FIG. 3, in one embodiment, a projecting device may acquire a projector signal and a camera signal.
프로젝터 신호는 일정한 주기에 따라 1과 0이 반복되는 클록 신호일 수 있다. 프로젝터 신호는 프로젝팅 장치가 영상을 투사하는 시점에 관한 신호일 수 있다. 프로젝팅 장치는 프로젝터 신호에 기초하여, 주기적으로 영상을 투사할 수 있다. 예를 들어, 프로젝팅 장치는 광원부로부터 출력된 이미지 광을 가공함으로써 생성된 영상을, 프로젝터 신호에 기초하여 주기적으로 투사할 수 있다. The projector signal may be a clock signal that repeats 1 and 0 at a certain period. The projector signal may be a signal regarding the point in time at which the projecting device projects an image. A projecting device may periodically project an image based on a projector signal. For example, a projecting device may periodically project an image generated by processing image light output from a light source unit based on a projector signal.
일 실시 예에서, 프로젝팅 장치는 1의 프로젝터 신호를 수신할 때마다, 영상을 투사할 수 있다. 프로젝팅 장치는 프로젝터 신호의 주기에 기초하여, 영상을 반복적으로 투사할 수 있다. 예를 들어, 프로젝팅 장치는 120Hz의 주파수를 갖는 프로젝터 신호에 기초하여 영상을 반복적으로 투사할 수 있다. 다른 예로, 프로젝팅 장치는 8.3ms(millisecond)의 주기를 갖는 프로젝터 신호에 기초하여 영상을 반복적으로 투사할 수 있다.In one embodiment, the projecting device may project an image whenever it receives a projector signal of 1. A projecting device can repeatedly project an image based on the period of the projector signal. For example, a projecting device may repeatedly project an image based on a projector signal with a frequency of 120Hz. As another example, a projecting device may repeatedly project an image based on a projector signal with a period of 8.3 milliseconds (ms).
카메라 신호는 일정한 주기에 따라 1과 0이 반복되는 클록 신호거나, 1과 0으로 구성된 TTL 신호일 수 있다. 카메라 신호는 프로젝팅 장치가 객체를 촬영하는 시점에 관한 신호일 수 있다. 프로젝팅 장치는 카메라 신호에 기초하여, 주기적으로 객체를 촬영할 수 있다. 예를 들어, 프로젝팅 장치는 카메라 신호에 기초하여, 객체를 촬영하기 위해 카메라의 셔터를 여는 동작을 제어할 수 있다. The camera signal may be a clock signal that repeats 1 and 0 at a certain period, or a TTL signal composed of 1 and 0. The camera signal may be a signal regarding the point in time at which the projecting device photographs an object. A projecting device may periodically photograph an object based on a camera signal. For example, the projecting device may control the operation of opening the shutter of the camera to photograph an object based on the camera signal.
일 실시 예에서, 프로젝팅 장치는 1의 카메라 신호를 획득한 시점(T1)으로부터 소정의 시간 후에 객체를 촬영할 수 있다. 1의 카메라 신호는 카메라의 촬영 동작을 지시하기 위한 신호를 의미할 수 있다. 1의 카메라 신호를 획득한 시점(T1)으로부터 필요한 소정의 시간은, 프로젝팅 장치가 광차단부를 이용하여 영상 투사를 차단하기 위해, 광차단부가 작동되는데 필요한 시간을 의미할 수 있다. 즉, 상기 소정의 시간이란, 광차단부가 기계적 구성임에 따라, 프로젝팅 장치가 1의 카메라 신호를 수신한 후 광차단부를 작동하는데 필요한 시간을 의미할 수 있다. 예를 들어, 광차단부를 작동하는데 필요한 소정의 시간은, 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간일 수 있다.In one embodiment, the projecting device may photograph an object a predetermined time after the camera signal of 1 is acquired (T1). The camera signal of 1 may refer to a signal for instructing the shooting operation of the camera. The predetermined time required from the point in time (T1) at which the camera signal of 1 is acquired may mean the time required for the light blocking unit to operate in order for the projecting device to block image projection using the light blocking unit. That is, the predetermined time may mean the time required for the projecting device to operate the light blocking unit after receiving a camera signal of 1, as the light blocking unit is of a mechanical structure. For example, the predetermined time required to operate the light blocking unit may be the time from the first time point (T1) to the second time point (T2).
단, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. 예를 들어, 프로젝팅 장치는 1의 카메라 신호를 획득함과 동시에, 영상 투사를 차단하도록 광차단부를 제어할 수도 있다. However, this is only an example, and the technical idea of the present disclosure is not limited thereto. For example, the projecting device may acquire a camera signal of 1 and simultaneously control the light blocking unit to block image projection.
일 실시 예에서, 프로젝팅 장치는 광원부에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로젝팅 장치는 소정의 주기에 따라 반복되는 차단 구간을 설정할 수 있다. 도시된 바와 같이, 차단 구간은 제2 시점(T2)으로부터 제4 시점(T4)까지의 시간을 포함할 수 있다. 또한, 차단 구간은 제6 시점(T6)으로부터 제8 시점(T8)까지의 시간을 포함할 수 있다. 각 차단 구간은 동일한 시간의 구간일 수 있다. 즉, 차단 구간은 소정의 주기에 따라, 동일한 시간으로 반복되는 구간을 포함할 수 있다.In one embodiment, the projecting device may set a blocking section to block image light output by the light source unit. The projecting device can set a blocking section that repeats according to a predetermined cycle. As shown, the blocking section may include the time from the second time point (T2) to the fourth time point (T4). Additionally, the blocking section may include the time from the sixth time point (T6) to the eighth time point (T8). Each blocking section may be a section of the same time. That is, the blocking section may include a section that is repeated at the same time according to a predetermined period.
일 실시 예에서, 프로젝팅 장치는 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 출력되는 이미지 광이 프로젝션 렌즈에 의해 외부로 투사됨으로써, 프로젝팅 장치는 외부 투사면에 대해 영상을 투사할 수 있다. 프로젝팅 장치는 차단 구간 동안 광차단부가 이미지 광을 차단하도록 제어함으로써, 영상을 투사하지 않을 수 있다.In one embodiment, the projecting device may control the light blocking unit to block image light output during the blocking period. The output image light is projected to the outside by the projection lens, so that the projecting device can project an image on an external projection surface. The projecting device may not project an image by controlling the light blocking unit to block image light during the blocking period.
참고적으로, 프로젝팅 장치는 투사 구간 동안 영상을 투사할 수 있다. 프로젝팅 장치는 투사 구간 동안 출력되는 이미지 광이 광차단부에 의해 차단되지 않도록 제어함으로써, 영상을 투사할 수 있다. 투사 구간은 차단 구간과 겹치지 않을 수 있다. 예를 들어, 투사 구간은 제4 시점(T4)으로부터 제5 시점(T5)까지의 시간을 포함할 수 있다. 도시되지는 않았지만, 투사 구간은 소정의 주기에 따라 동일한 시간으로 반복되는 구간을 포함할 수 있다.For reference, the projecting device may project an image during the projection period. The projecting device can project an image by controlling the image light output during the projection period so that it is not blocked by the light blocking unit. The projection section may not overlap with the blocking section. For example, the projection section may include the time from the fourth time point (T4) to the fifth time point (T5). Although not shown, the projection section may include a section that is repeated at the same time according to a predetermined period.
일 실시 예에서, 프로젝팅 장치는 카메라를 이용하여 객체를 촬영하는 촬영 구간을 설정할 수 있다. 도시된 바와 같이, 촬영 구간은 제2 시점(T2)으로부터 제3 시점(T3)까지의 시간을 포함할 수 있다. 또한, 촬영 구간은 제6 시점(T6)으로부터 제7 시점(T7)까지의 시간을 포함할 수 있다. 각 촬영 구간은 동일한 시간의 구간일 수 있다. 즉, 촬영 구간은 소정의 주기에 따라, 동일한 시간으로 반복되는 구간을 포함할 수 있다.In one embodiment, the projecting device may set a shooting section for photographing an object using a camera. As shown, the shooting section may include the time from the second time point (T2) to the third time point (T3). Additionally, the shooting section may include the time from the sixth time point (T6) to the seventh time point (T7). Each shooting section may be a section of the same time. That is, the shooting section may include sections that are repeated at the same time according to a predetermined cycle.
일 실시 예에서, 촬영 구간은 차단 구간 내에 포함될 수 있다. 촬영 구간은 카메라의 조리개가 열림으로써 들어온 빛을 센싱하는 노출(exposure)이 이루어지는 구간을 의미할 수 있다. In one embodiment, the shooting section may be included in the blocking section. The shooting section may refer to the section where exposure is made by sensing the light coming in when the camera's aperture is opened.
프로젝팅 장치는 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다. 즉, 프로젝팅 장치는 촬영 구간이 시작되면, 카메라의 조리개를 열도록 제어할 수 있다. 프로젝팅 장치는 촬영 구간 동안 노출(exposure)을 통해 빛을 감지하고, 감지된 빛에 기초하여 객체 이미지를 생성할 수 있다. The projecting device can control the camera to photograph the object during the shooting section. That is, the projecting device can be controlled to open the camera's aperture when the shooting section begins. A projecting device may detect light through exposure during a shooting section and generate an object image based on the detected light.
일 실시 예에서, 프로젝팅 장치는 각 촬영 구간 동안 획득된 객체 이미지를 통해 정합 이미지를 획득할 수 있다. 프로젝팅 장치는 조도가 낮은 경우 정합 이미지를 획득함으로써, 적절한 조도의 이미지를 획득할 수 있다. 즉, 프로젝팅 장치는 각 촬영 구간 동안 낮은 조도의 객체 이미지들을 획득하고, 획득된 낮은 조도의 객체 이미지들을 정합함으로써 높은 조도의 정합 이미지를 획득할 수 있다.In one embodiment, the projecting device may acquire a registered image through object images acquired during each shooting section. The projecting device can acquire an image with appropriate illuminance by acquiring a registered image when illuminance is low. That is, the projecting device can obtain low-illuminance object images during each shooting section and obtain a high-illuminance registered image by matching the obtained low-illuminance object images.
예를 들어, 프로젝팅 장치는 제1 촬영 구간 동안 제1 객체 이미지(310)를 획득할 수 있다. 여기서, 제1 촬영 구간은 제2 시점(T2)으로부터 제3 시점(T3)까지의 촬영 구간을 의미한다. For example, the projecting device may acquire the
프로젝팅 장치는 제2 촬영 구간 동안 제2 객체 이미지(320)를 획득할 수 있다. 여기서, 제2 촬영 구간은 제6 시점(T6)으로부터 제7 시점(T7)까지의 촬영 구간을 의미한다.The projecting device may acquire the
프로젝팅 장치는 제1 객체 이미지(310) 및 제2 객체 이미지(320)를 정합함으로써 정합 이미지(330)를 획득할 수 있다. 본 개시에서, 정합이란 낮은 조도의 이미지들을 합성함으로써 높은 조도의 이미지를 획득하는, 이미지 변환 과정을 의미할 수 있다. 이미지 변환 방법은 본 개시의 기술적 사상을 한정하지 않는다.The projecting device may obtain the registered
일 실시 예에서, 정합 이미지(330)의 조도는 제1 객체 이미지(310)의 조도 및 제2 객체 이미지(320)의 조도보다 높을 수 있다.
In one embodiment, the illuminance of the registered
프로젝팅 장치는 제1 객체 이미지(310)와 제2 객체 이미지(320)를 정합함으로써 정합 이미지(330)를 획득하는 것으로 도시하였으나, 정합 이미지(330) 획득에 필요한 이미지 개수는 본 개시의 기술적 사상을 한정하지 않는다. 예를 들어, 프로젝팅 장치는 제1 객체 이미지, 제2 객체 이미지 및 제3 객체 이미지를 정합함으로써 정합 이미지를 획득할 수도 있다.The projecting device is shown as acquiring the registered
일 실시 예에서, 프로젝팅 장치는 객체(335)를 포함하는 정합 이미지(330)에 기초하여 객체(335)를 검출할 수 있다. 예를 들어, 도시된 바와 같이, 객체(335)는 사용자의 손일 수 있다. 단, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. In one embodiment, the projecting device may detect the
프로젝팅 장치는 정합 이미지(330)에 포함된 객체(335)를 인식하기 위하여, 딥 러닝(deep learning) 기반의 객체 탐지(object detection) 기술을 이용할 수 있다. 단, 프로젝팅 장치가 객체(335)를 인식하는 방법은 본 개시의 기술적 사상을 한정하지 않는다.The projecting device may use deep learning-based object detection technology to recognize the
도 4는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영 주기를 활용하여 객체를 포함하는 영상을 반복적으로 촬영하는 동작 방법을 도시한 흐름도이다.FIG. 4 is a flowchart illustrating an operation method in which a projecting device repeatedly captures an image including an object using a capture cycle according to an embodiment of the present disclosure.
도 4를 참조하면, 일 실시 예에서, 도 2의 단계 S250은 단계 S410 및 단계 S420을 포함할 수 있다. Referring to FIG. 4 , in one embodiment, step S250 of FIG. 2 may include steps S410 and S420.
단계 S410에서, 프로젝팅 장치는 제1 촬영 구간이 시작된 후 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정할 수 있다. 즉, 프로젝팅 장치는 촬영 구간이 일정한 간격으로 반복되도록, 촬영 주기를 결정할 수 있다.In step S410, the projecting device may determine a shooting cycle from when the first shooting section starts until the second shooting section starts again. That is, the projecting device can determine the shooting cycle so that the shooting section is repeated at regular intervals.
참고적으로, 도 3을 함께 참조하면, 제1 촬영 구간은 제2 시점(T2)으로부터 제3 시점(T3)까지의 구간을 의미할 수 있다. 제2 촬영 구간은 제6 시점(T6)으로부터 제7 시점(T7)까지의 구간을 의미할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제6 시점(T6)까지의 사이클(cycle)을 갖는 촬영 주기를 결정할 수 있다. For reference, referring to FIG. 3 as well, the first photographing section may refer to the section from the second time point T2 to the third time point T3. The second shooting section may refer to the section from the sixth viewpoint (T6) to the seventh viewpoint (T7). The projecting device may determine a shooting cycle having a cycle from the second viewpoint T2 to the sixth viewpoint T6.
단계 S420에서, 프로젝팅 장치는 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하도록 카메라를 제어할 수 있다.In step S420, the projecting device may control the camera to repeatedly photograph the object during the photographing section based on the photographing cycle.
일 실시 예에서, 프로젝팅 장치는 결정된 촬영 주기에 기초하여, 일정한 간격으로 반복되는 촬영 구간 동안 객체를 포함하는 객체 이미지를 획득할 수 있다. 예를 들어, 일정한 간격으로 반복되는 촬영 구간은 제1 촬영 구간, 제2 촬영 구간을 포함할 수 있다. 프로젝팅 장치는 제1 촬영 구간 동안 객체를 포함하는 제1 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 제2 촬영 구간 동안 객체를 포함하는 제2 객체 이미지를 획득할 수 있다.In one embodiment, the projecting device may acquire an object image including an object during a shooting section that is repeated at regular intervals, based on a determined shooting cycle. For example, a shooting section that is repeated at regular intervals may include a first shooting section and a second shooting section. The projecting device may acquire a first object image including an object during the first capturing period. The projecting device may acquire a second object image including the object during the second capturing period.
일 실시 예에서, 프로젝팅 장치는 촬영 구간 동안 획득된 복수의 객체 이미지에 기초하여, 객체를 검출할 수 있다.In one embodiment, the projecting device may detect an object based on a plurality of object images acquired during the shooting section.
도 5는 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하기 위한 동작 방법을 도시한 흐름도이다.FIG. 5 is a flowchart illustrating a method of operating a projecting device according to an embodiment of the present disclosure to recognize an object by matching captured images.
도 5를 참조하면, 일 실시 예에서, 도 2의 단계 S250은 단계 S510 및 단계 S520을 포함할 수 있다.Referring to FIG. 5 , in one embodiment, step S250 of FIG. 2 may include steps S510 and S520.
단계 S510에서, 프로젝팅 장치는 제1 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제1 객체 이미지를 획득할 수 있다. 단계 S520에서 프로젝팅 장치는 제2 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제2 객체 이미지를 획득할 수 있다.In step S510, the projecting device may obtain a first object image including the object by controlling the camera to photograph the object during the first capturing period. In step S520, the projecting device may obtain a second object image including the object by controlling the camera to photograph the object during the second capturing period.
일 실시 예에서, 프로젝팅 장치는 연결되지 않은 제1 촬영 구간 및 제2 촬영 구간 동안, 각각 객체를 포함하는 제1 객체 이미지 및 제2 객체 이미지를 획득할 수 있다. 예를 들어, 프로젝팅 장치는 카메라의 조리개를 열어 노출(exposure)시킴으로써 제1 촬영 구간 동안 제1 객체 이미지를 획득할 수 있다. 제1 객체 이미지를 획득한 후, 프로젝팅 장치는 카메라의 조리개를 닫도록 제어할 수 있다. 그 후, 프로젝팅 장치는 다시 카메라의 조리개를 열어 노출시킴으로써 제2 촬영 구간 동안 제2 객체 이미지를 획득할 수 있다.In one embodiment, the projecting device may acquire a first object image and a second object image each including an object during a first and second unconnected shooting section. For example, the projecting device may acquire the first object image during the first shooting section by opening the aperture of the camera to expose the object. After acquiring the first object image, the projecting device may be controlled to close the aperture of the camera. Afterwards, the projecting device may acquire a second object image during the second shooting section by opening the camera's aperture again to expose the object.
단계 S260에서 프로젝팅 장치는 제1 객체 이미지 및 제2 객체 이미지에 기초하여 정합 이미지를 획득할 수 있다. 단, 정합 이미지 획득에 필요한 이미지 개수는 본 개시의 기술적 사상을 한정하지 않는다.In step S260, the projecting device may acquire a registered image based on the first object image and the second object image. However, the number of images required to acquire a matched image does not limit the technical idea of the present disclosure.
일 실시 예에서, 프로젝팅 장치는 제1 객체 이미지 및 제2 객체 이미지를 정합함으로써, 조도가 높은 정합 이미지를 획득할 수 있다. 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도보다 높을 수 있다. 예를 들어, 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도의 합과 같을 수 있다. 단, 이는 예시일 뿐, 정합 이미지의 조도의 구체적인 계산식은 본 개시의 기술적 사상을 한정하지 않는다.In one embodiment, the projecting device may obtain a registered image with high illuminance by matching the first object image and the second object image. The illuminance of the registered image may be higher than the illuminance of the first object image and the illuminance of the second object image. For example, the illuminance of the registered image may be equal to the sum of the illuminance of the first object image and the illuminance of the second object image. However, this is only an example, and the specific calculation formula for the illuminance of the matched image does not limit the technical idea of the present disclosure.
일 실시 예에서, 프로젝팅 장치는 정합 이미지에 기초하여 객체를 검출할 수 있다.In one embodiment, the projecting device can detect an object based on the registered image.
도 6은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다.FIG. 6 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance.
설명의 편의상, 도 3을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.For convenience of explanation, anything that overlaps with what was explained using FIG. 3 will be simplified or omitted.
도 6을 참조하면, 일 실시 예에서, 프로젝팅 장치는 프로젝터 신호 및 제1 내지 제3 카메라 신호를 획득할 수 있다.Referring to FIG. 6, in one embodiment, the projecting device may acquire a projector signal and first to third camera signals.
제1 카메라 신호, 제2 카메라 신호 및 제3 카메라 신호는 일정한 주기에 따라 1과 0이 반복되는 클록 신호 또는 TTL 신호일 수 있다. 구체적으로, 프로젝팅 장치는 조도에 따라 다른 주기를 갖는 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 제1 카메라 신호, 제2 카메라 신호 및 제3 카메라 신호에 기초하여 주기적으로 객체를 촬영할 수 있다.The first camera signal, the second camera signal, and the third camera signal may be a clock signal or a TTL signal in which 1 and 0 are repeated at a certain period. Specifically, the projecting device can acquire camera signals with different periods depending on the illuminance. The projecting device may periodically photograph an object based on the first camera signal, second camera signal, and third camera signal.
도시된 바와 같이, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 조도가 중간인 경우, 제2 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 조도가 높은 경우, 제3 카메라 신호를 획득할 수 있다. 본 개시에서, 중간인 경우의 조도란, 제1 카메라 신호를 획득하는 경우의 조도보다 높고, 제3 카메라 신호를 획득하는 경우의 조도보다 낮은 경우의 조도를 의미한다. 즉, 조도가 중간인 경우는 상대적으로 정의되었을 뿐, 본 개시의 기술적 사상을 한정하지 않는다.As shown, the projecting device can acquire the first camera signal when the illuminance is low. The projecting device may acquire a second camera signal when the illuminance is medium. The projecting device may acquire a third camera signal when the illuminance is high. In the present disclosure, the intermediate illuminance means an illuminance that is higher than the illuminance when acquiring the first camera signal and is lower than the illuminance when acquiring the third camera signal. That is, the case where the illuminance is medium is only relatively defined and does not limit the technical idea of the present disclosure.
일 실시 예에서, 프로젝팅 장치는 1의 카메라 신호를 획득한 시점(T1)으로부터 소정의 시간 후에 객체를 촬영할 수 있다. 여기서, 카메라 신호는 제1 카메라 신호, 제2 카메라 신호 및 제3 카메라 신호를 포함한다. 소정의 시간은 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간일 수 있다.In one embodiment, the projecting device may photograph an object a predetermined time after the camera signal of 1 is acquired (T1). Here, the camera signal includes a first camera signal, a second camera signal, and a third camera signal. The predetermined time may be the time from the first time point (T1) to the second time point (T2).
일 실시 예에서, 프로젝팅 장치는 광원부에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로젝팅 장치는 소정의 주기에 따라 반복되는 차단 구간을 설정할 수 있다. 도시된 바와 같이, 차단 구간은 제2 시점(T2)으로부터 제4 시점(T4)까지의 시간을 포함할 수 있다. In one embodiment, the projecting device may set a blocking section to block image light output by the light source unit. The projecting device can set a blocking section that repeats according to a predetermined cycle. As shown, the blocking section may include the time from the second time point (T2) to the fourth time point (T4).
일 실시 예에서, 프로젝팅 장치는 카메라를 이용하여 객체를 촬영하는 촬영 구간을 설정할 수 있다. 촬영 구간은 차단 구간 내에 포함될 수 있다. 이하에서, 조도에 따른 촬영 구간, 투사 구간, 촬영 주기의 설정 등에 관하여 구체적으로 설명한다.In one embodiment, the projecting device may set a shooting section for photographing an object using a camera. The shooting section may be included within the blocking section. Below, settings of the shooting section, projection section, and shooting cycle according to the illuminance will be described in detail.
일 실시 예에서, 프로젝팅 장치는 조도에 따라 촬영 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 영상이 투사되는 외부 투사면의 조도를 나타내는 조도 정보에 기초하여, 촬영 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 조도가 높을수록, 촬영 구간의 길이가 짧아지도록 촬영 구간을 설정할 수 있다. 즉, 프로젝팅 장치는 조도가 낮은 경우, 카메라의 조리개를 오래 열어둠으로써 노출(exposure)이 장시간 이루어질 수 있도록 촬영 구간을 설정할 수 있다.In one embodiment, the projecting device may determine the length of the shooting section depending on the illuminance. The projecting device may determine the length of the shooting section based on illuminance information indicating the illuminance of the external projection surface on which the image is projected. The projecting device can set the shooting section so that the higher the illuminance, the shorter the length of the shooting section. That is, when the illumination level is low, the projecting device can set the shooting section so that exposure can be achieved for a long time by keeping the camera's aperture open for a long time.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 낮은 경우 촬영 구간은 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 촬영 구간 동안 객체를 촬영함으로써, 제1_1 객체 이미지(610)를 획득할 수 있다. For example, when illumination is low, the projecting device may photograph an object based on the first camera signal. When the illumination level is low, the shooting section may include the time from the second time point (T2) to the first_third time point (T13). The projecting device may acquire the 1_1
프로젝팅 장치는 조도가 중간인 경우, 제2 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 중간인 경우 촬영 구간은 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 촬영 구간 동안 객체를 촬영함으로써, 제2_1 객체 이미지(620)를 획득할 수 있다.When the illumination level is medium, the projecting device may photograph an object based on the second camera signal. When the illuminance is medium, the shooting section may include the time from the second time point (T2) to the 2_3 time point (T23). The projecting device may acquire the 2_1
프로젝팅 장치는 조도가 높은 경우, 제3 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 높은 경우 촬영 구간은 제2 시점(T2)으로부터 제3_3 시점(T33)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제2 시점(T2)으로부터 제3_3 시점(T33)까지의 촬영 구간 동안 객체를 촬영함으로써, 제3_1 객체 이미지(630)를 획득할 수 있다.When the illumination level is high, the projecting device can photograph an object based on a third camera signal. When the illuminance is high, the shooting section may include the time from the second time point (T2) to the third time point (T33). The projecting device may obtain the 3_1
제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간은, 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간보다 길 수 있다. 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간은 제2 시점(T2)으로부터 제3_3 시점(T33)까지의 시간보다 길 수 있다. 즉, 프로젝팅 장치는 조도가 높을수록 촬영 구간이 짧아지도록 촬영 구간을 설정할 수 있다.The time from the second time point T2 to the 1_3 time point T13 may be longer than the time from the second time point T2 to the 2_3 time point T23. The time from the second time point (T2) to the 2_3 time point (T23) may be longer than the time from the second time point (T2) to the 3_3 time point (T33). That is, the projecting device can set the shooting section so that the higher the illuminance, the shorter the shooting section.
일 실시 예에서, 프로젝팅 장치는 조도가 낮은 경우, 객체를 포함하는 제1_1 객체 이미지(610)를 획득할 수 있다. 프로젝팅 장치는 조도가 중간인 경우, 객체를 포함하는 제2_1 객체 이미지(620)를 획득할 수 있다. 프로젝팅 장치는 조도가 높은 경우, 객체를 포함하는 제3_1 객체 이미지(630)를 획득할 수 있다. In one embodiment, when the illumination level is low, the projecting device may acquire a 1_1
제1_1 객체 이미지(610)의 조도는 제2_1 객체 이미지(620)의 조도보다 낮을 수 있다. 제2_1 객체 이미지(620)의 조도는 제3_1 객체 이미지(630)의 조도보다 낮을 수 있다.The illuminance of the 1_1
일 실시 예에서, 프로젝팅 장치는 조도에 따라 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 영상이 투사되는 외부 투사면의 조도를 나타내는 조도 정보에 기초하여, 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 조도가 낮을수록 투사 구간의 길이가 짧아지도록 투사 구간을 설정할 수 있다. 즉, 프로젝팅 장치는 조도가 낮은 경우, 투사 구간을 줄임으로써 객체를 인식하기 위한 객체 이미지를 보다 많이 획득하도록 투사 구간을 설정할 수 있다. 프로젝팅 장치는 많이 획득된 객체 이미지를 정합함으로써, 적절한 조도의 정합 이미지를 획득할 수 있다. 프로젝팅 장치는 정합 이미지를 이용하여 객체를 검출할 수 있다.In one embodiment, the projecting device may determine the length of the projection section depending on the illuminance. The projecting device may determine the length of the projection section based on illuminance information indicating the illuminance of the external projection surface on which the image is projected. The projecting device can set the projection section so that the lower the illuminance, the shorter the length of the projection section. That is, when the illumination level is low, the projecting device can set the projection section to obtain more object images for recognizing the object by reducing the projection section. The projecting device can obtain a registered image with appropriate illuminance by registering many acquired object images. A projecting device can detect an object using a registered image.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 영상을 투사할 수 있다. 조도가 낮은 경우 투사 구간은 제4 시점(T4)으로부터 제1_5 시점(T15)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제4 시점(T4)으로부터 제1_5 시점(T15)까지의 투사 구간 동안 영상을 투사할 수 있다.For example, when the illumination level is low, the projecting device may project an image based on the first camera signal. When the illuminance is low, the projection section may include the time from the fourth time point (T4) to the 1_5th time point (T15). The projecting device may project an image during the projection period from the fourth viewpoint (T4) to the 1_5th viewpoint (T15).
프로젝팅 장치는 조도가 중간인 경우, 제2 카메라 신호에 기초하여 영상을 투사할 수 있다. 조도가 중간인 경우 투사 구간은 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 투사 구간 동안 영상을 투사할 수 있다.When the illumination level is medium, the projecting device may project an image based on the second camera signal. When the illuminance is medium, the projection section may include the time from the fourth time point (T4) to the 2_5th time point (T25). The projecting device may project an image during the projection period from the fourth viewpoint (T4) to the 2_5th viewpoint (T25).
프로젝팅 장치는 조도가 높은 경우, 제3 카메라 신호에 기초하여 영상을 투사할 수 있다. 조도가 높은 경우 투사 구간은 제4 시점(T4)으로부터 제3_5 시점(T35)까지의 시간을 포함할 수 있다. 프로젝팅 장치는 제4 시점(T4)으로부터 제3_5 시점(T35)까지의 투사 구간 동안 영상을 투사할 수 있다.When the illuminance is high, the projecting device can project an image based on the third camera signal. When the illuminance is high, the projection section may include the time from the fourth time point (T4) to the 3_5th time point (T35). The projecting device can project an image during the projection period from the fourth viewpoint (T4) to the 3_5th viewpoint (T35).
제4 시점(T4)으로부터 제1_5 시점(T15)까지의 시간은, 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 시간보다 짧을 수 있다. 제4 시점(T4)으로부터 제2_5 시점(T25)까지의 시간은 제4 시점(T4)으로부터 제3_5 시점(T35)까지의 시간보다 짧을 수 있다. 즉, 프로젝팅 장치는 조도가 낮을수록 투사 구간이 짧아지도록 투사 구간을 설정할 수 있다.The time from the fourth time point (T4) to the 1_5th time point (T15) may be shorter than the time from the fourth time point (T4) to the 2_5th time point (T25). The time from the fourth time point (T4) to the 2_5th time point (T25) may be shorter than the time from the fourth time point (T4) to the 3_5th time point (T35). That is, the projecting device can set the projection section so that the lower the illuminance, the shorter the projection section.
일 실시 예에서, 프로젝팅 장치는 조도가 높을수록 촬영 구간의 길이가 짧아지도록 촬영 구간을 설정할 수 있다. 프로젝팅 장치는 조도가 높을수록 투사 기간의 길이가 길어지도록 투사 구간을 설정할 수 있다. 결론적으로, 프로젝팅 장치는 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 차단 구간을 설정할 수 있다.In one embodiment, the projecting device may set the shooting section so that the higher the illuminance, the shorter the length of the shooting section. The projecting device can set the projection section so that the higher the illuminance, the longer the length of the projection period. In conclusion, the projecting device can set the blocking section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section to the projection section.
일 실시 예에서, 촬영 구간은 투사 구간보다 짧을 수 있다. 프로젝팅 장치는 투사 구간 동안 반복적으로 영상을 투사할 수 있다. 프로젝팅 장치는 투사된 영상이 육안으로 끊기지 않도록 보이게 하기 위해, 반복적으로 영상을 투사할 수 있다. 따라서, 프로젝팅 장치는 최소한의 촬영 구간을 설정하고, 투사 구간의 단절이 육안으로 인식되지 않도록 충분한 투사 구간을 설정할 수 있다.In one embodiment, the photographing section may be shorter than the projection section. A projecting device may repeatedly project an image during a projection period. A projecting device can repeatedly project an image so that the projected image appears uninterrupted to the naked eye. Accordingly, the projecting device can set a minimum shooting section and a sufficient projection section so that interruption of the projection section is not recognized by the naked eye.
도 7은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 촬영된 객체 영상을 활용하여 정합 이미지를 획득하는 동작을 설명하기 위한 도면이다. 설명의 편의상, 도 1 내지 도 6을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.FIG. 7 is a diagram illustrating an operation of a projecting device according to an embodiment of the present disclosure to obtain a registered image using an object image captured according to illuminance. For convenience of explanation, anything that overlaps with what was explained using FIGS. 1 to 6 will be simplified or omitted.
도 7을 참조하면, 일 실시 예에서, 프로젝팅 장치는 객체가 포함된 객체 이미지들을 획득할 수 있다. 프로젝팅 장치는 객체 이미지들에 기초하여 정합 이미지(740)를 획득할 수 있다.Referring to FIG. 7, in one embodiment, a projecting device may acquire object images including an object. The projecting device may acquire a
일 실시 예에서, 프로젝팅 장치는 프로젝션 렌즈에 의해 이미지 광이 투사되는 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 프로젝팅 장치는 조도 정보에 따른 조도가 낮을수록 많은 객체 이미지를 정합함으로써, 정합 이미지(740)를 획득할 수 있다.In one embodiment, the projecting device may obtain illuminance information indicating the illuminance of an external projection surface on which image light is projected by a projection lens. The projecting device can obtain the matched
설명의 편의상, 도 7에서는 조도 정보에 따른 조도가 낮은 경우(Dark), 조도 정보에 따른 조도가 중간인 경우(Middle) 및 조도 정보에 따른 조도가 높은 경우(Bright)로 나누어 설명한다. 단, 이는 상대적인 조도를 의미할 수 있다. 또한, 설명의 편의상 조도를 세가지로 나누었을 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. For convenience of explanation, the description in FIG. 7 is divided into a case where the illuminance according to the illuminance information is low (Dark), a case where the illuminance according to the illuminance information is medium (Middle), and a case where the illuminance according to the illuminance information is high (Bright). However, this may mean relative illumination. In addition, for convenience of explanation, the illuminance is divided into three types, but the technical idea of the present disclosure is not limited thereto.
일 실시 예에서, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 제1_1 객체 이미지(710)를 획득할 수 있다. 도 6을 함께 참조하면, 프로젝팅 장치는 제1 카메라 신호에 따른 촬영 구간 동안, 객체를 촬영함으로써 제1_1 객체 이미지(610, 710)를 획득할 수 있다. 객체는 손으로 도시되었으나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.In one embodiment, when the illuminance according to the illuminance information is low, the projecting device may acquire the 1_1
일 실시 예에서, 프로젝팅 장치는 객체를 인식하기 위해 필요한 기준 조도를 갖는 객체 이미지에 기초하여 객체를 인식할 수 있다. 즉, 프로젝팅 장치는 기준 조도를 벗어나는 객체 이미지에 기초하여 객체를 인식하지 못할 수 있다. 제1_1 객체 이미지(710)의 조도는 기준 조도를 만족하지 못할 수 있다. 제1_1 객체 이미지(710)의 조도는 기준 조도보다 낮을 수 있다.In one embodiment, the projecting device may recognize an object based on an object image having a reference illuminance required to recognize the object. That is, the projecting device may not be able to recognize the object based on the object image outside the standard illuminance. The illuminance of the 1_1
프로젝팅 장치는 제1_1 객체 이미지(710)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 프로젝팅 장치는 조도가 낮은 경우 복수의 제1_1 객체 이미지(710)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 예를 들어, 프로젝팅 장치는 3 개의 제1_1 객체 이미지(710)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 단, 제1_1 객체 이미지(710)의 정합 개수는 예시일 뿐, 본 개시의 기술적 사상을 한정하지 않는다.The projecting device can obtain the matched
일 실시 예에서, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 제2_1 객체 이미지(720)를 획득할 수 있다. 도 6을 함께 참조하면, 프로젝팅 장치는 제2 카메라 신호에 따른 촬영 구간 동안, 객체를 촬영함으로써 제2_1 객체 이미지(620, 720)를 획득할 수 있다. 객체는 손으로 도시되었으나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.In one embodiment, when the illuminance according to the illuminance information is medium, the projecting device may acquire the 2_1
일 실시 예에서, 제2_1 객체 이미지(720)의 조도는 기준 조도를 만족하지 못할 수 있다. 제2_1 객체 이미지(720)의 조도는 기준 조도보다 낮을 수 있다.In one embodiment, the illuminance of the 2_1
프로젝팅 장치는 제2_1 객체 이미지(720)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 프로젝팅 장치는 조도가 중간인 경우 복수의 제2_1 객체 이미지(720)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. 예를 들어, 프로젝팅 장치는 2 개의 제2_1 객체 이미지(720)를 정합함으로써, 정합 이미지(740)를 획득할 수 있다. The projecting device may obtain the registered
제2_1 객체 이미지(720)의 정합 개수는 제1_1 객체 이미지(710)의 정합 개수보다 적을 수 있다. 즉, 프로젝팅 장치는 제2_1 객체 이미지(720)의 조도가 제1_1 객체 이미지(710)의 조도보다 높으므로, 상대적으로 적은 개수의 제2_1 객체 이미지(720)를 정합함으로써 정합 이미지(740)를 획득할 수 있다. 단, 제2_1 객체 이미지(720)의 정합 개수는 예시일 뿐, 본 개시의 기술적 사상을 한정하지 않는다.The number of matches for the 2_1
일 실시 예에서, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 제3_1 객체 이미지(730)를 획득할 수 있다. 도 6을 함께 참조하면, 프로젝팅 장치는 제3_1 카메라 신호에 따른 촬영 구간 동안, 객체를 촬영함으로써 제3_1 객체 이미지(630, 730)를 획득할 수 있다. 객체는 손으로 도시되었으나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다.In one embodiment, when the illuminance according to the illuminance information is high, the projecting device may acquire the 3_1
일 실시 예에서, 제3_1 객체 이미지(730)의 조도는 기준 조도를 만족할 수 있다.In one embodiment, the illuminance of the 3_1
프로젝팅 장치는 제3_1 객체 이미지(730)를 통해 정합 이미지(740)를 획득할 수 있다. 정합 이미지(740)는 제3_1 객체 이미지(730)와 동일할 수 있다. 프로젝팅 장치는 조도가 높은 경우 하나의 제3_1 객체 이미지(730)만으로도, 정합 이미지(740)를 획득할 수 있다. The projecting device may acquire the registered
즉, 프로젝팅 장치는 객체 이미지의 조도가 낮은 경우 복수의 객체 이미지들을 정합함으로써, 향상된 조도의 정합 이미지(740)를 획득할 수 있다. 단, 프로젝팅 장치는 객체 이미지의 조도가 적절한 경우, 객체 이미지 자체를 정합 이미지(740)로 이용할 수 있다. That is, when the illumination of the object image is low, the projecting device can obtain a
일 실시 예에서, 도시되지는 않았지만, 조도 정보에 따른 조도가 매우 높은 경우, 프로젝팅 장치는 제4_1 객체 이미지를 획득할 수 있다. 조도 정보에 따른 조도는 기준 조도를 초과할 수 있다.In one embodiment, although not shown, when the illuminance according to the illuminance information is very high, the projecting device may acquire the 4_1 object image. The illuminance according to the illuminance information may exceed the standard illuminance.
프로젝팅 장치는 제4_1 객체 이미지를 통해 정합 이미지(740)를 획득할 수 있다. 프로젝팅 장치는 소정의 촬영 구간 동안 제4_1 객체 이미지를 획득할 수 있다. 조도 정보에 따른 조도가 기준 조도를 초과하는 경우, 프로젝팅 장치는 짧은 촬영 구간을 통해 기준 조도를 만족하는 제4_1 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 제4_1 객체 이미지를 정합 이미지(740)로 이용할 수 있다. The projecting device may acquire the registered
즉, 프로젝팅 장치는 조도 정보에 따른 조도가 기준 조도를 초과하는 경우, 조도가 높을수록 짧은 촬영 구간 동안 객체를 촬영함으로써, 제4_1 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 획득된 제4_1 객체 이미지를 정합 이미지(740)로 이용할 수 있다.That is, when the illuminance according to the illuminance information exceeds the standard illuminance, the projecting device can acquire the 4_1 object image by photographing the object during a shorter shooting section as the illuminance increases. The projecting device may use the acquired 4_1 object image as the
도 8은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 촬영된 영상을 정합함으로써 객체를 인식하는 동작 방법을 도시한 흐름도이다. FIG. 8 is a flowchart illustrating a method of recognizing an object by matching images captured by a projecting device according to an embodiment of the present disclosure.
도 8을 참조하면, 단계 S810에서, 프로젝팅 장치는 조도 정보에 기초하여 정합 수량을 결정할 수 있다. 정합 수량은 카메라에 의해 촬영된 객체에 관한 객체 이미지를 정합하는 수량을 의미할 수 있다.Referring to FIG. 8, in step S810, the projecting device may determine the matching quantity based on the illuminance information. The matching quantity may refer to a quantity for matching object images related to objects captured by a camera.
일 실시 예에서, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 높은 수의 정합 수량을 결정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 정합 수량을 4로 결정할 수 있다.In one embodiment, when the illuminance according to the illuminance information is low, the projecting device may determine a high matching quantity. For example, when the illuminance according to the illuminance information is low, the projecting device may determine the matching quantity to be 4.
일 실시 예에서, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 적정한 수의 정합 수량을 결정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 정합 수량을 3으로 결정할 수 있다. 조도 정보에 따른 조도가 중간인 경우의 정합 수량은 조도 정보에 따른 조도가 낮은 경우의 정합 수량보다 낮을 수 있다.In one embodiment, when the illuminance according to the illuminance information is medium, the projecting device may determine an appropriate matching quantity. For example, when the illuminance according to the illuminance information is low, the projecting device may determine the matching quantity to be 3. The matching quantity when the illuminance according to the illuminance information is medium may be lower than the matching quantity when the illuminance according to the illuminance information is low.
일 실시 예에서, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 낮은 수의 정합 수량을 결정할 수 있다. 예를 들어, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 정합 수량을 2로 결정할 수 있다. 조도 정보에 따른 조도가 높은 경우의 정합 수량은 조도 정보에 따른 조도가 중간인 경우의 정합 수량보다 낮을 수 있다.In one embodiment, when the illuminance according to the illuminance information is high, the projecting device may determine a low number of matching quantities. For example, when the illuminance according to the illuminance information is high, the projecting device may determine the matching quantity to be 2. The matching quantity when the illuminance according to the illuminance information is high may be lower than the matching quantity when the illuminance according to the illuminance information is medium.
단계 S820에서, 프로젝팅 장치는 촬영 주기에 따라 반복적으로 획득된 이미지 중, 정합 수량에 기초하여 일부를 선택할 수 있다.In step S820, the projecting device may select some of the images repeatedly acquired according to the shooting cycle based on the matching quantity.
일 실시 예에서, 프로젝팅 장치는 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하도록 카메라를 제어할 수 있다(도 4의 단계 S420). 프로젝팅 장치는 객체를 반복적으로 촬영함으로써, 복수의 객체 이미지를 획득할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 일부를 선택할 수 있다.In one embodiment, the projecting device may control the camera to repeatedly photograph an object during a photographing section based on the photographing cycle (step S420 of FIG. 4). A projecting device can acquire a plurality of object images by repeatedly photographing the object. The projecting device may select some of the plurality of object images based on the matching quantity.
예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 정합 수량을 4로 결정할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 4개의 객체 이미지를 선택할 수 있다.For example, when the illuminance according to the illuminance information is low, the projecting device may determine the matching quantity to be 4. The projecting device may select four object images from among the plurality of object images based on the matching quantity.
다른 예로, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 정합 수량을 3으로 결정할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 3개의 객체 이미지를 선택할 수 있다. As another example, when the illuminance according to the illuminance information is medium, the projecting device may determine the matching quantity to be 3. The projecting device may select three object images from among the plurality of object images based on the matching quantity.
다른 예로, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 정합 수량을 2로 결정할 수 있다. 프로젝팅 장치는 복수의 객체 이미지 중, 정합 수량에 기초하여 2개의 객체 이미지를 선택할 수 있다.As another example, when the illuminance according to the illuminance information is high, the projecting device may determine the matching quantity to be 2. The projecting device may select two object images from among the plurality of object images based on the matching quantity.
단계 S830에서, 프로젝팅 장치는 선택된 일부에 기초하여 정합 이미지를 획득할 수 있다.In step S830, the projecting device may acquire a registered image based on the selected portion.
일 실시 예에서, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다. 예를 들어, 조도 정보에 따른 조도가 낮은 경우, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 4개의 객체 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다.In one embodiment, the projecting device may obtain a registered image by matching images selected from among a plurality of object images. For example, when the illuminance according to the illuminance information is low, the projecting device can obtain a matched image by matching 4 object images selected from among a plurality of object images.
다른 예로, 조도 정보에 따른 조도가 중간인 경우, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 3개의 객체 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다. 다른 예로, 조도 정보에 따른 조도가 높은 경우, 프로젝팅 장치는 복수의 객체 이미지 중 선택된 2개의 객체 이미지들을 정합함으로써, 정합 이미지를 획득할 수 있다.As another example, when the illuminance according to the illuminance information is medium, the projecting device may obtain a matched image by matching 3 object images selected from among a plurality of object images. As another example, when the illuminance according to the illuminance information is high, the projecting device may obtain a matched image by matching two object images selected from among a plurality of object images.
도 9는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 프로젝터를 세부적으로 설명하기 위한 도면이다. 참고적으로, 도 9는 DLP 방식의 프로젝터의 구성에 기초하여 설명하나, 이는 예시일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않는다. 본 개시의 일 실시 예에서, 도 9의 광차단부(930)를 통해 영상이 투사되지 않는 차단 구간이 설정될 수 있음을 제공할 뿐, 그 외 구성은 본 개시의 기술적 사상을 한정하지 않는다.FIG. 9 is a diagram for explaining in detail a projector among the configuration of a projecting device according to an embodiment of the present disclosure. For reference, FIG. 9 is explained based on the configuration of a DLP projector, but this is only an example and the technical idea of the present disclosure is not limited thereto. In one embodiment of the present disclosure, it is provided that a blocking section in which an image is not projected can be set through the
도 9를 참조하면, 프로젝팅 장치는 프로젝터(900) 및 카메라(미도시)를 포함할 수 있다. Referring to FIG. 9, the projecting device may include a
일 실시 예에서, 프로젝터(900)는 광원부(910), 광분리부(920), 광차단부(930), 미러부(940) 및 프로젝션 렌즈(950)를 포함할 수 있다. 프로젝터(900)는 광원부(910), 광분리부(920), 광차단부(930), 미러부(940) 및 프로젝션 렌즈(950)를 이용하여, 외부 투사면에 영상(960)을 투사할 수 있다. 물론 프로젝터(900)는 도 9의 예시에 제한되지 않으며, 도 9에 도시된 구성보다 많은 구성이 프로젝터(900)에 포함되거나, 도 9에 도시된 구성보다 적은 구성이 프로젝터(900)에 포함될 수 있다.In one embodiment, the
일 실시 예에서, 프로젝터(900)는 영상을 외부로 투사하는 구성이다. 본 개시의 일 실시예에 따른, 프로젝션은 다양한 투사 방식(예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등)으로 구현될 수 있다. 일 예로, CRT 방식은 기본적으로 CRT 모니터와 원리가 동일하다. CRT 방식은 브라운관(CRT) 앞의 렌즈로 상을 확대시켜서 스크린에 이미지를 표시한다. 브라운관의 개수에 따라 1관식과 3관식으로 나뉘며, 3관식의 경우 Red, Green, Blue의 브라운관이 따로 분리되어 구현될 수 있다.In one embodiment, the
다른 예로, LCD 방식은 광원에서 나온 빛을 액정에 투과시켜 이미지를 표시하는 방식이다. LCD 방식은 단판식과 3판식으로 나뉘며, 3판식의 경우 광원에서 나온 빛이 다이크로익 미러(특정 색의 빛만 반사하고 나머지는 통과시키는 거울)에서 Red, Green, Blue로 분리된 뒤 액정을 투과한 후 다시 한 곳으로 빛이 모일 수 있다.As another example, the LCD method displays images by transmitting light from a light source through liquid crystal. The LCD method is divided into a single-panel type and a three-panel type. In the case of the three-panel type, the light from the light source is separated into red, green, and blue by a dichroic mirror (a mirror that reflects only light of a specific color and passes the rest) and then passes through the liquid crystal. Afterwards, the light can gather in one place again.
또 다른 예로, DLP 방식은 DMD(Digital Micromirror Device) 칩을 이용하여 이미지를 표시하는 방식이다. DLP 방식의 프로젝션부는 광원, 컬러 휠, DMD 칩, 프로젝션 렌즈 등을 포함할 수 있다. 광원에서 출력된 빛은 회전하는 컬러 휠을 통과하면서 색을 띨 수 있다. 컬러 휠을 통과한 빛은 DMD 칩으로 입력된다. DMD 칩은 수많은 미세 거울을 포함하고, DMD 칩에 입력된 빛을 반사시킨다. 프로젝션 렌즈는 DMD 칩에서 반사된 빛을 영상 크기로 확대시키는 역할을 수행할 수 있다.As another example, the DLP method is a method of displaying images using a DMD (Digital Micromirror Device) chip. The DLP projection unit may include a light source, color wheel, DMD chip, projection lens, etc. Light output from a light source can acquire color as it passes through a rotating color wheel. The light that passes through the color wheel is input to the DMD chip. The DMD chip contains numerous micro-mirrors and reflects the light input to the DMD chip. The projection lens can play the role of enlarging the light reflected from the DMD chip to the image size.
또 다른 예로, 레이저 방식은 DPSS(Diode Pumped Solid State) 레이저와 검류계를 포함한다. 다양한 색상을 출력하는 레이저는 DPSS 레이저를 RGB 색상별로 3개를 설치한 후 특수 거울을 이용하여 광축을 중첩한 레이저를 이용한다. 검류계는 거울과 높은 출력의 모터를 포함하여 빠른 속도로 거울을 움직인다. 예를 들어, 검류계는 최대 40 KHz/sec로 거울을 회전시킬 수 있다. 검류계는 스캔 방향에 따라 마운트되는데 일반적으로 프로젝터는 평면 주사를 하므로 검류계도 x, y축으로 나뉘어 배치될 수 있다.As another example, laser methods include DPSS (Diode Pumped Solid State) lasers and galvanometers. A laser that outputs various colors uses a laser whose optical axes are overlapped using a special mirror after installing three DPSS lasers for each RGB color. Galvanometers contain mirrors and high-power motors that move the mirrors at high speeds. For example, a galvanometer can rotate a mirror at up to 40 KHz/sec. The galvanometer is mounted according to the scanning direction. In general, since the projector scans a plane, the galvanometer can also be arranged divided into x and y axes.
일 실시 예에서, 광원부(910)는 이미지 광(L)을 출력할 수 있다. 광원부(910)는 광분리부(920) 및 광차단부(930) 각각의 특정 영역에 조사되는 이미지 광(L)을 출력할 수 있다. In one embodiment, the
일 실시 예에서, 광분리부(920)는 출력된 이미지 광(L)을 투과시킴으로써 적색(R), 청색(B), 녹색(G)의 광으로 변환할 수 있다. 구체적으로, 광분리부(920)는 도시된 바와 같이, 적색, 청색, 녹색의 광 각각을 선택적으로 통과시키는 칼라필터를 포함할 수 있다. 광분리부(920)는 각각의 칼라필터가 설치되어 회전가능한 회전판과, 회전판을 회전 구동하는 구동모터를 포함할 수 있다.In one embodiment, the
일 실시 예에서, 광분리부(920)는 구동모터에 의해 회전됨에 따라, 이미지 광(L)이 지나가는 광로 상에 적색, 청색, 녹색의 칼라필터들이 순차로 배치되도록 제어될 수 있다. 이에 따라, 프로젝팅 장치는 광원부(910)로부터 출력된 이미지 광(L)을 적색, 청색, 녹색의 이미지 광으로 분리할 수 있다.In one embodiment, as the
일 실시 예에서, 광분리부(920)는 DLP 방식의 컬러 휠(Color Wheel)을 의미할 수 있다.In one embodiment, the
일 실시 예에서, 광차단부(930)는 분리된 이미지 광을 차단할 수 있다. 구체적으로, 광차단부(930)는 도시된 바와 같이, 광차단필터(931) 및 광투과필터(932)를 포함할 수 있다. 광차단부(930)는 광차단필터(931) 및 광투과필터(932)가 설치되어 회전가능한 회전판과, 회전판을 회전 구동하는 구동모터를 포함할 수 있다.In one embodiment, the
일 실시 예에서, 광차단부(930)는 구동모터에 의해 회전됨에 따라, 이미지 광(L)이 지나가는 광로 상에 광차단필터(931) 및 광투과필터(932)가 순차로 배치되도록 제어될 수 있다. 이에 따라, 프로젝팅 장치는 차단 구간 동안 광원부(910)로부터 출력된 이미지 광을 차단할 수 있다. 또한, 프로젝팅 장치는 투사 구간 동안 광원부(910)로부터 출력된 이미지 광을 투과시킬 수 있다. In one embodiment, as the
일 실시 예에서, 미러부(940)는 광차단부(930)에 의해 투과된 이미지 광(L)을 반사시킬 수 있다. 미러부(940)는 복수의 미세 거울로 구성된 광학 반도체일 수 있다. 예를 들어, 미러부(940)는 DLP 방식의 DMD(Digital Mirror Device) 칩을 의미할 수 있다. In one embodiment, the
일 실시 예에서, 미러부(940)는 영상을 구성하는 색상(RGB) 정보에 기초하여, 광분리부(920) 및 광차단부(930)에 의해 투과된 이미지 광(L)을 반사할 수 있다. 미러부(940)는 영상을 구성하는 색상 정보에 기초하여, 영상에 대응되도록 이미지 광(L)을 반사할 수 있다.In one embodiment, the
일 실시 예에서, 프로젝션 렌즈(950)는 미러부(940)로부터 반사된 이미지 광(L)을 확대할 수 있다. 확대된 이미지 광이 외부 투사면에 투사됨으로써, 프로젝팅 장치는 영상(960)을 투사할 수 있다. In one embodiment, the
도 10은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다.Figure 10 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure.
도 10을 참조하면, 광차단부(930)는 광차단필터(931), 광투과필터(932), 회전판(933) 및 구동 모터(934)를 포함할 수 있다.Referring to FIG. 10, the
일 실시 예에서, 광차단필터(931)는 광원부(910)로부터 출력되는 이미지 광(L)을 차단할 수 있다. 광투과필터(932)는 광원부(910)로부터 출력되는 이미지 광(L)을 투과시킬 수 있다. In one embodiment, the
광투과필터(932) 및 광차단필터(931)는 서로 연결될 수 있다. 도시된 바와 같이, 광투과필터(932) 및 광차단필터(931)는 회전판(933) 상에 설치될 수 있다. 회전판(933)은 구동 모터(934)에 의해 회전될 수 있다. 회전판(933)이 회전됨으로써, 광투과필터(932) 및 광차단필터(931)는 이미지 광(L)이 지나가는 광로 상에 순차로 배치될 수 있다.The
구동 모터(934)는 회전판(933)을 회전 구동할 수 있다. 예를 들어, 구동 모터(934)는 회전판(933)이 일정한 방향으로 한 바퀴 회전하도록 동력을 제공할 수 있다. 구동 모터(934)는 소정의 신호에 따라, 회전판(933)을 한 바퀴 회전시키도록 동력을 제공할 수 있다. 구동 모터(934)는 소정의 신호가 반복되는 경우, 회전판(933)을 한 바퀴 회전시키는 동작을 반복적으로 수행하도록 동력을 제공할 수 있다.The
일 실시 예에서, 구동 모터(934)는 회전판(933)이 회전하도록 동력을 제공할 수 있다. 회전판(933)이 회전함에 따라, 광투과필터(932) 및 광차단필터(931)는 이미지 광(L)이 지나가는 광로 상에 순차로 배치될 수 있다. In one embodiment, the
도 10을 참조하면, 회전판(933)이 회전함에 따라, 광투과필터(932)가 광로 상에 배치될 수 있다. 회전판(933)이 회전함에 따라, 광로 상의 이미지 광(L)은 광투과필터(932) 상의 제1 영역(A1)을 통해 투과될 수 있다. 광투과필터(932)는 광로를 따라 진행하는 이미지 광(L)을 투과시킬 수 있다. 투과된 이미지 광(L)은 프로젝션 렌즈(도 9의 950)에 의해 외부로 투사될 수 있다. 즉, 프로젝팅 장치는 영상을 투사할 수 있다.Referring to FIG. 10, as the
도 11은 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성 중 광차단부를 세부적으로 설명하기 위한 도면이다. 설명의 편의상, 도 10을 이용하여 설명한 것과 중복되는 것은 생략한다.Figure 11 is a diagram for explaining in detail the light blocking part of the configuration of the projecting device according to an embodiment of the present disclosure. For convenience of explanation, anything that overlaps with what was explained using FIG. 10 will be omitted.
도 11을 참조하면, 회전판(933)이 회전함에 따라, 광차단필터(931)가 광로 상에 배치될 수 있다. 회전판(933)이 회전함에 따라, 광로 상의 이미지 광(L)은 광차단필터(931) 상의 제2 영역(A2)을 통해 차단될 수 있다. 광차단필터(931)는 광로를 따라 진행하는 이미지 광(L)을 차단할 수 있다. 이미지 광(L)이 차단됨에 따라, 이미지 광(L)은 프로젝션 렌즈(950)에 의해 외부로 투사될 수 없다. 즉, 차단 구간이 시작될 수 있다.Referring to FIG. 11, as the
일 실시 예에서, 광차단필터(931)에 의해 이미지 광(L)이 차단됨에 따라, 프로젝팅 장치는 영상을 투사하지 않을 수 있다. 광차단필터(931)에 의해 이미지 광(L)이 차단되는 것은 차단 구간을 의미할 수 있다. 즉, 프로젝팅 장치는 차단 구간 동안 영상을 투사하지 않을 수 있다. 프로젝팅 장치는 차단 구간 내에 포함된 촬영 구간 동안, 카메라를 이용하여 외부 투사면에 위치한 객체를 촬영함으로써 객체 이미지를 획득할 수 있다.In one embodiment, as the image light L is blocked by the
일 실시 예에서, 프로젝팅 장치는 객체 이미지에 기초하여, 객체 이미지에 포함된 객체를 검출할 수 있다. 일 실시 예에서, 프로젝팅 장치는 객체 이미지에 기초하여 정합 이미지를 획득할 수 있다. 프로젝팅 장치는 정합 이미지에 기초하여, 정합 이미지에 포함된 객체를 검출할 수 있다.In one embodiment, the projecting device may detect an object included in the object image based on the object image. In one embodiment, the projecting device may acquire a registered image based on the object image. The projecting device may detect objects included in the registered image based on the registered image.
도 12는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 동작이 광차단부의 동작에 따라 결정되는 특징을 설명하기 위한 개념도이다. 설명의 편의상, 도 1, 도 10 및 도 11을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.FIG. 12 is a conceptual diagram illustrating features in which the operation of a projecting device according to an embodiment of the present disclosure is determined according to the operation of the light blocking unit. For convenience of explanation, anything that overlaps with what was explained using FIGS. 1, 10, and 11 will be simplified or omitted.
도 12를 참조하면, 일 실시 예에서, 프로젝팅 장치(100)는 광차단부에 의해 영상을 투사하는 동작(S1210)과 객체를 촬영하는 동작(S1220)을 분리하여 수행할 수 있다. 설명의 편의상, 도 1, 도 10 및 도 11을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.Referring to FIG. 12, in one embodiment, the projecting
단계 S1210에서, 프로젝팅 장치(100)는 영상을 투사할 수 있다. 단계 S1210에 대응되는 광차단부의 동작은 도 10을 이용하여 설명한 동작과 동일하다. 광차단부(930)의 회전판(933)이 회전함에 따라, 이미지 광(L)이 지나가는 광로 상에 광투과필터(932)가 배치될 수 있다. 이미지 광(L)은 광투과필터(932)에 의해 투과될 수 있다. 투과된 이미지 광(L)은 프로젝션 렌즈(950)에 의해 외부로 투사될 수 있다. 즉, 프로젝팅 장치(100)는 영상(120)을 투사할 수 있다.In step S1210, the projecting
일 실시 예에서, 이미지 광(L)이 광투과필터(932)에 의해 투과되는 구간은 투사 구간을 의미할 수 있다. 프로젝팅 장치(100)는 투사 구간 동안 영상(120)을 투사할 수 있다.In one embodiment, the section through which the image light L is transmitted by the
단계 S1220에서, 프로젝팅 장치(100)는 객체를 촬영할 수 있다. 단계 S1220에 대응되는 광차단부(930)의 동작은 도 11을 이용하여 설명한 동작과 동일하다. 광차단부(930)의 회전판(933)이 회전함에 따라, 이미지 광(L)이 지나가는 광로 상에 광차단필터(931)가 배치될 수 있다. 이미지 광(L)은 광차단필터(931)에 의해 차단될 수 있다. 즉, 프로젝팅 장치(100)는 영상(120)을 투사하지 못할 수 있다.In step S1220, the projecting
일 실시 예에서, 프로젝팅 장치(100)는 이미지 광(L)이 차단된 동안 객체(160)를 촬영할 수 있다. 프로젝팅 장치(100)는 객체(160)를 포함하는 객체 이미지를 획득할 수 있다. 프로젝팅 장치(100)는 객체 이미지에 기초하여, 객체 이미지에 포함된 객체(160)를 검출할 수 있다.In one embodiment, the projecting
일 실시 예에서, 이미지 광(L)이 광차단필터(931)에 의해 차단되는 구간은 차단 구간을 의미할 수 있다. 프로젝팅 장치(100)는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 프로젝팅 장치(100)는 촬영 구간 동안 객체(160)를 촬영하도록 카메라를 제어할 수 있다.In one embodiment, the section in which the image light L is blocked by the
일 실시 예에서, 프로젝팅 장치(100)는 소정의 클록 신호를 수신함으로써, 광차단부(930)가 회전 구동하도록 제어할 수 있다. 프로젝팅 장치(100)는 반복되는 클록 신호를 수신함으로써, 광차단부(930)가 신호에 따라 반복적으로 회전 구동하도록 제어할 수 있다. 프로젝팅 장치(100)는 S1210의 동작 및 S1220의 동작이 반복되도록 광차단부(930)를 제어할 수 있다.In one embodiment, the projecting
단계 S1220의 동작이 반복 수행됨에 따라, 프로젝팅 장치(100)는 객체(160)를 포함하는 복수의 객체 이미지를 획득할 수 있다. 프로젝팅 장치(100)는 복수의 객체 이미지를 정합함으로써, 정합 이미지를 획득할 수 있다. 프로젝팅 장치(100)는 정합 이미지에 기초하여, 정합 이미지에 포함된 객체를 검출할 수 있다.As the operation of step S1220 is repeatedly performed, the projecting
도 13은 본 개시의 일 실시 예에 따른 프로젝팅 장치가 조도에 따라 다른 촬영 주기를 활용하여 객체를 촬영하는 동작을 도시한 그래프이다. 설명의 편의상, 도 3 및 도 6을 이용하여 설명한 것과 중복되는 것은 간략히 하거나 생략한다.FIG. 13 is a graph illustrating an operation of a projecting device according to an embodiment of the present disclosure to photograph an object using different photographing cycles depending on illuminance. For convenience of explanation, anything that overlaps with what was explained using FIGS. 3 and 6 will be simplified or omitted.
도 13을 참조하면, 프로젝팅 장치는 프로젝터 신호 및 복수의 카메라 신호를 획득할 수 있다. 프로젝팅 장치가 수신하는 프로젝트 신호 및 복수의 카메라 신호는 동기화되지 않을 수도 있다.Referring to FIG. 13, the projecting device can acquire a projector signal and a plurality of camera signals. Project signals and multiple camera signals received by the projecting device may not be synchronized.
일 실시 예에서, 프로젝터 신호는 최초 시점(T0)에 시작되어, 일정한 주기로 0과 1이 반복될 수 있다. 반대로, 제1 카메라 신호 및 제2 카메라 신호는 최초 시점(T0)에 시작되지 않을 수 있다. 예를 들어, 도시된 바와 같이, 제1 카메라 신호 및 제2 카메라 신호는 제1 시점(T1)에 시작되어, 일정한 주기로 0과 1이 반복될 수 있다.In one embodiment, the projector signal may start at an initial time point (T0) and
도 6을 함께 참조하면, 일 실시 예에서, 프로젝터 신호 및 복수의 카메라 신호는 제1 시점(T1)에 동시에 시작되어, 일정한 주기로 반복될 수 있다. 즉, 프로젝터 신호와 복수의 카메라 신호는 동기화될 수 있다.Referring to FIG. 6 together, in one embodiment, the projector signal and the plurality of camera signals start simultaneously at the first time point T1 and may repeat at a constant cycle. That is, the projector signal and the plurality of camera signals can be synchronized.
이와 반대로, 도 13에 도시된 바와 같이, 프로젝터 신호 및 복수의 카메라 신호는 서로 동기화되지 않을 수 있다.Conversely, as shown in FIG. 13, the projector signal and the plurality of camera signals may not be synchronized with each other.
일 실시 예에서, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호를 획득할 수 있다. 프로젝팅 장치는 조도가 높은 경우, 제2 카메라 신호를 획득할 수 있다.In one embodiment, the projecting device may acquire a first camera signal when illuminance is low. The projecting device may acquire a second camera signal when the illuminance is high.
일 실시 예에서, 프로젝팅 장치는 1의 카메라 신호를 획득한 시점(T1)으로부터 소정의 시간 후에 객체를 촬영할 수 있다. 여기서, 카메라 신호는 제1 카메라 신호 및 제2 카메라 신호를 포함한다. 소정의 시간은 제1 시점(T1)으로부터 제2 시점(T2)까지의 시간일 수 있다.In one embodiment, the projecting device may photograph an object a predetermined time after the camera signal of 1 is acquired (T1). Here, the camera signal includes a first camera signal and a second camera signal. The predetermined time may be the time from the first time point (T1) to the second time point (T2).
일 실시 예에서, 프로젝팅 장치는 광원부에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로젝팅 장치는 소정의 주기에 따라 반복되는 차단 구간을 설정할 수 있다. 도시된 바와 같이, 조도가 낮은 경우, 차단 구간은 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간을 포함할 수 있다. 조도가 높은 경우, 차단 구간은 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간을 포함할 수 있다.In one embodiment, the projecting device may set a blocking section to block image light output by the light source unit. The projecting device can set a blocking section that repeats according to a predetermined cycle. As shown, when the illuminance is low, the blocking section may include the time from the second time point (T2) to the 1_3 time point (T13). When the illuminance is high, the blocking section may include the time from the second time point (T2) to the 2_3 time point (T23).
일 실시 예에서, 프로젝팅 장치는 카메라를 이용하여 객체를 촬영하는 촬영 구간을 설정할 수 있다. 촬영 구간은 차단 구간 내에 포함될 수 있다.In one embodiment, the projecting device may set a shooting section for photographing an object using a camera. The shooting section may be included within the blocking section.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 낮은 경우 촬영 구간은 제2 시점(T2)으로부터 제1_3 시점(T13)까지의 시간을 포함할 수 있다. For example, when illumination is low, the projecting device may photograph an object based on the first camera signal. When the illumination level is low, the shooting section may include the time from the second time point (T2) to the first_third time point (T13).
프로젝팅 장치는 조도가 높은 경우, 제2 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 높은 경우 촬영 구간은 제2 시점(T2)으로부터 제2_3 시점(T23)까지의 시간을 포함할 수 있다. When the illumination level is high, the projecting device may photograph an object based on the second camera signal. When the illuminance is high, the shooting section may include the time from the second time point (T2) to the 2_3 time point (T23).
일 실시 예에서, 프로젝팅 장치는 조도에 따라 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 영상이 투사되는 외부 투사면의 조도를 나타내는 조도 정보에 기초하여, 투사 구간의 길이를 결정할 수 있다. 프로젝팅 장치는 조도가 낮을수록 투사 구간의 길이가 짧아지도록 투사 구간을 설정할 수 있다.In one embodiment, the projecting device may determine the length of the projection section depending on the illuminance. The projecting device may determine the length of the projection section based on illuminance information indicating the illuminance of the external projection surface on which the image is projected. The projecting device can set the projection section so that the lower the illuminance, the shorter the length of the projection section.
예를 들어, 프로젝팅 장치는 조도가 낮은 경우, 제1 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 낮은 경우 투사 구간은 제1_3 시점(T13)으로부터 제1_4 시점(T14)까지의 시간을 포함할 수 있다.For example, when illumination is low, the projecting device may photograph an object based on the first camera signal. When the illuminance is low, the projection section may include the time from the 1_3rd time point (T13) to the 1_4th time point (T14).
프로젝팅 장치는 조도가 높은 경우, 제2 카메라 신호에 기초하여 객체를 촬영할 수 있다. 조도가 높은 경우 투사 구간은 제2_3 시점(T23)으로부터 제2_4 시점(T24)까지의 시간을 포함할 수 있다.When the illumination level is high, the projecting device may photograph an object based on the second camera signal. When the illuminance is high, the projection section may include the time from the 2_3rd time point (T23) to the 2_4th time point (T24).
도 14는 본 개시의 일 실시 예에 따른 프로젝팅 장치의 구성을 설명하기 위한 블록도이다.Figure 14 is a block diagram for explaining the configuration of a projecting device according to an embodiment of the present disclosure.
도 14를 참조하면, 프로젝팅 장치(1000)는 프로세서(1100), 메모리(1200), 카메라(1300) 및 프로젝터(1400)를 포함할 수 있다. 프로젝터(1400)는 광원부(1410), 광차단부(1420) 및 프로젝션 렌즈(1430)를 포함할 수 있다. 프로세서(1100), 메모리(1200), 카메라(1300) 및 프로젝터(1400)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.Referring to FIG. 14 , the projecting
도 14에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 프로젝팅 장치(1000)가 포함하고 있는 구성 요소가 도 14에 도시된 바와 같이 한정되는 것은 아니다. 프로젝팅 장치(1000)는 도 14에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 14에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 프로젝팅 장치(1000)는 카메라(1300), 프로젝터(1400), 프로세서(1100) 및 메모리(1200)에 구동 전력을 공급하는 전력 공급부(예를 들어, 배터리)를 더 포함할 수 있다. The components shown in FIG. 14 are merely according to an embodiment of the present disclosure, and the components included in the projecting
광원부(1410)는 이미지 광을 출력할 수 있다. 이미지 광은 백색광을 포함할 수 있다. The
광차단부(1420)는 광원부(1410)로부터 출력된 이미지 광을 차단할 수 있다. 광차단부(1420)는 소정의 구간 동안 이미지 광을 차단할 수 있고, 다른 소정의 구간 동안 이미지 광을 투과시킬 수 있다. The
일 실시 예에서, 광차단부(1420)는 이미지 광을 차단하는 차단 필터, 이미지 광을 투과시키는 투과 필터 및 차단 필터와 투과 필터가 순차로 배치되도록 회전시키는 구동 모터를 포함할 수 있다. 광차단부(1420)는 회전가능한 휠 형태로 구성될 수 있다. 광차단부(1420)가 구동 모터에 의해 회전함에 따라, 광차단부(1420)에 입사된 이미지 광은 차단 필터에 의해 차단되거나 투과 필터에 의해 투과될 수 있다.In one embodiment, the
프로젝션 렌즈(1430)는 광차단부(1420)에 의해 투과된 이미지 광을 외부로 투사시킬 수 있다. 즉, 프로세서(1100)는 프로젝션 렌즈(1430)를 이용하여 이미지 광을 외부로 투사시킴으로써, 영상을 투사할 수 있다.The
카메라(1300)는 외부 투사면에 배치된 객체를 촬영할 수 있다. 프로세서(1100)는 카메라(1300)를 이용하여 객체에 관한 객체 이미지를 획득할 수 있다. The
일 실시 예에서, 프로세서(1100)는 이미지 광이 광차단부(1420)에 의해 차단되는 차단 구간을 설정할 수 있다. 프로세서(1100)는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 프로세서(1100)는 촬영 구간 동안 카메라(1300)를 이용하여 객체 이미지를 획득할 수 있다. In one embodiment, the
프로세서(1100)는 메모리(1200)에 저장된 하나 이상의 명령어들(instruction) 또는 프로그램 코드를 실행하고, 명령어들 또는 프로그램 코드에 대응되는 기능 및/또는 동작을 수행할 수 있다. 프로세서(1100)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1100)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다. The
도 14에는 프로세서(1100)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1100)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다. In FIG. 14, the
본 개시의 일 실시예에서, 프로세서(1100)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다. In one embodiment of the present disclosure, the
메모리(1200)에는 프로세서(1100)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 메모리(1200)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. The
메모리(1200)에는 프로젝팅 장치(1000)의 기능 또는 동작들을 수행하기 위한 명령어들 또는 프로그램 코드가 저장될 수 있다. 본 개시의 일 실시예에서, 메모리(1200)에는 프로세서(1100)가 판독할 수 있는 명령어들, 알고리즘(algorithm), 데이터 구조, 프로그램 코드(program code), 및 애플리케이션 프로그램(application program) 중 적어도 하나가 저장될 수 있다. 메모리(1200)에 저장되는 명령어들, 알고리즘, 데이터 구조, 및 프로그램 코드는 예를 들어, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.The
메모리(1200)에는 이미지 광을 차단하는 차단 구간을 설정하고, 차단 구간 내에 포함되는 촬영 구간 동안 객체를 촬영하도록 카메라를 제어하기 위한 모델에 관한 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드가 저장되어 있을 수 있다. 메모리(1200)에 포함되는 '모듈'은 프로세서(1100)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들, 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다. The
이하의 실시예에서, 프로세서(1100)는 메모리(1200)에 저장된 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.In the following embodiment, the
일 실시 예에서, 프로세서(1100)는 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 프로세서(1100)는 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 프로세서(1100)는 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 프로세서(1100)는 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부(1420)를 제어할 수 있다. 프로세서(1100)는 촬영 구간 동안 객체를 촬영하도록 카메라(1300)를 제어할 수 있다.In one embodiment, the
본 개시의 일 실시 예에 따라 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치는 광원부, 프로젝션 렌즈, 카메라, 광차단부 및 적어도 하나의 프로세서를 포함할 수 있다. 광원부는 이미지 광을 출력할 수 있다. 프로젝션 렌즈는 출력되는 이미지 광을 외부로 투사시킬 수 있다. 카메라는 투사되는 이미지 광의 외부 투사면에 대해 위치하는 객체를 촬영할 수 있다. 광차단부는 소정 구간 동안 출력되는 이미지 광을 차단할 수 있다. According to an embodiment of the present disclosure, a projecting device for recognizing an object while projecting an image may include a light source unit, a projection lens, a camera, a light blocking unit, and at least one processor. The light source unit may output image light. The projection lens can project the output image light to the outside. The camera can photograph an object positioned relative to the external projection surface of the projected image light. The light blocking unit may block image light output for a predetermined period.
적어도 하나의 프로세서는, 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 적어도 하나의 프로세서는, 외부 투사면의 조도를 나타내는 조도 정보를 획득할 수 있다. 적어도 하나의 프로세서는, 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 내에 포함되도록 촬영 구간을 설정할 수 있다. 적어도 하나의 프로세서는, 차단 구간 동안 출력되는 이미지 광을 차단하도록 광차단부를 제어할 수 있다. 적어도 하나의 프로세서는, 촬영 구간 동안 객체를 촬영하도록 카메라를 제어할 수 있다.At least one processor may obtain illuminance information indicating the illuminance of the external projection surface. At least one processor may obtain illuminance information indicating the illuminance of the external projection surface. At least one processor may set a blocking section to block output image light based on the illuminance information. At least one processor may set the shooting section to be included within the blocking section. At least one processor may control the light blocking unit to block image light output during the blocking period. At least one processor may control the camera to photograph an object during a photographing period.
일 실시 예에서, 촬영 구간의 시작점은 차단 구간의 시작점과 일치할 수 있다.In one embodiment, the starting point of the shooting section may coincide with the starting point of the blocking section.
일 실시 예에서, 촬영 구간은 제1 촬영 구간 및 제1 촬영 구간에 뒤따르는 제2 촬영 구간을 포함할 수 있다. 적어도 하나의 프로세서는, 제1 촬영 구간이 시작된 후 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정할 수 있다. 적어도 하나의 프로세서는, 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하도록 카메라를 제어할 수 있다.In one embodiment, the shooting section may include a first shooting section and a second shooting section following the first shooting section. At least one processor may determine a shooting cycle from when the first shooting section starts until the second shooting section starts again. At least one processor may control the camera to repeatedly photograph an object during a photographing period, based on a photographing cycle.
일 실시 예에서, 촬영 주기는 촬영 구간 및 촬영 구간과 겹치지 않는 투사 구간이 반복되는 주기일 수 있다. 촬영 구간은 투사 구간보다 짧을 수 있다.In one embodiment, the shooting cycle may be a cycle in which the shooting section and the projection section that do not overlap with the shooting section are repeated. The shooting section may be shorter than the projection section.
일 실시 예에서, 적어도 하나의 프로세서는, 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 차단 구간을 설정할 수 있다.In one embodiment, at least one processor may set the blocking section so that the ratio of the shooting section to the projection section decreases as the illuminance according to the illuminance information increases.
일 실시 예에서, 적어도 하나의 프로세서는, 조도 정보에 기초하여, 조도 정보에 따른 조도가 높을수록 촬영 구간이 짧아지도록 촬영 구간을 설정할 수 있다.In one embodiment, at least one processor may set the photographing section based on the illuminance information so that the higher the illuminance according to the illuminance information, the shorter the photographing section.
일 실시 예에서, 적어도 하나의 프로세서는, 제1 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제1 객체 이미지를 획득할 수 있다. 적어도 하나의 프로세서는, 제2 촬영 구간 동안 객체를 촬영하도록 카메라를 제어함으로써, 객체를 포함하는 제2 객체 이미지를 획득할 수 있다. 적어도 하나의 프로세서는, 제1 객체 이미지 및 제2 객체 이미지에 기초하여 정합 이미지를 획득할 수 있다.In one embodiment, at least one processor may obtain a first object image including the object by controlling the camera to photograph the object during the first capturing section. At least one processor may obtain a second object image including the object by controlling the camera to photograph the object during the second photographing period. At least one processor may acquire a registered image based on the first object image and the second object image.
일 실시 예에서, 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도보다 높을 수 있다.In one embodiment, the illuminance of the registered image may be higher than the illuminance of the first object image and the illuminance of the second object image.
일 실시 예에서, 적어도 하나의 프로세서는, 조도 정보에 기초하여 카메라에 의해 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정할 수 있다. 적어도 하나의 프로세서는, 촬영 주기에 따라 반복적으로 촬영된 객체 이미지 중, 정합 수량에 기초하여 일부를 선택할 수 있다. 적어도 하나의 프로세서는, 선택된 일부에 기초하여 정합 이미지를 획득할 수 있다. 조도 정보에 따른 조도가 높을수록 정합 수량은 작을 수 있다.In one embodiment, at least one processor may determine a matching quantity for matching an object image of an object captured by a camera based on illuminance information. At least one processor may select some of the object images repeatedly photographed according to the photographing cycle based on the matching quantity. At least one processor may acquire a registered image based on the selected portion. The higher the illuminance according to the illuminance information, the smaller the matching quantity may be.
일 실시 예에서, 광차단부는, 출력되는 이미지 광을 투과시키는 투과 필터를 포함할 수 있다. 광차단부는, 투과 필터와 연결되고, 출력되는 이미지 광을 차단하는 차단 필터를 포함할 수 있다. 광차단부는, 투과 필터 및 차단 필터가 이미지 광이 지나가는 광로 상에 순차로 배치되도록 회전 가능하게 설치된 회전판을 포함할 수 있다. 광차단부는, 회전판을 회전 구동하는 구동 모터를 포함할 수 있다.In one embodiment, the light blocking unit may include a transmission filter that transmits output image light. The light blocking unit is connected to the transmission filter and may include a blocking filter that blocks output image light. The light blocking unit may include a rotary plate rotatably installed so that the transmission filter and the blocking filter are sequentially arranged on the optical path through which the image light passes. The light blocking unit may include a driving motor that rotates the rotating plate.
일 실시 예에서, 차단 구간은 광차단부가 회전함에 따라 차단 필터에 의해 이미지 광이 차단되는 구간일 수 있다. 투사 구간은 광차단부가 회전함에 따라 투과 필터에 의해 이미지 광이 투과되는 구간일 수 있다.In one embodiment, the blocking section may be a section in which image light is blocked by a blocking filter as the light blocking unit rotates. The projection section may be a section where image light is transmitted through a transmission filter as the light blocking unit rotates.
본 개시의 일 실시 예에 따라 영상 투사와 함께 객체를 인식하기 위한 방법은 프로젝션 렌즈에 의해 투사된 이미지 광의 외부 투사면의 조도를 나타내는 조도 정보를 획득하는 단계를 포함할 수 있다. 상기 방법은, 조도 정보에 기초하여, 광원부에 의해 출력되는 이미지 광을 차단하는 차단 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 내에 포함되도록 촬영 구간을 설정하는 단계를 포함할 수 있다. 상기 방법은, 차단 구간 동안 출력되는 이미지 광을 차단하는 단계를 포함할 수 있다. 상기 방법은, 카메라를 이용하여, 촬영 구간 동안 외부 투사면에 위치하는 객체를 촬영하는 단계를 포함할 수 있다.According to an embodiment of the present disclosure, a method for recognizing an object with image projection may include obtaining illuminance information indicating the illuminance of an external projection surface of image light projected by a projection lens. The method may include setting a blocking section for blocking image light output by the light source unit, based on illuminance information. The method may include setting the shooting section to be included within the blocking section. The method may include blocking image light output during the blocking period. The method may include photographing an object located on an external projection surface during a photographing period using a camera.
일 실시 예에서, 촬영 구간은 제1 촬영 구간 및 제1 촬영 구간에 뒤따르는 제2 촬영 구간을 포함할 수 있다. 상기 촬영 구간을 설정하는 단계는, 제1 촬영 구간이 시작된 후 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정하는 단계를 포함할 수 있다. 상기 객체를 촬영하는 단계는, 촬영 주기에 기초하여, 촬영 구간 동안 객체를 반복적으로 촬영하는 단계를 포함할 수 있다.In one embodiment, the shooting section may include a first shooting section and a second shooting section following the first shooting section. Setting the shooting section may include determining a shooting cycle from when the first shooting section starts to when the second shooting section starts again. The step of photographing the object may include repeatedly photographing the object during a photographing section based on a photographing cycle.
일 실시 예에서, 촬영 주기는 촬영 구간 및 촬영 구간과 겹치지 않는 투사 구간이 반복되는 주기일 수 있다. 촬영 구간은 투사 구간보다 짧을 수 있다.In one embodiment, the shooting cycle may be a cycle in which the shooting section and the projection section that do not overlap with the shooting section are repeated. The shooting section may be shorter than the projection section.
일 실시 예에서, 차단 구간을 설정하는 단계는, 조도 정보에 따른 조도가 높을수록 투사 구간 대비 촬영 구간의 비율이 작아지도록, 차단 구간을 설정하는 단계를 포함할 수 있다.In one embodiment, setting the blocking section may include setting the blocking section so that the ratio of the shooting section to the projection section decreases as the illuminance according to the illuminance information increases.
일 실시 예에서, 촬영 구간을 설정하는 단계는, 조도 정보에 기초하여, 조도 정보에 따른 조도가 높을수록 촬영 구간이 짧아지도록 촬영 구간을 설정하는 단계를 포함할 수 있다.In one embodiment, setting the photographing section may include setting the photographing section based on illuminance information so that the higher the illuminance according to the illuminance information, the shorter the photographing section becomes.
일 실시 예에서, 객체를 반복적으로 촬영하는 단계는, 제1 촬영 구간 동안 객체를 촬영함으로써, 객체를 포함하는 제1 객체 이미지를 획득하는 단계를 포함할 수 있다. 객체를 반복적으로 촬영하는 단계는, 제2 촬영 구간 동안 객체를 촬영함으로써, 객체를 포함하는 제2 객체 이미지를 획득하는 단계를 포함할 수 있다. 상기 방법은, 제1 객체 이미지 및 제2 객체 이미지에 기초하여 정합 이미지를 획득하는 단계를 더 포함할 수 있다.In one embodiment, repeatedly photographing an object may include obtaining a first object image including the object by photographing the object during a first photographing period. The step of repeatedly photographing an object may include acquiring a second object image including the object by photographing the object during a second photographing period. The method may further include obtaining a registered image based on the first object image and the second object image.
일 실시 예에서, 정합 이미지의 조도는 제1 객체 이미지의 조도 및 제2 객체 이미지의 조도보다 높을 수 있다.In one embodiment, the illuminance of the registered image may be higher than the illuminance of the first object image and the illuminance of the second object image.
일 실시 예에서, 상기 방법은 조도 정보에 기초하여 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정하는 단계를 더 포함할 수 있다. 상기 방법은, 촬영 주기에 따라 반복적으로 촬영된 객체 이미지 중, 정합 수량에 기초하여 일부를 선택하는 단계를 더 포함할 수 있다. 상기 방법은, 선택된 일부에 기초하여 정합 이미지를 획득하는 단계를 더 포함할 수 있다. 조도 정보에 따른 조도가 높을수록 정합 수량이 작을 수 있다.In one embodiment, the method may further include determining a matching quantity for matching an object image for a photographed object based on illuminance information. The method may further include selecting some of the object images repeatedly photographed according to the photographing cycle based on the matching quantity. The method may further include obtaining a registered image based on the selected portion. The higher the illuminance according to the illuminance information, the smaller the matching quantity may be.
본 개시의 일 실시예에 따르면, 전술한 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공한다.According to one embodiment of the present disclosure, a computer-readable recording medium on which a program for performing the above-described method on a computer is recorded is provided.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term is used to refer to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as . For example, a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be provided and included in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. A computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
Claims (20)
상기 출력되는 이미지 광을 외부로 투사시키는 프로젝션 렌즈(1430);
상기 투사되는 이미지 광의 외부 투사면에 대해 위치하는 객체를 촬영하는 카메라(1300);
소정 구간 동안 상기 출력되는 이미지 광을 차단하는 광차단부(1420); 및
상기 광원부, 상기 프로젝션 렌즈, 상기 카메라, 상기 광차단부의 동작을 제어하는 적어도 하나의 프로세서(1100)를 포함하고,
상기 적어도 하나의 프로세서는,
상기 외부 투사면의 조도를 나타내는 조도 정보를 획득하고,
상기 조도 정보에 기초하여, 상기 출력되는 이미지 광을 차단하는 차단 구간(T2 ~ T4)을 설정하고,
상기 차단 구간 내에 포함되도록 촬영 구간(T2 ~ T3)을 설정하고,
상기 차단 구간 동안 상기 출력되는 이미지 광을 차단하도록 상기 광차단부를 제어하고,
상기 촬영 구간 동안 상기 객체를 촬영하도록 상기 카메라를 제어하는,
영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치.
A light source unit 1410 that outputs image light;
A projection lens 1430 that projects the output image light to the outside;
A camera 1300 that photographs an object located with respect to an external projection surface of the projected image light;
a light blocking unit 1420 that blocks the output image light for a predetermined period; and
Comprising at least one processor 1100 that controls operations of the light source unit, the projection lens, the camera, and the light blocking unit,
The at least one processor,
Obtaining illuminance information indicating the illuminance of the external projection surface,
Based on the illuminance information, set a blocking section (T2 to T4) to block the output image light,
Set the shooting section (T2 to T3) to be included within the blocking section,
Controlling the light blocking unit to block the output image light during the blocking period,
Controlling the camera to photograph the object during the photographing period,
A projecting device for recognizing objects along with image projection.
상기 촬영 구간의 시작점(T2)은 상기 차단 구간의 시작점과 일치하는, 프로젝팅 장치.
According to paragraph 1,
The starting point (T2) of the shooting section coincides with the starting point of the blocking section.
상기 촬영 구간은 제1 촬영 구간(T2 ~ T3) 및 상기 제1 촬영 구간에 뒤따르는 제2 촬영 구간(T6 ~ T7)을 포함하고,
상기 적어도 하나의 프로세서는,
상기 제1 촬영 구간이 시작된 후 상기 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정하고,
상기 촬영 주기에 기초하여, 상기 촬영 구간 동안 상기 객체를 반복적으로 촬영하도록 상기 카메라를 제어하는, 프로젝팅 장치.
According to any one of paragraphs 1 and 2,
The shooting section includes a first shooting section (T2 to T3) and a second shooting section (T6 to T7) following the first shooting section,
The at least one processor,
Determining a shooting cycle from when the first shooting section starts until the second shooting section starts again,
A projecting device that controls the camera to repeatedly photograph the object during the photographing period, based on the photographing cycle.
상기 촬영 주기는 촬영 구간(T2 ~ T3) 및 상기 촬영 구간과 겹치지 않는 투사 구간(T4 ~ T5)이 반복되는 주기이고,
상기 촬영 구간은 상기 투사 구간보다 짧은, 프로젝팅 장치.
According to paragraph 3,
The shooting cycle is a cycle in which the shooting section (T2 ~ T3) and the projection section (T4 ~ T5) that do not overlap with the shooting section are repeated,
A projecting device, wherein the photographing section is shorter than the projection section.
상기 적어도 하나의 프로세서는,
상기 조도 정보에 따른 조도가 높을수록 상기 투사 구간(T4 ~ T5) 대비 상기 촬영 구간(T2 ~ T3)의 비율이 작아지도록, 상기 차단 구간을 설정하는, 프로젝팅 장치.
According to paragraph 4,
The at least one processor,
A projecting device that sets the blocking section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section (T2 to T3) to the projection section (T4 to T5).
상기 적어도 하나의 프로세서는,
상기 조도 정보에 기초하여, 상기 조도 정보에 따른 조도가 높을수록 상기 촬영 구간(T2 ~ T33)이 짧아지도록 상기 촬영 구간을 설정하는, 프로젝팅 장치.
According to any one of claims 1 to 5,
The at least one processor,
Based on the illuminance information, a projecting device that sets the photographing section so that the higher the illuminance according to the illuminance information, the shorter the photographing section (T2 to T33).
상기 적어도 하나의 프로세서는,
상기 제1 촬영 구간 동안 상기 객체를 촬영하도록 상기 카메라를 제어함으로써, 상기 객체를 포함하는 제1 객체 이미지(310)를 획득하고,
상기 제2 촬영 구간 동안 상기 객체를 촬영하도록 상기 카메라를 제어함으로써, 상기 객체를 포함하는 제2 객체 이미지(320)를 획득하고,
상기 제1 객체 이미지 및 상기 제2 객체 이미지에 기초하여 정합 이미지(330)를 획득하는, 프로젝팅 장치.
According to any one of claims 3 to 6,
The at least one processor,
Obtaining a first object image 310 including the object by controlling the camera to photograph the object during the first photographing section,
Obtaining a second object image 320 including the object by controlling the camera to photograph the object during the second photographing period,
A projecting device that acquires a registered image 330 based on the first object image and the second object image.
상기 정합 이미지의 조도는 상기 제1 객체 이미지의 조도 및 상기 제2 객체 이미지의 조도보다 높은, 프로젝팅 장치.
In clause 7,
The illuminance of the registered image is higher than the illuminance of the first object image and the illuminance of the second object image.
상기 적어도 하나의 프로세서는,
상기 조도 정보에 기초하여 상기 카메라에 의해 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정하고(S810),
상기 촬영 주기에 따라 반복적으로 촬영된 객체 이미지 중, 상기 정합 수량에 기초하여 일부를 선택하고(S820),
상기 선택된 일부에 기초하여 정합 이미지를 획득하되(S830),
상기 조도 정보에 따른 조도가 높을수록 상기 정합 수량이 작은, 프로젝팅 장치.
According to any one of claims 3 to 8,
The at least one processor,
Determining a matching quantity for matching an object image of an object captured by the camera based on the illuminance information (S810),
Among object images repeatedly photographed according to the photographing cycle, some are selected based on the matching quantity (S820),
Acquire a registered image based on the selected part (S830),
A projecting device wherein the higher the illuminance according to the illuminance information, the smaller the matching quantity.
상기 광차단부는,
상기 출력되는 이미지 광을 투과시키는 투과 필터(931);
상기 투과 필터와 연결되고, 상기 출력되는 이미지 광을 차단하는 차단 필터(932);
상기 투과 필터 및 상기 차단 필터가 상기 이미지 광이 지나가는 광로 상에 순차로 배치되도록 회전 가능하게 설치된 회전판(933); 및
상기 회전판을 회전 구동하는 구동 모터(934)를 포함하는, 프로젝팅 장치.
According to any one of claims 1 to 9,
The light blocking unit,
A transmission filter 931 that transmits the output image light;
A blocking filter 932 connected to the transmission filter and blocking the output image light;
a rotating plate 933 rotatably installed so that the transmission filter and the blocking filter are sequentially arranged on an optical path through which the image light passes; and
A projecting device including a drive motor 934 that rotates the rotary plate.
상기 차단 구간은 상기 광차단부가 회전함에 따라 상기 차단 필터에 의해 상기 이미지 광이 차단되는 구간이고,
투사 구간은 상기 광차단부가 회전함에 따라 상기 투과 필터에 의해 상기 이미지 광이 투과되는 구간인, 프로젝팅 장치.
According to clause 10,
The blocking section is a section in which the image light is blocked by the blocking filter as the light blocking unit rotates,
The projection section is a section in which the image light is transmitted by the transmission filter as the light blocking unit rotates.
투사된 이미지 광의 외부 투사면의 조도를 나타내는 조도 정보를 획득하는 단계;
상기 조도 정보에 기초하여, 출력되는 이미지 광을 차단하는 차단 구간을 설정하는 단계;
상기 차단 구간 내에 포함되도록 촬영 구간을 설정하는 단계;
상기 차단 구간 동안 상기 출력되는 이미지 광을 차단하는 단계; 및
상기 촬영 구간 동안 상기 외부 투사면에 위치하는 상기 객체를 촬영하는 단계를 포함하는, 방법.
In a method for recognizing an object with image projection,
Obtaining illuminance information indicating the illuminance of the external projection surface of the projected image light;
Setting a blocking section to block output image light based on the illuminance information;
Setting a shooting section to be included within the blocking section;
blocking the output image light during the blocking period; and
Method comprising photographing the object located on the external projection surface during the photographing period.
상기 촬영 구간은 제1 촬영 구간(T2 ~ T3) 및 상기 제1 촬영 구간에 뒤따르는 제2 촬영 구간(T6 ~ T7)을 포함하고,
상기 촬영 구간을 설정하는 단계는, 상기 제1 촬영 구간이 시작된 후 상기 제2 촬영 구간이 다시 시작되기까지의 촬영 주기를 결정하는 단계를 포함하고,
상기 객체를 촬영하는 단계는, 상기 촬영 주기에 기초하여, 상기 촬영 구간 동안 상기 객체를 반복적으로 촬영하는 단계를 포함하는, 방법.
According to clause 12,
The shooting section includes a first shooting section (T2 to T3) and a second shooting section (T6 to T7) following the first shooting section,
Setting the shooting section includes determining a shooting cycle from when the first shooting section starts to when the second shooting section starts again,
The method of photographing the object includes repeatedly photographing the object during the photographing section based on the photographing cycle.
상기 촬영 주기는 촬영 구간(T2 ~ T3) 및 상기 촬영 구간과 겹치지 않는 투사 구간(T4 ~ T5)이 반복되는 주기이고,
상기 촬영 구간은 상기 투사 구간보다 짧은, 방법.
According to clause 13,
The shooting cycle is a cycle in which the shooting section (T2 ~ T3) and the projection section (T4 ~ T5) that do not overlap with the shooting section are repeated,
The method wherein the photographing section is shorter than the projection section.
상기 차단 구간을 설정하는 단계는, 상기 조도 정보에 따른 조도가 높을수록 상기 투사 구간(T4 ~ T5) 대비 상기 촬영 구간(T2 ~ T3)의 비율이 작아지도록, 상기 차단 구간을 설정하는 단계를 포함하는, 방법.
According to clause 14,
Setting the blocking section includes setting the blocking section so that the higher the illuminance according to the illuminance information, the smaller the ratio of the shooting section (T2 to T3) to the projection section (T4 to T5). How to.
상기 촬영 구간을 설정하는 단계는, 상기 조도 정보에 기초하여, 상기 조도 정보에 따른 조도가 높을수록 상기 촬영 구간(T2 ~ T33)이 짧아지도록 상기 촬영 구간을 설정하는 단계를 포함하는, 방법.
According to any one of claims 12 to 15,
The setting of the photographing section includes, based on the illuminance information, setting the photographing section so that the higher the illuminance according to the illuminance information, the shorter the photographing section (T2 to T33).
상기 객체를 반복적으로 촬영하는 단계는,
상기 제1 촬영 구간 동안 상기 객체를 촬영함으로써, 상기 객체를 포함하는 제1 객체 이미지(310)를 획득하는 단계; 및
상기 제2 촬영 구간 동안 상기 객체를 촬영함으로써, 상기 객체를 포함하는 제2 객체 이미지(320)를 획득하는 단계를 포함하고,
상기 방법은, 상기 제1 객체 이미지 및 상기 제2 객체 이미지에 기초하여 정합 이미지(330)를 획득하는 단계를 더 포함하는, 방법.
According to any one of claims 13 to 16,
The step of repeatedly photographing the object is,
acquiring a first object image 310 including the object by photographing the object during the first photographing period; and
Obtaining a second object image 320 including the object by photographing the object during the second photographing period,
The method further includes obtaining a registered image (330) based on the first object image and the second object image.
상기 정합 이미지의 조도는 상기 제1 객체 이미지의 조도 및 상기 제2 객체 이미지의 조도보다 높은, 방법.
According to clause 17,
The method wherein the illuminance of the registered image is higher than the illuminance of the first object image and the illuminance of the second object image.
상기 조도 정보에 기초하여 촬영된 객체에 관한 객체 이미지를 정합하는 수량에 관한 정합 수량을 결정하는 단계(S810);
상기 촬영 주기에 따라 반복적으로 촬영된 객체 이미지 중, 상기 정합 수량에 기초하여 일부를 선택하는 단계(S820); 및
상기 선택된 일부에 기초하여 정합 이미지를 획득하는 단계(S830)를 더 포함하고,
상기 조도 정보에 따른 조도가 높을수록 상기 정합 수량이 작은, 방법.
According to any one of claims 13 to 18,
determining a matching quantity for matching an object image of a photographed object based on the illuminance information (S810);
Selecting some of the object images repeatedly photographed according to the photographing cycle based on the matching quantity (S820); and
Further comprising acquiring a registered image based on the selected portion (S830),
The method wherein the higher the illuminance according to the illuminance information, the smaller the matching quantity.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2023/009960 WO2024063280A1 (en) | 2022-09-22 | 2023-07-12 | Projection device and method for recognizing object with image projection |
US18/228,292 US20240107176A1 (en) | 2022-09-22 | 2023-07-31 | Projecting device and method for recognizing object with image projection |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220120256 | 2022-09-22 | ||
KR20220120256 | 2022-09-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240041196A true KR20240041196A (en) | 2024-03-29 |
Family
ID=90483861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220173049A KR20240041196A (en) | 2022-09-22 | 2022-12-12 | Projecting device and method for recognizing object with image projection |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240041196A (en) |
-
2022
- 2022-12-12 KR KR1020220173049A patent/KR20240041196A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11778318B2 (en) | Depth sensing techniques for virtual, augmented, and mixed reality systems | |
JP3640156B2 (en) | Pointed position detection system and method, presentation system, and information storage medium | |
JP4707034B2 (en) | Image processing method and input interface device | |
CN107667526B (en) | Electronic device and method | |
KR101457976B1 (en) | Input user interface device, projecting device, command deciding method and program storage medium storing command deciding method program | |
WO2020238506A1 (en) | Control method for electronic apparatus, and electronic apparatus | |
CN110996084A (en) | Projection image processing method and device, projection equipment and storage medium | |
JP2011043876A (en) | Image display device | |
TWI698127B (en) | Projection system and projection method | |
JP2015037250A (en) | Image projection device and presentation system | |
CN104683722A (en) | Image display apparatus and method of controlling image display apparatus | |
CN110463191A (en) | The control method of projector and projector | |
JP2012181264A (en) | Projection device, projection method, and program | |
CN101441393A (en) | Projection device for image projection with document camera device connected thereto, and projection method | |
JP2015197587A (en) | Bidirectional display method and bidirectional display device | |
KR20240041196A (en) | Projecting device and method for recognizing object with image projection | |
US10788742B2 (en) | Display system | |
US20240107176A1 (en) | Projecting device and method for recognizing object with image projection | |
JP2007017516A (en) | Projector provided with function of projecting two-dimensional positional information | |
WO2014048280A1 (en) | Human-machine interactive system and infrared image capture device | |
JP6427888B2 (en) | Image display system, image display apparatus, and image display method | |
CN108983962A (en) | The control method of display device and display device | |
EP4401402A1 (en) | Projection system, interactive projection method and projector | |
US11997434B2 (en) | Display method and display system | |
CN115474032B (en) | Projection interaction method, projection device and storage medium |