KR20170086392A - System and method for picture taking using IR camera and maker and application therefor - Google Patents
System and method for picture taking using IR camera and maker and application therefor Download PDFInfo
- Publication number
- KR20170086392A KR20170086392A KR1020160077582A KR20160077582A KR20170086392A KR 20170086392 A KR20170086392 A KR 20170086392A KR 1020160077582 A KR1020160077582 A KR 1020160077582A KR 20160077582 A KR20160077582 A KR 20160077582A KR 20170086392 A KR20170086392 A KR 20170086392A
- Authority
- KR
- South Korea
- Prior art keywords
- marker
- image
- infrared
- subject
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 74
- 239000003550 marker Substances 0.000 claims abstract description 369
- 230000001815 facial effect Effects 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000003672 processing method Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- G06K9/00624—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H04N5/225—
-
- H04N5/232—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
영상 촬영 시스템이 피사체의 영상을 촬영하기 위하여, 적외선 마커를 촬영한 마커 영상을 수집하고 마커 영상에서의 마커 위치를 기초로 영상 촬영 장치가 거치된 모터의 움직임을 제어하는 제어값을 계산하며, 제어값을 모터로 전달하여 모터의 제어에 의해 영상 촬영 장치가 움직이며 피사체의 영상을 촬영한다.In order to capture an image of a subject, the image capturing system collects marker images of the infrared marker, calculates a control value for controlling the movement of the motor mounted on the image capturing apparatus based on the marker position in the marker image, The value is transmitted to the motor, and the image capturing device moves by the control of the motor and captures the image of the subject.
Description
본 발명은 적외선 카메라와 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션에 관한 것이다.The present invention relates to an imaging system, method and application using infrared cameras and markers.
스마트 디바이스와 소셜 네트워크의 발전으로 인해, 유튜브(Youtube), 블로그 등에 1인 강좌 또는 퍼포먼스 등 나홀로 영상 컨텐츠인 UCC(User Created Contents)를 제작하여 업로드, 공유하는 문화가 빠른 속도로 확산되고 있다. 이 때, 사용자들이 나홀로 영상 컨텐츠를 촬영함에 있어, 피사체의 위치를 확인하여 영상을 촬영해 주는 보조 인력 없이는 원하는 영상을 촬영하는데 한계가 있다.Due to the development of smart devices and social networks, the culture of uploading and sharing UCC (User Created Contents) which are one-person lectures or performances such as YouTube (Youtube) and blogs is spreading rapidly. In this case, when users take a picture of the image contents alone, there is a limit to photographing a desired image without confirming the position of the subject and using an assistant force to photograph the image.
이를 위해, 자동으로 피사체의 위치를 추적하는 다양한 기술들이 연구되고 있다. 그 중 하나인 카메라와 적외선 LED 마커를 이용하여 피사체의 위치를 추적하는 기술은 적외선 마커의 영상을 분석, 피사체의 위치를 파악하고 위치 데이터를 기반으로 피사체의 위치를 파악하는 기술이다.To this end, various techniques for automatically tracking the position of an object are being studied. One of them is a technology for tracking the position of a subject using a camera and an infrared LED marker, analyzing the image of the infrared marker, locating the subject, and locating the subject based on the position data.
이 기술을 통해 피사체의 위치를 파악하기 위해서, 주로 단일 MCU(Micro Controller Unit) 또는 MPU(Micro Processing Unit)를 통해 적외선 LED 마커에 대한 영상 처리를 수행한다. 그러나, 고용량의 영상 데이터를 저장하고 처리하기 위해서는 고용량의 메모리와 고성능의 MCU 또는 MPU가 요구되므로, 원가 상승의 문제를 발생시키고 제품의 소형화가 어렵다는 단점이 있다.In order to determine the position of the subject through this technique, image processing is mainly performed on an infrared LED marker through a single microcontroller unit (MCU) or a micro processing unit (MPU). However, since a high-capacity memory and a high-performance MCU or MPU are required in order to store and process high-capacity image data, there is a disadvantage in that it is difficult to miniaturize the product because of a problem of cost increase.
그리고 피사체의 위치를 적외선 LED 마커와 카메라로 파악하는 경우, 적외선의 특성상 피사체 주위 환경에 비슷한 파장의 빛을 발산하는 물체나 반사체 등 간섭 물체가 있는 경우, 카메라가 피사체가 지닌 마커와 간섭 물체를 구분할 수 없다. 따라서 자동으로 피사체를 구별하여 정확하게 피사체 위치를 추적하기 어렵다는 단점이 있다.When the position of the subject is detected by the infrared LED marker and the camera, if there is an interference object such as an object or a reflector which emits light of a similar wavelength to the surrounding environment due to the characteristic of infrared rays, the camera distinguishes the marker and the interference object I can not. Therefore, there is a disadvantage that it is difficult to distinguish the subject automatically and accurately track the position of the subject.
따라서, 본 발명은 피사체 혼자서도 다이내믹한 영상을 촬영하되 피사체의 위치를 정확하게 인식할 수 있는 적외선 카메라와 적외선 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션을 제공한다.Accordingly, the present invention provides an image capturing system, a method, and an application using an infrared camera and an infrared marker that can accurately capture the position of a subject while taking a dynamic image of the subject alone.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 영상 촬영 시스템이 피사체의 영상을 촬영하는 방법은, According to another aspect of the present invention, there is provided a method of capturing an image of a subject,
적외선 마커를 촬영한 마커 영상을 수집하는 단계; 상기 마커 영상에서의 마커 위치를 기초로 영상 촬영 장치가 거치된 모터의 움직임을 제어하는 제어값을 계산하는 단계; 및 상기 제어값을 상기 모터로 전달하는 단계를 포함하고, 상기 적외선 마커는 상기 피사체에 부착되고, 상기 영상 촬영 장치는 상기 피사체를 촬영한다.Collecting a marker image of the infrared marker; Calculating a control value for controlling the movement of the motor mounted on the image pickup apparatus based on the marker position in the marker image; And transmitting the control value to the motor, wherein the infrared marker is attached to the subject, and the image photographing apparatus photographs the subject.
상기 마커 영상을 수집하는 단계는, 상기 적외선 마커가 발산하는 적외선 빛을 투과시켜 상기 마커 영상을 수집하는 단계; 상기 마커 영상을 흑백 마커 영상으로 전환하는 단계; 및 전환한 흑백 마커 영상을 압축하여 압축 마커 영상을 생성하는 단계를 포함할 수 있다.The step of collecting the marker image includes the steps of: transmitting the infrared light emitted by the infrared marker and collecting the marker image; Converting the marker image into a black and white marker image; And compressing the converted black and white marker image to generate a compressed marker image.
상기 압축 마커 영상을 상기 영상 촬영 장치로 전달하는 단계; 및 상기 마커 위치를 상기 영상 촬영 장치로부터 수신하는 단계를 더 포함하고, 상기 마커 위치는 상기 압축 마커 영상을 기초로 계산될 수 있다.Transmitting the compressed marker image to the image capturing apparatus; And receiving the marker position from the imaging device, wherein the marker position can be calculated based on the compressed marker image.
상기 영상 촬영 장치로부터 수신하는 단계 이후에, 상기 적외선 마커의 위치는 상기 영상 촬영 장치가 계산한 상기 제1 모터 제어값과 제2 모터 제어값을 더 포함하며, 상기 제1 모터 제어값과 제2 모터 제어값을 토대로 상기 모터를 제어하는 단계를 포함할 수 있다.Wherein the position of the infrared marker further includes the first motor control value and the second motor control value calculated by the image photographing apparatus after the step of receiving from the image photographing apparatus, And controlling the motor based on the motor control value.
상기 제어값을 계산하는 단계는, 상기 마커 위치를 토대로 상기 영상 촬영 장치를 제1 방향으로 움직이기 위한 제1 모터 제어값을 계산하는 단계; 상기 영상 촬영 장치를 제2 방향으로 움직이기 위한 제2 모터 제어값을 계산하는 단계; 및 상기 계산한 제1 모터 제어값과 제2 모터 제어값을 토대로 상기 영상 촬영 장치를 제1 방향 또는 제2 방향 중 적어도 하나 이상의 방향으로 이동시키도록, 상기 모터를 제어하는 단계를 포함할 수 있다.Wherein the step of calculating the control value includes: calculating a first motor control value for moving the image sensing apparatus in a first direction based on the marker position; Calculating a second motor control value for moving the imaging device in a second direction; And controlling the motor to move the imaging device in at least one of the first direction or the second direction based on the calculated first motor control value and the second motor control value .
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 단말에 탑재되고, 상기 단말의 프로세서, 메모리, 그리고 카메라를 포함하는 하드웨어와 결합하여 프로그램된 동작을 실행하는 어플리케이션으로서, According to another aspect of the present invention, there is provided an application program executed in combination with hardware including a processor, a memory, and a camera of the terminal,
상기 카메라를 활성화하여 영상을 촬영하는 단계; 적외선 마커 인식 장치로부터 적외선 마커를 촬영한 마커 영상을 수신하는 단계; 상기 마커 영상에서의 마커 위치를 계산하는 단계; 및 상기 마커 위치를 상기 적외선 마커 인식 장치로 전송하는 단계를 수행하도록 프로그램된 명령어들(instructions)을 포함하고, 상기 적외선 마커는 피사체에 부착되고, 상기 단말은 상기 적외선 마커 인식 장치에 의해 움직임이 제어되는 모터에 거치되며, 상기 적외선 마커 인식 장치는 상기 마커 위치를 기초로 상기 모터를 제어한다.Activating the camera to capture an image; Receiving a marker image of an infrared marker from the infrared marker recognition device; Calculating a marker position in the marker image; And transmitting instructions to the infrared marker recognition device, wherein the infrared marker is attached to a subject and the terminal is controlled by the infrared marker recognition device, And the infrared marker recognition device controls the motor based on the marker position.
상기 마커 위치를 계산하는 단계는, 상기 마커 영상의 픽셀 데이터를 분석하여, 상기 적외선 마커에 대한 픽셀 데이터 값을 추출하는 단계; 및 상기 추출한 픽셀 데이터 값을 토대로 상기 적외선 마커의 위치를 계산하는 단계를 수행할 수 있다.The step of calculating the marker position may include analyzing pixel data of the marker image and extracting a pixel data value of the infrared marker; And calculating the position of the infrared marker based on the extracted pixel data value.
상기 적외선 마커의 위치를 계산하는 단계는, 상기 적외선 마커에 대응하는 픽셀 데이터 값을 포함하여 둘 이상의 픽셀 데이터 값이 추출되면, 안면 영상을 수집하는 단계; 수집한 안면 영상에 포함된 모든 피사체에 대한 피사체 안면 수를 확인하고, 상기 피사체 안면에 안면 식별 번호를 부여하는 단계; 및 상기 피사체 안면 각각에 대하여 적외선 마커의 소지 유무를 확인하는 단계를 수행할 수 있다.Wherein the step of calculating the position of the infrared marker includes the steps of: collecting a face image when two or more pixel data values including a pixel data value corresponding to the infrared marker are extracted; Confirming the number of facial faces of all the subjects included in the collected facial images, and assigning facial identification numbers to the facial images of the subject; And confirming presence or absence of the infrared marker on each of the face images of the subject.
상기 적외선 마커의 소지 유무를 확인하는 단계는, 임의의 피사체 안면에 부여된 안면 식별 번호가 상기 모든 피사체에 대한 피사체 안면 수에 대한 번호보다 작으면, 상기 선택한 피사체 안면의 안면 영역 크기와 위치를 확인하는 단계; 상기 확인한 피사체 안면의 위치를 기초로, 상기 적외선 마커에 대응하는 영상 데이터를 탐지하기 위하여 탐색 영역을 지정하는 단계; 지정한 탐색 영역을 미리 설정한 수만큼 분할하여 복수의 분할 화면을 생성하는 단계; 상기 복수의 분할 화면 중 어느 하나의 분할 화면에 상기 적외선 마커에 대한 영상 데이터가 포함되어 있는지 확인하는 단계; 및 어느 하나의 분할 화면에서 상기 적외선 마커에 대한 영상 데이터가 포함되어 있으면, 상기 적외선 마커의 위치를 분석하는 단계를 수행할 수 있다.The step of confirming presence or absence of the infrared marker may include checking the size and position of the facial area of the selected facial face if the facial identification number given to the subject facial surface is smaller than the number of facial facial numbers for all the subjects ; Designating a search area to detect image data corresponding to the infrared marker based on the position of the determined subject's face; Dividing a designated search area by a preset number to generate a plurality of divided screens; Confirming whether any one of the plurality of divided screens includes image data for the infrared marker; And analyzing the position of the infrared marker if image data for the infrared marker is included in any one of the divided screens.
상기 복수의 분할 화면에 상기 적외선 마커에 대한 영상 데이터가 포함되어 있지 않으면, 상기 임의의 피사체 안면에 부여된 안면 식별 번호를 하나 증가시키는 단계; 하나 증가된 안면 식별 번호가 상기 피사체 안면 수에 대한 번호보다 크면, 탐색 영역을 확장하는 단계; 및 확장한 탐색 영역의 크기가 미리 설정한 최대 탐색 영역의 크기와 같으면, 상기 탐색 영역 내에는 적외선 마커가 없는 것으로 확인하는 단계를 수행할 수 있다.Increasing the facial identification number given to the subject's face if the image data for the infrared marker is not included in the plurality of divided images; Expanding the search area if one of the facial identification numbers is larger than the number of facial facial numbers; And confirming that there is no infrared marker in the search area if the size of the extended search area is equal to the size of the preset maximum search area.
상기 적외선 마커 인식 정치로 전송하는 단계는, 상기 마커 위치를 토대로 계산한 모터 제어값을 상기 적외선 마커 인식 장치로 전송할 수 있다.The step of transmitting to the infrared marker recognition unit may transmit the motor control value calculated based on the marker position to the infrared marker recognition unit.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 적외선 마커를 소지한 피사체의 영상을 촬영하기 위한 시스템은,According to another aspect of the present invention, there is provided a system for capturing an image of a subject having an infrared marker,
영상 촬영 장치를 거치하는 본체; 상기 본체의 움직임을 제어하는 적어도 하나의 모터; 적외선 마커를 인식하는 적외선 카메라; 프로그램을 저장하는 메모리; 및 상기 모터, 상기 적외선 카메라, 그리고 상기 메모리와 연동하여 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 적외선 카메라에서 촬영된 마커 영상을 수집하고, 상기 마커 영상을 토대로 추출된 상기 마커 위치 정보를 토대로 상기 모터를 제어하는 모터 제어값을 계산한다.A main body for mounting the image photographing apparatus; At least one motor for controlling movement of the main body; An infrared camera recognizing an infrared marker; A memory for storing a program; And a processor for executing the program in cooperation with the motor, the infrared camera, and the memory, wherein the processor is configured to collect a marker image photographed by the infrared camera, to extract the marker position extracted based on the marker image And calculates a motor control value for controlling the motor based on the information.
상기 적외선 마커는, 복수의 적외선 LED가 입력되는 펄스 신호를 토대로 적외선 빛을 방사하도록 활성화 상태가 되거나, 활성화 상태에서 비활성화 상태로 상태가 전환되는 LED부; 상기 LED부에 포함되어 있는 복수의 적외선 LED로 미리 설정한 간격의 펄스 신호를 생성하여 제공하는 타이머; 및 상기 타이머에 전원을 공급하는 전원 공급부를 포함할 수 있다.Wherein the infrared marker comprises: an LED unit that is activated to emit infrared light based on a pulse signal to which a plurality of infrared LEDs are input, or is switched from an active state to an inactive state; A timer for generating and supplying a pulse signal having a preset interval to a plurality of infrared LEDs included in the LED unit; And a power supply unit for supplying power to the timer.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 적외선 마커를 소지한 피사체의 영상을 촬영하기 위한 시스템은,According to another aspect of the present invention, there is provided a system for capturing an image of a subject having an infrared marker,
영상을 촬영하는 영상 카메라; 상기 카메라를 거치하고 제어 신호를 기초로 움직이며, 적외선 카메라를 포함하는 본체; 상기 영상 카메라의 영상 촬영을 제어하는 제1 프로세서; 및 상기 제어 신호를 생성하는 제2 프로세서를 포함하고, 상기 제2 프로세서는 상기 적외선 카메라로 투과된 적외선 빛으로부터 마커 영상을 생성하고, 상기 제1 프로세서로 상기 마커 영상을 전송하며, 상기 제1 프로세서로부터 상기 마커 영상으로부터 추출된 마커 위치 정보를 수신하며, 상기 마커 위치 정보를 기초로 상기 본체의 움직임을 제어하는 제어 신호를 생성하고, 상기 제1 프로세서는 상기 제2 프로세서로부터 수신한 마커 영상을 기초로 상기 마커 위치 정보를 계산한다. A video camera for capturing an image; A main body including an infrared camera, the infrared camera being mounted on the camera and moving based on a control signal; A first processor for controlling the image capturing of the image camera; And a second processor for generating the control signal, wherein the second processor generates a marker image from the infrared light transmitted through the infrared camera, and transmits the marker image to the first processor, Wherein the first processor generates a control signal for controlling the motion of the main body on the basis of the marker position information, and the first processor receives the marker image extracted from the marker image, To calculate the marker position information.
본 발명에 따르면, 적외선 카메라와 적외선 마커를 이용하여 영상을 촬영함으로써, 보조 촬영 인력 없이도 영상 컨텐츠를 생성하고자 하는 주체인 피사체의 위치와 피사체의 안면 인식을 통해, 피사체 혼자서도 간편하게 영상을 촬영할 수 있다.According to the present invention, by capturing an image using an infrared camera and an infrared marker, it is possible to easily take an image of a subject alone by using the position of the subject and the facial recognition of the subject, which are subjects to generate image contents without auxiliary shooting force.
또한, 고용량의 메모리와 고성능의 CPU 추가 없이도 피사체의 추적 영상을 병렬로 처리하여, 피사체의 위치 좌표를 구하기 위한 영상 이미지 데이터 분석 처리 시간을 단축시킬 수 있다.In addition, it is possible to shorten the processing time of the image image data analysis for obtaining the position coordinates of the subject by processing the tracking images of the subject in parallel without adding a high-capacity memory and a high-performance CPU.
또한, 피사체의 안면 인식을 통해 적외선 마커와 간섭 물체로 인한 피사체 인식 오류의 문제를 해결하여, 피사체의 위치 탐지 인식률과 적외선 마커 자동 추적을 위한 영상 분석 속도를 향상시킬 수 있다.In addition, it is possible to improve the speed of image analysis for detecting the position detection recognition rate of the subject and automatic tracking of the infrared marker by solving the problem of the object recognition error due to the infrared marker and the interference object through the face recognition of the subject.
도 1은 본 발명의 실시예에 따른 영상 촬영 시스템의 예시도이다.
도 2는 본 발명의 실시예에 따른 마커 인식 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 영상 촬영 장치의 구조도이다.
도 4는 본 발명의 제1 실시예에 따른 영상 처리 방법에 대한 흐름도이다.
도 5는 본 발명의 실시예에 따른 병렬 처리와 단일 처리에 따른 프로세싱 시간 비교에 대한 예시도이다.
도 6은 본 발명의 실시예에 따른 안면 인식을 이용한 적외선 마커와 간섭 물체의 구별 방법에 대한 흐름도이다.
도 7은 본 발명의 실시예에 따른 안면 인식을 이용한 피사체 위치 탐색의 예시도이다.
도 8은 본 발명의 제2 실시예에 따른 영상 처리 방법에 대한 흐름도이다.
도 9는 본 발명의 실시예에 따른 마커 영상의 예시도이다.
도 10은 본 발명의 실시예에 따른 마커 인식 장치의 예시도이다.
도 11은 본 발명의 실시예에 따른 영상 촬영 시스템의 부가 설치물에 대한 예시도이다.
도 12는 본 발명의 실시예에 따른 적외선 마커의 구조도이다.
도 13은 본 발명의 실시예에 따른 적외선 마커의 예시도이다.1 is an illustration of an image capturing system according to an embodiment of the present invention.
2 is a structural diagram of a marker recognition apparatus according to an embodiment of the present invention.
3 is a structural view of a video photographing apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating an image processing method according to the first embodiment of the present invention.
5 is an exemplary diagram for comparing processing time according to parallel processing and single processing according to an embodiment of the present invention.
6 is a flowchart illustrating a method of distinguishing an infrared marker and an interference object using facial recognition according to an embodiment of the present invention.
FIG. 7 is an exemplary view of a subject position search using facial recognition according to an embodiment of the present invention.
8 is a flowchart illustrating an image processing method according to a second embodiment of the present invention.
9 is an exemplary view of a marker image according to an embodiment of the present invention.
10 is an exemplary diagram of a marker recognition apparatus according to an embodiment of the present invention.
FIG. 11 is an exemplary view of an additional installation of the image capturing system according to the embodiment of the present invention.
12 is a structural view of an infrared marker according to an embodiment of the present invention.
13 is an illustration of an infrared marker according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.
이하 도면을 참조로 하여 본 발명의 실시예에 따른 적외선 카메라와 적외선 마커를 이용한 영상 촬영 시스템 및 방법에 대해 설명한다.Hereinafter, an image capturing system and method using an infrared camera and an infrared marker according to an embodiment of the present invention will be described with reference to the drawings.
도 1은 본 발명의 실시예에 따른 영상 촬영 시스템의 예시도이다.1 is an illustration of an image capturing system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 영상 촬영 시스템(10)은 피사체가 소지한 적외선 마커(300)와 함께 피사체의 안면을 인식하여 피사체의 위치를 추적, 영상을 수집한다. 이러한 영상 촬영 시스템(10)은 마커 인식 장치(100)와 영상 촬영 장치(200)를 포함한다. 마커 인식 장치(100)와 영상 촬영 장치(200)는 별도의 구성 요소가 결합된 형태로 구현된다.As shown in FIG. 1, the image capturing
본 발명의 실시예에서는, 피사체의 안면을 인식하며 적외선 마커의 위치를 분석하는 영상 촬영 장치(200)로, 스마트 폰 또는 소형 카메라(예를 들어 GoPro 등)를 이용하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. In the embodiment of the present invention, a smart phone or a small camera (for example, GoPro) is used as the image capturing
마커 인식 장치(100)는 영상 촬영 장치(200)를 거치할 수 있는 크래들 형태로 구현되며, 영상 촬영 장치(200)를 상하 좌우로 이동시키기 위하여 모터를 포함한다. 그리고, 마커 인식 장치(100)는 피사체가 소지한 적외선 마커(300)를 인식할 수 있는 적외선 카메라를 구비하고 있는 것을 예로 하여 설명하나, 적외선 카메라가 마커 인식 장치(100)와 물리적으로 분리되어 구현될 수도 있으며, 반드시 이와 같이 한정되는 것은 아니다.The
마커 인식 장치(100)와 영상 촬영 장치(200) 각각은 적어도 하나의 프로세서, 적어도 하나의 메모리, 그리고 통신 인터페이스를 포함한다. 영상 촬영 장치(200)는 카메라를 더 포함한다. 마커 인식 장치(100)와 영상 촬영 장치(200) 중 적어도 하나는 적외선 카메라(적외선 마커 인식 카메라)을 포함한다. 마커 인식 장치(100)와 영상 촬영 장치(200)는 통신 인터페이스를 통해 데이터를 주고 받는다. 마커 인식 장치(100)와 영상 촬영 장치(200)는 각각의 프로세서를 통해 병렬로 영상 처리할 수 있다.Each of the
또한, 마커 인식 장치(100)가 적외선 마커의 위치를 인식하여 마커 인식 장치(100)의 일측에 구비되어 있는 모터를 제어하여 영상 촬영 장치(200)를 움직이도록 제어할 수 있다. 또는 마커 인식 장치(100)가 인식한 적외선 마커의 마커 영상을 영상 촬영 장치(200)가 처리하여 마커의 위치를 인식하고, 영상 촬영 장치(200)가 마커 인식 장치(100)의 일측에 구비되어 있는 모터를 제어할 제어 값을 모두 결정한 뒤 마커 인식 장치(100)에 제어 명령을 전송할 수도 있다.In addition, the
본 발명의 어플리케이션 또는 소프트웨어는 본 발명에서 도면을 참고로 설명한 동작을 실행하기 위한 명령어들(instructions)을 포함한다. 메모리는 본 발명의 어플리케이션을 수행하기 위한 명령어들을 저장하고 있거나, 저장 장치로부터 명령어를 로드하여 일시 저장한다. 프로세서는 메모리에 저장되어 있거나 로드된 명령어를 실행하여 본 발명의 어플리케이션을 구동한다. The application or software of the present invention includes instructions for performing the operations described with reference to the drawings in the present invention. The memory stores instructions for executing the application of the present invention, or temporarily stores instructions by loading the instructions from the storage device. The processor executes the instructions of the present invention by executing instructions stored in memory or loaded.
이러한 구조의 영상 촬영 시스템(10)에서, 마커 인식 장치(100)의 구조와 영상 촬영 장치(200)의 구조에 대해 도 2 및 도 3을 참조로 설명한다. In the
도 2는 본 발명의 실시예에 따른 마커 인식 장치의 구조도이고, 도 3은 본 발명의 실시예에 따른 영상 촬영 장치의 구조도이다.FIG. 2 is a structural view of a marker recognition apparatus according to an embodiment of the present invention, and FIG. 3 is a structural view of a photographing apparatus according to an embodiment of the present invention.
먼저 도 2에 도시된 바와 같이, 마커 인식 장치(100)는 적외선 카메라(110), 프로세서(120), 통신 인터페이스(130), 메모리(140) 및 모터(150)를 포함한다.2, the
적외선 카메라(110)는 피사체가 소지한 적외선 마커(300)에서 발산된 적외선 빛을 투과시켜, 마커 영상을 획득한다. 이를 위해, 적외선 카메라(110)에는 적외선 빛을 투과시키는 적외선 밴드패스 필터(IR bandpass filter)가 장착되어 있는 카메라 모듈로 구현되는 것을 예로 하여 설명하며, 반드시 이와 같이 한정되는 것은 아니다. 여기서 마커 영상의 크기는 4bit인 것을 예로 하여 설명한다.The infrared camera 110 transmits the infrared light emitted from the
본 발명의 실시예에서는 피사체가 위치한 주변 환경에 따른 적외선 간섭 문제를 해결하기 위하여, 적외선 마커(300)가 일정 간격의 펄스 신호를 송출하고, 적외선 카메라(110)가 펄스 신호에 따라 적외선 마커를 간섭된 빛과 구별하여 적외선 마커의 위치를 파악하는 것을 예로 하여 설명한다. 적외선 카메라(110)가 적외선 마커(300)에서 발산된 적외선 빛을 투과시켜 마커 영상으로 수집하는 방법은 여러 방법으로 수집할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다. In the embodiment of the present invention, in order to solve the infrared interference problem according to the surrounding environment of the subject, the
프로세서(120)는 구현의 실시예에 따라 적외선 카메라(110)가 획득한 4bit의 마커 영상을 바로 영상 촬영 장치(200)로 전송하여 영상 촬영 장치(200)에서 적외선 마커의 위치와 모터 제어값을 계산하도록 할 수도 있다. 또는 마커 영상을 압축 마커 영상으로 생성한 후 영상 촬영 장치(200)로 전송하여, 영상 처리를 적외선 카메라(110)과 영상 촬영 장치(200)에서 병렬로 처리할 수도 있다. 또는, 프로세서(120)가 마커 영상 또는 압축 마커 영상을 영상 촬영 장치(200)로 전달하지 않고, 영상 촬영 장치(200)에서 촬영된 촬영 영상을 수신하여 적외선 마커의 위치를 확인하는 데 사용할 수도 있다.The processor 120 transmits the 4-bit marker image obtained by the infrared camera 110 directly to the
프로세서(120)가 병렬 처리를 위해 압축 마커 영상을 생성하여 영상 촬영 장치(200)로 전송하기 위해서, 먼저 프로세서(120)는 4bit의 마커 영상을 2bit의 흑백 마커 영상으로 변환한다. 4bit의 마커 영상을 2bit의 흑백 마커 영상으로 변환하는 방법은 여러 방법을 통해 수행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.In order for the processor 120 to generate a compressed marker image for parallel processing and transmit it to the
또한, 프로세서(120)는 변환된 2bit의 흑백 마커 영상을 압축하여 압축 마커 영상을 생성한다. 그리고 생성한 압축 마커 영상을 통신 인터페이스(130)를 통해 영상 촬영 장치(200)로 전송한다. 여기서, 프로세서(120)는 흑백 마커 영상을 여러 방법을 통해 압축할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 압축 방법으로 한정하지 않는다. In addition, the processor 120 compresses the converted 2-bit black and white marker image to generate a compressed marker image. The generated compressed marker image is transmitted to the
프로세서(120)가 압축 마커 영상을 영상 촬영 장치(200)로 전송하기 위하여, 마커 인식 장치(100)와 영상 촬영 장치(200)는 각각 포함하고 있는 통신 인터페이스(130)가 USB로 연결되는 것을 예로 하여 설명한다. 그러나, 반드시 이와 같이 한정되는 것은 아니다.The processor recognizes that the communication interface 130 included in each of the
또한, 프로세서(120)는 영상 촬영 장치(200)로부터 적외선 마커 위치를 수신한다. 여기서 적외선 마커 위치는 영상 촬영 장치(200)가 마커 영상을 분석하여 계산한 마커 위치로, 통신 인터페이스(130)를 통해 영상 촬영 장치(200)로부터 수신한다. 적외선 마커 위치에는 적외선 마커의 x 좌표, y 좌표 및 z 좌표에 대한 위치 정보가 포함되어 있다. 그리고 프로세서(120)는 수신한 적외선 마커 위치를 토대로 영상 촬영 장치(200)를 회전시킬 모터의 제어값을 계산한다. 여기서, 본 발명의 실시예에서는 프로세서(120)가 모터 제어값을 계산할 수도 있고, 영상 촬영 장치(200)가 모터 제어값을 계산하여 마커 인식 장치(100)로 전달할 수도 있다.In addition, the processor 120 receives the infrared marker position from the
영상 촬영 장치(200)는 마커 인식 장치(100)와 USB로 연결되어 마커 인식 장치(100)에 장착되어 있으며, 프로세서(120)가 계산한 모터 제어값을 토대로 영상 촬영 장치(200)를 상하 좌우로 움직일 수 있도록 마커 인식 장치(100)의 일측에 모터가 구비되어 있다. The
프로세서(120)는 영상 촬영 장치(200)를 상하로 움직이기 위한 제1 모터 제어값과, 영상 촬영 장치(200)를 좌우로 움직이기 위한 제2 모터 제어값을 계산한다. 적외선 마커 위치를 토대로 모터 제어값을 계산하는 방법은 여러 방법으로 계산될 수 있다. 그러나, 본 발명의 실시예에서는 다음과 같은 방법으로 모터 제어값을 계산하는 것으로 예를 들어 설명한다.The processor 120 calculates a first motor control value for moving the
먼저, 적외선 마커(300)의 좌표인 x, y의 각 값의 최소값과 최대값을 미리 정해 져 있다고 가정한다. 예를 들어, x 좌표는 0≤x≤80이고, y 좌표는 0≤y≤60이라고 가정하는데, 이는 적외선 카메라(110)로부터 획득하는 영상 이미지의 크기에 따라 달리 정해진다.First, it is assumed that the minimum value and the maximum value of each value of x and y, which are the coordinates of the
적외선 카메라(110)가 모터 제어에 의해 피사체를 영상 이미지의 정 중앙에 위치하도록 영상 촬영 장치(200)가 바라볼 경우, x 좌표와 y 좌표는 (40, 30)이 된다. 적외선 카메라(110)의 중앙에 위치하는지 여부를 확인하는 방법은 여러 방법으로 확인할 수 있다.When the
이러한 가정 하에서 x 좌표 계산 방법을 설명하면, 적외선 카메라(110)가 중앙 위치에서 좌측 또는 우측 방향으로 많이 벗어날 경우, D=abs(w) 계산식을 통해 중앙에서 벗어난 정도를 계산할 수 있다. 여기서 w=40-x로 계산되는데, w 값이 양수이면 좌측으로 피사체가 움직였음을 판단할 수 있고, w 값이 음수일 경우 피사체가 우측으로 움직였음을 판단할 수 있다.If the infrared camera 110 deviates greatly from the center position to the left or right direction, the deviation from the center can be calculated through the equation D = abs (w). Here, w = 40-x is calculated. If w is positive, it can be determined that the subject has moved to the left, and if w is negative, it can be determined that the subject has moved to the right.
그러므로, D 값과 w 값을 기초로 PID 계산을 통해 모터(150)의 방향과 속도 값을 정하여 제어할 수 있다. 좌우로 움직이는 영상 촬영 장치(200)를 움직이는 모터의 제어에 따라 피사체 움직임 방향으로 영상 촬영 장치(200)가 이동하는 경우, 적외선 마커(300)는 다시 적외선 카메라(110)의 정중앙에 위치하게 된다. 따라서, w 값은 0에 가깝게 계산되고, 이에 따라 D 값 역시 0이 된다.Therefore, the direction and velocity values of the motor 150 can be determined and controlled through the PID calculation based on the D value and the w value. When the
이들 값을 토대로 모터의 움직임 속도를 줄여주게 되고, 피사체가 영상 촬영 장치(200)인 적외선 카메라(110)의 정 중앙에 위치하면 모터는 동작을 멈추게 된다. 상하로 움직이는 제2 모터를 제어할 모터 제어값 역시 동일하게 계산할 수 있다. 여기서, 계산된 수치에 따라 모터의 움직임 속도에 변화를 주는 방법은 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략한다.When the subject is located at the center of the infrared camera 110, which is the
예를 들어, 중앙 좌표가 (40, 30)인 경우, 피사체에 대한 좌표로 (20, 30)이 입력되었다고 가정한다. 그러면, w 값은 40-20으로 20이 계산되는데, w 값이 양수이므로 피사체가 좌측으로 이동하였음을 알 수 있다. 그리고 abs(20)을 계산하는 방법은 이미 알려진 사항으로, D 값인 20이 0이 될 때까지 모터(150)가 영상 촬영 장치(200)를 좌측으로 이동시키도록 제어한다.For example, if the central coordinate is (40, 30), it is assumed that coordinates (20, 30) for the subject are input. Then, the w value is calculated as 40-20 and 20, which indicates that the subject has moved to the left since the w value is positive. The method of calculating the abs 20 is already known, and controls the motor 150 to move the
모터(150)는 PID(Proportional Integral Derivative) 제어 기법에 따라 프로세서(120)에서 계산한 모터 제어값을 토대로 하는 제어 신호에 의해, 영상 촬영 장치(200)를 움직인다.The motor 150 moves the
여기서 모터(150)는 영상 촬영 장치(200)를 모터 내 구동축과 함께 미리 설정된 각도 또는 단계(step)로 회전하여 영상 촬영 장치(200)를 상하 좌우로 움직일 수 있도록, 스텝 모터(step motor)로 구현하는 것을 예로 하여 설명한다. 그리고, 영상 촬영 장치(200)를 제1 방향(상하 또는 수직)로 움직일 수 있는 틸트 스텝 모터(이하, ‘제1 모터’라 지칭함)와, 영상 촬영 장치(200)를 제2 방향(좌우 또는 수평)로 움직일 수 있는 팬 스텝 모터(이하, ‘제2 모터’라 지칭함)가 구비되는 것을 예로 하여 설명한다. Here, the motor 150 may be a step motor (not shown) so as to move the
그리고 모터(150)는 프로세서(120)가 계산한 제1 모터 제어값과 제2 모터 제어값 또는 영상 촬영 장치(200)에서 계산된 제1 모터 제어값과 제2 모터 제어값을 토대로, 영상 촬영 장치(200)를 상하로 이동하도록 제1 모터를 제어하거나, 영상 촬영 장치(200)를 좌우로 이동하도록 제2 모터를 제어한다.Based on the first motor control value and the second motor control value calculated by the processor 120 or the first motor control value and the second motor control value calculated in the
본 발명에서는 두 개의 모터(제1 모터, 제2 모터)가 각각 마커 인식 장치(100)에 따로 구현되어 있는 것을 예로 하여 설명하나, 두 개의 모터의 기능을 모두 실행할 수 있는 한 개의 모터로 대체될 수도 있다.In the present invention, it is assumed that the two motors (first motor and second motor) are separately implemented in the
한편 도 3에 도시된 바와 같이 영상 촬영 장치(200)는 영상 카메라(210), 프로세서(220), 통신 인터페이스(230) 및 메모리(240)를 포함한다. 3, the
영상 카메라(210)는 영상 촬영 장치(200)의 현 위치에서 촬영 영상을 수집하고, 수집한 촬영 영상을 프로세서(220)로 전달한다. 이때, 영상 카메라(210)은 스마트 폰 또는 소형 카메라에 구비되어 있는 카메라인 것을 예로 하여 설명한다. The
또한, 영상 카메라(210)는 마커 인식 장치(100)의 제어에 의해 영상 촬영 장치(200)의 변경된 위치에서 피사체의 촬영 영상을 수집한다. 촬영한 피사체의 촬영 영상은 메모리(240)에 저장될 수 있다.Also, the
프로세서(220)는 통신 인터페이스(230)를 통해 적외선 카메라(110)로부터 전송된 압축 마커 영상을 디코딩하여, 2bit의 흑백 마커 영상으로 생성한다. 프로세서(220)는 압축 마커 영상을 여러 방법을 통해 디코딩할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.The
프로세서(220)는 흑백 마커 영상의 픽셀 데이터를 분석한다. 그리고, 분석한 픽셀 데이터에서 적외선 마커(300)가 위치하는 것으로 판단되는 픽셀 데이터 값을 추출한다. 여기서, 흑백 마커 영상에서 픽셀 데이터 값을 분석하는 것은 여러 방법을 통해 분석할 수 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다. The
이때, 프로세서(220)는 흑백 마커 영상의 픽셀 데이터 분석을 통해 흑백 마커 영상에서 적외선 마커(300)를 포함하는 픽셀 데이터 값을 추출하는 과정에서 복수의 픽셀 데이터 값을 추출할 수도 있다. 이는, 적외선 마커(300)를 소지한 피사체의 주변 환경에 적외선 마커의 적외선과 같은 파장의 빛을 발산하거나 반사하는 물체(이하, ‘간섭 물체’라 지칭함)가 있을 경우, 해당 간섭 물체를 적외선 마커(300)로 오인하여 간섭 물체에 대한 픽셀 데이터도 추출하게 된다.At this time, the
프로세서(220)는 적어도 하나 이상의 픽셀 데이터 값으로부터 피사체가 소지한 적외선 마커(300)의 위치를 계산한다. 적외선 마커 위치는 x축, y축 값을 포함하는 것을 예로 하여 설명하며, 적외선 마커의 위치를 계산하는 방법은 여러 방법을 통해 계산될 수 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다. 이때, z값인 마커 영상의 넓이 값도 적외선 마커 위치에 포함될 수 있다. 그리고 계산한 적외선 마커 위치를 마커 인식 장치(100)로 전달한다. The
이때, 프로세서(220)가 확인한 픽셀 데이터 값이 한 개인 경우에는, 해당 픽셀 데이터에 적외선 마커가 위치하는 것으로 확인하여 적외선 마커 위치를 계산한다. 그러나, 수신한 픽셀 데이터 값이 복수 개인 경우, 어떤 픽셀 데이터에 적외선 마커가 위치하는지 정확하게 판단하기 어렵다. At this time, when there is one pixel data value checked by the
따라서, 프로세서(220)는 영상 카메라(210)가 수집한 촬영 영상 속 안면영상을 토대로 실제 피사체가 소지한 적외선 마커(300)의 적외선 마커 위치를 계산한다. 이를 위해, 프로세서(220)는 수신한 안면 영상에서 피사체들의 안면에 안면 식별 번호를 부여한다. 그리고 식별 번호가 부여된 안면에 대한 크기와 위치를 확인하고, 확인된 안면 위치를 기준으로 탐색 영역을 지정한다. Accordingly, the
또한, 프로세서(220)는 지정된 탐색 영역을 미리 설정된 수로 분할하여 분할 화면을 생성하고, 생성된 복수의 분할 화면 중 어느 하나의 분할 화면에 적외선 마커(300)가 있는 것으로 확인하면, 적외선 마커(300)에 대응하는 마커 영상을 확인한다. 그리고 확인한 마커 영상을 토대로 적외선 마커 위치를 계산한다. 여기서 안면 인식을 통해 적외선 마커 위치를 계산하는 방법에 대해서는 이후 상세히 설명한다.In addition, the
또한, 프로세서(220)는 마커 위치를 계산한 후, 계산한 마커 위치를 토대로 마커 인식 장치(100)에서 모터를 제어할 제1 모터 제어값과 제2 모터 제어값을 계산할 수도 있다. 이렇게 계산된 제1 모터 제어값과 제2 모터 제어값은 통신 인터페이스(230)를 통해 마커 인식 장치(100)로 전달되어, 마커 인식 자치(100)가 모터를 제어할 수 있도록 한다. 이를 위해, 프로세서(220)는 현재 계산된 마커 위치를 토대로 모터를 제어할 제1 모터 제어값과 제2 모터 제어값을 계산한다.Further, the
메모리(240)는 영상 디코딩부(220)가 생성한 2bit 흑백 마커 영상을 저장, 관리한다. 본 발명의 실시예에서는 스마트 폰 또는 소형 카메라의 메모리 크기를 고려하여 메모리(240)에 미리 설정된 기간 동안 흑백 마커 영상이 저장되고 이후 삭제되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. The
또한, 메모리(240)는 영상 카메라(210)으로부터 촬영 영상을 전달받아 저장한다. 또한, 메모리(240)는 본 발명의 어플리케이션을 수행하기 위한 명령어들을 저장하고 있거나, 저장 장치로부터 명령어를 로드하여 일시 저장한다.In addition, the
이상에서 설명한 영상 촬영 시스템(10)이 적용된 환경에서 피사체의 위치를 파악한 후 영상을 촬영하여 처리하는 방법에 대해 도 4를 참조로 설명한다. A method of capturing and processing an image after detecting the position of a subject in the environment in which the
도 4는 본 발명의 제1 실시예에 따른 영상 처리 방법에 대한 흐름도이다.4 is a flowchart illustrating an image processing method according to the first embodiment of the present invention.
제1 실시예에서는 마커 인식 장치(100)와 영상 촬영 장치(200)가 병렬 프로세싱에 의해 각각 영상을 처리하거나, 마커 인식 장치(100)가 영상 촬영 장치(200)로부터 적외선 마커의 위치 정보를 수신하면 이를 토대로 모터 제어값을 계산하여 모터를 제어하도록 한다. In the first embodiment, the
도 4에 도시된 바와 같이, 마커 인식 장치(100)의 적외선 카메라(110)는 피사체가 소지하고 있는 적외선 마커(300)가 발산하는 적외선 빛을 투과시켜 적외선 마커(300)의 마커 영상을 수집한다(S100). 마커 영상은 4bit의 크기를 갖는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.4, the infrared camera 110 of the
프로세서(120)는 S100 단계에서 적외선 카메라(110)이 수집한 4bit의 마커 영상을 2bit의 흑백 마커 영상으로 전환하고(S200), 전환한 흑백 마커 영상을 압축한다(S300). 마커 영상을 흑백 마커 영상으로 전환하거나, 흑백 마커 영상을 압축하는 방법은 여러 방법을 통해 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다. The processor 120 converts the 4-bit marker image collected by the infrared camera 110 into a 2-bit black and white marker image in step S100 (S200), and compresses the converted black and white marker image (S300). The method of converting a marker image into a black / white marker image or compressing a black / white marker image can be performed through various methods, and therefore the present invention is not limited to any one method.
S300 단계에서 압축되어 생성된 압축 마커 영상은 영상 촬영 장치(200)로 전달된다(S400). 이를 위해, 마커 인식 장치(100)와 영상 촬영 장치(200)는 통신 인터페이스(130, 230)인 USB로 연결되어 있는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.The compressed marker image generated in step S300 is transmitted to the image capturing apparatus 200 (S400). For this, the
S400 단계를 통해 압축 마커 영상을 수신한 영상 촬영 장치(200)는 압축 마커 영상을 디코딩하여 흑백 마커 영상을 추출하고, 추출한 흑백 마커 영상을 임시로 저장한다(S500). 여기서 압축 마커 영상을 디코딩하는 방법은 여러 방법으로 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.The
영상 촬영 장치(200)는 S500 단계에서 임시로 저장한 흑백 마커 영상으로부터 영상 픽셀 데이터를 분석하고, 분석한 영상 픽셀 데이터로부터 적외선 마커의 위치를 계산한다(S600). 여기서, 적외선 마커(300) 이외에도 적외선 마커와 같은 파장의 빛을 발산하거나 반사하는 간섭 물체가 적외선 마커 주변에 있는 경우, 영상 픽셀 데이터 중 적외선 마커가 위치하는 것으로 분석된 영상 픽셀은 복수개가 추출된다.The
이에 따라, 영상 촬영 장치(200)는 마커 인식 장치(100)가 수집한 마커 영상 이외에도 영상 촬영 장치(200)가 자체적으로 수집한 촬영 영상 내 안면 영상을 토대로, 피사체의 안면을 인식하여 적외선 마커와 간섭 물체를 구별하게 된다. 이에 대해 도 6을 참조로 먼저 설명한다.Accordingly, in addition to the marker images collected by the
도 6은 본 발명의 실시예에 따른 안면 인식을 이용한 적외선 마커와 간섭 물체의 구별 방법에 대한 흐름도이다.6 is a flowchart illustrating a method of distinguishing an infrared marker and an interference object using facial recognition according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 영상 카메라(210)는 현재 위치에서 영상 카메라(210)를 향해 노출된 모든 안면을 인식하여 안면 영상을 수집한다(S601). As shown in FIG. 6, the
그리고 프로세서(220)는 S601 단계에서 수집된 안면 영상에서 모든 피사체에 대한 피사체 안면 수(N)를 확인하고, 안면 영상에 포함된 피사체 안면별로 안면 식별 번호(n)를 부여한다. 프로세서(220)가 수집된 안면 영상에서 피사체 안면을 확인하는 방법, 복수의 피사체 안면이 안면 영상에 있을 경우 안면 식별 번호를 부여하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다.In step S601, the
그리고, 프로세서(220)는 안면 식별 번호가 부여된 피사체 안면을 기초로, 피사체 안면 각각에 대하여 적외선 마커에 대한 마커 영상이 있는지 확인하기 위한 탐색 영역을 지정한다. 그리고 지정한 탐색 영역을 J개로 분할하여 J개의 분할 화면을 생성하고, 분할 화면 각각에 분할 화면 식별 번호(j)를 부여한다. The
탐색 영역의 크기는 영상 카메라(210)과 피사체와의 거리에 따라 정해지고, 최초 지정될 탐색 영역의 크기는 피사체의 안면 크기를 토대로 미리 정해져 있다고 가정한다. 그리고 피사체 안면의 크기를 기초로 얻을 수 있는 최대의 탐색 영역의 크기 역시 정해져 있다고 가정한다. 여기서 탐색 영역은 피사체의 안면을 기준으로 안면 위치보다 아래가 되도록 지정된다. 이는, 적외선 마커(300)는 보통 피사체의 몸통이나 팔 등 안면 아래에 항상 위치하고 있기 때문이다.It is assumed that the size of the search area is determined according to the distance between the
또한, 탐색 영역을 확장할 때 마다 미리 정해져 있는 크기에 따라 탐색 영역이 확장된다고 가정한다. 그리고, 탐색 영역을 분할하기 위한 수나, 분할된 탐색 영역에 분할 화면 식별 번호를 부여하는 방법도 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다.Further, it is assumed that the search area is expanded according to a predetermined size every time the search area is expanded. A method for dividing a search area or a method for assigning a divided screen identification number to a divided search area can also be performed by various methods. Therefore, the present invention is not limited to any one method.
프로세서(220)는 N개의 피사체 안면 중 안면 식별 번호가 n으로 부여된 피사체 안면부터 확인한다. 여기서 프로세서(220)는 N개의 피사체 안면 중 안면 식별 번호가 1번으로 부여된 피사체 안면부터 순차적으로 확인하는 것을 예로 하여 설명한다.The
그리고 프로세서(220)는 안면 식별 번호가 피사체 안면 수에 대한 번호보다 작은지 확인한다(S602). 만약 현재 확인한 피사체 안면에 대한 안면 식별 번호가 안면 영상에 등장하는 모든 피사체 안면의 수에 대한 번호보다 작으면, 인식된 n번째 안면에 대한 안면 영역의 크기와 해당 안면의 위치를 확인한다(S603). 여기서, 프로세서(220)가 안면 영역의 크기와 안면 위치를 확인하는 방법은 여러 방법을 통해 수행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.Then, the
그리고, 프로세서(220)는 인식된 n번째 피사체의 안면 위치를 기준으로 탐색 영역을 확인한다. 탐색 영역을 확인한 후, 미리 설정된 수만큼 탐색 영역을 분할하여, 복수의 분할 화면 중 첫 번째 분할 화면부터 시작하여 분할 화면 내에 적외선 마커 영상 데이터가 있는지 확인한다(S604, S605). Then, the
본 발명의 실시예에서는 피사체의 안면 위치를 기준으로 미리 설정된 탐색 영역을 J개로 분할하여 분할 화면을 생성하고, 각각의 분할 화면은 1번부터 J번까지의 분할 화면 식별 번호(j)가 부여되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 그리고 분할 화면 내에서 마커 영상 데이터의 유무를 확인하는 방법 역시 여러 방법을 통해 수행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.In the embodiment of the present invention, a divided screen is generated by dividing a predetermined search area on the basis of the face position of the subject into J pieces, and each divided screen is divided into a plurality of divided screen regions, However, the present invention is not limited thereto. A method of checking the presence or absence of the marker image data in the divided screen can also be performed through various methods, so that detailed description will be omitted in the embodiment of the present invention.
임의의 분할 화면 식별 번호가 부여된 분할 화면 내에 적외선 마커 영상 데이터가 있는 것으로 확인되면, 프로세서(220)는 탐지된 적외선 마커의 위치를 분석한다(S606). 그러나, 분할 화면 내에 적외선 마커 영상 데이터가 없는 것으로 확인하면, 프로세서(220)는 모든 분할 화면 즉, 해당 피사체 안면을 기준으로 모든 탐색 영역을 탐색하였는지 확인한다(S607). If it is confirmed that the infrared marker image data is present in the divided screen to which the arbitrary divided screen identification number is assigned, the
J개로 분할된 모든 탐색 영역 중 탐색되지 않은 분할 화면이 있는 것으로 확인하면, 프로세서(220)는 현재 분할 화면의 이웃한 다른 분할 화면 내에서 적외선 마커 영상 데이터의 유무를 확인하기 위해, 분할 화면 식별 번호에 1을 더한 후, j+1 식별 번호를 가지는 분할 화면에 대하여 S604 단계 이후의 절차를 수행한다(S609).If it is confirmed that there are divided screens which are not searched out among all the search regions divided into J segments, the
그러나, S607 단계에서 확인한 결과 안면 식별 번호가 n인 탐색 영역이 모두 탐색된 것으로 확인하면, 프로세서(220)는 n+1의 안면 식별 번호를 가지는 안면 영역에 대하여 S602 단계 이후를 절차를 수행한다. 이를 위해, 프로세서(220)는 현재의 피사체 안면이 위치한 안면 식별 번호 n에 1을 더한다(S608).However, if it is confirmed in step S607 that all the search areas having the facial identification number n have been found, the
한편, S602 단계에서 확인한 결과 모든 안면 영역에 대한 분석이 완료된 것으로 확인하였으나 탐지된 적외선 마커 영상 데이터가 없는 것으로 확인하면, 해당 안면에 대한 탐색 영역에는 적외선 마커 영상 데이터가 없다는 것을 의미한다. 따라서, 프로세서(220)는 탐색 영역을 확장한다(S610). 즉, 한번 탐색된 탐색 영역보다 미리 설정된 크기로 확장한 후, 탐색 영역을 재지정한다. On the other hand, if it is confirmed in step S602 that the analysis of all facial areas is completed, but there is no detected infrared marker image data, it means that there is no infrared marker image data in the search area for the facial face. Accordingly, the
이때, 본 발명의 실시예에서는 탐색 영역의 최대 확장 크기가 미리 정해져 있는 것을 예로 하여 설명하므로, S610 단계에서 확장한 탐색 영역의 크기가 최대치에 해당하는지 확인한다(S611). 만약 확장한 탐색 영역의 크기가 최대치를 초과하면, 해당 피사체에 대한 안면 영역에는 적외선 영상 적외선 마커가 없는 것으로 확인한다(S612). 즉, 해당 피사체는 적외선 마커를 소지하지 않은 것으로 확인한다.In this case, since the maximum expansion size of the search area is predetermined in the embodiment of the present invention, it is checked in step S610 whether the size of the expanded search area corresponds to the maximum value (S611). If the size of the extended search area exceeds the maximum value, it is confirmed that there is no infrared image marker in the face region of the subject (S612). That is, it is confirmed that the subject does not have an infrared marker.
그러나, 확장한 탐색 영역의 크기가 최대치를 초과하지 않은 것으로 확인하면, S620 단계 이후의 절차를 수행한다. 이상의 절차에 대해 도 7을 참조로 먼저 설명한다.However, if it is confirmed that the size of the extended search area does not exceed the maximum value, the procedure after step S620 is performed. The above procedure will be described first with reference to Fig.
도 7은 본 발명의 실시예에 따른 안면 인식을 이용한 피사체 위치 탐색의 예시도이다.FIG. 7 is an exemplary view of a subject position search using facial recognition according to an embodiment of the present invention.
도 7의 (a)는 마커 인식 장치(100)의 적외선 카메라(110)가 적외선 빛을 투과시켜 프로세서(120)가 생성한 마커 영상을 나타낸 것이고, 도 7의 (b)는 영상 촬영 장치(200)를 통해 확인하는 영상을 나타낸 것이다.7 (a) shows a marker image generated by the processor 120 through the infrared camera 110 of the
도 7의 (a)에 나타낸 바와 같이, 적외선 카메라(110)는 적외선 빛을 투과시켜 두 개의 적외선 마커(①, ②)가 존재하는 것으로 인식한다. 여기서 제1 적외선 마커(①)로 표시된 부분은 실제 피사체가 소지한 적외선 마커(300)에서 발산된 빛에 해당하나, 제2 적외선 마커(②)로 표시된 부분은 간섭 물체에 의한 빛에 해당한다.As shown in FIG. 7 (a), the infrared camera 110 transmits infrared light and recognizes that two infrared markers (1, 2) exist. The portion indicated by the first infrared marker (1) corresponds to the light emitted from the
따라서, 영상 촬영 장치(200)는 촬영한 영상을 통해 피사체 안면의 수를 확인한다. 그리고 영상 촬영 장치(200)에 가까이 위치한 제1 피사체에 대한 탐색 영역(③)은, 영상 촬영 장치(200)에서 멀리 위치한 제2 피사체에 대한 탐색 영역(④)보다 크게 설정된다. 탐색 영역은 피사체의 안면의 크기를 기준으로 설정한다.Accordingly, the
본 발명의 실시예에서는 탐색 영역을 15개로 분할하여 분할 화면으로 생성하는 것을 나타내었다. 따라서, 1번으로 표시된 분할 화면부터 제1 피사체가 적외선 마커를 소지하였는지 확인하기 위하여 적외선 마커 영상 데이터가 발견되었는지 확인한다. 도 7의 (b)에는 1번으로 표시된 분할 화면에 적외선 마커가 표시되어 있지 않으므로, 2번으로 표시된 분할 화면을 확인한다. 이러한 방법으로 분할 화면을 확인하면 3번 분할 화면에 적외선 마커가 있음을 확인하게 된다.In the embodiment of the present invention, it has been shown that the search area is divided into fifteen segments to generate a split screen. Therefore, in order to check whether the first subject carries the infrared marker from the divided screen displayed at the
한편, 제2 적외선 마커(②)로 표시된 부분 주변으로는 피사체 안면이 인식되지 않았으므로, 제2 적외선 마커는 간섭 물체에 의한 빛에 해당하는 것으로 확인할 수 있다.On the other hand, since the face of the subject is not recognized around the portion indicated by the second infrared marker (2), it can be confirmed that the second infrared marker corresponds to the light caused by the interference object.
한편 도 4를 이어 설명하면, S600 단계를 통해 적외선 마커 위치가 계산되면, 계산된 적외선 마커 위치를 마커 인식 장치(100)로 전달한다(S700). x 좌표와 y 좌표로 이루어진 적외선 마커 위치를 수신한 프로세서(120)는 적외선 마커 위치를 토대로 영상 촬영 장치(200)를 회전시킬 모터의 제어값을 계산한다. 4, the infrared marker position is calculated in step S600, and the calculated infrared marker position is transmitted to the marker recognition apparatus 100 (S700). The processor 120 receiving the infrared marker position including the x coordinate and the y coordinate calculates the control value of the motor to rotate the
모터의 제어값은 영상 촬영 장치(200)를 상하로 움직이기 위한 제1 모터 제어값과, 영상 촬영 장치(200)를 좌우로 움직이기 위한 제2 모터 제어값으로 구분 지을 수 있다. 프로세서(120)가 제1 모터 제어값과 제2 모터 제어값을 계산하면, 계산한 모터 제어값을 토대로 생성된 제어 신호가 모터(150)로 전달되어, 모터(150)가 영상 촬영 장치(200)를 상하 또는 좌우로 이동시켜 피사체에 대한 영상을 촬영할 수 있도록 한다(S800). 그리고 영상 촬영 장치(200)는 마커 인식 장치(100)의 제어에 의해 변경된 위치에서 피사체의 영상을 촬영한다(S900).The control value of the motor may be divided into a first motor control value for moving the
이상에서 설명한 바와 같이, 마커 인식 장치(100)와 영상 촬영 장치(200)를 이용하여 영상을 병렬로 처리하여 피사체의 위치를 확인하게 될 경우, 영상 처리를 위한 대기 시간을 최소화할 수 있다. 이에 대해 도 5를 참조로 설명한다.As described above, when the position of the subject is confirmed by processing the images in parallel using the
도 5는 본 발명의 실시예에 따른 병렬 처리와 단일 처리에 따른 프로세싱 시간 비교에 대한 예시도이다.5 is an exemplary diagram for comparing processing time according to parallel processing and single processing according to an embodiment of the present invention.
도 5의 (a)에는 일반적인 단일 처리에 의한 전체 프로세싱 시간을 나타낸 예시도이고, 도 5의 (b)에는 본 발명의 실시예에 따른 병렬 처리에 의한 전체 프로세싱 시간을 나타낸 예시도이다.FIG. 5A is a diagram illustrating an overall processing time by a general single processing, and FIG. 5B is an example of total processing time by parallel processing according to an embodiment of the present invention.
먼저 (a)에 나타낸 바와 같이, 일반적인 단일 처리에 의해 영상 프레임을 분석, 모터를 제어하는 경우, 제1 영상 프레임에 대한 프레임 분석 및 모터 제어 절차가 완료된 뒤, 제2 영상 프레임에 대한 프레임 분석과 모터 제어 절차가 수행된다.As shown in (a), when the image frame is analyzed and the motor is controlled by a general single process, after the frame analysis and the motor control procedure for the first image frame are completed, the frame analysis for the second image frame, A motor control procedure is performed.
반면, (b)에 나타낸 바와 같이, 본 발명의 실시예에서는 마커 인식 장치(100)와 영상 촬영 장치(200)가 동시에 영상 프레임을 분석하고 그에 따른 모터를 제어하는 절차를 병렬로 처리하기 때문에, 영상 처리에 의한 시간이 단축됨을 알 수 있다.Meanwhile, as shown in (b), in the embodiment of the present invention, the
즉, 마커 인식 장치(100)가 제2 영상 프레임을 분석하기 위하여 A, B 작업을 처리하는 동안, 영상 촬영 장치(200)가 동시간대에 제1 영상 프레임 분석을 위한 D, E 작업을 동시에 실행함을 알 수 있다. 그러므로, 피사체가 지닌 적외선 마커의 위치에 대한 영상 분석과 이를 통하여 모터를 실시간으로 제어할 수 있게 된다.That is, while the
한편, 마커 인식 장치(100)는 적외선 마커의 인식과 모터 제어만을 실행하고, 영상 촬영 장치(200)가 영상을 처리하는 제2 실시예에 따라, 피사체의 위치를 파악한 후 영상을 촬영하여 처리하는 방법에 대해 도 8을 참조로 설명한다. On the other hand, the
도 8은 본 발명의 제2 실시예에 따른 영상 처리 방법에 대한 흐름도이다.8 is a flowchart illustrating an image processing method according to a second embodiment of the present invention.
제2 실시예에서는 영상 촬영 장치(200)가 모터 제어값을 계산하고, 마커 인식 장치(100)는 단순히 적외선 마커만을 인식하여 영상 촬영 장치(200)에서 모든 프로세싱이 처리될 수 있도록 하는 것이다.In the second embodiment, the
도 8에 도시된 바와 같이, 마커 인식 장치(100)의 적외선 카메라(110)는 피사체가 소지하고 있는 적외선 마커(300)가 발산하는 적외선 빛을 투과시켜 적외선 마커(300)의 마커 영상을 수집한다(S100’). 수집된 마커 영상은 도 9에 나타낸 바와 같으며, 이에 대해 먼저 설명한다.As shown in FIG. 8, the infrared camera 110 of the
도 9는 본 발명의 실시예에 따른 마커 영상의 예시도이다.9 is an exemplary view of a marker image according to an embodiment of the present invention.
도 9에 도시된 바와 같이, 마커 인식 장치(100)는 필터를 통해 적외선 빛을 투과시키고, 적외선 마커(300)에 대한 마커 영상을 수집한다. 이때, 적외선 카메라(110)가 생성한 마커 영상을 토대로, 제1 실시예에서는 영상 촬영 장치(200)가 적외선 마커의 좌표 정보를 확인할 수도 있고, 마커 인식 장치(100)가 마커의 좌표 정보를 확인할 수도 있다.As shown in FIG. 9, the
도 8을 이어 설명하면, 프로세서(120)는 S100’ 단계에서 적외선 카메라(110)가 수집한 마커 영상을 영상 촬영 장치(200)로 전달하는데(S200’), 이를 위해, 마커 인식 장치(100)와 영상 촬영 장치(200)는 통신 인터페이스(130, 230)인 USB로 연결되어 있는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.8, the processor 120 transmits the marker image collected by the infrared camera 110 to the image capturing apparatus 200 (S200 ') in step S100' And the
S200’ 단계를 통해 마커 영상을 수신한 영상 수집 장치(200)는 수신한 마커 영상을 임시로 저장한다(S300’). 영상 촬영 장치(200)는 S300’ 단계에서 임시로 저장한 마커 영상으로부터 영상 픽셀 데이터를 분석하고, 분석한 영상 픽셀 데이터로부터 적외선 마커의 위치를 계산한다(S400’). 여기서, 적외선 마커(300) 이외에도 적외선 마커와 같은 파장의 빛을 발산하거나 반사하는 간섭 물체가 적외선 마커 주변에 있는 경우, 영상 픽셀 데이터 중 적외선 마커가 위치하는 것으로 분석된 영상 픽셀은 복수개가 추출된다.The
이에 따라, 영상 촬영 장치(200)는 마커 인식 장치(100)가 수집한 마커 영상 이외에도 영상 촬영 장치(200)가 자체적으로 수집한 촬영 영상 내 안면 영상을 토대로, 피사체의 안면을 인식하여 적외선 마커와 간섭 물체를 구별하게 된다. 이는 상기 도 6에 설명한 바와 같다.Accordingly, in addition to the marker images collected by the
S400’ 단계를 통해 적외선 마커 위치가 계산되면, 계산된 적외선 마커 위치를 이전에 계산된 동일한 적외선 마커에 대한 위치 정보와 비교하여, 영상 촬영 장치(200)를 회전시킬 모터의 제어값을 계산한다(S500’). 이를 위해, 영상 촬영 장치(200)는 계산된 적외선 마커에 대한 모든 위치 정보를 임시 저장한다. When the position of the infrared marker is calculated through step S400 ', the calculated infrared marker position is compared with the previously calculated position information of the same infrared marker to calculate the control value of the motor to rotate the image photographing apparatus 200 ( S500 '). To this end, the
모터의 제어값은 영상 촬영 장치(200)를 상하로 움직이기 위한 제1 모터 제어값과, 영상 촬영 장치(200)를 좌우로 움직이기 위한 제2 모터 제어값으로 구분 지을 수 있다. 프로세서(220)가 제1 모터 제어값과 제2 모터 제어값을 계산하면, 계산된 제1 모터 제어값과 제2 모터 제어값은 마커 인식 장치(100)로 전달된다(S600’).The control value of the motor may be divided into a first motor control value for moving the
모터(150)는 S700’을 통해 프로세서(120)가 영상 촬영 장치(200)로부터 수신한 제1 모터 제어값과 제2 모터 제어값을 토대로 생성된 제어 신호를 토대로 영상 촬영 장치(200)를 상하 또는 좌우로 이동시키고(S700’), 영상 촬영 장치(200)는 이동한 위치에서 피사체에 대한 영상을 촬영한다(S800’). The motor 150 drives the
한편, 영상 촬영 시스템(10)을 통해 피사체가 영상을 촬영할 때, 마커를 인식하는 마커 인식 장치(100)의 구현 예와 피사체를 자동으로 트랙킹하여 다양한 영상을 촬영할 수 있도록 도와 주는 부가 설치물에 대해 도 10 및 도 11을 참조로 한다.On the other hand, an embodiment of the
도 10은 본 발명의 실시예에 따른 마커 인식 장치의 예시도이다.10 is an exemplary diagram of a marker recognition apparatus according to an embodiment of the present invention.
도 10의 (a) 내지 (c)에 나타낸 바와 같이 마커 인식 장치(100)는 다양한 형태로 구현될 수 있다. 그리고, (a)에 나타낸 바와 같이 마커 인식 장치(100)의 상단에 영상 촬영 장치(200)를 거치할 수 있도록 크래들 형태로 구현한다.10 (a) to 10 (c), the
도 11은 본 발명의 실시예에 따른 영상 촬영 시스템의 부가 설치물에 대한 예시도이다.FIG. 11 is an exemplary view of an additional installation of the image capturing system according to the embodiment of the present invention.
도 11에 도시된 바와 같이, 본 발명의 실시예에 따른 부가 설치물(400)들에 영상 촬영 시스템(10)을 결합시켜, 피사체가 미리 설정해 놓은 동작과 함께 피사체를 자동으로 트랙킹하여 다양한 동적 영상을 피사체 혼자 촬영할 수 있도록 하거나, 피사체 포커싱을 도와줄 수 있다.11, the
부가 설치물(400)은 영상 촬영 시스템(10)이 좌우로 움직이거나 상하로 움직일 수 있도록 슬라이딩 기구나 지브 기구(예를 들어, 원형, C자형, 수직형, 수평형 등) 등 다양한 형태로 구현될 수 있다. 부가 설치물(400)에 결합된 영상 촬영 시스템(10)의 마커 인식 장치(100)는 적외선 마커 위치를 토대로 적외선 마커의 움직임을 계산한다. 그리고 계산한 적외선 마커의 움직임을 토대로 피사체를 자동으로 트랙킹함으로써, 부가 설치물(400) 상에서 좌우 또는 상하로 이동하며 피사체에 대한 영상을 촬영할 수 있다.The
다음은, 영상 촬영 시스템(10)이 피사체의 위치를 확인할 수 있도록 하는 적외선 마커(300)의 구조에 대해 도 12를 참조로 설명하고, 적외선 마커(300)의 구현 예에 대해 도 13을 참조로 설명한다.Next, the structure of the
도 12는 본 발명의 실시예에 따른 적외선 마커의 구조도이고, 도 13은 본 발명의 실시예에 따른 적외선 마커의 예시도이다.FIG. 12 is a structural view of an infrared marker according to an embodiment of the present invention, and FIG. 13 is an exemplary view of an infrared marker according to an embodiment of the present invention.
도 12에 도시된 바와 같이, 적외선 마커(300)는 전원 공급부(310), 타이머(320) 및 복수의 적외선 LED(330-1∼330-4)로 이루어진 LED부(330)를 포함한다.12, the
전원 공급부(310)는 타이머(320)로 전원을 공급한다. 본 발명의 실시예에서는 2cell 3.7v 배터리, USB나 외부 충전 등 다양한 방식으로 전원 공급부를 구현하는 것을 예로 하여 설명하므로, 어느 하나의 형태로 한정하지 않는다.The
타이머(320)는 복수의 적외선 LED(330-1∼330-4)와 연결되어 있어, 적외선 LED들이 활성화/비활성화 되도록 미리 설정한 간격의 펄스 신호를 생성하여 제공한다. The
LED부(330)는 복수의 적외선 LED(330-1∼330-4)들이 포함되어 있으며, 본 발명의 실시예에서는 설명의 편의를 위하여 4개의 적외선 LED(330-1∼330-4)를 도시하였으나 반드시 이와 같이 한정되는 것은 아니다. 그리고, LED부(330)는 타이머(320)에서 생성된 펄스 신호를 토대로 적외선 LED(330-1∼330-4)들이 적외선 빛을 방사하도록 활성화 상태가 되거나, 그 반대의 비활성화 상태로 상태가 전환되기도 한다. 적외선 LED(330-1∼330-4)는 펄스 신호에 따라 개별적으로 상태가 전환될 수도 있고, 모든 적외선 LED(330-1∼330-4)가 동시에 상태가 전환될 수도 있다.The
이러한 적외선 마커(300)는 피사체의 다양한 신체 위치에 착용할 수 있도록 도 13의 (a)에 나타낸 바와 같은 밴드 형태 또는 목걸이 형태 등 다양한 형태로 구현될 수 있다. 적외선 마커(300)는 도 13의 (b) 및 (c)에 나타낸 바와 같이 피사체의 발목이나 팔 등 다양한 신체 위치에 착용될 수 있도록 하며, (d)에 나타낸 바와 같이 복수의 적외선 LED를 통해 적외선 빛이 발산된다.The
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
Claims (19)
적외선 마커를 촬영한 마커 영상을 수집하는 단계;
상기 마커 영상에서의 마커 위치를 기초로 영상 촬영 장치가 거치된 모터의 움직임을 제어하는 제어값을 계산하는 단계; 및
상기 제어값을 상기 모터로 전달하는 단계
를 포함하고,
상기 적외선 마커는 상기 피사체에 부착되고, 상기 영상 촬영 장치는 상기 피사체를 촬영하는 영상 촬영 방법.A method of capturing an image of a subject by a capturing system,
Collecting a marker image of the infrared marker;
Calculating a control value for controlling the movement of the motor mounted on the image pickup apparatus based on the marker position in the marker image; And
Transmitting the control value to the motor
Lt; / RTI >
Wherein the infrared marker is attached to the subject, and the image photographing apparatus photographs the subject.
상기 마커 영상을 수집하는 단계는,
상기 적외선 마커가 발산하는 적외선 빛을 투과시켜 상기 마커 영상을 수집하는 단계;
상기 마커 영상을 흑백 마커 영상으로 전환하는 단계; 및
전환한 흑백 마커 영상을 압축하여 압축 마커 영상을 생성하는 단계
를 포함하는 피사체 영상 촬영 방법.The method according to claim 1,
Wherein the collecting of the marker image comprises:
Transmitting the infrared light emitted by the infrared marker to collect the marker image;
Converting the marker image into a black and white marker image; And
A step of generating a compressed marker image by compressing the converted black and white marker image
And an image capturing unit for capturing an image of the subject.
상기 압축 마커 영상을 상기 영상 촬영 장치로 전달하는 단계; 및
상기 마커 위치를 상기 영상 촬영 장치로부터 수신하는 단계
를 더 포함하고,
상기 마커 위치는 상기 압축 마커 영상을 기초로 계산되는 피사체 영상 촬영 방법.3. The method of claim 2,
Transmitting the compressed marker image to the image capturing apparatus; And
Receiving the marker position from the image photographing apparatus
Further comprising:
Wherein the marker position is calculated based on the compressed marker image.
상기 영상 촬영 장치로부터 수신하는 단계 이후에,
상기 적외선 마커의 위치는 상기 영상 촬영 장치가 계산한 상기 제1 모터 제어값과 제2 모터 제어값을 더 포함하며,
상기 제1 모터 제어값과 제2 모터 제어값을 토대로 상기 모터를 제어하는 단계
를 포함하는 피사체 영상 촬영 방법.The method of claim 3,
After the step of receiving from the image photographing apparatus,
Wherein the position of the infrared marker further includes the first motor control value and the second motor control value calculated by the image photographing apparatus,
Controlling the motor based on the first motor control value and the second motor control value
And an image capturing unit for capturing an image of the subject.
상기 제어값을 계산하는 단계는,
상기 마커 위치를 토대로 상기 영상 촬영 장치를 제1 방향으로 움직이기 위한 제1 모터 제어값을 계산하는 단계;
상기 영상 촬영 장치를 제2 방향으로 움직이기 위한 제2 모터 제어값을 계산하는 단계; 및
상기 계산한 제1 모터 제어값과 제2 모터 제어값을 토대로 상기 영상 촬영 장치를 제1 방향 또는 제2 방향 중 적어도 하나 이상의 방향으로 이동시키도록, 상기 모터를 제어하는 단계
를 포함하는 피사체 영상 촬영 방법.The method according to claim 1,
Wherein the step of calculating the control value comprises:
Calculating a first motor control value for moving the imaging device in a first direction based on the marker position;
Calculating a second motor control value for moving the imaging device in a second direction; And
Controlling the motor to move the imaging device in at least one of the first direction or the second direction based on the calculated first motor control value and the second motor control value
And an image capturing unit for capturing an image of the subject.
상기 카메라를 활성화하여 영상을 촬영하는 단계;
적외선 마커 인식 장치로부터 적외선 마커를 촬영한 마커 영상을 수신하는 단계;
상기 마커 영상에서의 마커 위치를 계산하는 단계; 및
상기 마커 위치를 상기 적외선 마커 인식 장치로 전송하는 단계
를 수행하도록 프로그램된 명령어들(instructions)을 포함하고,
상기 적외선 마커는 피사체에 부착되고, 상기 단말은 상기 적외선 마커 인식 장치에 의해 움직임이 제어되는 모터에 거치되며, 상기 적외선 마커 인식 장치는 상기 마커 위치를 기초로 상기 모터를 제어하는 어플리케이션.An application that is loaded on a terminal and executes a programmed operation in combination with hardware including a processor, a memory, and a camera of the terminal,
Activating the camera to capture an image;
Receiving a marker image of an infrared marker from the infrared marker recognition device;
Calculating a marker position in the marker image; And
Transmitting the marker position to the infrared marker recognizing device
Instructions that are programmed to perform the steps of:
Wherein the infrared marker is attached to a subject and the terminal is mounted on a motor whose movement is controlled by the infrared marker recognition device, and the infrared marker recognition device controls the motor based on the marker position.
상기 마커 위치를 계산하는 단계는,
상기 마커 영상의 픽셀 데이터를 분석하여, 상기 적외선 마커에 대한 픽셀 데이터 값을 추출하는 단계; 및
상기 추출한 픽셀 데이터 값을 토대로 상기 적외선 마커의 위치를 계산하는 단계
를 수행하는 어플리케이션.The method according to claim 6,
Wherein the step of calculating the marker position comprises:
Analyzing pixel data of the marker image and extracting a pixel data value for the infrared marker; And
Calculating a position of the infrared marker based on the extracted pixel data value
.
상기 적외선 마커의 위치를 계산하는 단계는,
상기 적외선 마커에 대응하는 픽셀 데이터 값을 포함하여 둘 이상의 픽셀 데이터 값이 추출되면, 안면 영상을 수집하는 단계;
수집한 안면 영상에 포함된 모든 피사체에 대한 피사체 안면 수를 확인하고, 상기 피사체 안면에 안면 식별 번호를 부여하는 단계; 및
상기 피사체 안면 각각에 대하여 적외선 마커의 소지 유무를 확인하는 단계
를 수행하는 어플리케이션.8. The method of claim 7,
Wherein calculating the position of the infrared marker comprises:
Collecting a face image when two or more pixel data values including a pixel data value corresponding to the infrared marker are extracted;
Confirming the number of facial faces of all the subjects included in the collected facial images, and assigning facial identification numbers to the facial images of the subject; And
Confirming presence or absence of an infrared marker on each of the face images of the subject
.
상기 적외선 마커의 소지 유무를 확인하는 단계는,
임의의 피사체 안면에 부여된 안면 식별 번호가 상기 모든 피사체에 대한 피사체 안면 수에 대한 번호보다 작으면, 상기 선택한 피사체 안면의 안면 영역 크기와 위치를 확인하는 단계;
상기 확인한 피사체 안면의 위치를 기초로, 상기 적외선 마커에 대응하는 영상 데이터를 탐지하기 위하여 탐색 영역을 지정하는 단계;
지정한 탐색 영역을 미리 설정한 수만큼 분할하여 복수의 분할 화면을 생성하는 단계;
상기 복수의 분할 화면 중 어느 하나의 분할 화면에 상기 적외선 마커에 대한 영상 데이터가 포함되어 있는지 확인하는 단계; 및
어느 하나의 분할 화면에서 상기 적외선 마커에 대한 영상 데이터가 포함되어 있으면, 상기 적외선 마커의 위치를 분석하는 단계
를 수행하는 어플리케이션.9. The method of claim 8,
Wherein the step of checking presence or absence of the infrared marker comprises:
Confirming the size and position of the face region of the selected subject face if the facial identification number given to the subject face is smaller than the number of the face faces for all the subjects;
Designating a search area to detect image data corresponding to the infrared marker based on the position of the determined subject's face;
Dividing a designated search area by a preset number to generate a plurality of divided screens;
Confirming whether any one of the plurality of divided screens includes image data for the infrared marker; And
Analyzing the position of the infrared marker if the image data for the infrared marker is included in one of the divided screens
.
상기 복수의 분할 화면에 상기 적외선 마커에 대한 영상 데이터가 포함되어 있지 않으면,
상기 임의의 피사체 안면에 부여된 안면 식별 번호를 하나 증가시키는 단계;
하나 증가된 안면 식별 번호가 상기 피사체 안면 수에 대한 번호보다 크면, 탐색 영역을 확장하는 단계; 및
확장한 탐색 영역의 크기가 미리 설정한 최대 탐색 영역의 크기와 같으면, 상기 탐색 영역 내에는 적외선 마커가 없는 것으로 확인하는 단계
를 수행하는 어플리케이션.10. The method of claim 9,
If no image data for the infrared marker is included in the plurality of divided screens,
Increasing one of the face identification numbers assigned to the subject's face;
Expanding the search area if one of the facial identification numbers is larger than the number of facial facial numbers; And
If the size of the extended search area is equal to the size of the preset maximum search area, confirming that there is no infrared marker in the search area
.
상기 적외선 마커 인식 정치로 전송하는 단계는,
상기 마커 위치를 토대로 계산한 모터 제어값을 상기 적외선 마커 인식 장치로 전송하는 어플리케이션.The method according to claim 6,
Wherein the step of transmitting to the infrared marker recognition step comprises:
And transmits the motor control value calculated based on the marker position to the infrared marker recognizing device.
영상 촬영 장치를 거치하는 본체;
상기 본체의 움직임을 제어하는 적어도 하나의 모터;
적외선 마커를 인식하는 적외선 카메라;
프로그램을 저장하는 메모리; 및
상기 모터, 상기 적외선 카메라, 그리고 상기 메모리와 연동하여 상기 프로그램을 실행하는 프로세서
를 포함하고,
상기 프로세서는,
상기 적외선 카메라에서 촬영된 마커 영상을 수집하고, 상기 마커 영상을 토대로 추출된 상기 마커 위치 정보를 토대로 상기 모터를 제어하는 모터 제어값을 계산하는 영상 촬영 시스템.A system for capturing an image of a subject having an infrared marker, the system comprising:
A main body for mounting the image photographing apparatus;
At least one motor for controlling movement of the main body;
An infrared camera recognizing an infrared marker;
A memory for storing a program; And
A processor for executing the program in cooperation with the motor, the infrared camera, and the memory,
Lt; / RTI >
The processor comprising:
And acquires marker images taken by the infrared camera and calculates a motor control value for controlling the motor based on the marker position information extracted based on the marker image.
상기 프로세서는,
상기 마커 영상을 제1 영상으로 변환하고, 변환한 제1 영상을 압축하여 압축 영상을 생성하는 영상 촬영 시스템.13. The method of claim 12,
The processor comprising:
Converting the marker image into a first image, and compressing the converted first image to generate a compressed image.
상기 모터는,
상기 프로세서로부터 수신한 모터 제어값을 토대로 상기 본체를 적어도 하나 이상의 방향으로 움직이는 영상 촬영 시스템.13. The method of claim 12,
The motor includes:
And moving the main body in at least one direction based on a motor control value received from the processor.
상기 프로세서는,
상기 영상 촬영 장치로부터 상기 마커 위치 정보를 수신하는 영상 촬영 시스템.13. The method of claim 12,
The processor comprising:
And receives the marker position information from the image capturing apparatus.
상기 적외선 마커는,
복수의 적외선 LED가 입력되는 펄스 신호를 토대로 적외선 빛을 방사하도록 활성화 상태가 되거나, 활성화 상태에서 비활성화 상태로 상태가 전환되는 LED부;
상기 LED부에 포함되어 있는 복수의 적외선 LED로 미리 설정한 간격의 펄스 신호를 생성하여 제공하는 타이머; 및
상기 타이머에 전원을 공급하는 전원 공급부
를 포함하는 영상 촬영 시스템.13. The method of claim 12,
Wherein the infrared marker comprises:
An LED unit that is activated to emit infrared light based on a pulse signal to which a plurality of infrared LEDs are input, or is switched from an active state to an inactive state;
A timer for generating and supplying a pulse signal having a preset interval to a plurality of infrared LEDs included in the LED unit; And
A power supply for supplying power to the timer;
And an image capturing system.
영상을 촬영하는 영상 카메라;
상기 카메라를 거치하고 제어 신호를 기초로 움직이며, 적외선 카메라를 포함하는 본체;
상기 영상 카메라의 영상 촬영을 제어하는 제1 프로세서; 및
상기 제어 신호를 생성하는 제2 프로세서
를 포함하고,
상기 제2 프로세서는 상기 적외선 카메라로 투과된 적외선 빛으로부터 마커 영상을 생성하고, 상기 제1 프로세서로 상기 마커 영상을 전송하며, 상기 제1 프로세서로부터 상기 마커 영상으로부터 추출된 마커 위치 정보를 수신하며, 상기 마커 위치 정보를 기초로 상기 본체의 움직임을 제어하는 제어 신호를 생성하고,
상기 제1 프로세서는 상기 제2 프로세서로부터 수신한 마커 영상을 기초로 상기 마커 위치 정보를 계산하는 영상 촬영 시스템.A system for capturing an image of a subject having an infrared marker, the system comprising:
A video camera for capturing an image;
A main body including an infrared camera, the infrared camera being mounted on the camera and moving based on a control signal;
A first processor for controlling the image capturing of the image camera; And
And a second processor
Lt; / RTI >
The second processor generates a marker image from the infrared light transmitted through the infrared camera, transmits the marker image to the first processor, receives marker position information extracted from the marker image from the first processor, Generating a control signal for controlling the movement of the main body based on the marker position information,
Wherein the first processor calculates the marker position information based on the marker image received from the second processor.
상기 제1 프로세서는
상기 제2 프로세서로부터 수신한 마커 영상을 토대로 상기 적외선 마커가 위치하는 것으로 판단되는 적어도 하나 이상의 픽셀 데이터 값을 추출하고, 추출한 픽셀 데이터 값을 토대로 상기 적외선 마커의 위치 정보를 생성하며, 상기 하나 이상의 픽셀 데이터 값과 상기 촬영 카메라가 촬영한 안면 영상을 토대로 상기 적외선 마커의 마커 위치를 계산하는 영상 촬영 시스템.18. The method of claim 17,
The first processor
Extracts at least one or more pixel data values determined to be positioned by the infrared marker based on the marker image received from the second processor, generates position information of the infrared marker based on the extracted pixel data value, And calculating a marker position of the infrared marker based on the data value and the facial image captured by the photographing camera.
상기 제1 프로세서는,
상기 안면 영상에 포함된 모든 피사체들의 안면의 크기와 위치를 토대로 상기 모든 피사체들 각각에 대한 탐색 영역을 지정하며, 지정된 탐색 영역을 분할하여 생성한 분할 화면으로부터 상기 적외선 마커의 위치 정보를 확인하는 영상 촬영 시스템.
19. The method of claim 18,
Wherein the first processor comprises:
A search area for each of all the objects is specified based on the size and position of the face of all the subjects included in the face image, and the image for identifying the position information of the infrared marker from the divided screen generated by dividing the designated search area Shooting system.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20160006144 | 2016-01-18 | ||
KR1020160006144 | 2016-01-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170086392A true KR20170086392A (en) | 2017-07-26 |
KR101850534B1 KR101850534B1 (en) | 2018-04-19 |
Family
ID=59427054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160077582A KR101850534B1 (en) | 2016-01-18 | 2016-06-21 | System and method for picture taking using IR camera and maker and application therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101850534B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021101217A1 (en) * | 2019-11-19 | 2021-05-27 | 주식회사 쓰리아이 | Terminal holder control method and image synthesis method |
KR20210061229A (en) * | 2019-11-19 | 2021-05-27 | 주식회사 쓰리아이 | Control method and system for device cradle |
KR20220156338A (en) * | 2021-05-18 | 2022-11-25 | 주식회사 쓰리아이 | Terminal control device for creating realistic contents of indoor space and control method thereof |
US11575840B2 (en) | 2019-11-19 | 2023-02-07 | 3I Inc. | Method for controlling mobile device cradle and composing images |
WO2024005280A1 (en) * | 2022-06-29 | 2024-01-04 | 주식회사 쓰리아이 | Object tracking method and system |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102380933B1 (en) | 2020-10-16 | 2022-04-01 | 인트플로우 주식회사 | System and method for controlling camera installed in pen |
WO2022244920A1 (en) * | 2021-05-18 | 2022-11-24 | 주식회사 쓰리아이 | Mobile terminal and control method for terminal holder |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101274301B1 (en) * | 2011-05-03 | 2013-06-13 | 순천대학교 산학협력단 | Augmented reality system using the restoration of the image of infrared led area |
-
2016
- 2016-06-21 KR KR1020160077582A patent/KR101850534B1/en active IP Right Grant
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021101217A1 (en) * | 2019-11-19 | 2021-05-27 | 주식회사 쓰리아이 | Terminal holder control method and image synthesis method |
KR20210061229A (en) * | 2019-11-19 | 2021-05-27 | 주식회사 쓰리아이 | Control method and system for device cradle |
KR20210102143A (en) * | 2019-11-19 | 2021-08-19 | 주식회사 쓰리아이 | Device cradle |
KR20210102144A (en) * | 2019-11-19 | 2021-08-19 | 주식회사 쓰리아이 | Control method for device cradle |
US11575840B2 (en) | 2019-11-19 | 2023-02-07 | 3I Inc. | Method for controlling mobile device cradle and composing images |
KR20220156338A (en) * | 2021-05-18 | 2022-11-25 | 주식회사 쓰리아이 | Terminal control device for creating realistic contents of indoor space and control method thereof |
WO2024005280A1 (en) * | 2022-06-29 | 2024-01-04 | 주식회사 쓰리아이 | Object tracking method and system |
Also Published As
Publication number | Publication date |
---|---|
KR101850534B1 (en) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101850534B1 (en) | System and method for picture taking using IR camera and maker and application therefor | |
KR101645722B1 (en) | Unmanned aerial vehicle having Automatic Tracking and Method of the same | |
EP2757771B1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
CN105100580B (en) | Monitoring system and control method for monitoring system | |
JP6731097B2 (en) | Human behavior analysis method, human behavior analysis device, device and computer-readable storage medium | |
WO2016187985A1 (en) | Photographing device, tracking photographing method and system, and computer storage medium | |
JP2015526927A (en) | Context-driven adjustment of camera parameters | |
WO2017166725A1 (en) | Photographing control method, device, and system | |
WO2017163688A1 (en) | Monitoring system and monitoring method | |
JP2014023159A (en) | Photographing apparatus, photographing control method therefor and eyeball recognition apparatus | |
US10127424B2 (en) | Image processing apparatus, image processing method, and image processing system | |
KR20130112578A (en) | Appratus and method for providing augmented reality information based on user | |
Garcia et al. | Wearable computing for image-based indoor navigation of the visually impaired | |
CN114466139A (en) | Tracking and positioning method, system, device, equipment, storage medium and product | |
US20220070365A1 (en) | Mixed reality image capture and smart inspection | |
JP2017204795A (en) | Tracking apparatus | |
JP2022015864A (en) | Video analysis device, wide area monitoring system, and selection method of camera | |
KR101441285B1 (en) | Multi-body Detection Method based on a NCCAH(Normalized Cross-Correlation of Average Histogram) And Electronic Device supporting the same | |
US10868956B2 (en) | Picture-taking technique for self-photography using device having camera and device therefor | |
KR101656519B1 (en) | Unmanned aerial vehicle having Automatic Tracking | |
JPH1023465A (en) | Image pickup method and its device | |
KR101497838B1 (en) | System and Method for Cooperation of Taking a Picture in Network | |
KR20150078576A (en) | System and Method for Taking a Picture with Partner Have a Same Place but Different Time | |
JP7203305B2 (en) | Imaging system, imaging method, and program | |
KR102171162B1 (en) | Device and method of generating time slice vedio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |