KR102099687B1 - Imaging device and system - Google Patents
Imaging device and system Download PDFInfo
- Publication number
- KR102099687B1 KR102099687B1 KR1020200010330A KR20200010330A KR102099687B1 KR 102099687 B1 KR102099687 B1 KR 102099687B1 KR 1020200010330 A KR1020200010330 A KR 1020200010330A KR 20200010330 A KR20200010330 A KR 20200010330A KR 102099687 B1 KR102099687 B1 KR 102099687B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- directional camera
- focus
- omni
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
- H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
-
- H04N5/247—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 영상 촬영 장치 및 시스템에 관한 것이다.The present invention relates to an imaging device and system.
다방향 카메라는 카메라의 렌즈가 향하고 있는 방향의 화각 범위 이내 수평/수직을 감시 하지만 카메라의 설치 위치 수직 방향에 대하여 음영 지역이 발생할 수 있다.The multi-directional camera monitors horizontal / vertical within the field of view of the direction the lens of the camera is facing, but a shaded area may occur with respect to the vertical direction of the installation position of the camera.
전방향 카메라와 같이, 어안렌즈를 이용한 전방향 카메라는 360도 전방향 및 수직방향 감시는 가능하지만 렌즈의 특성으로 인하여 감시 거리가 짧다는 문제가 있다. 예를 들어, 전방향 카메라가 3m 의 높이에 설치되는 경우 감시 거리는 반경 8m 이내로 한정될 수 있다.Like omni-directional cameras, omni-directional cameras using fish-eye lenses can monitor 360-degree omni-directional and vertical directions, but there is a problem that the monitoring distance is short due to the characteristics of the lens. For example, when the omni-directional camera is installed at a height of 3m, the surveillance distance may be limited to within 8m radius.
일반 카메라의 경우, 카메라를 마주 보이게 설치(예; close monitoring)를 하여도 감시 거리가 멀어서 원거리의 이미지를 상세하게 분석하기에는 어려움이 있다.In the case of a general camera, even if the camera is installed facing each other (eg, close monitoring), it is difficult to analyze a distant image in detail because the monitoring distance is far.
이와 관련하여, 본 발명은 개선된(enhanced) 영상 촬영 장치 및 시스템을 제안하려고 한다.In this regard, the present invention seeks to propose an enhanced imaging device and system.
본 발명의 일 실시예는 영상 촬영 장치 및 시스템을 제공하는데 그 목적이 있다.One embodiment of the present invention has an object to provide an image photographing apparatus and system.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description. will be.
본 발명의 일 실시예는 영상 촬영 장치에 있어서, 다방향 카메라; 전방향 카메라; 상기 다방향 카메라를 제어하여 제1 영상을 획득하고, 상기 전방향 카메라를 제어하여 제2 영상을 획득하는 카메라 모듈; 및 상기 카메라 모듈을 제어하는 제어 모듈; 을 포함하고, 상기 제어 모듈은 상기 제1 영상 및 상기 제2 영상을 합성(compose)하여 생성된 제3 영상을 획득하는, 장치를 제안한다.In one embodiment of the present invention, an image capturing apparatus comprising: a multi-directional camera; Omni-directional camera; A camera module controlling the multi-directional camera to obtain a first image, and controlling the omni-directional camera to obtain a second image; And a control module that controls the camera module. Including, the control module proposes an apparatus for obtaining a third image generated by combining the first image and the second image.
상기 제어 모듈은 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 지시하는 명령어를 상기 카메라 모듈에게 전송할 수 있다.The control module may transmit a command instructing synchronization between the multi-directional camera and the omni-directional camera to the camera module.
또한, 상기 제어 모듈은, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기 오차에 대한 정보를 획득하고, 상기 제1 영상, 상기 제2 영상, 및 상기 동기 오차에 기반하여 생성된 상기 제3 영상을 획득할 수 있다.In addition, the control module acquires information on a synchronization error between the multi-directional camera and the omni-directional camera, and receives the first image, the second image, and the third image generated based on the synchronization error. Can be obtained.
또한, 상기 제어 모듈은, 상기 장치가 설치된 장소의 출입구에 출입하는 객체에 대한 관찰 영상을 획득하고, 상기 관찰 영상에 기반하여 상기 카메라 모듈을 제어할 수 있다.In addition, the control module may acquire an observation image of an object entering and exiting a doorway at a place where the device is installed, and control the camera module based on the observation image.
또한, 상기 제어 모듈은, 상기 객체가 위치하는 영상의 일부분에 표시된 시각적인 정보를 추출한 데이터를 획득하고, 상기 획득된 데이터에 기반하여 상기 카메라 모듈을 제어할 수 있다.In addition, the control module may obtain data obtained by extracting visual information displayed on a part of an image in which the object is located, and control the camera module based on the acquired data.
또한, 본 발명의 일 실시예는 영상 촬영 시스템에 있어서, 다방향 카메라 및 전방향 카메라를 포함하고, 상기 다방향 카메라를 제어하여 제1 영상을 획득하고, 상기 전방향 카메라를 제어하여 제2 영상을 획득하는 장치; 및 상기 제1 영상 및 상기 제2 영상을 상기 장치로부터 수신하는 서버; 를 포함하고, 상기 서버는 상기 제1 영상 및 상기 제2 영상을 합성(compose)하여 제3 영상을 생성하는, 시스템을 제안한다.In addition, an embodiment of the present invention, in the image photographing system, includes a multi-directional camera and an omni-directional camera, controls the multi-directional camera to obtain a first image, and controls the omni-directional camera to control the second image A device for acquiring; And a server that receives the first image and the second image from the device. It includes, and the server proposes a system that composes the first image and the second image to generate a third image.
상기 서버는 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 지시하는 명령어를 생성하여 상기 장치에게 전송할 수 있다.The server may generate a command instructing synchronization between the multi-directional camera and the omni-directional camera and transmit it to the device.
상기 장치는 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 수행할 수 있다.The device may perform synchronization between the multi-directional camera and the omni-directional camera.
또한, 상기 서버는, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기 오차에 대한 정보를 상기 장치로부터 수신하고, 상기 제1 영상, 상기 제2 영상, 및 상기 동기 오차에 기반하여 상기 제3 영상을 생성할 수 있다.In addition, the server receives information on a synchronization error between the multi-directional camera and the omni-directional camera from the device, and receives the first image, the second image, and the third image based on the synchronization error. Can be created.
또한, 상기 서버는, 상기 장치가 설치된 장소의 출입구에 출입하는 객체에 대한 관찰 영상을 상기 장치로부터 수신하고, 상기 관찰 영상에 기반하여 제1 명령어를 생성하고, 상기 생성된 제1 명령어를 상기 장치에게 전송할 수 있다.In addition, the server receives an observation image of an object that enters and exits a doorway at a location where the device is installed, generates a first command based on the observation image, and generates the first command based on the observation image. Can be sent to.
또한, 상기 서버는, 상기 영상에서, 상기 객체가 위치하는 영상의 일부분에 표시된 시각적인 정보를 추출하여 데이터를 생성하고, 상기 데이터에 기반하여 제2 명령어를 생성하고, 상기 생성된 제2 명령어를 상기 장치에게 전송할 수 있다.In addition, the server extracts visual information displayed on a part of the image in which the object is located, generates data from the image, generates a second command based on the data, and generates the generated second command. To the device.
본 발명의 일 실시예는 개선된(enhanced) 영상 촬영 장치 및 시스템을 제공할 수 있다.One embodiment of the present invention can provide an improved (enhanced) imaging device and system.
본 발명의 일 실시예는 획득(또는 생성)할 때 발생할 수 있는 영상에 대한 오차를 제거함으로써 보다 고품질의 (합성) 영상을 생성할 수 있다는 점에서 기술적인 효과를 제공할 수 있다.One embodiment of the present invention can provide a technical effect in that a higher quality (composite) image can be generated by removing an error for an image that may occur when acquiring (or generating).
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description. will be.
본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예를 구현하는 장치에 대한 블록도이다.
도 2a는 본 발명의 일 실시예에 따라 구현되는 카메라를 설명하기 위한 도면이다.
도 2b는 본 발명의 일 실시예에 따라 구현되는 카메라에 의해 획득되는 영상의 일 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 촬영 시스템을 나타내는 도면이다.
도 4는 본 발명의 일 실시예를 구현하는 장치에 대한 블록도이다.
도 5는 본 발명의 일 실시예를 도시하는 흐름도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.Other aspects, features and benefits as described above of certain preferred embodiments of the invention will become more apparent from the following description, which is processed in conjunction with the accompanying drawings.
1 is a block diagram of an apparatus implementing an embodiment of the present invention.
2A is a view for explaining a camera implemented according to an embodiment of the present invention.
2B is a diagram illustrating an example of an image obtained by a camera implemented according to an embodiment of the present invention.
3 is a view showing an image photographing system according to an embodiment of the present invention.
4 is a block diagram of an apparatus implementing an embodiment of the present invention.
5 is a flow chart showing an embodiment of the present invention.
It should be noted that through the above figures, like reference numbers are used to show the same or similar elements, features and structures.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments, descriptions of technical contents well known in the technical field to which the present invention pertains and which are not directly related to the present invention will be omitted. This is to more clearly convey the gist of the present invention by omitting unnecessary description.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated. Also, the size of each component does not entirely reflect the actual size. The same reference numbers are assigned to the same or corresponding elements in each drawing.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains. It is provided to fully inform the holder of the scope of the invention, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.At this time, it will be understood that each block of the process flow chart diagrams and combinations of flow chart diagrams can be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that instructions performed through a processor of a computer or other programmable data processing equipment are described in flowchart block (s). It creates a means to perform functions. These computer program instructions can also be stored in computer readable or computer readable memory that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that computer readable or computer readable memory It is also possible for the instructions stored in to produce an article of manufacture containing instructions means for performing the functions described in the flowchart block (s). Since computer program instructions may be mounted on a computer or other programmable data processing equipment, a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for executing the functions described in the flowchart block (s).
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative implementations, it is also possible that the functions mentioned in the blocks occur out of sequence. For example, two blocks shown in succession may in fact be executed substantially simultaneously, or it is also possible that the blocks are sometimes executed in reverse order according to a corresponding function.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.At this time, the term '~ unit' used in the present embodiment means software or hardware components such as a field-programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and '~ unit' has a certain role. Perform them. However, '~ wealth' is not limited to software or hardware. The '~ unit' may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example, '~ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, attributes, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays, and variables. The functions provided within components and '~ units' may be combined into a smaller number of components and '~ units', or further separated into additional components and '~ units'. In addition, the components and '~ unit' may be implemented to play one or more CPUs in the device or secure multimedia card.
본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.In describing the embodiments of the present invention in detail, an example of a specific system will be the main subject, but the main subject matter to be claimed herein is the scope disclosed herein in other communication systems and services having a similar technical background. It can be applied to the extent that it does not deviate greatly, and this will be possible at the judgment of a person having technical skills skilled in the art.
도 1은 본 발명의 일 실시예를 구현하는 장치에 대한 블록도이다.1 is a block diagram of an apparatus implementing an embodiment of the present invention.
도 1을 참조하면, 장치(100)는 제어 모듈(110) 및 카메라 모듈(120)을 포함한다.Referring to FIG. 1, the device 100 includes a
제어 모듈(110)은 본 발명의 일 실시예에 따른 동작/단계/과정을 구현할 수 있도록 상기 장치(100)를 직/간접적으로 제어할 수 있다. 또한 제어 모듈(110)은 적어도 하나의 프로세서를 포함할 수 있으며, 상기 프로세서는 적어도 하나의 중앙 처리 유닛(CPU) 및/또는 적어도 하나의 그래픽 처리 디바이스(GPU)를 포함할 수 있다.The
카메라 모듈(120)은 영상을 획득하는 기능을 구현하는 모듈일 수 있다. 또한, 카메라 모듈(120)은 다방향 카메라 모듈 및/또는 전방향 카메라 모듈(예; 어안 카메라 모듈)을 포함할 수 있다. 여기서 다방향 카메라 모듈은 복수의 카메라 모듈을 포함할 수 있으며, 복수의 영상 인식 장치(예; IP(Internet Protocol) 카메라 또는 CCTV(closed circuit television) 카메라 등), 복수의 렌즈, 복수의 카메라 제어 장치, 복수의 조명장치 등을 포함하거나 이를 제어하기 위한 모듈을 포함할 수 있다. 또한, 전방향 카메라 모듈은 어안(fisheye) 카메라 모듈을 포함할 수 있다. IP 카메라는 외부에서도 상기 장치(100)가 설치된 장소의 상황을 사용자 단말(예; 휴대폰 등)로 확인 또는 점검하도록 할 수 있다.The
또한, i) 상기 제어 모듈(110)은 상기 카메라 모듈(120)이 설치된 장소에 함께 설치될 수도 있으나, ii) 상기 제어 모듈(110)은 서버실, 관리실, 및/또는 제어실과 같이 별도의 장소에 설치되고, 상기 카메라 모듈(120)은 특정 장소의 천정, 벽면, 바닥 및/또는 상기 특정 장소 내 가구 등에 설치될 수 있다. 또는 iii) 제어 모듈(110) 및 카메라 모듈(120)이 모두 서버실, 관리실, 및/또는 제어실 등의 별도의 장소에 설치되고, 상기 제어 모듈(110) 및 카메라 모듈(120)에 의해 제어되는 카메라 만이 특정 장소의 천정, 벽면, 바닥 및/또는 상기 특정 장소 내 가구 등에 설치될 수 있다. 이를 위해, 상기 제어 모듈(110), 카메라 모듈(120), 및/또는 카메라 등은 네트워크 구성을 통하여 직접 및/또는 간접적으로 연결될 수 있다. 상기 네트워크 구성은 유선 네트워크 또는 무선 네트워크로 구성되는 것이 일반적이며, 상기 유선 네트워크의 구성은 광케이블이나 UTP 케이블을 통한 네트워크 구성일 수 있으며, 무선 네트워크의 구성은 UWB, Wi-Fi 또는 Wibro, LTE, 5G를 통한 네트워크 구성일 수 있다.In addition, i) the
또한, 제어 모듈(110)은 상기 장치(100)가 설치된 장소에 대한 정보에 기반하여 상기 카메라 모듈(120)을 제어할 수 있다. 예를 들어, 상기 장치(100)가 설치된 장소에 대한 출입 정보를 상기 제어 모듈(110)은 획득할 수 있다. 일 예로, 상기 장치(100)가 설치된 장소에는 복수의 출입구(예; 제1 출입구, 제2 출입구 등)(또는 출입문 또는 비상구)가 존재할 수 있으며, 예를 들면, 상기 제1 출입구의 임계값 이상의 사람(또는 인원)이 입장하였음을 나타내는 정보가 상기 제어 모듈(110)을 통하여 획득되는 경우(또는 "소정의 시간 동안" 상기 제1 출입구의 임계값 이상의 사람(또는 인원)이 입장하였음을 나타내는 정보가 상기 제어 모듈(110)을 통하여 획득되는 경우) 상기 제어 모듈(110)은 상기 카메라 모듈(120)을 제어하여 상기 제1 출입구를 촬영하게 하거나, 상기 제1 출입구를 촬영한 영상에 대한 정보를 다른 영상보다 더 오랜 기간 동안 저장하거나(예를 들어, 후술할 저장부에 저장), 상기 제1 출입구를 더 고화질로 촬영하거나, 상기 제1 출입구를 촬영하는 다방향 카메라 모듈(또는 다방향 카메라 장치)에 구비된 적어도 하나 카메라 장치(또는 카메라 렌즈)를 제어하여 더 확대된 영상(예; zoom-in된 영상)을 촬영(또는 획득)하도록 제어할 수 있다.In addition, the
또한, 제어 모듈(110)은 기상 정보에 기반하여 카메라 모듈(120)을 제어할 수 있다. 예를 들어, 제어 모듈(110)을 통하여 획득된 기상 정보는 날씨에 대한 포괄적인 정보(예; 일별 날씨 정보, 날씨 예상 정보, 작년 날씨 정보 등)를 포함할 수 있다. Also, the
또한, 상기 제어 모듈(110)은 상기 기상 정보에 기반하여 밝기(예; 조도(lx), 광도(cd), 광속(lm), 휘도(cd/m^2 또는 sb), 광속 발산도(rlx) 등)에 대한 정보를 설정할 수 있다(예; 기준 값, 최적 값, 최저 값, 최대 값). 또한, 상기 제어 모듈(110)은 밝기에 대한 정보(예; 밝기의 변화)에 기반하여 장치(100)가 설치된 장소 및/또는 카메라 모듈(120)이 촬영하는 장소의 최적 조도를 결정(또는 산출)하고, 상기 결정된 최적 조도에 따라 카메라 모듈(120)이 촬영하도록 제어할 수 있다. 예를 들어, 제어 모듈(110)은 밝기에 대한 정보에 따른 가중치를 조도에 대한 값(예; 기준 조도)에 적용하여 장치(100)가 설치된 장소 및/또는 카메라 모듈(120)이 촬영하는 장소의 최적 조도를 결정(또는 산출)할 수 있다.In addition, the
또한, 제어 모듈(110)은 상기 기상 정보에 기반하여 상기 장치(100)의 전력에 대한 값(예; 예비 전력, 소비 전력, 최소 충전 전력, 최대 충전 전력 등에 대한 값) 또는 전력 모드(예; 안전 모드, 최대 성능 모드 등)를 설정할 수 있다. 예를 들어, 상기 기상 정보가 금일(오늘) 뇌우가 예상된다는 정보를 나타내는 경우, 뇌우로 인하여 장치(100)(또는 제어 모듈(110))에 전원이 공급되지 않는(또는 전원이 끊기는) 경우를 대비하기 위하여, 제어 모듈(110)은 예비 전력에 대한 값을 소정 이상의 값으로 설정하거나 전력 모드를 안전 모드로 설정할 수 있다.In addition, the
또한, 제어 모듈(110)은 카메라 모듈(120)을 통하여 획득된 영상에서 영상 내 객체의 윤곽선 또는 상기 객체에서 추출할 수 있는 글씨(또는 정보를 나타내는 윤곽선(또는 외형))를 획득할 수 있다. 예를 들면, 획득된 영상에 찍힌 사람(즉, 객체)이 입은 옷에 새겨진 글씨를 추출할 수 있으며, 제어 모듈(110)은 상기 추출된 글씨가 나타내는 정보에 기반하여 상이한 동작을 수행하거나 카메라 모듈(110)을 제어할 수 있다. 또한, 상기 추출된 글씨가 나타내는 정보가 특정 직업, 예를 들어, 특정 장소의 관리인, 경비, 직원 등임을 나타내는 정보인 경우, 제어 모듈(110)은 상기 추출된 글씨가 새겨진 객체(사람)가 촬영된 영상에 대한 특정 제어를 할 수 있다. 예를 들어, 제어 모듈(110)은 상기 영상을 별도의 리스트로 관리하거나, 상기 객체의 이동 경로를 추적하거나(예를 들어, 상기 객체가 이동하여 다른 영상에 촬영되었는지(또는 존재하는지) 여부를 확인함으로써 상기 객체의 이동 경로를 추적할 수 있다), (전력 모드가 안전 모드로 설정된 경우) 상기 객체가 촬영된 영상의 저장 기간을 짧게 설정할 수 있다(상시 촬영의 대상이 되는 객체이므로, 전력 절약을 위한 설정일 수 있다). In addition, the
또한, 제어 모듈(110) 및/또는 카메라 모듈(120)은, HOG(Histogram of Oriented Gradient), Haar-like feature, Co-occurrence HOG, LBP(local binary pattern), FAST(features from accelerated segment test) 등과 같은 객체 특징 추출을 위한 다양한 알고리즘을 통하여, 상기 카메라 모듈(120)을 통하여 획득된 영상에서 영상 내 객체의 윤곽선 또는 상기 객체에서 추출할 수 있는 글씨(또는 정보를 나타내는 윤곽선(또는 외형))를 획득할 수 있다. 또한, 제어 모듈(110) 및/또는 카메라 모듈(120)은, 획득한 영상에서 객체를 영상 분석을 통해 인식(또는 식별)하고, 상기 인식된 객체에 대응되는 영역을 마스킹 처리하여 마스킹 영상 정보를 생성할 수 있다. 이때, 마스킹 처리 과정은, 예를 들면, 차분영상 방법, GMM(Gaussian Mixture Models)을 이용하는 MOG(Model of Gaussian) 알고리즘, 코드북(Codebook) 알고리즘 등과 같은 객체와 배경을 분리하기 위한 배경 모델링을 통해 객체에 해당하는 객체 후보 영역을 추출하는 방법을 이용할 수 있다.In addition, the
또한, 제어 모듈(110)은 관리 대상에 해당되는 객체가 획득된 영상에 포함되는 경우 소정의 이벤트를 발생시킬 수 있다. 예를 들면, 블랙리스트와 같은 관리 대상으로 지정된 객체가 소정의 횟수 이상으로 영상에서 확인되는 경우(또는 카메라 모듈에 의해 획득된 영상에 (소정의 횟수 이상으로) 상기 관리 대상이 포함되는 경우) 소정의 조건이 만족된 것으로 판단하여, 상기 제어 모듈(110)은 소정의 이벤트를 발생시킬 수 있다. 이와 관련하여, 상기 제어 모듈(110)은, 예를 들면, 특정 장소에 설치된 알람 장치(예; 경고등, 스피커)가 동작하도록 제어하거나, 상기 관리 대상의 영상을 획득하도록 카메라 모듈(120)을 제어하거나, 알람 또는 그에 상응하는 신호(또는 정보)를 서버실, 관리실, 및/또는 제어실에게 전송할 수 있다. 여기서 제어 모듈(110)이 상기 관리 대상의 영상을 획득하도록 카메라 모듈(120)을 제어하는 것은, 예를 들면, 상기 카메라 모듈(120)이 상기 관리 대상에 대한 고화질 영상을 획득하도록 제어할 수 있다(예를 들면, 주변 배경 또는 다른 객체보다 상기 관리 대상이 촬영된 부분에 대해서는 더 높은 화질로 제어 모듈(110), 카메라 모듈(120), 및/또는 후술하는 저장부에 저장 또는 관리토록 할 수 있다). 또한, 제어 모듈(110)이 상기 관리 대상의 영상을 획득하도록 카메라 모듈(120)을 제어하는 것은, 예를 들면, 상기 카메라 모듈(120)(또는 상기 제어 모듈(110) 및/또는 상기 카메라 모듈(120)가 제어하는 카메라)이 상기 관리 대상을 계속 촬영하도록 카메라 회전(또는 zoom-in, zoom-out)을 지시하는 명령어 및/또는 상기 관리 대상을 촬영하게 되는 복수의 카메라에 의해 획득되는 영상의 편집(또는 합성)을 지시하는 명령어 등을 생성하는 동작을 포함할 수 있다.In addition, the
또한, 관리 대상(또는 감시 대상)인 객체가 제1 위치에서 제4 위치로 이동하는 동안에 제1 감시 영역, 제2 감시 영역, 제3 감시 영역, 제4 감시 영역을 통과하게 되며, 각 감시 영역에 대응되어 설치된 제1 카메라 내지 제4 카메라(예; C1, C2, C3, C4)로부터 얻어지는 영상 사이에는 카메라의 스펙이나 각도 등에 의해서 차이가 발생할 수 있다. 예를 들면, 상기 제1 카메라 내지 제4 카메라 간의 상이한 카메라의 카메라 스펙, 확대(zoom-in)된 정도(또는 축소(zoom-out)된 정도), 및/또는 촬영 각도 등에 따라 영상의 해상도, 색감, 각도 등에 차이가 발생하며, 이에 따라 각 영상에서 추출된 객체가 동일한 객체이더라도 특징 정보 추출시 해상도, 색감, 각도 등에 의해 상이한 값이 산출(또는 획득)될 수 있다. 이에 따라 제어 모듈(110) 및/또는 카메라 모듈(120)에서 서로 다른 카메라에서 촬영된 영상에서 동일 객체를 상이한 객체로 인식하여 객체 추적에 대한 신뢰성 및 효율성이 저하되며, 각 카메라의 감시 영역에 한정하여 객체 추적이 이루어지므로 객체 추적의 단절이 발생할 수 있다. 이를 해결하기 위해, 제어 모듈(110) 및/또는 카메라 모듈(120)은 상이한 감시 영역을 대상으로 하는 제1 카메라(C1)의 영상으로부터 상기 카메라 모듈(120)을 통해 얻어지는 객체 특징 정보를 수신할 수 있다. 이때, 상기 카메라 모듈(120)은 제1 카메라(C1)의 감시 영역을 이동하는 객체를 상기 객체 특징 정보를 기초로 동일 객체인지 여부를 판단하고, 이를 기초로 동일 객체에 대한 추적을 할 수 있다. 이때 상기 카메라 모듈(120)은, 예를 들면, 칼만필터(Kalman Filter)를 이용한 객체 추적 방식을 이용할 수도 있다. 여기서 칼만필터는 잡음이 섞여 있는 기존의 관측 값(예; 영상 또는 영상 정보)을 최소 제곱법을 통해 분석함으로써 일정 시간 후의 위치를 예측할 수 있도록 하는 최적의 수학적 계산 과정을 포함할 수 있다. 한편, 상기 제어 모듈(110) 및/또는 상기 카메라 모듈(120)은 동일 객체의 다양한 자세 및 위치로부터 얻어지는 복수의 객체 특징 정보를 지속적으로 추출하여 상기 제어 모듈(110)로 전송할 수 있으며, 각 객체 특징 정보에 대응되는 영상(또는 영상 정보)를 함께 상기 제어 모듈(110)로 전송할 수도 있다. 이때 상기 상기 제어 모듈(110)은 객체 특징 정보와 영상 정보가 매핑되어 저장된 저장부(미도시)로부터 입력 인터페이스부(예; 도 4의 입력 인터페이스(450))를 통한 사용자 입력에 따라 선택된 상기 객체 특징 정보와 영상 정보를 추출할 수도 있다. 또한, 상기 제어 모듈(110) 및/또는 상기 카메라 모듈(120)은 제1 카메라(C1)의 감시 영역에서 상기 영상 처리부(110)를 통해 지속적으로 추출되어 전송되는 객체 특징 정보를 획득(또는 수신)할 수 있다. 또한, 상기 제어 모듈(110) 및/또는 상기 카메라 모듈(120)은 상기 저장부(미도시)에 상기 객체 특징 정보와 미리 설정된 수준 이상 일치하는 기존 객체 특징 정보가 존재하는지 여부를 판단할 수 있다. 이때, 상기 제어 모듈(110)는 상기 객체 특징 정보와 기존 객체 특징 정보를 비교하여 미리 설정된 수준 이상 일치하는 기존 객체 특징 정보가 없는 경우, 객체 특징 정보를 서버(예; 후술하는 도 3의 서버(320))에 요청할 수 있다. 또한, 상기 제어 모듈(110) 및/또는 상기 카메라 모듈(120)은 객체 특징 정보에 대응되는 객체에 대한 새로운 식별자(ID; identifier)를 부여하여 상기 저장부(미도시)에 상기 식별자와 객체 특징 정보를 매핑하여 저장할 수 있다.In addition, while the object to be managed (or to be monitored) moves from the first location to the fourth location, it passes through the first surveillance region, the second surveillance region, the third surveillance region, and the fourth surveillance region, and each surveillance region Differences may occur between the images obtained from the first to fourth cameras (eg, C1, C2, C3, and C4) installed in correspondence with the specifications or angles of the cameras. For example, the resolution of an image according to camera specifications, a zoom-in degree (or zoom-out degree), and / or a shooting angle of different cameras between the first camera to the fourth camera, Differences occur in color, angle, and the like, and accordingly, different values may be calculated (or obtained) by resolution, color, and angle when extracting feature information, even if the objects extracted from each image are the same object. Accordingly, the
또한, 상기 장치(100)는 저장부(storage)를 더 포함할 수 있으며, 상기 장치(100)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보 등의 데이터를 저장한다. 또한, 상기 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 상기 제어 모듈(110)은 상기 저장부에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.In addition, the device 100 may further include a storage unit, and stores data such as a basic program, an application program, and setting information for the operation of the device 100. In addition, the storage unit is a flash memory type (Flash Memory Type), a hard disk type (Hard Disk Type), a multimedia card micro type (Multimedia Card Micro Type), a card type memory (for example, SD or XD memory, etc.), Magnetic Memory, Magnetic Disk, Optical Disk, Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Programmable Read-Only Memory (PROM), Electrically Erasable Programmable Read (EPMROM) -Only Memory). In addition, the
도 2a는 본 발명의 일 실시예에 따라 구현되는 카메라를 설명하기 위한 도면이다.2A is a view for explaining a camera implemented according to an embodiment of the present invention.
도 1 및 도 2a를 참조하면, 도 2a의 카메라(210)는 도 1의 카메라 모듈(120)에 의해 제어되는 카메라이거나 카메라 모듈(120) 그 자체일 수 있다.1 and 2A, the
도 2b는 본 발명의 일 실시예에 따라 구현되는 카메라에 의해 획득되는 영상의 일 예를 나타내는 도면이다.2B is a diagram illustrating an example of an image obtained by a camera implemented according to an embodiment of the present invention.
도 2a 및 도 2b를 참조하면, 예를 들면, 카메라(210)는 하나의 카메라로 360도(360˚) 모든 방향을 촬영(또는 감시)하는 전방향 카메라(예; 어안 카메라)일 수 있으며, 상기 카메라(210)에 의해 획득(또는 촬영)되는 영상은 220과 같을 수 있으나, 이는 설명의 편의를 위해 예시를 든 것에 불과하며, 상기 카메라(210)에 의해 획득되는 영상은 상이할 수 있다. 또한, 상기 카메라(210)는 팬, 틸트, 줌 동작 수행을 할 수 있는 PTZ(Pan-Tilt-Zoom) 카메라일 수 있다.2A and 2B, for example, the
또한, 도 1 및 도 2a를 참조하면, 카메라(210)가 촬영하는 각도(예; 촬영각, 화각)는 도 2a의 제1 각도(211)(또는 제1 시야각), 제2 각도(212)(또는 제2 시야각), 제3 각도(213)(또는 제3 시야각)와 같이, 다양할 수 있도록 제어 모듈(110) 및/또는 카메라 모듈(120)이 명령어를 생성하여 상기 카메라(210)에게 전송(또는 전달)할 수 있다. 또한, 상기 카메라(210)는 촬영하는 각도를 변경하기 위해 다른 구경의 렌즈를 장착할 수 있도록 동작할 수 있다. 이러한 동작을 통해 상기 카메라(210)는 음영 지역(shadow area)을 최소화하기 위해 동작할 수 있다.In addition, referring to FIGS. 1 and 2A, an angle (eg, an angle of view, an angle of view) taken by the
도 3은 본 발명의 일 실시예에 따른 영상 촬영 시스템을 나타내는 도면이다.3 is a view showing an image photographing system according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 촬영 시스템(300)은 장치(310) 및 서버(320)를 포함한다. 또한, 도 3의 장치(310)는 도 2의 카메라 모듈(210), 도 1의 장치(100), 또는 후술하는 도 4의 장치(400)일 수 있다.Referring to FIG. 3, an
장치(310)는 서버(320)와 직접적으로 및/또는 간접적으로 연결될 수 있으며, 이를 위해 상기 장치(310)는 후술하는 송수신기(430)를 포함할 수 있다. 또한, 상기 장치(310)는 상기 장치(310)을 통하여 촬영한 영상(또는 영상 정보)를 서버(320)에게 전송(또는 전달)할 수 있다.The
장치(310)는 다방향 카메라 및 전방향 카메라를 포함할 수 있으며, 상기 장치는 상기 장치에 구비된 다방향 카메라 및 전방향 카메라를 제어하기 위해, 도 1의 제어 모듈(110) 및/또는 카메라 모듈(120)을 포함하거나, 도 4의 프로세서(410)를 포함할 수 있다.The
서버(320)는 장치(310)의 다방향 카메라가 촬영한 적어도 하나의 제1 영상(또는 제1 영상 정보) 및 상기 장치(310)의 전방향 카메라가 촬영한 적어도 하나의 제2 영상(또는 제2 영상 정보)을 상기 장치(310)로부터 수신(또는 획득)할 수 있다. 또한, 상기 서버(320)는 수신한(또는 획득한) 적어도 하나의 제1 영상 및/또는 상기 적어도 하나의 제2 영상에 기반하여 적어도 하나의 제3 영상(또는 제3 영상 정보)을 획득할 수 있다. 여기서 상기 제3 영상은 상기 제1 영상 및 상기 제2 영상을 합성한(또는 결합한) 결과에 해당되는 영상 또는 그에 상응하는 영상일 수 있다.The
또한, 서버(320)는 상기 제1 영상 및 상기 제2 영상을 합성하기 위하여 인공지능 기술을 이용할 수 있다. 서버(320)는 데이터베이스에 저장된 빅데이터(big data)에 기계 학습(machine learning)을 이용하여 상기 제3 영상을 획득하거나 상기 제1 영상 및 상기 제2 영상을 합성할 수 있다. 이를 위해 서버는 기계 학습부(machine learning unit)을 포함할 수 있으며, 상기 기계 학습부에서 수행되는 학습은 지도학습(supervised learning) 또는 비지도학습(unsupervised learning)에 의하여 수행될 수 있다. 또한, 기계 학습부는 서버(320)의 데이터베이스에 저장된 빅데이터를 입력변수로 하여 인공지능을 학습시키는데, 구체적으로는 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여 정확한 상관 관계가 도출될 수 있도록 학습을 수행한다. 특히, 상술한 상관 관계의 경우, 입력(input)은 상기 제1 영상(또는 상기 제1 영상 정보) 및/또는 상기 제2 영상(또는 상기 제2 영상 정보)이고, 출력(output)은 상기 제3 영상(또는 상기 제3 영상 정보)로 정의될 수 있다. 또한 결국 기계 학습부는 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.Also, the
또한, 서버(320)는 영상 간의 오프셋 값(및/또는 타이밍 오프셋)을 설정하고, 상기 설정된 오프셋 값(및/또는 타이밍 오프셋)에 기반하여 상기 제1 영상 및 상기 제2 영상을 합성하여 상기 제3 영상을 획득할 수 있다. 상기 제3 영상을 획득하기 위해서는, 상기 제1 영상을 촬영하는 다방향 카메라와 상기 제2 영상을 촬영하는 전방향 카메라 간의 동기화가 이루어질 필요가 있다. In addition, the
하지만, 상기 장치(310)의 상기 다방향 카메라 및 전방향 카메라 간의 동기화가 실패하거나(예를 들면, 다방향 카메라에서 촬영된 제1 영상은 제1 시간을 기준으로 재생되는데, 전방향 카메라에서 촬영된 제2 영상은 상기 제1 시간보다 n초 늦는 제2 시간을 기준으로 재생되어, 이러한 제1 영상 및 제2 영상을 합성하여 생성된 제3 영상의 일부와 다른 일부가 시차를 두고 재생되는 문제가 발생할 수 있다), 시간 오차가 존재하는 상태에서 동기화가 이루어질 수도 있다. However, synchronization between the multi-directional camera and the omni-directional camera of the
일 예로, 상기 다방향 카메라 및 전방향 카메라 간의 동기화가 실패하였음을 나타내는 정보가 상기 장치(310)에 의해 획득되는 경우, 상기 장치(310)는 상기 다방향 카메라 및 전방향 카메라 간의 동기화를 재시도할 수 있다. 다만, 상기 다방향 카메라 및 전방향 카메라 간의 동기화가 상기 장치(310) 및/또는 상기 서버(320)에 의해 결정된 횟수 이상으로 실패하는 경우에는, 상기 장치(310)는 상기 다방향 카메라 및 상기 전방향 카메라 간의 동기화가 실패한 상태(예; 시간 오차가 존재하는 상태)에서 상기 다방향 카메라 및 상기 전방향 카메라 각각에 의해 촬영된 적어도 하나의 제1 영상 및 적어도 하나의 제2 영상을 이용하여(또는 합성하여) 제3 영상을 획득할 수 있다. 또한, 상기 장치(310)는 상기 다방향 카메라 및 상기 전방향 카메라 간의 동기화가 실패하였음을 나타내는 정보가 획득될 때마다, i) 상기 장치(310)에 구비된 알람 장치(예; 적색 램프, LED 램프, 디스플레이, 스피커 등)를 통해 소정의 알람을 출력하거나, ii) 상기 다방향 카메라 및 상기 전방향 카메라 간의 동기화가 실패하였음을 나타내는 정보를 상기 서버(320)에게 전송(또는 전달)할 수 있다. For example, when information indicating that synchronization between the multi-directional camera and the omni-directional camera has failed is obtained by the
또한, 서버(320)의 사용자는 제1 영상, 제2 영상, 및/또는 제3 영상을 확인하고 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 재시도하는 명령(또는 명령어)를 상기 서버(320)를 통해 입력할 수 있다. 이때, 상기 명령(또는 명령어)는 상기 서버(320)로부터 상기 장치(310)에게 전달됨으로써, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화가 다시 수행(또는 시도)될 수 있다. 또한, 상기 (사용자의) 명령(또는 명령어)에 기반하여 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화가 수행(또는 시도)될 때마다 동기화를 위한(또는 동기화와 관련되는) 오프셋 값(및/또는 타이밍 오프셋)은 상이하게 설정될 수 있다. 또한, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화가 수행(또는 시도)될 때마다 설정되는 동기화를 위한(또는 동기화와 관련되는) 오프셋 값은 전술한 (상기 서버(320)의) 기계 학습부에 의해 인공지능 기술에 기반하여 설정될 수 있다. 이때 기계 학습부의 입력(input)은 상기 제1 영상(또는 상기 제1 영상 정보), 상기 제2 영상(또는 상기 제2 영상 정보), 및/또는 상기 제3 영상(또는 상기 제3 영상 정보)이고, 출력(output)은 상기 동기화를 위한(또는 동기화와 관련되는) 오프셋 값으로 정의될 수 있다. 또한, 상기 입력(input)은 기존의 오프셋 값을 더 포함할 수 있다.In addition, the user of the
또한, 서버(320)는 상기 제1 영상 및 상기 제2 영상을 이용하여(또는 합성하여) 상기 제3 영상을 획득(또는 생성)할 때, 상기 다방향 카메라 및/또는 상기 전방향 카메라의 PTZ(Pan-Tilt-Zoom)를 재설정하는 명령, 즉 상기 다방향 카메라 및/또는 상기 전방향 카메라의 상/하/좌/우, 확대/축소에 대한 값을 재설정하라는 명령을 상기 장치(310)에게 전송할 수 있다. 또한, 상기 다방향 카메라 및/또는 상기 전방향 카메라의 상/하/좌/우, 확대/축소에 대한 값을 재설정하라는 명령은 전술한 (상기 서버(320)의) 기계 학습부에 의해 인공지능 기술에 기반하여 생성될 수 있다. 이때 기계 학습부의 입력(input)은 상기 제1 영상(또는 상기 제1 영상 정보), 상기 제2 영상(또는 상기 제2 영상 정보), 및/또는 상기 제3 영상(또는 상기 제3 영상 정보)이고, 출력(output)은 상기 다방향 카메라 및/또는 상기 전방향 카메라의 상/하/좌/우, 확대/축소에 대한 값을 재설정하라는 명령으로 정의될 수 있다. 또한, 상기 입력(input)은 상기 다방향 카메라 및/또는 상기 전방향 카메라의 상/하/좌/우, 확대/축소에 대한 기존의 값을 더 포함할 수 있다. 이러한 동작을 통해, 상기 서버(320)는 상기 제3 영상을 획득(또는 생성)할 때 발생할 수 있는 영상에 대한 오차를 제거함으로써 보다 고품질의 (합성) 영상을 생성할 수 있다는 점에서, 본 발명의 일 실시예는 기술적인 효과를 제공할 수 있다. Further, when the
또한, 도 3을 참조하면, 본 발명의 일 실시예는 영상 촬영 장치(310)에 있어서, 다방향 카메라; 전방향 카메라(예; 전천 카메라, 어안 렌즈(fisheye lens)가 구비된 카메라); 상기 다방향 카메라를 제어하여 제1 영상을 획득하고, 상기 전방향 카메라를 제어하여 제2 영상을 획득하는 카메라 모듈; 및 상기 카메라 모듈을 제어하는 제어 모듈; 을 포함하고, 상기 제어 모듈은 상기 제1 영상 및 상기 제2 영상을 합성(compose)하여 생성된 제3 영상을 획득하는, 장치(310)를 제안한다.In addition, referring to Figure 3, an embodiment of the present invention, the
상기 제어 모듈 및/또는 상기 카메라 모듈은 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 지시하는 명령어를 상기 카메라 모듈에게 전송할 수 있다.The control module and / or the camera module may transmit a command indicating synchronization between the multi-directional camera and the omni-directional camera to the camera module.
또한, 상기 제어 모듈 및/또는 상기 카메라 모듈은, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기 오차에 대한 정보를 획득하고, 상기 제1 영상, 상기 제2 영상, 및 상기 동기 오차에 기반하여 생성된 상기 제3 영상을 획득할 수 있다.In addition, the control module and / or the camera module acquires information on a synchronization error between the multi-directional camera and the omni-directional camera, and generates based on the first image, the second image, and the synchronization error The acquired third image may be acquired.
또한, 상기 제어 모듈 및/또는 상기 카메라 모듈은, 상기 장치(310)가 설치된 장소의 출입구에 출입하는 객체에 대한 관찰 영상을 획득하고, 상기 관찰 영상에 기반하여 상기 카메라 모듈을 제어할 수 있다.In addition, the control module and / or the camera module may acquire an observation image of an object entering and exiting a doorway at a place where the
또한, 상기 제어 모듈 및/또는 상기 카메라 모듈은, 상기 객체가 위치하는 영상의 일부분에 표시된 시각적인 정보를 추출한 데이터를 획득하고, 상기 획득된 데이터에 기반하여 상기 카메라 모듈을 제어할 수 있다.Also, the control module and / or the camera module may acquire data obtained by extracting visual information displayed on a part of an image in which the object is located, and control the camera module based on the acquired data.
또한, 본 발명의 일 실시예는 영상 촬영 시스템(300)에 있어서, 다방향 카메라 및 전방향 카메라를 포함하고, 상기 다방향 카메라를 제어하여 제1 영상을 획득하고, 상기 전방향 카메라를 제어하여 제2 영상을 획득하는 장치(310); 및 상기 제1 영상 및 상기 제2 영상을 상기 장치(310)로부터 수신하는 서버(320); 를 포함하고, 상기 서버(320)는 상기 제1 영상 및 상기 제2 영상을 합성(compose)하여 제3 영상을 생성하는, 시스템(300)을 제안한다.In addition, an embodiment of the present invention, in the
상기 장치(310) 및/또는 상기 서버(320)는 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 지시하는 명령어를 생성하여 상기 장치(310)에게 전송할 수 있다.The
상기 장치(310) 및/또는 상기 서버(320)는 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 수행할 수 있다.The
또한, 상기 장치(310) 및/또는 상기 서버(320)는 상기 다방향 카메라와 상기 전방향 카메라 간의 동기 오차에 대한 정보를 상기 장치(310)로부터 수신하고, 상기 제1 영상, 상기 제2 영상, 및 상기 동기 오차에 기반하여 상기 제3 영상을 생성할 수 있다.Further, the
또한, 상기 서버(320)는, 상기 장치(310)가 설치된 장소의 출입구에 출입하는 객체에 대한 관찰 영상을 상기 장치(310)로부터 수신하고, 상기 관찰 영상에 기반하여 제1 명령어를 생성하고, 상기 생성된 제1 명령어를 상기 장치(310)에게 전송할 수 있다.In addition, the
또한, 상기 서버(320)는, 상기 영상에서, 상기 객체가 위치하는 영상의 일부분에 표시된 시각적인 정보를 추출하여 데이터를 생성하고, 상기 데이터에 기반하여 제2 명령어를 생성하고, 상기 생성된 제2 명령어를 상기 장치(310)에게 전송할 수 있다.In addition, the
또한 본 발명의 일 실시예를 구현하는 시스템은 관리자 단말(미도시)을 더 포함할 수 있다.In addition, the system implementing one embodiment of the present invention may further include an administrator terminal (not shown).
또한 상기 장치(310) 및/또는 상기 서버(320)는 관리자 단말을 이용하여 상기 다방향 카메라 및/또는 상기 전방향 카메라의 초점을 맞출 수 있다. 상기 관리자 단말의 위치 정보가 나타내는 제1 위치 정보와 상기 장치(310)가 위치하는 정보를 나타내는 제2 위치 정보 사이의 거리 차를 나타내는 거리 정보가 소정의 임계값보다 낮은 경우 상기 장치(310) 및/또는 상기 서버(320)는 초점 설정 모드로 동작하거나 설정될 수 있다. 다시 말해 상기 관리자 단말이 상기 장치(310)로부터 소정의 거리 내에 위치하는 경우 상기 초점 설정 모드을 수행하는 조건이 만족된 것으로 볼 수 있다. 상기 초점 설정 모드로 설정된 서버(320)는 상기 장치(310)의 다방향 카메라와 전방향 카메라가 순차적으로 작동하도록 제어할 수 있다. 예를 들면, 상기 초점 설정 모드가 설정되면, 상기 다방향 카메라가 제1 초점 타이밍부터 제2 초점 타이밍 사이에 상기 관리자 단말을 기준으로 상기 다방향 카메라의 초점을 맞추기 위한 동작을 수행하고, 상기 전방향 카메라가 제3 초점 타이밍부터 제4 초점 타이밍 사이에 상기 관리자 단말을 기준으로 상기 전방향 카메라의 초점을 맞추기 위한 동작을 수행할 수 있다. 제1 초점 타이밍은 제2 초점 타이밍보다 우선하고, 제3 초점 타이밍은 제4 초점 타이밍보다 우선할 수 있다. 한편, 상기 관리자 단말은 상기 제1 초점 타이밍과 상기 제2 초점 타이밍 사이, 그리고 상기 제3 초점 타이밍과 상기 제4 초점 타이밍 사이에는 이동하지 않는 것이 바람직할 수 있다. 그러나, 상기 제1 초점 타이밍과 상기 제2 초점 타이밍 사이, 그리고 상기 제3 초점 타이밍과 상기 제4 초점 타이밍 사이에 상기 관리자 단말이 소정의 기준 이상 이동하는 경우, 이는 상기 관리자 단말의 사용자(또는 관리자)가 상기 장치 내 카메라들의 초점을 다시 맞추려는 의도가 있는 것으로 간주하여, 상기 장치 내 카메라들의 초점을 맞추는 동작을 다시 시작하도록 제어할 수 있다. 예를 들면, 상기 관리자 단말의 제1 위치 정보는 GNSS(Global Navigation Satellite System) 정보에 기반하여 획득될 수 있으며, 상기 관리자 단말의 높이를 나타내는 높이 정보는 상기 관리자 단말에 구비된 기압계에 의해 측정되는 기압에 기반하여 획득(및/또는 설정)될 수 있다. 일 예로, 상기 제1 위치 정보에 대한 제1 변화량이 위치 고정 임계값보다 높고 상기 높이 정보에 대한 제2 변화량이 높이 고정 임계값보다 높은 경우 상기 장치 내 카메라들의 초점을 맞추는 동작을 다시 시작될 수 있다(또는 초점을 맞추는 프로세스가 재실행될 수 있다). 다른 예로, i) 상기 제1 위치 정보에 대한 제1 변화량이 위치 고정 임계값보다 높고 상기 높이 정보에 대한 제2 변화량이 높이 고정 임계값보다 낮은 경우, ii) 상기 제1 위치 정보에 대한 제1 변화량이 위치 고정 임계값보다 낮고 상기 높이 정보에 대한 제2 변화량이 높이 고정 임계값보다 높은 경우에는, 관리자 단말의 관리자(또는 사용자)가 초점을 다시 맞추려는 의도가 있었던 것이 아닌, 실수로 이동하여 관리자 단말의 위치/높이가 달라진 것으로 볼 수 있으므로, 상기 장치(310) 및/또는 서버(320)는 상기 장치(310)로 하여금 알람 신호를 출력할 수 있다. 이를 통해 상기 관리자 단말의 사용자(또는 관리자)는 자신이 움직여서 카메라의 초점을 맞추는데 방해하였음을 인지할 수 있다.In addition, the
도 4는 본 발명의 일 실시예를 구현하는 장치에 대한 블록도이다.4 is a block diagram of an apparatus implementing an embodiment of the present invention.
도 4를 참조하면, 장치(400)는 프로세서(410), 카메라(420), 송수신기(430), 디스플레이(440), 및/또는 입력 인터페이스(450)를 포함한다. 또한, 도 4의 장치(400)는 도 1의 장치(100)일 수 있다. 또한, 도 4의 프로세서(410)는 도 1의 제어 모듈(110)일 수 있으며, 도 4의 카메라(420)는 도 1의 카메라 모듈(120)일 수 있다.Referring to FIG. 4, the device 400 includes a
또한, 송수신기(430)는 (클라우드) 서버, 사용자 단말, 및/또는 관리자 단말 등과 각종 데이터, 신호, 정보를 송수신하기 위해, 통신 모듈을 포함할 수 있다. 여기서 통신 모듈은 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.Also, the
디스플레이(440)는 프로세서(410)에 의해 처리된 결과를 나타내는 정보 및/또는 상기 카메라(420)에 의해 획득된 영상을 표시하는 디스플레이 장치(display device)를 포함할 수 있다.The
입력 인터페이스(450)는 장치(400)의 구성요소(예: 프로세서(410))에 사용될 명령 또는 데이터를 장치(400)의 외부(예: 사용자, 관리자)로부터 수신할 수 있다. 또한, 상기 입력 모듈은, 예를 들면, 마이크, 마우스, 또는 키보드 등을 포함할 수 있다.The
도 5는 본 발명의 일 실시예를 도시하는 흐름도이다.5 is a flow chart showing an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예는, 다방향 카메라 및 전방향 카메라 간의 동기화를 수행하는 단계(S510), 다방향 카메라에서 제1 영상을 획득하는 촬영하는 단계(S520), 전방향 카메라에서 제2 영상을 획득하는 촬영하는 단계(S530), 오프셋 값(및/또는 타이밍 오프셋)을 설정하는 단계(S540), 제1 영상, 제2 영상, 및 오프셋 값(및/또는 타이밍 오프셋)에 기반하여 제3 영상을 획득하는 단계(S550)를 포함한다. 다만, 도 5에 도시된 단계들의 순서는 설명의 편의를 위해 정의된 것에 불과하며, 상기 S510 내지 S550 중 적어도 하나의 단계는 도 5에 도시된 순서와 다른 순서 또는 동시에 수행될 수 있다.Referring to FIG. 5, according to an embodiment of the present invention, performing synchronization between a multi-directional camera and an omni-directional camera (S510), photographing obtaining a first image from the multi-directional camera (S520), omni-directional Taking a second image from the camera (S530), setting an offset value (and / or timing offset) (S540), a first image, a second image, and an offset value (and / or timing offset) And obtaining a third image based on (S550). However, the order of the steps shown in FIG. 5 is only defined for convenience of description, and at least one of the steps S510 to S550 may be performed in a different order or simultaneously with the order shown in FIG. 5.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명의 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한 상기 각각의 실시예는 필요에 따라 서로 조합되어 운용할 수 있다. 예컨대, 본 발명의 모든 실시예는 일부분들이 서로 조합되어 장치(100) 또는 장치(400)에 의해 구현될 수 있다.The embodiments of the present invention disclosed in the present specification and drawings are merely intended to easily describe the technical contents of the present invention and to provide specific examples to help understanding of the present invention, and are not intended to limit the scope of the present invention. That is, it is apparent to those skilled in the art to which other modifications based on the technical idea of the present invention can be practiced. In addition, each of the above embodiments can be operated in combination with each other as necessary. For example, all embodiments of the present invention may be implemented by the device 100 or the device 400 in which parts are combined with each other.
또한, 본 발명에 따른 장치(100)에서 제어 모듈(110), 및/또는 카메라 모듈(120)을 제어하는 방법 또는 장치(400)에서 프로세서(410), 카메라(420), 송수신기(430), 디스플레이(440), 및/또는 입력 인터페이스(450)를 제어하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.In addition, in the method 100 or the device 400 for controlling the
이와 같이, 본 발명의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM)와, 랜덤-접속 메모리(random access memory: RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 발명의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 발명이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.As such, various embodiments of the present invention can be implemented as computer readable code in a computer readable recording medium from a specific point of view. A computer readable recording medium is any data storage device capable of storing data that can be read by a computer system. Examples of computer readable recording media include read only memory (ROM), random access memory (RAM), and compact disk-read only memory (CD-ROM). ), Magnetic tapes, floppy disks, optical data storage devices, and carrier waves (such as data transmission over the Internet). The computer readable recording medium can also be distributed over network coupled computer systems, so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for achieving various embodiments of the present invention can be easily interpreted by programmers skilled in the field to which the present invention is applied.
또한 본 발명의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 다양한 실시예들에 따른 방법은 제어부(제어 모듈) 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 발명의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. It will also be appreciated that the apparatus and method according to various embodiments of the present invention are feasible in the form of hardware, software or a combination of hardware and software. Such software may be, for example, volatile or non-volatile storage devices, such as storage devices such as ROM, whether or not erasable or rewritable, or memory, such as, for example, RAM, memory chips, devices or integrated circuits, or For example, it may be optically or magnetically recordable, such as a compact disk (CD), DVD, magnetic disk, or magnetic tape, and may be stored in a storage medium readable by a machine (eg, a computer). The method according to various embodiments of the present invention may be implemented by a computer or a portable terminal including a control unit (control module) and a memory, and such memory is a program or program including instructions for implementing embodiments of the present invention. It will be appreciated that this is an example of a machine-readable storage medium suitable for storing them.
따라서, 본 발명은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.Accordingly, the present invention includes a program comprising code for implementing the apparatus or method described in the claims of this specification and a storage medium readable by a machine (computer, etc.) storing the program. In addition, these programs can be transferred electronically through any medium, such as communication signals, transmitted over a wired or wireless connection, and the present invention suitably includes this equivalent.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고, 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 발명에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.The embodiments of the present invention disclosed in the present specification and drawings merely describe the technical content of the present invention and provide specific examples to help understanding of the present invention, and are not intended to limit the scope of the present invention. In addition, the above-described embodiments according to the present invention are merely exemplary, and those skilled in the art will understand that various modifications and equivalent ranges of the embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the following claims.
Claims (5)
다방향 카메라;
전방향 카메라;
상기 다방향 카메라를 제어하여 제1 영상을 획득하고, 상기 전방향 카메라를 제어하여 제2 영상을 획득하는 카메라 모듈; 및
상기 카메라 모듈을 제어하고, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 지시하는 명령어를 상기 카메라 모듈에게 전송하고, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기 오차에 대한 정보를 획득하는 제어 모듈; 을 포함하고,
상기 제어 모듈은,
상기 영상 촬영 장치에 대한 제1 위치 정보와 상기 영상 촬영 장치를 관리하는 관리자의 관리자 단말에 대한 제2 위치 정보 사이의 거리 차이를 나타내는 정보가 제1 거리 임계값보다 낮은 경우에는, 상기 관리자 단말 기반의 초점 설정 모드를 설정하고,
상기 초점 설정 모드가 설정되면, 상기 다방향 카메라가 제1 초점 타이밍부터 제2 초점 타이밍 사이에 상기 관리자 단말을 기준으로 상기 다방향 카메라의 초점을 맞추도록 제어하고, 상기 전방향 카메라가 제3 초점 타이밍부터 제4 초점 타이밍 사이에 상기 관리자 단말을 기준으로 상기 전방향 카메라의 초점을 맞추도록 제어하는 초점 설정 프로세스를 실행하되,
상기 제1 초점 타이밍과 상기 제2 초점 타이밍 사이, 또는 상기 제3 초점 타이밍과 상기 제4 초점 타이밍 사이에 상기 관리자 단말에 대한 제2 위치 정보가 제2 거리 임계값 이상으로 변화한 것이 감지되는 경우, 상기 초점 설정 프로세스를 재실행하도록 제어하고,
상기 제1 영상, 상기 제2 영상, 및 상기 동기 오차에 기반하여 제3 영상을 생성하고,
HOG(Histogram of Oriented Gradient), Haar-like feature, LBP(local binary pattern), 및 FAST(features from accelerated segment test) 중 둘 이상의 객체 추출 알고리즘을 이용하여, 상기 제3 영상에서 적어도 하나의 행인에 상응하는 제1 객체를 추출하고, 상기 제1 객체 내에서 의류에 상응하는 제2 객체를 추출하고, 상기 제2 객체 내에서 글씨에 상응하는 제3 객체를 추출하고,
상기 제3 객체가 나타내는 정보에 기반하여 상기 제1 객체에 상응하는 적어도 하나의 행인의 직업을 나타내는 정보를 생성하되, 상기 직업을 나타내는 정보는 특정 장소의 관리인, 경비, 또는 직원인 것을 나타내는 정보를 포함하고,
날씨에 대한 기상 정보를 획득하고, 상기 기상 정보가 뇌우를 나타내면 영상 촬영 장치의 전력 모드를 안전 모드로 설정하고,
상기 영상 촬영 장치의 전력 모드가 상기 안전 모드로 설정된 경우에는, 상기 제1 객체에 상응하는 적어도 하나의 행인이 촬영된 영상의 저장 기간을 기준 저장 기간보다 짧은 기간으로 설정하고,
상기 영상 촬영 장치의 전력 모드가 최대 성능 모드로 설정된 경우에는, 상기 제1 객체에 상응하는 적어도 하나의 행인이 촬영된 다른 영상을 검색하여 상기 제1 객체에 상응하는 적어도 하나의 행인의 이동 경로를 추출하는,
영상 촬영 장치.
In the imaging device,
Multi-directional camera;
Omni-directional camera;
A camera module controlling the multi-directional camera to obtain a first image, and controlling the omni-directional camera to obtain a second image; And
Control module for controlling the camera module, transmitting a command instructing synchronization between the multi-directional camera and the omni-directional camera to the camera module, and obtaining information on synchronization error between the multi-directional camera and the omni-directional camera ; Including,
The control module,
If the information indicating the distance difference between the first location information for the image photographing apparatus and the second location information for the administrator terminal of the administrator who manages the image photographing apparatus is lower than a first distance threshold, the administrator terminal base Set the focus setting mode,
When the focus setting mode is set, the multi-directional camera controls to focus the multi-directional camera based on the manager terminal between the first focus timing and the second focus timing, and the omni-directional camera controls the third focus. Between a timing and a fourth focus timing, a focus setting process is performed to control the focus of the omni-directional camera based on the manager terminal,
When it is detected that the second position information for the manager terminal has changed more than a second distance threshold value between the first focus timing and the second focus timing, or between the third focus timing and the fourth focus timing. , Control to redo the focus setting process,
A third image is generated based on the first image, the second image, and the synchronization error,
Corresponds to at least one passerby in the third image using an object extraction algorithm of two or more of histogram of Oriented Gradient (HOG), Haar-like feature, local binary pattern (LBP), and features from accelerated segment test (FAST) Extracting a first object, extracting a second object corresponding to clothing in the first object, extracting a third object corresponding to the text in the second object,
Based on the information indicated by the third object, information indicating occupation of at least one passerby corresponding to the first object is generated, wherein the information representing the occupation represents information indicating that the manager, guard, or employee of a specific place is Including,
Acquiring weather information about the weather, and when the weather information indicates a thunderstorm, set the power mode of the image taking device to a safe mode,
When the power mode of the image photographing apparatus is set to the safety mode, the storage period of at least one passerby corresponding to the first object is set to a period shorter than the reference storage period,
When the power mode of the image photographing apparatus is set to the maximum performance mode, at least one passerby corresponding to the first object is searched for another image, and the moving path of at least one passerby corresponding to the first object is determined. Extracting,
Video shooting device.
다방향 카메라 및 전방향 카메라를 포함하고, 상기 다방향 카메라를 제어하여 제1 영상을 획득하고, 상기 전방향 카메라를 제어하여 제2 영상을 획득하는 영상 촬영 장치; 및
상기 제1 영상 및 상기 제2 영상을 상기 장치로부터 수신하고, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기화를 지시하는 명령어를 상기 영상 촬영 장치에게 전송하고, 상기 다방향 카메라와 상기 전방향 카메라 간의 동기 오차에 대한 정보를 획득하는 서버; 를 포함하고,
상기 서버는,
상기 영상 촬영 장치에 대한 제1 위치 정보와 상기 영상 촬영 장치를 관리하는 관리자의 관리자 단말에 대한 제2 위치 정보 사이의 거리 차이를 나타내는 정보가 제1 거리 임계값보다 낮은 경우에는, 상기 관리자 단말 기반의 초점 설정 모드를 설정하고,
상기 초점 설정 모드가 설정되면, 상기 다방향 카메라가 제1 초점 타이밍부터 제2 초점 타이밍 사이에 상기 관리자 단말을 기준으로 상기 다방향 카메라의 초점을 맞추도록 제어하고, 상기 전방향 카메라가 제3 초점 타이밍부터 제4 초점 타이밍 사이에 상기 관리자 단말을 기준으로 상기 전방향 카메라의 초점을 맞추도록 제어하는 초점 설정 프로세스를 실행하되,
상기 제1 초점 타이밍과 상기 제2 초점 타이밍 사이, 또는 상기 제3 초점 타이밍과 상기 제4 초점 타이밍 사이에 상기 관리자 단말에 대한 제2 위치 정보가 제2 거리 임계값 이상으로 변화한 것이 감지되는 경우, 상기 초점 설정 프로세스를 재실행하도록 제어하고,
상기 제1 영상, 상기 제2 영상, 및 상기 동기 오차에 기반하여 제3 영상을 생성하고,
HOG(Histogram of Oriented Gradient), Haar-like feature, LBP(local binary pattern), 및 FAST(features from accelerated segment test) 중 둘 이상의 객체 추출 알고리즘을 이용하여, 상기 제3 영상에서 적어도 하나의 행인에 상응하는 제1 객체를 추출하고, 상기 제1 객체 내에서 의류에 상응하는 제2 객체를 추출하고, 상기 제2 객체 내에서 글씨에 상응하는 제3 객체를 추출하고,
상기 제3 객체가 나타내는 정보에 기반하여 상기 제1 객체에 상응하는 적어도 하나의 행인의 직업을 나타내는 정보를 생성하되, 상기 직업을 나타내는 정보는 특정 장소의 관리인, 경비, 또는 직원인 것을 나타내는 정보를 포함하고,
날씨에 대한 기상 정보를 획득하고, 상기 기상 정보가 뇌우를 나타내면 영상 촬영 장치의 전력 모드를 안전 모드로 설정하고,
상기 영상 촬영 장치의 전력 모드가 상기 안전 모드로 설정된 경우에는, 상기 제1 객체에 상응하는 적어도 하나의 행인이 촬영된 영상의 저장 기간을 기준 저장 기간보다 짧은 기간으로 설정하고,
상기 영상 촬영 장치의 전력 모드가 최대 성능 모드로 설정된 경우에는, 상기 제1 객체에 상응하는 적어도 하나의 행인이 촬영된 다른 영상을 검색하여 상기 제1 객체에 상응하는 적어도 하나의 행인의 이동 경로를 추출하는,
영상 촬영 시스템.In the imaging system,
An image capturing apparatus including a multi-directional camera and an omni-directional camera, controlling the multi-directional camera to obtain a first image, and controlling the omni-directional camera to obtain a second image; And
The first image and the second image are received from the device, and a command instructing synchronization between the multi-directional camera and the omni-directional camera is transmitted to the image-taking device, and between the multi-directional camera and the omni-directional camera A server that acquires information on synchronization errors; Including,
The server,
When the information indicating the distance difference between the first location information for the image photographing apparatus and the second location information for the administrator terminal of the administrator who manages the image photographing apparatus is lower than a first distance threshold, the administrator terminal base Set the focus setting mode,
When the focus setting mode is set, the multi-directional camera controls to focus the multi-directional camera based on the manager terminal between the first focus timing and the second focus timing, and the omni-directional camera controls the third focus. Between a timing and a fourth focus timing, a focus setting process is performed to control the focus of the omni-directional camera based on the manager terminal,
When it is detected that the second position information for the manager terminal has changed more than a second distance threshold value between the first focus timing and the second focus timing, or between the third focus timing and the fourth focus timing. , Control to redo the focus setting process,
A third image is generated based on the first image, the second image, and the synchronization error,
Corresponds to at least one passerby in the third image using an object extraction algorithm of two or more of histogram of Oriented Gradient (HOG), Haar-like feature, local binary pattern (LBP), and features from accelerated segment test (FAST) Extracting a first object, extracting a second object corresponding to clothing in the first object, extracting a third object corresponding to the text in the second object,
Based on the information indicated by the third object, information indicating the occupation of at least one passerby corresponding to the first object is generated, wherein the information representing the occupation represents information indicating that the manager, guard, or employee of a specific place is Including,
Acquiring weather information about the weather, and when the weather information indicates a thunderstorm, set the power mode of the image taking device to a safe mode,
When the power mode of the image photographing apparatus is set to the safety mode, the storage period of at least one passerby corresponding to the first object is set to a period shorter than the reference storage period,
When the power mode of the image photographing apparatus is set to the maximum performance mode, at least one passerby corresponding to the first object is searched for another image, and the movement path of at least one passerby corresponding to the first object is determined. Extracting,
Video shooting system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200010330A KR102099687B1 (en) | 2020-01-29 | 2020-01-29 | Imaging device and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200010330A KR102099687B1 (en) | 2020-01-29 | 2020-01-29 | Imaging device and system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102099687B1 true KR102099687B1 (en) | 2020-04-10 |
Family
ID=70292016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200010330A KR102099687B1 (en) | 2020-01-29 | 2020-01-29 | Imaging device and system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102099687B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021261656A1 (en) * | 2020-06-25 | 2021-12-30 | 주식회사 자비스넷 | Apparatus and system for providing security monitoring service based on edge computing, and operation method therefor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110044101A (en) * | 2009-10-22 | 2011-04-28 | (주)태종씨앤아이 | Watching apparatus using dual camera |
| KR20160072617A (en) * | 2014-12-15 | 2016-06-23 | 한화테크윈 주식회사 | Surveillance camera and control method thereof |
| KR101792212B1 (en) | 2016-02-01 | 2017-10-31 | 주식회사 태정이엔지 | Infrared camera apparatus to easily sense to all directions |
| KR20180027978A (en) * | 2016-09-07 | 2018-03-15 | 삼성전자주식회사 | Electronic Apparatus and the Controlling Method thereof |
-
2020
- 2020-01-29 KR KR1020200010330A patent/KR102099687B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110044101A (en) * | 2009-10-22 | 2011-04-28 | (주)태종씨앤아이 | Watching apparatus using dual camera |
| KR20160072617A (en) * | 2014-12-15 | 2016-06-23 | 한화테크윈 주식회사 | Surveillance camera and control method thereof |
| KR101792212B1 (en) | 2016-02-01 | 2017-10-31 | 주식회사 태정이엔지 | Infrared camera apparatus to easily sense to all directions |
| KR20180027978A (en) * | 2016-09-07 | 2018-03-15 | 삼성전자주식회사 | Electronic Apparatus and the Controlling Method thereof |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021261656A1 (en) * | 2020-06-25 | 2021-12-30 | 주식회사 자비스넷 | Apparatus and system for providing security monitoring service based on edge computing, and operation method therefor |
| KR20220000172A (en) * | 2020-06-25 | 2022-01-03 | 주식회사 자비스넷 | An apparatus and a system for providing a security surveillance service based on edge computing and a method for operating them |
| KR102397837B1 (en) * | 2020-06-25 | 2022-05-16 | 주식회사 자비스넷 | An apparatus and a system for providing a security surveillance service based on edge computing and a method for operating them |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11228715B2 (en) | Video surveillance system and video surveillance method | |
| Wheeler et al. | Face recognition at a distance system for surveillance applications | |
| CN106650671B (en) | Face recognition method, device and system | |
| US9396399B1 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
| BR102014026563A2 (en) | system for tracking one or more objects, and method for tracking a plurality of objects by a controlling device | |
| US20060238617A1 (en) | Systems and methods for night time surveillance | |
| KR100326203B1 (en) | Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion | |
| WO2018101247A1 (en) | Image recognition imaging apparatus | |
| KR101853903B1 (en) | Invasion detecting method and system including CCTV, drone and fiber to the fence | |
| KR101982751B1 (en) | Video surveillance device with motion path tracking technology using multi camera | |
| US20180101960A1 (en) | Combination video surveillance system and physical deterrent device | |
| KR102392822B1 (en) | Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object | |
| US11102453B2 (en) | Analytics based lighting for network cameras | |
| KR102099687B1 (en) | Imaging device and system | |
| JP7314973B2 (en) | VIDEO MONITORING DEVICE, VIDEO MONITORING METHOD AND PROGRAM | |
| KR100813936B1 (en) | Method for extracting subject and image synthesizing in moving picture | |
| Xu et al. | Smart video surveillance system | |
| JP2006168421A (en) | Flying object monitoring device | |
| KR101619956B1 (en) | Apparatus for image processing of surveilance camera by using auto multi-tracing | |
| KR101311728B1 (en) | System and the method thereof for sensing the face of intruder | |
| RU2712417C1 (en) | Method and system for recognizing faces and constructing a route using augmented reality tool | |
| CN113873201A (en) | Beyond-visual-range high-point reverse observation system and method | |
| KR20210076334A (en) | Video surveillance device for Crime prevention using omnidirectional camera | |
| KR102661544B1 (en) | Camera operation scenario authoring system | |
| KR102296135B1 (en) | System for providing traffic information using PTZ optimizing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A302 | Request for accelerated examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |