KR102009988B1 - Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it - Google Patents
Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it Download PDFInfo
- Publication number
- KR102009988B1 KR102009988B1 KR1020170056501A KR20170056501A KR102009988B1 KR 102009988 B1 KR102009988 B1 KR 102009988B1 KR 1020170056501 A KR1020170056501 A KR 1020170056501A KR 20170056501 A KR20170056501 A KR 20170056501A KR 102009988 B1 KR102009988 B1 KR 102009988B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- eptz
- virtual
- roi
- zoom
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012937 correction Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000003702 image correction Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 25
- 238000004091 panning Methods 0.000 abstract description 11
- 238000013507 mapping Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H04N5/23216—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/006—Geometric correction
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
-
- H04N5/23229—
-
- H04N5/23238—
-
- H04N5/238—
Abstract
실시예는 정한 영역의 원형 전방위 영상을 촬상하는 제 1 단계; 상기 원형 전방위 영상을 미리 설정된 관심영역에 대응하여 분리하는 제 2 단계; 상기 관심영역을 대응하여 주시시점을 보정해서 가상ePTZ하는 제 3 단계; 및 상기 가상ePTZ를 광각보정해서 대응하여 파노라마 평면영상을 다수의 상이한 사용자 관심영역별로 제공하는 제 4 단계를 포함하되, 상기 제 3 단계는, 상기 가상ePTZ시에, 미리 설정된 중앙 위치에 따라 전자적 가상 회전이동 디지털변환해서 팬동작을 하는 제 3-1 단계; 다수의 상이한 틸트 값별로 매칭된 투명도y에 의해 전자적 가상 상하이동 디지털변환해서 틸팅동작을 하는 제 3-2 단계; 및 다수의 상이한 줌 인 비율로 매칭된 투명도x에 의해 줌 인을 하고, 미리 설정된 줌 아웃->틸트->팬 순서로 동작해서 미리 설정된 지정위치 줌 아웃 비율에 대응하여 전자적 가상 디지털 영상 스케일링변환해서 줌동작을 하는 제 3-3 단계를 포함하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI 장치에 관한 것으로, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.The embodiment includes a first step of capturing a circular omnidirectional image of a predetermined area; A second step of separating the circular omnidirectional image corresponding to a preset ROI; A third step of correcting the gaze point corresponding to the ROI by virtual ePTZ; And providing a panoramic planar image for each of a plurality of different user ROIs by wide-angle correction of the virtual ePTZ, wherein the third step is an electronic virtual according to a preset center position in the virtual ePTZ. A third step of performing a fan operation by digitally converting rotation; A third step of performing a tilting operation by digitally converting an electronic virtual Shanghai-dong with transparency y matched for a plurality of different tilt values; And zoom in with transparency x matched with a plurality of different zoom in ratios, operate in a preset zoom out-> tilt-> pan sequence to scale and convert the electronic virtual digital image corresponding to the preset zoom out ratio. A method of correcting a lens distortion image correcting camera system using an ultra wide-angle camera, and a TVI apparatus to which the same is applied, comprising a third step of zooming, and processing a circular omnidirectional image of an ultra wide-angle camera module. EPTZ (Panning, Tilting, Zooming) is independently performed for each image of the ROI to provide customized monitoring images for each ROI.
Description
본 명세서에 개시된 내용은 기술혁신 개발사업에서 주식회사 케이티앤씨를 주관기관으로, 개발 시간 : 2013-06-01 ~ 2015-05-31(24개월) 동안 개발된 스마트 NUX 기반의 고해상도 광각보정 카메라 모듈과 영상통화 플랫폼 기술 개발 과제(과제번호 S2091405)와 관련된 발명이다. 구체적으로, 일실시예는 모니터링 영상을 제공하는 카메라 시스템에 관한 것이다. The contents disclosed in the present specification are K & C Co., Ltd. as the host organization in the technology innovation development project, and the development time: 2013-06-01 ~ 2015-05-31 (24 months) based on the high resolution wide angle camera module based on smart NUX The present invention relates to a video call platform technology development task (task number S2091405). In particular, one embodiment relates to a camera system for providing a monitoring image.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
Unless otherwise indicated herein, the contents described in this section are not prior art to the claims of this application, and inclusion in this section is not admitted to be prior art.
통상의 카메라 시스템은 일반 카메라를 사용할 경우에 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다.In a typical camera system, when one user designates an area when using a general camera, the camera captures only that area, so that another user who wants to monitor another area can monitor the area desired by another user. Can't.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.In addition, the conventional PTZ camera has a problem that it is impossible to shoot in the direction except the viewing direction of the PTZ camera by acquiring the desired image by driving the actuator, and the user or the storage device to check the image of the camera is also wider than the viewing direction. There is a blind spot.
이러한 문제점을 해결하기 위하여, 기계적(mechanical) PTZ(Panning, Tilting, Zooming, 팬/틸트/줌)를 사용하여 카메라의 PTZ 동작을 수행하고, 기계적 PTZ에 의해 주시된 임의의 시점에서 촬상된 카메라 영상에 대하여 디지털 PTZ를 수행하는 기술에 대한 연구도 행해지고 있다(국내 공개특허공보 제10-2012-0012397호, 이하 '종래 기술').In order to solve this problem, the camera performs a PTZ operation of the camera using mechanical PTZ (Panning, Tilting, Zooming, Pan / Tilt / Zoom), and the camera image captured at any point of time observed by the mechanical PTZ Research has also been conducted on the technique of performing digital PTZ with respect to Korean Patent Laid-Open Publication No. 10-2012-0012397 (hereinafter, referred to as "prior art").
그러나, 종래 기술에서는 기계적인 PTZ 제어에 의해 주시된 방향에서 촬상된 임의의 제한된 시점의 영상에 대하여 사용자별로 독립적인 영상을 마치 PTZ 효과가 있듯이 획득 관찰하는 방법으로, 기계적 PTZ 조작에 의해 얻어지는 PTZ뷰 영상을 각각 따로 따로 영상을 획득하므로 동시에 추출 가능한 영상의 전체 범위가 제한적이다. However, in the related art, a PTZ view obtained by mechanical PTZ manipulation is obtained by acquiring and observing an independent image for each user as if there is a PTZ effect on an image of any limited viewpoint captured in a direction observed by mechanical PTZ control. Since images are acquired separately from each other, the total range of images that can be extracted simultaneously is limited.
그리고, 종래 기술에서는 다수의 사용자로부터 네트워크를 통해 영상 정보를 전송할 경우, 사용자로부터 요구되는 제어 범위가 제한적이다. 즉, 서로 다른 PTZ뷰 영상이 기계적 PTZ의 조작을 정반대로 진행할 경우 사용자가 희망하는 영역을 조작할 수 없게 되는 문제점이 있다.In the related art, when image information is transmitted from a plurality of users through a network, a control range required by the user is limited. That is, when different PTZ view images operate mechanical PTZ in the opposite direction, there is a problem in that the user cannot manipulate a desired region.
또한, 종래 기술에서는 기계적 PTZ에 의해 촬영된 영상 영역에 대해서만 영상 정보가 저장되어, 사용자가들이 저장된 정보로부터 희망하는 영역을 변경하여 모니터링하는 것에 제한이 있다.In addition, in the prior art, the image information is stored only for the image region photographed by the mechanical PTZ, and there is a limitation in monitoring the user by changing the desired region from the stored information.
개시된 내용은, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공할 수 있도록 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 그 목적이 있다.Disclosed is, by processing the circular omnidirectional image of the ultra-wide-angle camera module to independently perform ePTZ (Panning, Tilting, Zooming) for each image of the user's ROI, to provide a customized monitoring image for each user's ROI It is an object of the present invention to provide an image correction method of a lens distortion image correction camera system using an ultra-wide angle camera and a transport video interface (TVI) apparatus to which the same is applied.
다른 목적은, 리모트 콘트롤러 유닛과 연동하여, ePTZ수행과 관련해서 사용자 편의성을 높일 수 있도록 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 있다.Another object of the present invention is to provide an image correction method of a lens distortion image correction camera system using an ultra-wide angle camera and a transport video interface (TVI) device to which the same is linked with a remote controller unit to improve user convenience in relation to ePTZ performance. have.
특히, 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여, 이러한 원형 전방위 영상에 대해 가상의 ePTZ 수행하는 것으로 구체적으로는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여 이러한 촬영된 원형 전방위 영상 중에서 사용자 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ 수행해서 사용자는 넓은 영역을 전방위적으로 모니터링할 수 있도록 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 있다.In particular, the area to be monitored by the user is captured by a circular omnidirectional image, and the virtual ePTZ is performed on the circular omnidirectional image. Specifically, the area to be monitored by the user is captured by the circular omnidirectional image. Image correction method of lens distortion image correction camera system using ultra wide-angle camera that performs virtual ePTZ on circular omnidirectional image of region of interest so that the user can monitor large area in all directions and TVI (Transport Video Interface) device To provide.
실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI 장치는,An image correction method of a lens distortion image correction camera system using an ultra wide-angle camera and a TVI apparatus to which the same is applied are provided.
원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세싱을 수행하고, 이러한 상기 영상 프로세싱은 a) 상기 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 b) 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, c) 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, d) 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점으로 시점 보정하고 e) 상기 해당 관심영역의 주시 시점으로 시점 보정된 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ를 수행하며, f) 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별로 맞는 모니터링 영상인 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공하고, 상기 해당 관심영역의 주시 시점으로 시점 보정된 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ를 수행하는 것(e))은, 상기 분리된 관심영역의 원형 전방위 영상을 사용자 키 조작에 따라 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 원형 전방위 영상의 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅에 관한 동작을 수행하고 틸트 값 별로 투명도y(알파y) 정보를 매핑한 틸팅 값과 투명도y(알파y) 간 매핑 정보를 설정 등록해서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y(알파y)에 따라 다수의 상이한 사용자 입력 틸트 값별로 각기 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환하고, 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행하며 줌 인 비율 별로 투명도x(알파x)를 매핑한 줌 인 비율과 투명도x(알파x) 간 매핑 정보를 설정 등록해서, 상기 줌 인 비율과 투명도x(알파x) 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x(알파x)에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행해서 동작하고, 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하는 것을 특징으로 한다.Based on the circular omnidirectional image, each image of the user's region of interest is independently processed for each region of interest based image processing, which performs ePTZ (Panning, Tilting, and Zooming) independently. B) receiving a circular omnidirectional image of an ultra wide-angle camera module, b) specifying a default region of interest or a user region of interest, c) separating a circular omnidirectional image corresponding to the region of interest, and d) a circular of the separated region of interest. Correcting the omnidirectional image to the gaze point of the corresponding ROI; and e) performing virtual ePTZ on the circular omnidirectional image of the ROI corrected to the gaze of the ROI; f) the virtual ePTZ processed user. Wide angle correction of the circular omni-directional image of the ROI to convert it into a panoramic plane image for each user area of interest (E) providing virtualized customized monitoring images for a plurality of user ROIs, which are monitoring images, and performing virtual ePTZ on circular omnidirectional images of ROIs corrected as gaze points of the corresponding ROIs. When the circular omnidirectional image of the separated ROI is inputted according to a user's key operation, each image coordinate of the circular omnidirectional image of the circular ROI image is determined based on the center position of the circular omnidirectional image of the ROI. When the electronic virtual rotational digital conversion is performed and a tilting command is input according to a user's key manipulation, transparency of each image coordinate of the circular omnidirectional image is determined based on the center position of the circular omnidirectional image of the separated ROI. Based on alpha y), the tilting operation is performed according to the transparency of the transparency y-axis component and the transparency y (alpha y) information is mapped for each tilt value. By setting and registering the mapping information between the tilting value and the transparency y (alpha), a number of different values are determined according to the transparency y (alpha) corresponding to the tilt value according to the user input tilt command according to the mapping information between the tilting value and the transparency y. When the digital virtual conversion is performed by performing an operation related to the tilting for each user's input tilt value, and a zoom (Z) command is input according to a user's key operation, the input zoom command is a zoom in command. Transparency x (alpha x) with zoom ratio Transparency x is performed according to the transparency of the x-axis component. Between zoom in ratio and transparency x (alpha x) mapped to transparency x (alpha x) by zoom in ratio By setting and registering mapping information, a plurality of different user input zooms according to the transparency x (alpha x) corresponding to the zoom in ratio according to the user input zoom in command according to the mapping information between the zoom in ratio and the transparency x (alpha x). Each zoom-in operation is performed by performing an operation related to zoom-in, and when the input command is a zoom-out command, the zoom-out ratio specified based on a user-specified position is operated by sequentially operating in the set zoom out-> tilt-> pan order. Corresponding to the electronic virtual digital image scaling to perform the virtual ePTZ independently for each circular omnidirectional image of the user's ROI.
일실시예는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여, 이러한 원형 전방위 영상에 대해 가상의 ePTZ 수행하는 것으로 구체적으로는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여 이러한 촬영된 원형 전방위 영상 중에서 사용자 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ 수행해서 사용자는 넓은 영역을 전방위적으로 모니터링한다.In one embodiment, the area to be monitored by the user is captured by a circular omnidirectional image, and a virtual ePTZ is performed on the circular omnidirectional image. Specifically, the photographed circular omnidirectional image is photographed by photographing the area to be monitored by the circular omnidirectional image. The virtual ePTZ is performed on the circular omnidirectional image of the ROI of the user, so that the user monitors a wide area in all directions.
이에 더해서 관심영역이 서로 다른 다수의 사용자는 자신 관심영역에 대해 넓은 영역을 전방위적으로 모니터링한다.In addition, a plurality of users having different areas of interest monitor a wide area of their area of interest.
그리고, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.In addition, by processing the circular omni-directional image of the ultra-wide-angle camera module to independently perform the ePTZ (Panning, Tilting, Zooming) for each image of the user's ROI provides a customized monitoring image for each user's ROI.
즉, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없으나, 일실시예는 그 다른 사용자가 희망하는 영역의 모니터링을 한다.That is, in case of using a general camera, when one user designates one area, the camera captures only that area and cannot monitor the area desired by another user who wants to monitor another area. In one embodiment, the other user monitors the desired area.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있었고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있었으나, 일실시예는 사용자 관심영역의 주시 위치를 기준으로 보정하여 ePTZ를 수행함으로써, 넓은 영역을 전방위적으로 모니터링한다. In addition, the conventional PTZ camera has a problem that it is impossible to shoot in the direction except the viewing direction of the PTZ camera by acquiring the desired image by driving the actuator, the user or the storage device to check the image of the camera is also wider than the viewing direction. Although there was a blind spot, an embodiment monitors a wide area omni-directionally by performing an ePTZ by correcting the gaze of a user's ROI.
그리고, HD-TVI(High Definition Transport Video Interface) 이용하여 DVR에 저장하며, 비디오 영상은 Full HD(1280x720p, 1920x1080p)의 영상을 저장 및 가상적 PTZ을 수행하여 상시 녹화를 수행한다. 기존의 아날로그 케이블을 사용하여 300m(1000ft) 이상의 거리에서도 깨끗한 영상을 본다.In addition, the DVR is stored in the DVR using HD-TVI (High Definition Transport Video Interface), and the video image is stored in Full HD (1280x720p, 1920x1080p) and performs virtual PTZ to always record. Using a conventional analog cable, you can see clear images even at a distance of more than 300m (1000ft).
도 1은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치와 관련된 시스템의 구성을 도시한 도면
도 2는 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치의 구성을 도시한 도면
도 3은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면
도 4는 일실시예에 따른 ePTZ뷰 영상을 도시한 도면
도 5는 일실시예에 따른 ePTZ 수행 동작을 도시한 도면
도 6는 일실시예에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면1 is a diagram illustrating a configuration of a system related to a transport video interface (TVI) device to which a lens distortion image correcting camera system using an ultra wide-angle camera according to an embodiment is applied
2 is a diagram illustrating a configuration of a TVI apparatus to which a lens distortion image correcting camera system is applied using an ultra wide-angle camera, according to an exemplary embodiment.
3 is a view sequentially illustrating an operation of a lens distortion image correcting camera system using an ultra wide-angle camera, according to an exemplary embodiment;
4 illustrates an ePTZ view image according to an embodiment.
5 is a diagram illustrating an ePTZ performing operation according to one embodiment.
6 is a diagram illustrating an operation of converting a panoramic planar image according to an exemplary embodiment.
도 1은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치와 관련된 시스템의 구성을 도시한 도면이다. 그리고, 도 2는 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a system related to a transport video interface (TVI) device to which a lens distortion image correcting camera system using an ultra-wide angle camera is applied, according to an exemplary embodiment. FIG. 2 is a diagram illustrating a configuration of a transport video interface (TVI) device to which a lens distortion image correcting camera system using an ultra wide-angle camera according to an embodiment is applied.
도 1과 도 2에 도시된 바와 같이, 일실시예에 따른 초광각 원형 전방위 영상을 촬상하는 영상 촬영부(101), 상기 영상 촬영부(101)의 촬상 동작을 제어하는 카메라 프로세서(102), 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 왜곡 보정부(103), 오디오 신호를 입력받아 처리하는 오디오 처리부(105), 상기 왜곡 보정부(103)에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부(104) 및, 상기 화면 재생정보를 표시 장치로 제공하는 인터페이스(106)를 포함한다.
As shown in FIG. 1 and FIG. 2, an
상기 영상 촬영부(101)는 초광각 카메라 모듈이 구비된 것으로, 특정 영역의 전방위 영상을 촬영하여, 그 영역의 원형 360도 전방위 영상을 카메라 시스템으로 입력하는 것이다. 일실시예는 액추에이터와 같은 별도의 장치 없이, 초광각 카메라를 이용하여 촬영된 영상을 다수의 사용자가 희망하는 영역의 영상 지정하고, 시점을 보정하는 것에 의해, 가상적 ePTZ(Panning, Tilting, Zooming)를 수행할 수 있다.The
카메라 프로세서(102)는 상기 초광각 카메라의 촬상 동작과 관련된 각종 제어 동작(예: 초광각 카메라의 촬상 개시 동작 등)을 수행하고, 그 촬상된 원형 360도 전방위 영상을 신호 처리하여 왜곡 보정부(103)로 전달한다.The
왜곡 보정부(103)는 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛으로 된 것이다. 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상(360도 영상)을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점(즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, 이 경우 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다(참고로, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다. 그리고, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있다. 또한, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.). 그리고, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다. 또한, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역(예를 들어, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있고, 이 경우 그 다수의 담당자별로 희망하는 관심영역이 됨)의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. 즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다. 한편, 일실시예는 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.The
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.The remote controller unit (RCU) has a key corresponding to each ePTZ command and transmitting a predetermined identification RCU (Remote Control Unit) code value of the corresponding ePTZ command. When the user key is pressed, the RCU-based code value that identifies the corresponding ePTZ command is transmitted to the camera system.
오디오 처리부(105)는 TVI 장치의 오디오 처리부(105)로, 입력된 음성 신호를 기지정된 프로토콜에 상응하여 오디오 신호 처리하여 비디오 처리부(104)로 전달한다.The
비디오 처리부(104)는 왜곡 보정부(103)에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부(104) 및, 상기 화면 재생정보를 표시 장치로 제공하는 것이다(이는 종래 기술에 속하는 것으로, 그에 대한 상세한 설명을 생략한다).The video processor 104 provides a video processor 104 for generating screen reproduction information by synthesizing the image corrected by the
인터페이스(106)는 비디오 처리부(104)로부터 제공된 화면 재생정보를 표시 장치(예: HD 모니터)와 인터페이스하여, 그 표시 장치로 출력한다. 예를 들어, 시리얼 디지털 인터페이스(SDI-TX)나, 트랜스포트 비디오 인터페이스(SDI-TX) 중 어느 하나를 사용한다.
The
한편, 일실시예는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템을 독립적으로 구현, 운용할 수 있다. 이를 경우 해당 카메라 시스템은 다음과 같이 구성된다.Meanwhile, an embodiment may independently implement and operate a lens distortion image correcting camera system using an ultra wide angle camera. In this case, the camera system is configured as follows.
즉, 일실시예에 따른 카메라 시스템은 초광각 카메라 모듈, 상기 초광각 카메라 모듈의 촬상 동작과 상기 카메라 시스템의 전체 신호 처리 동작을 제어, 운용하는 메인 제어부 및, 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛을 포함한다.
That is, the camera system according to an embodiment of the present invention is an ultra wide-angle camera module, a main controller for controlling and operating an image capturing operation of the ultra wide-angle camera module and the entire signal processing operation of the camera system, and under the control of the main controller, the ultra-wide camera module An independent processing-based image processing unit for each region of interest performs ePTZ (Panning, Tilting, Zooming) independently for each image of the user's ROI specified based on the circular omni-directional image of.
초광각 카메라 모듈은 특정 영역의 전방위 영상을 촬영하여, 그 영역의 원형 360도 전방위 영상을 카메라 시스템으로 입력하는 것이다. 일실시예는 액추에이터와 같은 별도의 장치 없이, 초광각 카메라를 이용하여 촬영된 영상을 다수의 사용자가 희망하는 영역의 영상 지정하고, 시점을 보정하는 것에 의해, 가상적 ePTZ(Panning, Tilting, Zooming)를 수행할 수 있다. The ultra wide-angle camera module captures an omnidirectional image of a specific area and inputs a circular 360 degree omnidirectional image of the area to the camera system. According to an embodiment, virtual ePTZ (Panning, Tilting, Zooming) is performed by specifying an image of a region desired by a plurality of users, and correcting a viewpoint, using an ultra wide-angle camera, without a separate device such as an actuator. Can be done.
메인 제어부는 카메라 시스템의 메인 제어부이다. 즉, 상기 초광각 카메라 모듈의 촬상 동작을 제어하고, 카메라 시스템과 관련된 전체 신호 처리를 관리 운용하는 카메라 시스템의 메인 제어부이다(이는 종래 기술에 속하는 것으로, 그에 대한 상세한 설명은 생략한다.).The main controller is the main controller of the camera system. That is, it is the main control unit of the camera system that controls the imaging operation of the ultra wide-angle camera module and manages and operates the entire signal processing associated with the camera system (this belongs to the prior art, and a detailed description thereof will be omitted).
영상 프로세스 유닛(또는, 엔진)은 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛으로 된 것이다. 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상(360도 영상)을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점(즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, 이 경우 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다(참고로, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다. 그리고, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있다. 또한, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.). 그리고, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다. 또한, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역(예를 들어, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있고, 이 경우 그 다수의 담당자별로 희망하는 관심영역이 됨)의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. 즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다. 한편, 일실시예는 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다. An image processing unit (or an engine) may be interested in performing ePTZ (Panning, Tilting, and Zooming) independently for each image of a user ROI specified based on a circular omnidirectional image of the ultra wide-angle camera module under the control of the main controller. It is an independent image processing unit based on each area. The image processing unit receives a circular omnidirectional image (360-degree image) of the ultra wide-angle camera module, specifies a default region of interest or a user region of interest, and separates the circular omnidirectional image corresponding to the region of interest, and the separation. When the circular omnidirectional image of the ROI is viewed, the gaze of the ROI module is regarded as the gaze of the ROI, and in this case, the gaze of the ROI is based on the location of the ROI, for example. By the center position coordinate value of the image of the ROI separated by the set area), and perform a virtual ePTZ, and wide-angle correction of the circular omnidirectional image of the virtual ePTZ processed user ROI. Converts into corresponding panoramic plane image and provides customized monitoring image for each user's area of interest (For reference, when using a general camera, when one user designates one area, the camera captures only that area and monitors the area desired by another user who wants to monitor another area. In addition, the conventional PTZ camera has a problem that it is impossible to capture a direction other than the PTZ camera's gaze direction as the PTZ camera acquires a desired image by driving the actuator. There is also a wide blind spot that is out of line of sight). The image processing unit electronically virtualizes each image coordinate based on the center position of the circular omnidirectional image of the separated ROI when the pan-pan command is input to the circular omnidirectional image of the ROI. Digitally converts the rotational movement and digitally converts each image coordinate based on the center position of the circular omnidirectional image of the separated ROI when the tilt command is inputted, and digitally transforms the zoom (Z: Zooming). When the command is received, the electronic virtual digital image is scaled and converted according to the zoom ratio specified based on the user-specified position to independently perform virtual ePTZ for each circular omnidirectional image of the user's ROI. In addition, the image processing unit may have different areas of interest desired by the user (for example, a person who monitors a specific place or area) of the circular omnidirectional image of the ultra wide-angle camera module stored in advance. To a circular omnidirectional image of the person in charge of the person in charge, and corrects the viewpoint to the gaze of the region of interest for the changed image and independently performs virtual ePTZ. That is, the previously stored circular omnidirectional image is changed into an image of a user's ROI, and virtual ePTZ is independently performed on the changed image. On the other hand, one embodiment in particular uses a specialized Remote Controller Unit (RCU) (an existing camera system is a 'joystick') for ePTZ command input. To this end, a key corresponding to each ePTZ command and transmitting a predetermined identification Remote Control Unit (RCU) code value of the corresponding ePTZ command (e.g. "up" shift key is tilt up, "left"). The image processing unit pre-registers identification RCU code value information for each ePTZ command that interlocks with the remote controller unit, so that the movement key is interlocked with the remote controller unit having Pan Left, ... The ePTZ is performed based on the identification RCU code value for each ePTZ command received from the remote controller unit.
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.
The remote controller unit (RCU) has a key corresponding to each ePTZ command and transmitting a predetermined identification RCU (Remote Control Unit) code value of the corresponding ePTZ command. When the user key is pressed, the RCU-based code value that identifies the corresponding ePTZ command is transmitted to the camera system.
도 3은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면이다.3 is a flowchart illustrating an operation of a lens distortion image correcting camera system using an ultra wide-angle camera, according to an exemplary embodiment.
도 3에 도시된 바와 같이, 먼저 일실시예에 따른 카메라 시스템은 초광각 카메라 모듈의 원형 전방위 영상을 입력받아(S301) 미리 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고(S304), 상기 관심영역에 상응하는 원형 전방위 영상을 분리한다(이 경우, 디폴트 관심영역이 설정된 경우, 그 기설정된 디폴트 관심영역 정보에 따라 설정 개수만큼 원형 전방위 영상을 분할하여 분리한다.)(S302, S305).As shown in FIG. 3, a camera system according to an embodiment first receives a circular omni-directional image of an ultra wide-angle camera module (S301), and specifies a preset default ROI or a user ROI (S304). The circular omnidirectional image corresponding to the region is separated (in this case, when the default ROI is set, the circular omnidirectional image is divided and separated by a set number according to the preset default ROI information) (S302 and S305).
다음, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주 시 시점으로 시점 보정하고 가상의 ePTZ를 수행하며(S303), 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.Next, the circular omnidirectional image of the separated ROI is corrected to the main viewpoint of the corresponding ROI and a virtual ePTZ is performed (S303). The circular omnidirectional image of the virtual ePTZ processed user ROI is wide-angle corrected. By converting to a corresponding panoramic plane image, a plurality of customized monitoring images for each ROI are provided.
즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, (이 경우, 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.That is, the gaze point of the ultra wide-angle camera module is the gaze point of the user's ROI. center), and corrects the view point, performs virtual ePTZ, converts the circular omnidirectional image of the virtual ePTZ-processed user's ROI into wide-angle correction, and converts the image into a corresponding panoramic plane image. Provides customized monitoring image for each area.
예를 들어, 상기 분리된 관심영역의 원형 전방위 영상을 리모트 콘트롤러 유닛으로부터 팬(P : Panning) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환한다. 그리고, 리모트 콘트롤러 유닛으로부터 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환한다. 또한, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.For example, when receiving a pan command from the remote controller unit, the circular omnidirectional image of the separated ROI is determined based on the center position of the circular omnidirectional image of the ROI. Electronic virtual rotational movement digital transformation. When a tilt command is input from the remote controller unit, each image coordinate is converted to an electronic virtual Shanghai-Dong digital based on the center position of the circular omnidirectional image of the separated ROI. In addition, when a zoom (Z) command is input, the virtual ePTZ is independently performed for each circular omnidirectional image of the user's ROI by scaling electronically the digital image corresponding to the zoom ratio specified based on a user-specified position. Further, the circular omnidirectional image of the virtual ePTZ processed user region of interest is wide-angle-corrected and converted into a corresponding panoramic plane image, thereby providing a customized monitoring image for each user region of interest.
보다 상세하게는, 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여, 이러한 원형 전방위 영상에 대해 가상의 ePTZ 수행하는 것으로 구체적으로는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여 이러한 촬영된 원형 전방위 영상 중에서 사용자 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ 수행해서 사용자는 넓은 영역을 전방위적으로 모니터링하는 것이다. 구체적인 동작은, 상기 분리된 관심영역의 원형 전방위 영상을 사용자 키 조작에 따라 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 원형 전방위 영상의 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 원형 영상의 특징을 고려하여 즉, 일반적인 평면 영상과는 달리 입체적인 원형 영상을 틸팅할 수 있도록, 이러한 입체적인 원형 영상에 맞는 투명도y(알파y)로 틸팅하는데, 구체적으로는 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅에 관한 동작을 수행하고 틸트 값 별로 투명도y(알파y) 정보를 매핑한 틸팅 값과 투명도y(알파y) 간 매핑 정보를 설정 등록해서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y(알파y)에 따라 다수의 상이한 사용자 입력 틸트 값별로 각기 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환하고, 즉, 원형 전방위 영상에 대해 틸팅하며, 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행하며 줌 인 비율 별로 투명도x(알파x)를 매핑한 줌 인 비율과 투명도x(알파x) 간 매핑 정보를 설정 등록해서, 상기 줌 인 비율과 투명도x(알파x) 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x(알파x)에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행해서 동작하고 즉, 원형 전방위 영상에 대해 줌 인하며, 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다.In more detail, the area to be monitored by the user is captured by a circular omnidirectional image, and the virtual ePTZ is performed on the circular omnidirectional image. Specifically, the area to be monitored by the user is captured by the circular omnidirectional image. The virtual ePTZ is performed on the circular omnidirectional image of the user's ROI among the images, and the user monitors a wide area in all directions. In a specific operation, when a circular omnidirectional image of the separated ROI is input according to a user's key operation, a circular omnidirectional image of the circular ROI image is determined based on the center position of the circular omnidirectional image of the ROI. Each image coordinate is converted to an electronic virtual rotational movement digitally, and when a tilting command is input according to a user's key manipulation, each image coordinate of the circular omnidirectional image is based on the center position of the circular omnidirectional image of the separated ROI. In consideration of the characteristics of the circular image, that is, to tilt the three-dimensional circular image in order to tilt the three-dimensional circular image, unlike a general planar image, specifically, the transparency y (alpha y) Tilting operation based on transparency of y-axis component based on transparency and mapping transparency y (alpha y) information for each tilt value By setting and registering the mapping information between the value and the transparency y (alpha), a number of different users depending on the transparency y (alpha) corresponding to the tilt value according to the user input tilt command according to the mapping information between the tilt value and the transparency y. In the case of performing an operation related to tilting for each input tilt value and converting the electronic virtual Shanghai-dong digital, ie, tilting the circular omnidirectional image, and receiving a zoom (Z) command according to a user's key operation, When the zoom command is a zoom in command, the transparency x (alpha x) is used as the zoom ratio, and the zoom-in operation is performed according to the transparency of the transparency x-axis component. By setting and registering the mapping information between the ratio and the transparency x (alpha x), the transparency x (alpha x) corresponding to the zoom in ratio according to the user input zoom in command according to the mapping information between the zoom in ratio and the transparency x (alpha x). ) D. Performing operations related to zoom in for each of a plurality of different user input zoom-in ratios, that is, zooming in on a circular omnidirectional image, and setting zoom out-> tilt- when the input command is a zoom-out command. > Sequentially operates in pan order to perform electronic virtual digital image scaling independently for each circular omnidirectional image of the user's ROI by scaling electronically the digital digital image according to the zoom-out ratio specified based on the user-specified position.
그래서, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없으나, 일실시예는 그 다른 사용자가 희망하는 영역의 모니터링을 한다.So, when using a general camera, if one user designates one area, the camera only captures that area, and the other user who wants to monitor the other area cannot monitor the area. In one embodiment, the other user monitors the desired area.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있었고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있었으나, 일실시예는 사용자 관심영역의 주시 위치를 기준으로 보정하여 ePTZ를 수행함으로써, 넓은 영역을 전방위적으로 모니터링한다.
In addition, the conventional PTZ camera has a problem that it is impossible to shoot in the direction except the viewing direction of the PTZ camera by acquiring the desired image by driving the actuator, the user or the storage device to check the image of the camera is also wider than the viewing direction. Although there was a blind spot, an embodiment monitors a wide area omni-directionally by performing an ePTZ by correcting the gaze of a user's ROI.
한편, 일실시예는 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. Meanwhile, in one embodiment, the circular omnidirectional image of the ultra wide-angle camera module stored in advance is changed into a circular omnidirectional image of a region of interest desired by the user, and the viewpoint is corrected to the gaze of the region of interest for the changed image, and the virtual ePTZ is independently Perform.
구체적으로, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있는데, 일실시예는 이 경우, 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 그 다수의 담당자별로 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. Specifically, a desired region of interest may be different for each person in charge of monitoring a specific place or area, and in this embodiment, the circular omnidirectional image of the region of interest desired for each of the plurality of persons in this case may be stored in a circular omnidirectional image of the pre-stored ultra wide-angle camera module. By changing to an image, the modified image is also corrected to the viewpoint of the gaze of the ROI, and virtual ePTZ is independently performed.
즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다.
That is, the previously stored circular omnidirectional image is changed into an image of a user's ROI, and virtual ePTZ is independently performed on the changed image.
또한, 일실시예는 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
In addition, one embodiment uses, in particular, a Remote Controller Unit (RCU) (an existing camera system is a 'joystick') specialized for ePTZ command input. To this end, a key corresponding to each ePTZ command and transmitting a predetermined identification Remote Control Unit (RCU) code value of the corresponding ePTZ command (e.g. "up" shift key is tilt up, "left"). The image processing unit pre-registers identification RCU code value information for each ePTZ command that interlocks with the remote controller unit, so that the movement key is interlocked with the remote controller unit having Pan Left, ... The ePTZ is performed based on the identification RCU code value for each ePTZ command received from the remote controller unit.
도 4는 일실시예에 따른 ePTZ뷰 영상을 도시한 도면이다.4 is a diagram illustrating an ePTZ view image according to an embodiment.
도 4에 도시된 바와 같이, 일실시예는 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 기설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 그 관심영역에 상응하는 원형 전방위 영상을 분리하는데, 도 4는 디폴트 관심영역(즉, 모니터링하고자 하는 관심영역)이 3개로 설정된 것을 예로 든 경우이다. 그렇게 하여, 그 기설정된 디폴트 관심영역 정보에 따라 설정 개수만큼 원형 전방위 영상을 분할하여 분리한다.
As shown in FIG. 4, an embodiment receives a circular omnidirectional image of an ultra wide-angle camera module, specifies a preset default ROI or a user ROI, and separates a circular omnidirectional image corresponding to the ROI. 4 illustrates an example in which three default ROIs (ie, ROIs to be monitored) are set to three. In this way, the circular omnidirectional image is divided and separated by the set number according to the preset default ROI information.
도 5는 일실시예에 따른 ePTZ 수행 동작을 도시한 도면이다.5 is a diagram illustrating an ePTZ performing operation according to an embodiment.
도 5에 도시된 바와 같이, 일실시예는 리모트 콘트롤러 유닛에서 사용자 키 조작에 따라 팬 명령 입력받은 경우 관심영역의 원형 전방위 영상의 중앙 위치 기준으로 원형 전방위 영상의 각 영상좌표를 전자적 가상 회전이동 디지털 변환한다.
그리고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅동작을 한다.
또한, 틸트 값 별로 투명도y 정보를 매핑한 틸팅 값과 투명도y 간 매핑 정보를 미리 설정 등록한다. 그래서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y에 따라 다수의 상이한 사용자 입력 틸트 값별로 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환한다.
그리고, 또한 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행한다.
이에 더하여, 줌 인 비율 별로 투명도x를 매핑한 줌 인 비율과 투명도x 간 매핑 정보를 설정 등록한다. 그래서, 상기 줌 인 비율과 투명도x 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행한다.
또한, 이에 더하여 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환한다.
따라서, 이를 통해 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다.
As shown in FIG. 5, in one embodiment, when a fan command is input according to a user's key operation in a remote controller unit, an electronic virtual rotational movement is performed for each image coordinate of the circular omnidirectional image based on the center position of the circular omnidirectional image of the ROI. Convert.
In addition, when a tilt (T) command is input according to a user's key operation, the transparency y-axis component of each image coordinate of the circular omnidirectional image based on the transparency y (alpha) based on the center position of the circular omnidirectional image of the ROI. The tilting operation is performed according to the transparency of the.
In addition, the mapping information between the tilting value and the transparency level obtained by mapping the transparency y information for each tilt value is preset. Therefore, the electronic virtual Shanghai-Digital conversion is performed by performing an operation related to tilting by a plurality of different user input tilt values according to the transparency y corresponding to the tilt value according to the user input tilt command according to the mapping information between the tilting value and the transparency y. .
In addition, when a zoom (Z) command is input according to a user's key operation, when the input zoom command is a zoom in command, the transparency x (alpha x) is converted into a zoom ratio according to the transparency of the x-axis component. Performs operations related to zoom in.
In addition, mapping information between the zoom in ratio and the transparency x which have been mapped with transparency x for each zoom in ratio is set and registered. Thus, the zoom-in operation is performed for each of a plurality of different user input zoom-in ratios according to the transparency x corresponding to the zoom-in ratio according to the user input zoom-in command according to the mapping information between the zoom-in ratio and the transparency x.
In addition, when the input command is a zoom out command, the operation is sequentially performed in the set zoom out->tilt-> pan order to electronically scale and convert an electronic virtual digital image corresponding to a zoom out ratio specified based on a user-specified position.
Therefore, the virtual ePTZ is independently performed on each circular omnidirectional image of the ROI.
도 6는 일실시예에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면이다.6 is a diagram illustrating an operation for converting to a panoramic planar image, according to an exemplary embodiment.
도 6에 도시된 바와 같이, 일실시예는 초광각 카메라 모듈의 오리지널 원형 영상 즉, 특정 영역의 360도 전방위를 촬영한 오리지널 원형 영상을 광각 보정해서 대응되는 파노라마 평면영상(예: 360도 파노라마 평면영상이나 또는, 180도 파노라마 평면영상)으로 변환해서 모니터링 영상으로 제공한다.As shown in FIG. 6, in one embodiment, a panoramic flat image (eg, a 360-degree panoramic flat image) is obtained by wide-angle correction of an original circular image of an ultra wide-angle camera module, that is, an original circular image photographed 360 degrees of a specific area. Or, or 180 degree panoramic planar image) is converted into a monitoring image.
일실시예의 보정 방법은, 회전변환 방식 및 원근 보정 방식을 예로 들 수 있다. 원근 보정 방식은 원근감에 의해 영상이 한 점이나 한 위치를 기준으로 멀수록 줄어드는 부분을 보완 영상의 Y축을 기준으로 원근 보정을 진행하면 PTZ의 틸팅 효과를 줄 수 있다. 원근 보정 방식 중, 소실점(Vanishing Point) 방식은 소실점 영상의 원근감에 의해 멀어질수록 사물이 축소되며, 무한대의 거리를 가정하는 방식이다.Examples of the correction method may include a rotation conversion method and a perspective correction method. Perspective correction method can give PTZ tilting effect when perspective correction is performed based on the Y-axis of the complementary image to compensate for the part where the image decreases as far as one point or one position due to perspective. In the perspective correction method, the vanishing point method is a method in which an object is reduced as it is moved away from the perspective of the vanishing point image, and assumes an infinite distance.
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 영상 촬영부 102 : 카메라 프로세서
103 : 왜곡 보정부 104 : 비디오 처리부
105 : 오디오 처리부 106 : 인터페이스Explanation of symbols on the main parts of the drawings
101: video recording unit 102: camera processor
103: distortion correction unit 104: video processing unit
105: audio processor 106: interface
Claims (8)
상기 원형 전방위 영상을 미리 설정된 관심영역에 대응하여 분리하는 제 2 단계;
상기 관심영역에 대응하여 주시시점을 보정해서 가상ePTZ하는 제 3 단계; 및
상기 가상ePTZ를 광각보정해서 대응되는 파노라마 평면영상을 다수의 상이한 사용자 관심영역별로 제공하는 제 4 단계를 포함하되,
상기 제 3 단계는,
상기 가상ePTZ시에, 미리 설정된 중앙 위치에 따라 전자적 가상 회전이동 디지털변환해서 팬동작을 하는 제 3-1 단계;
다수의 상이한 틸트 값별로 매칭된 원형 전방위 영상의 투명도 y축 성분의 투명도에 의해 전자적 가상 상하이동 디지털변환해서 틸팅동작을 하는 제 3-2 단계; 및
다수의 상이한 줌 인 비율로 매칭된 원형 전방위 영상의 투명도 x축 성분의 투명도에 의해 줌 인을 하고, 미리 설정된 줌 아웃->틸트->팬 순서로 동작해서 미리 설정된 지정위치 줌 아웃 비율에 대응하여 전자적 가상 디지털 영상 스케일링변환해서 줌동작을 하는 제 3-3 단계를 포함하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법.A first step of capturing a circular omnidirectional image of a region preset by the user for monitoring;
A second step of separating the circular omnidirectional image corresponding to a preset ROI;
A third step of correcting the gaze point corresponding to the ROI to virtual ePTZ; And
Comprising a fourth step of providing a corresponding panoramic plane image by a plurality of different user ROI by wide-angle correction of the virtual ePTZ,
The third step,
Step 3-1 during the virtual ePTZ, performing a fan operation by digitally converting the electronic virtual rotational movement according to a predetermined center position;
A third step of performing a tilting operation by digitally converting the digital virtual motion according to the transparency of the transparency y-axis component of the circular omnidirectional image matched by a plurality of different tilt values; And
The transparency of the circular omnidirectional image matched by a number of different zoom-in ratios is zoomed in by the transparency of the x-axis component, and operates in the preset zoom-out->tilt-> pan order to correspond to the preset zoom-out ratio of the preset position. And a third step of performing a zoom operation by electronically digital digital image scaling conversion.
상기 제 3 단계 전에,
상기 ePTZ의 명령별로 대응하여 원격 제어 코드 값을 전송하는 키를 구비한 리모트 콘트롤러 유닛의 ePTZ의 명령별로 대응하여 원격 제어 코드 값 정보를 미리 등록하는 제 2' 단계를 포함해서,
상기 제 3 단계가
상기 리모트 콘트롤러 유닛으로부터 입력받은 ePTZ의 명령별 원격 제어 코드 값에 따라 ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법.The method of claim 1,
Before the third step,
And a second 'step of pre-registering remote control code value information corresponding to each command of the ePTZ of the remote controller unit having a key for transmitting a remote control code value corresponding to each command of the ePTZ.
The third step
Lens distortion image correction camera system using an ultra-wide-angle camera, characterized in that the ePTZ according to the remote control code value for each command of the ePTZ received from the remote controller unit.
상기 제 3 단계는
상기 원형 전방위 영상을 사용자 관심영역에 대응하여 변경하고 주시 시점을 보정해서 가상ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법.The method according to claim 1 or 2,
The third step is
And a virtual ePTZ by modifying the circular omnidirectional image corresponding to the user's ROI and correcting the gaze point.
상기 영상 촬영부의 촬상 동작을 제어하는 카메라 프로세서;
상기 영상 촬영부의 원형 전방위 영상을 적용해서 사용자 관심영역별로 영상을 각기 ePTZ해서 제공하는 왜곡 보정부;
오디오 신호를 입력받아 처리하는 오디오 처리부;
상기 왜곡 보정부에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부; 및
상기 화면 재생정보를 표시 장치로 제공하는 인터페이스를 포함하되,
상기 왜곡 보정부는,
상기 원형 전방위 영상을 미리 설정된 관심영역에 대응하여 분리하고,
상기 관심영역에 대응하여 주시시점을 보정해서 가상ePTZ하고,
상기 가상ePTZ를 광각보정해서 대응되는 파노라마 평면영상을 다수의 상이한 사용자 관심영역별로 제공하되,
상기 가상 ePTZ시에, 미리 설정된 중앙 위치에 따라 전자적 가상 회전이동 디지털변환해서 팬동작을 하고,
다수의 상이한 틸트 값별로 매칭된 원형 전방위 영상의 투명도 y축 성분의 투명도에 의해 전자적 가상 상하이동 디지털변환해서 틸팅동작을 하고,
다수의 상이한 줌 인 비율로 매칭된 원형 전방위 영상의 투명도 x축 성분의 투명도에 의해 줌 인을 하고, 미리 설정된 줌 아웃->틸트->팬 순서로 동작하여 미리 설정된 지정위치에 따라 줌 아웃 비율에 대응하여 전자적 가상 디지털 영상 스케일링변환해서 줌동작을 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치.An image capturing unit configured to capture an ultra wide-angle circular omnidirectional image;
A camera processor controlling an imaging operation of the image capturing unit;
A distortion correction unit applying ePTZ images for each ROI by applying circular omnidirectional images of the image capturing unit;
An audio processor which receives and processes an audio signal;
A video processor for synthesizing the image corrected by the distortion correction unit with an audio signal to generate screen reproduction information; And
An interface for providing the screen playback information to the display device,
The distortion correction unit,
Separating the circular omnidirectional image corresponding to a preset ROI;
Virtual ePTZ by correcting a viewing point corresponding to the ROI,
The wide angle correction of the virtual ePTZ provides corresponding panoramic plane images for a plurality of different user ROIs,
In the virtual ePTZ, the electronic virtual rotational movement digital conversion according to a predetermined center position to perform a fan operation,
Tilting operation is performed by digitally converting the digital virtual Shanghai Dong by the transparency of the transparency y-axis component of the circular omnidirectional image matched by a number of different tilt values,
The transparency of the circular omnidirectional image matched by a number of different zoom-in ratios is zoomed in by the transparency of the x-axis component, and the zoom-out ratio is set in accordance with the preset zoom-out->tilt-> pan order. And a lens distortion image correcting camera system using the ultra wide-angle camera, wherein the digital virtual digital image is scaled and converted to zoom.
상기 ePTZ의 명령별로 대응하여 원격 제어 코드 값을 전송하는 키를 구비한 리모트 콘트롤러 유닛을 포함하고,
상기 왜곡 보정부는,
상기 리모트 콘트롤러 유닛의 ePTZ의 명령별로 대응하여 원격 제어 코드 값 정보를 미리 등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 ePTZ의 명령별 원격 제어 코드 값에 따라 ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치.The method of claim 4, wherein
A remote controller unit having a key for transmitting a remote control code value corresponding to each command of the ePTZ,
The distortion correction unit,
Lenses using an ultra wide-angle camera, characterized in that the remote control code value information is registered in advance corresponding to each command of the ePTZ of the remote controller unit, and the ePTZ according to the remote control code value of the command of the ePTZ received from the remote controller unit. TVI device with distortion image correction camera system.
상기 왜곡 보정부는
상기 원형 전방위 영상을 사용자 관심영역에 대응하여 변경하고 주시 시점을 보정해서 가상ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치.
The method of claim 4, wherein
The distortion correction unit
And a lens distortion image correcting camera system using an ultra wide-angle camera, wherein the circular omnidirectional image is changed corresponding to a user's ROI and a gaze correction is performed to virtual ePTZ.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20150103743 | 2015-07-22 | ||
| KR1020150103743 | 2015-07-22 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150107573A Division KR20170011928A (en) | 2015-07-22 | 2015-07-29 | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170055455A KR20170055455A (en) | 2017-05-19 |
| KR102009988B1 true KR102009988B1 (en) | 2019-08-12 |
Family
ID=58154073
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150107573A KR20170011928A (en) | 2015-07-22 | 2015-07-29 | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
| KR1020170056501A KR102009988B1 (en) | 2015-07-22 | 2017-05-02 | Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150107573A KR20170011928A (en) | 2015-07-22 | 2015-07-29 | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20170011928A (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111385476A (en) * | 2020-03-16 | 2020-07-07 | 浙江大华技术股份有限公司 | Method and device for adjusting shooting position of shooting equipment |
| WO2023013328A1 (en) * | 2021-08-06 | 2023-02-09 | Nec Corporation | Method, apparatus, and system for monitoring motion in video stream |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100699087B1 (en) | 2005-12-23 | 2007-03-23 | 티오엠테크놀로지 주식회사 | Method and apparatus for controlling PTZ capable of dynamic PTZ protocol management |
| JP2008131185A (en) | 2006-11-17 | 2008-06-05 | Canon Inc | Network camera system and distribution method |
| JP2009071592A (en) | 2007-09-13 | 2009-04-02 | Fujifilm Corp | Imaging apparatus and imaging control method |
| KR101207985B1 (en) | 2011-07-01 | 2012-12-04 | 서울과학기술대학교 산학협력단 | The apparatus and method of control ptz camera with smart phone |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080055423A (en) * | 2006-12-15 | 2008-06-19 | 주식회사 케이티 | Method and apparatus for controlling camera using general-purpose interface in real time ip-surveillance system |
-
2015
- 2015-07-29 KR KR1020150107573A patent/KR20170011928A/en active Application Filing
-
2017
- 2017-05-02 KR KR1020170056501A patent/KR102009988B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100699087B1 (en) | 2005-12-23 | 2007-03-23 | 티오엠테크놀로지 주식회사 | Method and apparatus for controlling PTZ capable of dynamic PTZ protocol management |
| JP2008131185A (en) | 2006-11-17 | 2008-06-05 | Canon Inc | Network camera system and distribution method |
| JP2009071592A (en) | 2007-09-13 | 2009-04-02 | Fujifilm Corp | Imaging apparatus and imaging control method |
| KR101207985B1 (en) | 2011-07-01 | 2012-12-04 | 서울과학기술대학교 산학협력단 | The apparatus and method of control ptz camera with smart phone |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170055455A (en) | 2017-05-19 |
| KR20170011928A (en) | 2017-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101662074B1 (en) | Control device, camera system, and recording medium | |
| JP3792901B2 (en) | Camera control system and control method thereof | |
| JP4153146B2 (en) | Image control method for camera array and camera array | |
| US6977676B1 (en) | Camera control system | |
| US9313400B2 (en) | Linking-up photographing system and control method for linked-up cameras thereof | |
| US20120092529A1 (en) | Method for processing an image and an image photographing apparatus applying the same | |
| US20040179121A1 (en) | System and method for displaying captured images according to imaging device position | |
| KR20050051575A (en) | Photographing apparatus and method, supervising system, program and recording medium | |
| KR20110108265A (en) | Control device, camera system and program | |
| JP4378636B2 (en) | Information processing system, information processing apparatus, information processing method, program, and recording medium | |
| JP2007295335A (en) | Camera device and image recording and reproducing method | |
| KR101778744B1 (en) | Monitoring system through synthesis of multiple camera inputs | |
| JP2006245793A (en) | Imaging system | |
| KR20120108747A (en) | Monitoring camera for generating 3 dimensional scene and method thereof | |
| KR101718081B1 (en) | Super Wide Angle Camera System for recognizing hand gesture and Transport Video Interface Apparatus used in it | |
| KR20180129667A (en) | Display control apparatus, display control method, and storage medium | |
| WO2007119712A1 (en) | Camera apparatus, and image processing apparatus and image processing method | |
| US11140327B2 (en) | Image-capturing device and method for operating image-capturing system of two cameras | |
| US8436919B2 (en) | Photographing method of generating image of traced moving path and photographing apparatus using the photographing method | |
| KR102009988B1 (en) | Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it | |
| JP2010034652A (en) | Multi-azimuth camera mounted mobile terminal apparatus | |
| JP2000341574A (en) | Camera device and camera control system | |
| JP2005175970A (en) | Imaging system | |
| US20230129908A1 (en) | Method and system for transmitting a video stream | |
| TW201410015A (en) | A multiple camera system and method therefore |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |