KR102009988B1 - 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 - Google Patents
초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 Download PDFInfo
- Publication number
- KR102009988B1 KR102009988B1 KR1020170056501A KR20170056501A KR102009988B1 KR 102009988 B1 KR102009988 B1 KR 102009988B1 KR 1020170056501 A KR1020170056501 A KR 1020170056501A KR 20170056501 A KR20170056501 A KR 20170056501A KR 102009988 B1 KR102009988 B1 KR 102009988B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- eptz
- virtual
- roi
- zoom
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012937 correction Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000003702 image correction Methods 0.000 claims description 10
- 230000005236 sound signal Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 25
- 238000004091 panning Methods 0.000 abstract description 11
- 238000013507 mapping Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H04N5/23216—
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
-
- H04N5/23229—
-
- H04N5/23238—
-
- H04N5/238—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
실시예는 정한 영역의 원형 전방위 영상을 촬상하는 제 1 단계; 상기 원형 전방위 영상을 미리 설정된 관심영역에 대응하여 분리하는 제 2 단계; 상기 관심영역을 대응하여 주시시점을 보정해서 가상ePTZ하는 제 3 단계; 및 상기 가상ePTZ를 광각보정해서 대응하여 파노라마 평면영상을 다수의 상이한 사용자 관심영역별로 제공하는 제 4 단계를 포함하되, 상기 제 3 단계는, 상기 가상ePTZ시에, 미리 설정된 중앙 위치에 따라 전자적 가상 회전이동 디지털변환해서 팬동작을 하는 제 3-1 단계; 다수의 상이한 틸트 값별로 매칭된 투명도y에 의해 전자적 가상 상하이동 디지털변환해서 틸팅동작을 하는 제 3-2 단계; 및 다수의 상이한 줌 인 비율로 매칭된 투명도x에 의해 줌 인을 하고, 미리 설정된 줌 아웃->틸트->팬 순서로 동작해서 미리 설정된 지정위치 줌 아웃 비율에 대응하여 전자적 가상 디지털 영상 스케일링변환해서 줌동작을 하는 제 3-3 단계를 포함하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI 장치에 관한 것으로, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
Description
본 명세서에 개시된 내용은 기술혁신 개발사업에서 주식회사 케이티앤씨를 주관기관으로, 개발 시간 : 2013-06-01 ~ 2015-05-31(24개월) 동안 개발된 스마트 NUX 기반의 고해상도 광각보정 카메라 모듈과 영상통화 플랫폼 기술 개발 과제(과제번호 S2091405)와 관련된 발명이다. 구체적으로, 일실시예는 모니터링 영상을 제공하는 카메라 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
통상의 카메라 시스템은 일반 카메라를 사용할 경우에 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.
이러한 문제점을 해결하기 위하여, 기계적(mechanical) PTZ(Panning, Tilting, Zooming, 팬/틸트/줌)를 사용하여 카메라의 PTZ 동작을 수행하고, 기계적 PTZ에 의해 주시된 임의의 시점에서 촬상된 카메라 영상에 대하여 디지털 PTZ를 수행하는 기술에 대한 연구도 행해지고 있다(국내 공개특허공보 제10-2012-0012397호, 이하 '종래 기술').
그러나, 종래 기술에서는 기계적인 PTZ 제어에 의해 주시된 방향에서 촬상된 임의의 제한된 시점의 영상에 대하여 사용자별로 독립적인 영상을 마치 PTZ 효과가 있듯이 획득 관찰하는 방법으로, 기계적 PTZ 조작에 의해 얻어지는 PTZ뷰 영상을 각각 따로 따로 영상을 획득하므로 동시에 추출 가능한 영상의 전체 범위가 제한적이다.
그리고, 종래 기술에서는 다수의 사용자로부터 네트워크를 통해 영상 정보를 전송할 경우, 사용자로부터 요구되는 제어 범위가 제한적이다. 즉, 서로 다른 PTZ뷰 영상이 기계적 PTZ의 조작을 정반대로 진행할 경우 사용자가 희망하는 영역을 조작할 수 없게 되는 문제점이 있다.
또한, 종래 기술에서는 기계적 PTZ에 의해 촬영된 영상 영역에 대해서만 영상 정보가 저장되어, 사용자가들이 저장된 정보로부터 희망하는 영역을 변경하여 모니터링하는 것에 제한이 있다.
개시된 내용은, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공할 수 있도록 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 그 목적이 있다.
다른 목적은, 리모트 콘트롤러 유닛과 연동하여, ePTZ수행과 관련해서 사용자 편의성을 높일 수 있도록 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 있다.
특히, 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여, 이러한 원형 전방위 영상에 대해 가상의 ePTZ 수행하는 것으로 구체적으로는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여 이러한 촬영된 원형 전방위 영상 중에서 사용자 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ 수행해서 사용자는 넓은 영역을 전방위적으로 모니터링할 수 있도록 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI(Transport Video Interface) 장치를 제공하는데 있다.
실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 TVI 장치는,
원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세싱을 수행하고, 이러한 상기 영상 프로세싱은 a) 상기 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 b) 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, c) 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, d) 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점으로 시점 보정하고 e) 상기 해당 관심영역의 주시 시점으로 시점 보정된 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ를 수행하며, f) 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별로 맞는 모니터링 영상인 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공하고, 상기 해당 관심영역의 주시 시점으로 시점 보정된 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ를 수행하는 것(e))은, 상기 분리된 관심영역의 원형 전방위 영상을 사용자 키 조작에 따라 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 원형 전방위 영상의 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅에 관한 동작을 수행하고 틸트 값 별로 투명도y(알파y) 정보를 매핑한 틸팅 값과 투명도y(알파y) 간 매핑 정보를 설정 등록해서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y(알파y)에 따라 다수의 상이한 사용자 입력 틸트 값별로 각기 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환하고, 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행하며 줌 인 비율 별로 투명도x(알파x)를 매핑한 줌 인 비율과 투명도x(알파x) 간 매핑 정보를 설정 등록해서, 상기 줌 인 비율과 투명도x(알파x) 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x(알파x)에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행해서 동작하고, 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하는 것을 특징으로 한다.
일실시예는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여, 이러한 원형 전방위 영상에 대해 가상의 ePTZ 수행하는 것으로 구체적으로는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여 이러한 촬영된 원형 전방위 영상 중에서 사용자 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ 수행해서 사용자는 넓은 영역을 전방위적으로 모니터링한다.
이에 더해서 관심영역이 서로 다른 다수의 사용자는 자신 관심영역에 대해 넓은 영역을 전방위적으로 모니터링한다.
그리고, 초광각 카메라 모듈의 원형 전방위 영상을 가공하여 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행해서 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
즉, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없으나, 일실시예는 그 다른 사용자가 희망하는 영역의 모니터링을 한다.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있었고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있었으나, 일실시예는 사용자 관심영역의 주시 위치를 기준으로 보정하여 ePTZ를 수행함으로써, 넓은 영역을 전방위적으로 모니터링한다.
그리고, HD-TVI(High Definition Transport Video Interface) 이용하여 DVR에 저장하며, 비디오 영상은 Full HD(1280x720p, 1920x1080p)의 영상을 저장 및 가상적 PTZ을 수행하여 상시 녹화를 수행한다. 기존의 아날로그 케이블을 사용하여 300m(1000ft) 이상의 거리에서도 깨끗한 영상을 본다.
도 1은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치와 관련된 시스템의 구성을 도시한 도면
도 2는 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치의 구성을 도시한 도면
도 3은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면
도 4는 일실시예에 따른 ePTZ뷰 영상을 도시한 도면
도 5는 일실시예에 따른 ePTZ 수행 동작을 도시한 도면
도 6는 일실시예에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면
도 2는 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치의 구성을 도시한 도면
도 3은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면
도 4는 일실시예에 따른 ePTZ뷰 영상을 도시한 도면
도 5는 일실시예에 따른 ePTZ 수행 동작을 도시한 도면
도 6는 일실시예에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면
도 1은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치와 관련된 시스템의 구성을 도시한 도면이다. 그리고, 도 2는 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI(Transport Video Interface) 장치의 구성을 도시한 도면이다.
도 1과 도 2에 도시된 바와 같이, 일실시예에 따른 초광각 원형 전방위 영상을 촬상하는 영상 촬영부(101), 상기 영상 촬영부(101)의 촬상 동작을 제어하는 카메라 프로세서(102), 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 왜곡 보정부(103), 오디오 신호를 입력받아 처리하는 오디오 처리부(105), 상기 왜곡 보정부(103)에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부(104) 및, 상기 화면 재생정보를 표시 장치로 제공하는 인터페이스(106)를 포함한다.
상기 영상 촬영부(101)는 초광각 카메라 모듈이 구비된 것으로, 특정 영역의 전방위 영상을 촬영하여, 그 영역의 원형 360도 전방위 영상을 카메라 시스템으로 입력하는 것이다. 일실시예는 액추에이터와 같은 별도의 장치 없이, 초광각 카메라를 이용하여 촬영된 영상을 다수의 사용자가 희망하는 영역의 영상 지정하고, 시점을 보정하는 것에 의해, 가상적 ePTZ(Panning, Tilting, Zooming)를 수행할 수 있다.
카메라 프로세서(102)는 상기 초광각 카메라의 촬상 동작과 관련된 각종 제어 동작(예: 초광각 카메라의 촬상 개시 동작 등)을 수행하고, 그 촬상된 원형 360도 전방위 영상을 신호 처리하여 왜곡 보정부(103)로 전달한다.
왜곡 보정부(103)는 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛으로 된 것이다. 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상(360도 영상)을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점(즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, 이 경우 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정하여 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다(참고로, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다. 그리고, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있다. 또한, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.). 그리고, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다. 또한, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역(예를 들어, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있고, 이 경우 그 다수의 담당자별로 희망하는 관심영역이 됨)의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. 즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다. 한편, 일실시예는 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.
오디오 처리부(105)는 TVI 장치의 오디오 처리부(105)로, 입력된 음성 신호를 기지정된 프로토콜에 상응하여 오디오 신호 처리하여 비디오 처리부(104)로 전달한다.
비디오 처리부(104)는 왜곡 보정부(103)에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부(104) 및, 상기 화면 재생정보를 표시 장치로 제공하는 것이다(이는 종래 기술에 속하는 것으로, 그에 대한 상세한 설명을 생략한다).
인터페이스(106)는 비디오 처리부(104)로부터 제공된 화면 재생정보를 표시 장치(예: HD 모니터)와 인터페이스하여, 그 표시 장치로 출력한다. 예를 들어, 시리얼 디지털 인터페이스(SDI-TX)나, 트랜스포트 비디오 인터페이스(SDI-TX) 중 어느 하나를 사용한다.
한편, 일실시예는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템을 독립적으로 구현, 운용할 수 있다. 이를 경우 해당 카메라 시스템은 다음과 같이 구성된다.
즉, 일실시예에 따른 카메라 시스템은 초광각 카메라 모듈, 상기 초광각 카메라 모듈의 촬상 동작과 상기 카메라 시스템의 전체 신호 처리 동작을 제어, 운용하는 메인 제어부 및, 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛을 포함한다.
초광각 카메라 모듈은 특정 영역의 전방위 영상을 촬영하여, 그 영역의 원형 360도 전방위 영상을 카메라 시스템으로 입력하는 것이다. 일실시예는 액추에이터와 같은 별도의 장치 없이, 초광각 카메라를 이용하여 촬영된 영상을 다수의 사용자가 희망하는 영역의 영상 지정하고, 시점을 보정하는 것에 의해, 가상적 ePTZ(Panning, Tilting, Zooming)를 수행할 수 있다.
메인 제어부는 카메라 시스템의 메인 제어부이다. 즉, 상기 초광각 카메라 모듈의 촬상 동작을 제어하고, 카메라 시스템과 관련된 전체 신호 처리를 관리 운용하는 카메라 시스템의 메인 제어부이다(이는 종래 기술에 속하는 것으로, 그에 대한 상세한 설명은 생략한다.).
영상 프로세스 유닛(또는, 엔진)은 상기 메인 제어부의 제어하에, 상기 초광각 카메라 모듈의 원형 전방위 영상을 기반으로 지정된 사용자 관심영역의 영상 각각에 대해 독립적으로 ePTZ(Panning, Tilting, Zooming)를 수행하는 관심영역별 독립처리 기반형의 영상 프로세스 유닛으로 된 것이다. 상기 영상 프로세스 유닛은 상기 초광각 카메라 모듈의 원형 전방위 영상(360도 영상)을 입력받아 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 상기 관심영역에 상응하는 원형 전방위 영상을 분리하며, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주시 시점(즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, 이 경우 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다(참고로, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없다. 그리고, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있다. 또한, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있다.). 그리고, 상기 영상 프로세스 유닛은 상기 분리된 관심영역의 원형 전방위 영상을 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환하고, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다. 또한, 상기 영상 프로세스 유닛은 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역(예를 들어, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있고, 이 경우 그 다수의 담당자별로 희망하는 관심영역이 됨)의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다. 즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다. 한편, 일실시예는 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
리모트 콘트롤러 유닛(RCU)은 상기 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)를 구비한다. 그리고, 사용자 키 누름시 해당 ePTZ 명령을 식별시켜주는 RCU 기반의 코드 값 즉, 본 식별 RCU 코드 값을 카메라 시스템으로 전송한다.
도 3은 일실시예에 따른 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 동작을 순서대로 도시한 도면이다.
도 3에 도시된 바와 같이, 먼저 일실시예에 따른 카메라 시스템은 초광각 카메라 모듈의 원형 전방위 영상을 입력받아(S301) 미리 설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고(S304), 상기 관심영역에 상응하는 원형 전방위 영상을 분리한다(이 경우, 디폴트 관심영역이 설정된 경우, 그 기설정된 디폴트 관심영역 정보에 따라 설정 개수만큼 원형 전방위 영상을 분할하여 분리한다.)(S302, S305).
다음, 상기 분리된 관심영역의 원형 전방위 영상을 해당 관심영역의 주 시 시점으로 시점 보정하고 가상의 ePTZ를 수행하며(S303), 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
즉, 초광각 카메라 모듈의 주시 시점을 해당 사용자 관심영역의 주시 시점, (이 경우, 사용자 관심영역의 주시 시점은 예를 들어, 사용자 관심위치를 기준으로 설정 영역만큼 분리된 관심영역의 영상의 중앙(center) 위치 좌표값으로 정해짐)으로 시점 보정하고 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
예를 들어, 상기 분리된 관심영역의 원형 전방위 영상을 리모트 콘트롤러 유닛으로부터 팬(P : Panning) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 각 영상좌표를 전자적 가상 회전이동 디지털 변환한다. 그리고, 리모트 콘트롤러 유닛으로부터 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 각 영상좌표를 전자적 가상 상하이동 디지털 변환한다. 또한, 줌(Z : Zooming) 명령을 입력받은 경우, 사용자 지정위치를 기준으로 지정된 줌 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행하며, 상기 가상의 ePTZ 처리된 사용자 관심영역의 원형 전방위 영상을 광각 보정해서 대응되는 파노라마 평면영상으로 변환해서, 다수의 사용자 관심영역별 맞춤형 모니터링 영상을 제공한다.
보다 상세하게는, 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여, 이러한 원형 전방위 영상에 대해 가상의 ePTZ 수행하는 것으로 구체적으로는 사용자가 모니터링할 영역을 원형 전방위 영상으로 촬영하여 이러한 촬영된 원형 전방위 영상 중에서 사용자 관심영역의 원형 전방위 영상에 대해 가상의 ePTZ 수행해서 사용자는 넓은 영역을 전방위적으로 모니터링하는 것이다. 구체적인 동작은, 상기 분리된 관심영역의 원형 전방위 영상을 사용자 키 조작에 따라 팬(P : Panning) 명령 입력받은 경우 상기 분리된 관심영역의 원형 전방위 영상의 중앙(center) 위치 기준으로 원형 전방위 영상의 각 영상좌표를 전자적 가상 회전이동 디지털 변환하고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 상기 분리된 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 원형 영상의 특징을 고려하여 즉, 일반적인 평면 영상과는 달리 입체적인 원형 영상을 틸팅할 수 있도록, 이러한 입체적인 원형 영상에 맞는 투명도y(알파y)로 틸팅하는데, 구체적으로는 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅에 관한 동작을 수행하고 틸트 값 별로 투명도y(알파y) 정보를 매핑한 틸팅 값과 투명도y(알파y) 간 매핑 정보를 설정 등록해서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y(알파y)에 따라 다수의 상이한 사용자 입력 틸트 값별로 각기 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환하고, 즉, 원형 전방위 영상에 대해 틸팅하며, 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행하며 줌 인 비율 별로 투명도x(알파x)를 매핑한 줌 인 비율과 투명도x(알파x) 간 매핑 정보를 설정 등록해서, 상기 줌 인 비율과 투명도x(알파x) 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x(알파x)에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행해서 동작하고 즉, 원형 전방위 영상에 대해 줌 인하며, 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환하여 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다.
그래서, 일반 카메라를 사용할 경우에는, 하나의 사용자가 하나의 영역을 지정하게 되면, 카메라는 그 영역만을 촬영하게 되어, 다른 영역을 모니터링 하기를 희망하는 다른 사용자가 희망하는 영역의 모니터링을 할 수 없으나, 일실시예는 그 다른 사용자가 희망하는 영역의 모니터링을 한다.
또한, 기존의 PTZ 카메라는 액추에이터의 구동에 의해 원하는 영상을 획득함에 따라 PTZ 카메라의 주시 방향을 제외한 방향의 촬영이 불가능한 문제점이 있었고, 카메라의 영상을 확인하는 사용자나 저장 장치 역시 주시 방향을 벗어난 넓은 사각 지대가 있었으나, 일실시예는 사용자 관심영역의 주시 위치를 기준으로 보정하여 ePTZ를 수행함으로써, 넓은 영역을 전방위적으로 모니터링한다.
한편, 일실시예는 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 사용자가 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다.
구체적으로, 특정 장소나 영역을 모니터링하는 담당자별로 희망하는 관심영역이 다를 수 있는데, 일실시예는 이 경우, 미리 저장된 초광각 카메라 모듈의 원형 전방위 영상을 그 다수의 담당자별로 희망하는 관심영역의 원형 전방위 영상으로 변경하여, 상기 변경된 영상에 대해서도 해당 관심영역의 주시 시점으로 시점 보정하고 가상적 ePTZ를 독립적으로 수행한다.
즉, 기저장된 원형 전방위 영상을 임의의 사용자 관심 영역의 영상으로 변경하여, 상기 변경된 영상에 대해서도 가상적 ePTZ를 독립적으로 수행한다.
또한, 일실시예는 특히, ePTZ 명령 입력을 위해 특화된 리모트 콘트롤러 유닛(RCU)(기존의 카메라 시스템은 '조이스틱')을 이용한다. 이를 위해, 각 ePTZ 명령별로 상응하고 해당 ePTZ 명령의 기지정된 식별 RCU(Remote Control Unit) 코드 값을 전송하는 키(key)(예: "상" 이동 키는 틸트 업(Tilt up), "좌" 이동 키는 팬 레프트(Pan Left), ... )를 구비한 리모트 콘트롤러 유닛과 연동하도록, 상기 영상 프로세스 유닛은 상기 리모트 콘트롤러 유닛과 연동하는 각 ePTZ 명령별 식별 RCU 코드 값 정보를 기등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 각 ePTZ 명령별 식별 RCU 코드 값 기반으로, ePTZ를 수행한다.
도 4는 일실시예에 따른 ePTZ뷰 영상을 도시한 도면이다.
도 4에 도시된 바와 같이, 일실시예는 초광각 카메라 모듈의 원형 전방위 영상을 입력받아 기설정된 디폴트 관심영역이나 또는, 사용자 관심영역을 지정하고, 그 관심영역에 상응하는 원형 전방위 영상을 분리하는데, 도 4는 디폴트 관심영역(즉, 모니터링하고자 하는 관심영역)이 3개로 설정된 것을 예로 든 경우이다. 그렇게 하여, 그 기설정된 디폴트 관심영역 정보에 따라 설정 개수만큼 원형 전방위 영상을 분할하여 분리한다.
도 5는 일실시예에 따른 ePTZ 수행 동작을 도시한 도면이다.
도 5에 도시된 바와 같이, 일실시예는 리모트 콘트롤러 유닛에서 사용자 키 조작에 따라 팬 명령 입력받은 경우 관심영역의 원형 전방위 영상의 중앙 위치 기준으로 원형 전방위 영상의 각 영상좌표를 전자적 가상 회전이동 디지털 변환한다.
그리고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅동작을 한다.
또한, 틸트 값 별로 투명도y 정보를 매핑한 틸팅 값과 투명도y 간 매핑 정보를 미리 설정 등록한다. 그래서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y에 따라 다수의 상이한 사용자 입력 틸트 값별로 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환한다.
그리고, 또한 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행한다.
이에 더하여, 줌 인 비율 별로 투명도x를 매핑한 줌 인 비율과 투명도x 간 매핑 정보를 설정 등록한다. 그래서, 상기 줌 인 비율과 투명도x 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행한다.
또한, 이에 더하여 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환한다.
따라서, 이를 통해 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다.
그리고, 사용자 키 조작에 따라 틸트(T : Tilting) 명령 입력받은 경우, 관심영역의 원형 전방위 영상의 중앙 위치를 기준으로 원형 전방위 영상의 각 영상좌표를 투명도y(알파y) 기반으로 투명도 y축 성분의 투명도에 따라 틸팅동작을 한다.
또한, 틸트 값 별로 투명도y 정보를 매핑한 틸팅 값과 투명도y 간 매핑 정보를 미리 설정 등록한다. 그래서, 상기 틸팅 값과 투명도y 간 매핑 정보에 따라 사용자 입력 틸트 명령에 따른 틸트 값에 대응하는 투명도y에 따라 다수의 상이한 사용자 입력 틸트 값별로 틸팅에 관한 동작을 수행해서 전자적 가상 상하이동 디지털 변환한다.
그리고, 또한 사용자 키 조작에 따라 줌(Z : Zooming) 명령을 입력받은 경우, 상기 입력된 줌 명령이 줌 인 명령인 경우에 투명도x(알파x)를 줌비율로 투명도 x축 성분의 투명도에 따라 줌 인에 관한 동작을 수행한다.
이에 더하여, 줌 인 비율 별로 투명도x를 매핑한 줌 인 비율과 투명도x 간 매핑 정보를 설정 등록한다. 그래서, 상기 줌 인 비율과 투명도x 간 매핑 정보에 따라 사용자 입력 줌 인 명령에 따른 줌 인 비율에 대응하는 투명도x에 따라 다수의 상이한 사용자 입력 줌 인 비율별로 각기 줌 인에 관한 동작을 수행한다.
또한, 이에 더하여 상기 입력된 명령이 줌 아웃 명령인 경우에 설정 줌 아웃->틸트->팬 순서로 순차 동작하여 사용자 지정위치를 기준으로 지정된 줌 아웃 비율에 상응하여 전자적 가상 디지털 영상 스케일링변환한다.
따라서, 이를 통해 사용자 관심영역의 원형 전방위 영상 각각에 대해 독립적으로 가상의 ePTZ를 수행한다.
도 6는 일실시예에 따른 파노라마 평면영상으로 변환하는 동작을 도시한 도면이다.
도 6에 도시된 바와 같이, 일실시예는 초광각 카메라 모듈의 오리지널 원형 영상 즉, 특정 영역의 360도 전방위를 촬영한 오리지널 원형 영상을 광각 보정해서 대응되는 파노라마 평면영상(예: 360도 파노라마 평면영상이나 또는, 180도 파노라마 평면영상)으로 변환해서 모니터링 영상으로 제공한다.
일실시예의 보정 방법은, 회전변환 방식 및 원근 보정 방식을 예로 들 수 있다. 원근 보정 방식은 원근감에 의해 영상이 한 점이나 한 위치를 기준으로 멀수록 줄어드는 부분을 보완 영상의 Y축을 기준으로 원근 보정을 진행하면 PTZ의 틸팅 효과를 줄 수 있다. 원근 보정 방식 중, 소실점(Vanishing Point) 방식은 소실점 영상의 원근감에 의해 멀어질수록 사물이 축소되며, 무한대의 거리를 가정하는 방식이다.
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 영상 촬영부 102 : 카메라 프로세서
103 : 왜곡 보정부 104 : 비디오 처리부
105 : 오디오 처리부 106 : 인터페이스
101 : 영상 촬영부 102 : 카메라 프로세서
103 : 왜곡 보정부 104 : 비디오 처리부
105 : 오디오 처리부 106 : 인터페이스
Claims (8)
- 사용자가 감시하도록 미리 설정된 영역의 원형 전방위 영상을 촬상하는 제 1 단계;
상기 원형 전방위 영상을 미리 설정된 관심영역에 대응하여 분리하는 제 2 단계;
상기 관심영역에 대응하여 주시시점을 보정해서 가상ePTZ하는 제 3 단계; 및
상기 가상ePTZ를 광각보정해서 대응되는 파노라마 평면영상을 다수의 상이한 사용자 관심영역별로 제공하는 제 4 단계를 포함하되,
상기 제 3 단계는,
상기 가상ePTZ시에, 미리 설정된 중앙 위치에 따라 전자적 가상 회전이동 디지털변환해서 팬동작을 하는 제 3-1 단계;
다수의 상이한 틸트 값별로 매칭된 원형 전방위 영상의 투명도 y축 성분의 투명도에 의해 전자적 가상 상하이동 디지털변환해서 틸팅동작을 하는 제 3-2 단계; 및
다수의 상이한 줌 인 비율로 매칭된 원형 전방위 영상의 투명도 x축 성분의 투명도에 의해 줌 인을 하고, 미리 설정된 줌 아웃->틸트->팬 순서로 동작해서 미리 설정된 지정위치 줌 아웃 비율에 대응하여 전자적 가상 디지털 영상 스케일링변환해서 줌동작을 하는 제 3-3 단계를 포함하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법. - 제 1 항에 있어서,
상기 제 3 단계 전에,
상기 ePTZ의 명령별로 대응하여 원격 제어 코드 값을 전송하는 키를 구비한 리모트 콘트롤러 유닛의 ePTZ의 명령별로 대응하여 원격 제어 코드 값 정보를 미리 등록하는 제 2' 단계를 포함해서,
상기 제 3 단계가
상기 리모트 콘트롤러 유닛으로부터 입력받은 ePTZ의 명령별 원격 제어 코드 값에 따라 ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 제 3 단계는
상기 원형 전방위 영상을 사용자 관심영역에 대응하여 변경하고 주시 시점을 보정해서 가상ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법. - 초광각 원형 전방위 영상을 촬상하는 영상 촬영부;
상기 영상 촬영부의 촬상 동작을 제어하는 카메라 프로세서;
상기 영상 촬영부의 원형 전방위 영상을 적용해서 사용자 관심영역별로 영상을 각기 ePTZ해서 제공하는 왜곡 보정부;
오디오 신호를 입력받아 처리하는 오디오 처리부;
상기 왜곡 보정부에 의해 보정된 영상을 오디오 신호와 합성하여 화면재생 정보를 생성하는 비디오 처리부; 및
상기 화면 재생정보를 표시 장치로 제공하는 인터페이스를 포함하되,
상기 왜곡 보정부는,
상기 원형 전방위 영상을 미리 설정된 관심영역에 대응하여 분리하고,
상기 관심영역에 대응하여 주시시점을 보정해서 가상ePTZ하고,
상기 가상ePTZ를 광각보정해서 대응되는 파노라마 평면영상을 다수의 상이한 사용자 관심영역별로 제공하되,
상기 가상 ePTZ시에, 미리 설정된 중앙 위치에 따라 전자적 가상 회전이동 디지털변환해서 팬동작을 하고,
다수의 상이한 틸트 값별로 매칭된 원형 전방위 영상의 투명도 y축 성분의 투명도에 의해 전자적 가상 상하이동 디지털변환해서 틸팅동작을 하고,
다수의 상이한 줌 인 비율로 매칭된 원형 전방위 영상의 투명도 x축 성분의 투명도에 의해 줌 인을 하고, 미리 설정된 줌 아웃->틸트->팬 순서로 동작하여 미리 설정된 지정위치에 따라 줌 아웃 비율에 대응하여 전자적 가상 디지털 영상 스케일링변환해서 줌동작을 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치. - 제 4 항에 있어서,
상기 ePTZ의 명령별로 대응하여 원격 제어 코드 값을 전송하는 키를 구비한 리모트 콘트롤러 유닛을 포함하고,
상기 왜곡 보정부는,
상기 리모트 콘트롤러 유닛의 ePTZ의 명령별로 대응하여 원격 제어 코드 값 정보를 미리 등록하고, 상기 리모트 콘트롤러 유닛으로부터 입력받은 ePTZ의 명령별 원격 제어 코드 값에 따라 ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치. - 제 4 항에 있어서,
상기 왜곡 보정부는
상기 원형 전방위 영상을 사용자 관심영역에 대응하여 변경하고 주시 시점을 보정해서 가상ePTZ를 하는 것을 특징으로 하는 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템이 적용된 TVI 장치.
- 삭제
- 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20150103743 | 2015-07-22 | ||
| KR1020150103743 | 2015-07-22 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150107573A Division KR20170011928A (ko) | 2015-07-22 | 2015-07-29 | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170055455A KR20170055455A (ko) | 2017-05-19 |
| KR102009988B1 true KR102009988B1 (ko) | 2019-08-12 |
Family
ID=58154073
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150107573A KR20170011928A (ko) | 2015-07-22 | 2015-07-29 | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 |
| KR1020170056501A KR102009988B1 (ko) | 2015-07-22 | 2017-05-02 | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150107573A KR20170011928A (ko) | 2015-07-22 | 2015-07-29 | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20170011928A (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111385476A (zh) * | 2020-03-16 | 2020-07-07 | 浙江大华技术股份有限公司 | 一种拍照设备拍摄位置的调整方法及装置 |
| WO2023013328A1 (en) * | 2021-08-06 | 2023-02-09 | Nec Corporation | Method, apparatus, and system for monitoring motion in video stream |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100699087B1 (ko) | 2005-12-23 | 2007-03-23 | 티오엠테크놀로지 주식회사 | 동적 ｐｔｚ 프로토콜 관리가 가능한 ｐｔｚ 제어 방법 및장치 |
| JP2008131185A (ja) | 2006-11-17 | 2008-06-05 | Canon Inc | ネットワークカメラシステム及び配信方法 |
| JP2009071592A (ja) | 2007-09-13 | 2009-04-02 | Fujifilm Corp | 撮像装置及び撮像制御方法 |
| KR101207985B1 (ko) | 2011-07-01 | 2012-12-04 | 서울과학기술대학교 산학협력단 | 스마트폰의 3ｄ 터치 위치값에 따른 ｐｔｚ 카메라의 위치?영상 제어 장치 및 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080055423A (ko) * | 2006-12-15 | 2008-06-19 | 주식회사 케이티 | 실시간 인터넷 프로토콜 기반의 감시 시스템에서 범용인터페이스를 이용한 카메라의 제어 방법 및 장치 |
-
2015
- 2015-07-29 KR KR1020150107573A patent/KR20170011928A/ko active Application Filing
-
2017
- 2017-05-02 KR KR1020170056501A patent/KR102009988B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100699087B1 (ko) | 2005-12-23 | 2007-03-23 | 티오엠테크놀로지 주식회사 | 동적 ｐｔｚ 프로토콜 관리가 가능한 ｐｔｚ 제어 방법 및장치 |
| JP2008131185A (ja) | 2006-11-17 | 2008-06-05 | Canon Inc | ネットワークカメラシステム及び配信方法 |
| JP2009071592A (ja) | 2007-09-13 | 2009-04-02 | Fujifilm Corp | 撮像装置及び撮像制御方法 |
| KR101207985B1 (ko) | 2011-07-01 | 2012-12-04 | 서울과학기술대학교 산학협력단 | 스마트폰의 3ｄ 터치 위치값에 따른 ｐｔｚ 카메라의 위치?영상 제어 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170011928A (ko) | 2017-02-02 |
| KR20170055455A (ko) | 2017-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101662074B1 (ko) | 제어 장치, 카메라 시스템 및 기록 매체 | |
| JP3792901B2 (ja) | カメラ制御システム及びその制御方法 | |
| JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
| US6977676B1 (en) | Camera control system | |
| US9313400B2 (en) | Linking-up photographing system and control method for linked-up cameras thereof | |
| US20120092529A1 (en) | Method for processing an image and an image photographing apparatus applying the same | |
| US20040179121A1 (en) | System and method for displaying captured images according to imaging device position | |
| KR20050051575A (ko) | 촬영 장치와 그 방법, 감시 시스템, 프로그램 및 기록 매체 | |
| KR20110108265A (ko) | 제어 장치, 카메라 시스템 및 프로그램 | |
| JP4378636B2 (ja) | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| JP2007295335A (ja) | カメラ装置および画像記録再生方法 | |
| KR101778744B1 (ko) | 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템 | |
| JP2006245793A (ja) | 撮像システム | |
| KR20120108747A (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
| KR101718081B1 (ko) | 손 제스처 인식용 초광각 카메라 시스템 및 그가 적용된 TVI(Transport Video Interface) 장치 | |
| KR20180129667A (ko) | 표시 제어 장치, 표시 제어 방법 및 저장 매체 | |
| WO2007119712A1 (ja) | カメラ装置、画像処理装置および画像処理方法 | |
| US11140327B2 (en) | Image-capturing device and method for operating image-capturing system of two cameras | |
| US8436919B2 (en) | Photographing method of generating image of traced moving path and photographing apparatus using the photographing method | |
| KR102009988B1 (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 | |
| JP2010034652A (ja) | 多方位カメラ搭載型携帯端末装置 | |
| JP2000341574A (ja) | カメラ装置及びカメラ制御システム | |
| JP2005175970A (ja) | 撮像システム | |
| US20230129908A1 (en) | Method and system for transmitting a video stream | |
| JP2019032448A (ja) | 制御装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |