KR101747180B1 - 자동 비디오 감시 시스템 및 방법 - Google Patents
자동 비디오 감시 시스템 및 방법 Download PDFInfo
- Publication number
- KR101747180B1 KR101747180B1 KR1020177003254A KR20177003254A KR101747180B1 KR 101747180 B1 KR101747180 B1 KR 101747180B1 KR 1020177003254 A KR1020177003254 A KR 1020177003254A KR 20177003254 A KR20177003254 A KR 20177003254A KR 101747180 B1 KR101747180 B1 KR 101747180B1
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- video camera
- video
- scene
- imaging device
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
- G08B13/1965—Systems specially adapted for intrusion detection in or around a vehicle the vehicle being an aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
비디오 영상 장치를 사용하여 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역의 자동 감시 장치 및 방법이 개시된다. 자동 감시 방법은 상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징을 규정하는 데이터를 수신하는 단계, 상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하는 단계, 상기 선택된 관심 영역을 자동으로 스캔하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하고, 검출 시, 경보를 발령하는 단계, 및 상기 하나 또는 그 이상의 관심 영역이 하나 또는 그 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하는 단계를 반복하고 상기 관심 영역의 자동 결정된 관측 순서를 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특성을 검출 시, 각각의 관심 영역에 대한 경보를 발령하는 단계를 포함한다.
Description
본 발명은 비디오 감시에 관한 것이다. 특히, 본 발명은 자동 비디오 감시 시스템 및 방법에 관한 것이다.
확장된 구역을 모니터링하거나 정찰 데이터를 확보하기 위해, 비디오 영상 장치(이하, 비디오 카메라라고 한다)가 승강식 슬랫폼 상에 장착될 수 있다. 플랫폼은 비디오 카메라가 장착될 수 있는, 파일럿 탑승 항공기, 무인 항공기(UAV), 자유-비행선, 줄에 묶인 풍선, 타워, 또는 기타 승강식 플랫폼일 수 있다. 지형학적 또는 기타 조건이 허용하는 경우, 플랫폼은 승강되지 않는 유인 또는 무인 지상 차량, 보트, 또는 기타 형태의 플랫폼이 될 수 있다. 비디오 카메라는 예를 들면, 일련의 연속 프레임을 기록하는 비디오 카메라 또는 일정한 간격의 개별 프레임을 기록하는 비디오 카메라와 같은 연속 또는 분절 비디오 공급을 제공할 수 있는 모든 영상 장치일 수 있다. 비디오 카메라는 가시광, 적외선, 또는 기타 스펙트럼 범위 내의 방사선에 의해 형성되는 이미지를 획득할 수 있다. 비디오 카메라는 획득한 이미지 데이터를 원격 또는 국부 수신기 및 디스플레이로 전송할 수 있다.
모든 주어진 순간에, 비디오 카메라는 비디오 카메라의 시야(FOV)에 들어오는 모니터링되는 구역 내의 장면의 이미지를 획득할 수 있다. 비디오 카메라는 그 장면에서의 포인팅으로서 설명된다. 비디오 카메라 FOV는 비디오 카메라 구조 및 그의 렌즈의 특성에 의해 제한된다. 모니터링되는 구역 내의 각각 다른 장면의 이미지를 획득하기 위해, 비디오 카메라는 각각 다른 장면에서의 포인트를 지정하기 위해 재-배향된다. 각각 다른 장면은 그 후 비디오 카메라 FOV 내에 들어간다. 이 때문에, 비디오 카메라는 넓은 범위의 방향으로의 배치를 허용하는 방식으로 장착된다. 비디오 카메라의 방향은 종종 그의 팬(pan) 및 경사 각도, 또는 그의 시선(LOS)의 방향에 의해 규정된다.
원격지에서의 비디오 카메라 작업자는 원격-제어 콘솔에 의해 비디오 카메라를 작동한다. 선택적으로, 비디오 카메라는 자동화 시스템에 이해 작동될 수 있다. 비디오 카메라 작업자는 또한 원격-제어 콘솔과 관련되는 디스플레이에서 비디오 카메라 이미지 출력을 관측한다. 일반적으로, 비디오 카메라 작업자는 모니터링을 필요로 하는 다양한 장면에서 비디오 카메라의 포인트를 정한다. 이러한 영역의 예는 길, 경계선, 사업장 주변 구역, 숲 지역 및 기타 관심 지역을 포함한다. 비디오 카메라 작업자는 이들 장면을 모니터링하도록 비디오 카메라 출력 이미지를 관측한다. 장면을 모니터링하는 동안, 비디오 카메라 작업자는 더욱 주의를 필요로 하는 장면의 출력 이미지의 특징을 확인할 수 있다. 비디오 카메라 작업자는 또한 특정 타입의 특징이 추가의 주의를 필요로 하는 구역과 이러한 특징이 관심을 끌지 못하는 각각 다른 구역 사이를 구별할 수 있다. 예를 들면, 경계선에 인접한 또는 야간에 인접한 사업장의 주차장 내에서의 차량 통행은 더욱 주의를 필요로 하는 반면, 도시간 도로에서의 차량 통행은 그렇지 않을 수 있다. 최고 속도 한계를 갖는 도로 상에서의 고속으로의 차량 이동은 더욱 주의를 필요로 하지만, 각각 다른 속도 한계를 갖는 도로 상에서의 유사한 속도로의 차량 이동은 그렇지 않을 수 있다. 마찬가지로, 숲 지역에서의 또는 넓은 지역을 포괄하는 화재는 더욱 주의를 필요로 하지만, 지정된 캠핑장 내의 좁은 구역을 포괄하는 화재는 그렇지 않을 수 있다. 특징부에 대한 추가의 주의는 연장된 기간 동안의 특징부에 비디오 카메라의 포인트를 정하거나 인접한 범위로부터 특징부를 관측하도록 관측자를 보냄으로써 원격 비디오 카메라를 통한 특징부의 추가 시험을 포함할 수 있다.
일반적으로, 비디오 감시 시스템을 작동하는 것은 지루하며 눈이 피로한 작업이다. 비디오 카메라를 작동하는 경우, 인간 작업자는 관심 대상을 계속해서 찾고, 긴 시간 동안 모니터를 응시해야만 한다. 작업자는 종종 디스플레이 내의 특징부를 찾아서 비디오 카메라가 정말로 의도하는 장면 또는 관심 영역을 겨냥하고 있는지 확인하여야 한다. 일반적으로, 분명하고 확실한 가시적 단서가 없는 경우, 이러한 확인은 지루하며 사간이 많이 걸릴 수 있다.
모니터링되는 구역이 비디오 카메라의 FOV보다 훨씬 큰 경우, 작업자는 모니터링되는 구역 내의 다양한 위치에서 비디오 카메라의 LOS를 재-배향하고 포인트를 지정하여야 한다. 이들 위치는 모니터링되는 전체 구역을 포괄할 수 있거나, 별개의 격리된 관심 영역을 포함할 수 있다.
선택적으로, 비디오 카메라 포인팅은 자동화 시스템에 의해 제어될 수 있다. 자동화 비디오 카메라 포인팅 시스템은 일반적으로 단순하며 반복적인 이동을 기반으로 한다. 예를 들면, 푸시브룸(pushbroom) 시스템에 있어서, 비디오 카메라는 고정 방향으로 지정되며, 이때, 플랫폼의 이동은 비디오 카메라의 시야(FOV)가 플랫폼의 이동 방향과 평행한 모니터링되는 구역을 가로질러 스캔하도록 한다. 스위핑(sweeping) 시스템에 있어서, 비디오 카메라는 주기적으로 옆으로 회전하게 되어, 플랫폼의 이동 방향을 측방향으로 가로질러 전체를 포괄한다. 이러한 자동화 시스템에 따라, 비디오 카메라 FOV에 의한 모니터링되는 구역의 포괄은 구역을 포괄하는 필요 또는 관심과 관련되지 않는다. 그에 따라, 이러한 시스템의 사용은 관심이 적거나 없는 모니터링 영역의 대부분을 소비함으로써 시간의 불충분한 사용을 초래할 수 있다.
유사하거나 반복되는 장면의 계속되는 모니터링은 인간 작업자에게는 지루하고 단순한 작업이 되게 된다. 일반적으로, 더욱 주의를 필요로 하는 특징부는 상대적으로 흔하지 않아서, 장면의 모니터링이 일정 기간 후 작업자의 주의를 끌지 못할 수도 있다. 작업자는 피로하게 되어 덜 경계하게 되고, 그 결과, 모니터링이 요구되는 장면에 카메라의 포인트를 정하지 못하게 될 수 있다. 피로한 작업자는 더욱 주의를 요하는 특징부를 식별하지 못할 수도 있다. 게다가, 복잡한 장면 또는 간헐적으로 보여지는 장면의 이미지에 있어서, 작업자는 더욱 주의를 요할 수도 있는 느리거나 점차적으로 움직이거나 순간적인 변화 또는 작은 변화를 검출하는데 어려움을 겪을 수 있다. 더욱이, 스캐닝 작업이 통상 몇몇 혼란스런 장면을 모니터링하는 것을 포함함에 따라, 작업자는 또한, 사전-규정된 재방문 스케줄을 따르는 모든 요구되는 위치를 모니터링하기 위해, 스캐닝 작업을 관리하고 장면에서 장면으로 비디오 카메라의 LOS을 재-배향하도록 요구된다. 작업자의 피로가 증가함에 따라, 효율적인 방식으로 충분하게 모든 각각 다른 구역을 모니터링하는 그의 능력은 시간이 가면서 감소한다.
그에 따라, 원격 모니터링 프로세스를 자동화하고, 관심 영역에서 비디오 카메라의 LOS를 자동으로 효과적으로 포인팅하고, 더욱 주의를 요하는 모니터링되는 구역 내의 이들 특징을 찾고 검출하도록 작업자를 보조하는 시스템이 필요하게 된다.
본 발명의 목적은 UAV 또는 기타 플랫폼 상에 장착되는 비디오 카메라의 포인팅을 자동화함으로써 비디오 카메라 작업자를 보조할 수 있는 자동 감시 시스템 및 방법을 제공하는 데 있다. 본 발명의 다른 목적은 더욱 주의를 요하는 비디오 카메라 출력 내의 특징부의 검출을 자동화함으로써 작업자를 보조하는 데 있다.
본 발명의 다른 목적 및 장점은 명세서을 판독하고 및 첨부 도면을 참조한 후 더욱 명료하게 될 것이다.
본 발명의 몇몇 실시예에 따르면, 비디오 영상 장치를 사용하여 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역을 자동 감시하는 방법을 제공하는바, 본 방법은,
상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징을 규정하는 데이터를 수신하는 단계;
상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하는 단계;
상기 선택된 관심 영역을 자동으로 스캔하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하고, 검출 시, 경보를 발령하는 단계; 및
상기 하나 또는 그 이상의 관심 영역이 하나 또는 그 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하는 단계를 반복하고 상기 관심 영역의 자동 결정된 관측 순서를 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특성을 검출 시, 각각의 관심 영역에 대한 경보를 발령하는 단계를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 소정의 관측 순서가 최적화된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 비디오 카메라를 포함하고 있다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 영역의 상기 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 관심 영역을 자동으로 스캔하는 단계는 비디오 이동 검출을 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 적어도 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 검출 영역을 자동으로 스캔하는 단계는 상기 관심 영역의 스티치 이미지를 구성하는 단계를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 적어도 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 군으로부터 선택된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 이미지 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 군으로부터 선택되는 것이다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 승강식 플랫폼 상에 장착된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 선택된 관심 영역을 자동으로 스캔하는 단계는 상기 플랫폼 상에서 수행되는 것이다.
또한, 본 발명의 몇몇 실시예에 따르면, 하나 또는 그 이상의 관심 영역을 갖는 모니터링되는 구역의 자동 감시 장치를 제공하는바, 상기 장치는,
비디오 영상 장치;
상기 비디오 영상 장치를 포인트 지정하도록 적용된 플랫폼; 및
상기 하나 또는 그 이상의 관심 영역 및 관심 영역의 하나 또는 그 이상의 특징의 위치 데이터를 수신하고, 상기 하나 또는 그 이상의 관심 영역으로부터 선택되는 관심 영역에서 상기 영상 장치의 시선을 포인트 지정하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하도록 상기 선택된 관심 대상을 자동으로 스캔하고 검출 시 경보를 발령하고, 상기 하나 또는 그 이상의 관심 영역이 하나 이상의 관심 영역을 포함하는 경우, 상기 영상 장치의 시선을 포인트 지정하고 상기 관심 영역의 자동으로 결정된 관측 순서대로 자동으로 스캔하고, 상기 관심 대상의 상기 하나 또는 그 이상의 특징의 검출 시 각각의 상기 관심 대상에 대해 경보를 발령하도록 구성되는 프로세서를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 소정의 관측 순서가 최적화된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 비디오 카메라를 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 프로세서는 비디오 이동 검출을 사용하여 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되어 있다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 프로세서는 상기 관심 영역의 스티치 이미지를 구성하도록 적용되어 있다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 군으로부터 선택된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 이미지 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 군으로부터 선택된다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 영상 장치는 승강식 플랫폼 상에 장착되는 것이다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함한다.
또한, 본 발명의 몇몇 실시예에 따르면, 상기 관심 대상의 상기 하나 또는 그 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되는 상기 프로세서의 구성요소는 상기 플랫폼 상에 장착된다.
본 발명과 그것의 실용적 용도를 더욱 잘 이해하기 위해서, 하기 도면들을 제공하며, 이하에서 참조한다. 도면들은 예시 목적으로만 주어지는 것이며, 어떠한 방식으로도 본 발명의 범위를 제한하여서는 안 된다. 유사한 구성요소들은 유사한 참조 번호들로 나타내어진다.
도 1은 본 발명의 실시예들에 따른 자동 비디오 감시 시스템에 대한 개략도이다.
도 2는 본 발명의 실시예들에 따른 자동 비디오 감시 시스템에 대한 블록 다이아그램이다.
도 3은 비디오 카메라의 시야에 의해 커버되는 영역보다 큰, 모니터링된 지리적 영역에 대한 개략도이다.
도 4는 본 발명의 실시예들에 따른 자동 비디오 감시 방법의 순서도이다.
도 1은 본 발명의 실시예들에 따른 자동 비디오 감시 시스템에 대한 개략도이다.
도 2는 본 발명의 실시예들에 따른 자동 비디오 감시 시스템에 대한 블록 다이아그램이다.
도 3은 비디오 카메라의 시야에 의해 커버되는 영역보다 큰, 모니터링된 지리적 영역에 대한 개략도이다.
도 4는 본 발명의 실시예들에 따른 자동 비디오 감시 방법의 순서도이다.
본 발명의 실시예에 따라, 자동 비디오 카메라-포인팅 시스템 및 방법이 제공되어 모니터링 작업 중인 비디오 카메라 또는 기타 화상 장치의 원격 작업자를 보조한다. 각각의 비디오 카메라가 다양한 장면에서 합동으로 또는 별개로 포인트 지정되는 플랫폼 상에 하나 또는 그 이상의 비디오 카메라가 장착된다는 것으로 가정한다. 비디오 카메라는 비디오 또는 이미지 데이터를 비디오 카메라 작업자에 의해 모니터링되는 원격 콘솔로 전송한다.
플랫폼은 타워, 포스트, 또는 끈에 묶인 풍선과 같은 고정형일 수도 있고, 무인 항공기(UAV) 또는 비행선, 또는 유인 항공기와 같은 이동형일 수도 있다. 이동형 플랫폼에 의한 경로는 미리 결정될 수도 있고, 비행 중에 비디오 카메라 작업자의 연속 제어 하에 있지 않을 수도 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 모니터링될 지정 구역을 모니터링하는데 사용된다. 모니터링되는 구역은 하나 또는 그 이상의 관심 영역을 포함하며, 각각은 자동 감시 시스템에 의해 관측될 것이다.
위치 정보, 관측 정보 및 기타 변수 및 제한 사항은 시스템 내에 입력된다. 관측 변수는, 그 중에서도, 검출 및 식별될 관심 대상의 특징을 포함한다. 본 발명의 실시예에 따라, 자동 비디오 감시 시스템은 관심 대상의 특징과 일치하는 특성을 갖는 대상의 자동 검출을 포함한다.
카메라 FOV에 의해 포괄되는 구역보다 넓은 관심 영역을 관측하는 경우, 카메라 LOS는 관심 영역을 스캔하도록 재-배향된다. 스캐닝은 소정의 방식으로 수행된다. 소정의 스캐닝 방식은 예를 들면 (짐벌(gimbal) 시스템에 있어서의 한계와 같은) 카메라 포인팅 시스템의 능력 및 관심 영역의 형상과 같은 인자에 종속할 수도 있다. 스캐닝 방식은 스캐닝 시간을 최적화하고 관심 영역의 전체 구역이 영상화되는 것을 보장하도록 선택될 수 있다.
소정의 스캐닝 방식은 미션의 개시 전 또는 그에 인접하여 작업자에 의해 입력되는 데이터를 토대로 작업, 미션 또는 비행의 개시 시점에 계산될 수 있다. 소정의 스캔 방식은 작업자에 의해 제공되는 갱신된 데이터를 토대로 미션 도중에, 또는 플랫폼 및 관심 영역의 상대 위치의 변화, 타겟 내의 검출된 변화 또는 사건의 식별과 같은 변화하는 조건을 토대로 자체적으로 변경될 수 있다.
카메라 FOV는 관심 영역 내의 장면을 포괄한다. 상기 장면은 스캔되고, 비디오 데이터는 관심 대상을 검출하기 위해, 시스템의 일부인, 비디오 처리 유닛에 의해 처리된다.
관심 대상 또는 관심 사건이 검출되고 나면, 시스템은 경보를 발령한다. 경보는, 예를 들면, 시각 또는 청각 알람, 대상의 검출 시간 및 장소를 포함하는 관심 대상에 대한 정보를 표시 또는 전송, 검출된 대상이 있는 정지 영상(바람직하게는, 이미지 상에 표시 또는 다른 구별 지시가 된)의 표시 및 전송, 또는 검출된 대상의 있는 장면의 비디오 공급 클립을 생성하는, 작업자 또는 다른 시스템 또는 시스템 모듈에 통지하는 모든 방법을 포함할 수 있다. 정보는 메인 모니터 스크린 또는 다른 스크린 상에 표시될 수 있다. 작업자는 그 후 검출된 대상을 검사하고 그것이 정말 더욱 주의를 요하거나 적절한 조치를 필요로 하는 관심 대상인가의 여부를 확인한다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템의 플랫폼은 온-보드 용량을 사용하는 이벤트를 검출하는 처리 용량을 구비할 수 있다. 이러한 플랫폼에 있어서, 상기 플랫폼은 관심 대상이 검출되는 경우에만 데이터를 원격 콘솔로 전송하도록 구성되는 프로세서의 구성요소를 포함할 수 있다. 이러한 구조에 따라, 데이터는 플랫폼으로부터 원격 콘솔까지, 연속적이 아니라, 간헐적으로 전송될 수 있다. 데이터가 연속적으로 전송되지 않으므로, 플랫폼과 원격 콘솔 사이의 통신 자원이 더욱 효율적으로 활용될 수 있으며 추가 플랫폼 사이의 통신을 수용하는 것이 가능할 수도 있다.
자동화 검출은 단순한 특징(예를 들면, 형상, 치수, 방향, 질감, 밝기 또는 휘도, 색), 또는 보다 복잡한 특징(예를 들면, 위치, 기타 알려진 대상에 대한 상대 위치, 이동의 검출, 이동 방향, 속도)을 식별하는 것을 토대로, 및 그에 따라 관심 대상을 관측하는 작업자의 가능성을 현저하게 감소시키는, 이미지 내의 대상을 확인하는 공지된 이미지 처리 기술을 활용할 수 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 입력 정보를 토대로 관심 영역 및 기타 관측 사항을 관측하는 순서를 결정한다. 제한 사항은 관측의 유지 최소 각도, 장면 관측의 최소 기간, 및 기타 제한 사항을 포함할 수 있다.
입력 변수는 원격 제어 콘솔을 사용하는 시스템에 제공될 수 있다. 이러한 변수는 모니터링될 관심 구역의 위치 및 경계선의 정의, 각각의 관심 구역이 모니터링될 주기 또는 기간을 규정하는 기준, 최적화 기준, 및 기타 기준을 포함할 수 있다.
그래픽 유저 인터페이스는, 관심 영역이 표시되는 지도 상에 도표로 표시되도록 하여, 사용될 수 있다. 선택적으로, 지리적 좌표는 수치 데이터로서 입력될 수 있다. 변수는 또한 각각의 장면의 중요도 또는 우선권의 순위 또는 등급을 포함할 수 있다. 변수는 또한 장면의 이미지의 요구되는 해상도, 장면이 관측될 주기, 또는 장면이 관측 되어야만 하는 시간을 포함할 수 있다. 변수는 또한 최적화 기준 및 이동형 플랫폼의 비행 경로를 포함할 수 있다. 변수는 작업자에 의해 입력될 수도 있고 작업자에 의해 선택되는 저장된 데이터 파일로부터 추출될 수도 있다.
입력 변수를 토대로, 시스템은 비디오 카메라 LOS를 포인팅하기 위한 일련의 지시사항을 생성한다. 비디오 카메라를 포인팅하는 지시사항은 모니터링되는 구역 내의 관심 영역에 대한 위치 정보, 관심 영역을 관측하는 순서, 추가 제한 사항, 예를 들면, 특정 시간 또는 간격에서 특정 관심 영역을 관측, 또는 기타 제한 사항 또는 변수를 포함할 수 있다. 카메라 포인팅 지시 사항은 비디오 카메라 플랫폼으로 전송된다. 비디오 카메라는 전송된 지시 사항에 따라 포인트가 지정된다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 각각의 관심 영역에서 비디오 카메라를 연속적으로 포인트 지정하는 순서를 계산한다. 자동 비디오 감시 시스템은 관심 영역에서 비디오 카메라의 포인트를 지정하기 위해 비디오 카메라의 방향을 자동으로 제어한다. 이동형 플랫폼의 경우, 자동 비디오 감시 시스템은 모니터링되는 구역 및 관심 영역에 대한 플랫폼의 지리적 위치 및 방향에 관한 내비게이션 데이터를 활용하며, 비디오 카메라 내비게이션 데이터는 이동형 플랫폼 상의 내비게이션 장치에 의해 시스템으로 전송되어 카메라의 포인팅 방향을 계산하는데 고려될 수 있다. 비디오 카메라 및 장면의 상대적인 위치를 토대로, 자동 비디오 카메라-포인팅 시스템은 관심 영역에 대한 비디오 카메라 시선(LOS)의 앙각/내림각 및 방위각을 계산한다. 시스템은 또한 원하는 해상도 및 비디오 카메라로부터 관심 영역까지의 거리를 토대로 비디오 카메라의 원하는 줌을 계산할 수 있다. 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 그 후 제어 명령을 비디오 카메라 플랫폼에 전송한다. 제어 명령에 응답하여, 비디오 카메라 시선(LOS)은 규정된 관심 영역에서 비디오 카메라의 포인트를 지정하도록 조절된다.
본 발명의 실시예에 따른 자동 비디오 카메라-포인팅 시스템은 규정된 관심 영역을 관측하는 순서를 결정하는 최적화 알고리즘을 사용할 수 있다. 최적화 알고리즘은 다양한 장면의 지리적 위치, 비행 플랫폼의 비행 경로, 다양한 관심 영역의 중요도에 대한 상대적 가중치, 각각의 관심 영역이 관측될 시간의 양 등과 같은 변수를 고려할 수 있다. 최적화는 양(quantity)의 최대화 또는 최소화 또는 양의 조합으로서 정의될 수 있다. 예를 들면, 순서는 관심 영역 사이의 LOS의 평균 변화를 최소화하도록 결정되어, 주어진 기간 내에 이미지가 형성되는 각각 다른 관심 영역의 숫자를 최대화한다. 이는 모니터링의 효율, 즉, 관심 영역 사이의 카메라 LOS를 이동하는데 소요되는 시간의 분절을 증가시킬 것이다. 최적화 기준의 다른 예는 관심 영역의 중요도에 관련되는 주기에서 각각의 관심 영역의 영상, 영역에서 영역으로의 줌 변화 최소화, 각기 다른 영역의 커버리지의 균등화, 또는 전력의 소비 최소화를 포함할 수 있다. 최적화 알고리즘은 또한 비디오 카메라 플랫폼의 현재 위치로부터 영역의 가시성을 고려할 수 있다. 예를 들면, 알고리즘은 주어진 영역이 비디오 카메라 플랫폼이 현재 위치로부터 최적으로 보여질 수 없다는 것을 결정할 수 있다. 예를 들면, 영역에 대한 LOS는 바닥으로부터 멀어서(예를 들면, 30° 이상), 영역 내의 대상의 충분한 가시성을 방해할 수 있다. 이러한 경우, 이미지 형성 자원의 효율적인 활용을 최대화하기 위해, 알고리즘은 플랫폼이 더 좋은 관측 위치에 있게 될 때까지 그 영역의 이미지를 형성하는 것을 건너뛸 수 도 있고 소모되는 이미지 형성을 감소시킬 수도 있다.
비디오 카메라의 FOV에 의해 포괄되는 장면은 관측될 관심 영역(ROI)보다 통상적으로 더 작다. 이는 장면이 높은 공간 해상도로 관측될 경우 특별히 사실일 수 있다. 일반적으로, 공간 해상도가 증가하는 경우 비디오 카메라의 FOV의 각도 크기는 감소한다. 자동 포인팅 시스템은 그 후 FOV용 LOS 방향의 순서를 계산한다. 최적화된 순서는 비디오 카메라의 FOV가 최소량의 시간 내에 요구되는 해상도에서 전체 ROI를 자동으로 포괄하게 할 수 있다.
본 발명의 실시예에 따른 자동 비디오 감시 시스템은 자동 검출 시스템과 일체화될 수 있다. 이러한 자동 검출 시스템은 비디오 모션 검출(VMD)을 포함할 수 있다. 자동 검출 시스템은 관심 대상을 자동으로 검출하기 위해 비디오 이미지의 몇몇 프레임만을 필요로 할 수 있는 반면, 인간 작업자는 이러한 짧은 기간 동안 보여지는 경우 대상을 관측하게 되기 쉽거나 충분히 더 긴 검출 기간을 필요로 한다. 이러한 높은 검출률에서, 자동 비디오 감시 시스템은 그에 따라, 그것이 장면 상에서 적절하게 작동하도록 자동 검출 시스템에 대해 필요한 한, 그 장면에서 비디오 카메라의 포인트를 지정할 수 있다. 이러한 방식에 있어서, 몇몇 장면은 최소량의 시간 내에 잦은 간격으로 최적의 방식으로 이미지가 형성될 수 있다. 한편, 인간 작업자는 이러한 적절한 방식으로 비디오 카메라를 정확하게 포인팅하는데 어려움을 겪을 수 있다. 선택적으로, 자동 비디오 감시 시스템은 장면이 검출에 충분하게 이미지 형성되었다는 것을 지시하는 자동 검출 시스템으로부터 신호를 접수하도록 구성될 수 있다.
자동 비디오 감시 시스템에 의한 포인팅은 인간 비디오 카메라 작업자보다 정확하고, 재생 가능하며 빠를 수 있다. 비디오 카메라의 정확하며 재생 가능한 포인팅은 각기 다른 시간에 이루어지는 주어진 장면의 두 가지 이미지 사이에 증가한 유사성을 유발할 것이다. 증가한 유사성은 자동 검출 시스템이 각기 다른 시기에 획득되는 이미지들을 자동으로 비교할 수 있게 할 수도 있다.
*본 발명의 실시예에 따른 자동 비디오 감시 시스템은 자유-비행 플랫폼의 이동과 같은 변화하는 조건에 응답하여 비디오 카메라의 포인팅을 일정하게 조절할 필요로부터 비디오 카메라 작업자를 적어도 부분적으로 구제한다. 이는 또한 장면에서 비디오 카메라를 정확하게 포인트 지정하고 모니터링되는 구역의 적절한 커버리지를 제공하는 비디오 카메라 작업자의 능력에 따라 감소한다. 종종, 관측되는 장면은 작업자가 빠르고, 정확하고 재생 가능하게 비디오 카메라를 그 장면에 겨냥하도록 주변 구역과 충분히 구별 가능하지 않을 수 있다. 비디오 카메라 작업자의 능력에 대한 감소하는 종속성은 작업자의 피로가 관측에 역효과를 낼 수 있는 가능성을 감소시킨다. 자동 검출 시스템과 결합하여 채용되는 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 작업자의 피로가 모니터링되는 구역 내의 비-검출 특징부를 유발할 가능성을 감소시킨다.
본 발명의 실시예들은 더욱 주의를 요하는 이미지 내의 관심 대상 또는 특징부를 발견하고 식별함으로써 작업자를 더 도울 수 있다. 더욱 주의를 요구하는 특징부는, 예를 들면, 특정 크기, 형상, 방향, 온도, 질감, 휘도, 또는 색을 갖는 이미지 내의 대상을 포함할 수 있다. 특징부는 또한 장면의 내용 내의 대상의 이동 또는 기타 변화를 포함할 수 있다. 예를 들면, 이러한 특징부는 규정된 최대치를 초과하는 속도로 이동하는 차량-크기의 물체, 차량 통행에 근접한 구역 내에서 이동하는 모든 차량, 또는 숲 구역 내의 고온 구역을 포함할 수 있다. 특징부 검출에 대한 기준은 속도, 크기, 온도, 색 또는 형상을 포함할 수 있다. 시스템은 전송된 이미지 프레임을 분석하는 이미지 분석 소프트웨어 또는 비디오 스트림 내의 연속 프레임의 조합을 채용할 수 있고, 규정된 기준과 일치하는 특징부를 식별할 수 있다. 관심 대상을 식별하는 것에 응답하여, 시스템은 이미지 상의 관심 대상에 마킹하고 그 이미지를 작업자에 표시할 수 있다. 특징부 마킹은, 예를 들면, 다른 색깔로 특징부를 강조하기, 표시된 경계선으로 특징부를 둘러싸기, 및 특징부를 설명하는 하나 또는 그 이상의 양(quantity)의 값을 표시하기를 포함할 수 있다. 또한, 규정된 기준과 일치하는 특징부의 식별시, 시스템은 특징부에 대한 비디오 카메라 작업자에게 경보를 발령하도록 가청, 가시 또는 기타 형태의 알람을 보낼 수 있다. 관심 대상을 표시하는 이미지가 비디오 카메라 작업자에 표시되는 동안, 시스템은 모니터링되는 구역 내의 기타 포인트에서 비디오 카메라의 포인트를 지정하는 것을 계속하고 관심 대상을 체크하는 것을 계속한다. 선택적으로, 시스템은 다른 것이 비디오 카메라 작업자에 의해 지시될 때까지 검출된 관심 대상에서 비디오 카메라를 겨누는 것을 계속할 수 있다.
자동 특징부 검출은 공지되어 있으며, 자동 특징부 검출용 시스템은 전술된 바 있다. 자동 검출 시스템은 전술한 바와 같은 비디오 모션 검출(VMD)을 포함할 수 있다. VMD는 비디오 이미지 내의 이동을 자동으로 식별한다. 변수 또는 변수의 조합은 VMD 시스템에 입력된다. 변수는 VMD 시스템이 검출될 이동의 타입을 규정한다. 이러한 변수는 검출될 이동 물체의 크기, 속도 범위, 이동 방향 및 VMD에 포함 또는 배제될 모니터링되는 구역의 영역을 포함할 수 있다. 예를 들면, 모니터링되는 구역은 관심 밖인 도시간 교통을 담당하는 도로를 포함할 수 있다. 이러한 경우, 입력 변수는 VMD가 적용될 구역으로부터 도로를 배제할 수 있다. 다른 예에 있어서, 입력 변수는 경계선과 평행한 이동의 검출을 배제할 수 있지만, 경계선을 가로지르는 방향의 이동을 포함할 수 있다.
일반적으로, VMD는 이동을 표시하는 프레임 사이의 차이를 검출하기 위해 주어진 장면의 둘 또는 그 이상의 연속적인 획득된 비디오 프레임을 비교함으로써 작동한다. VMD는 그 후 검출될 이동의 타입에 대응하는 플레임 사이의 이들 차이를 식별한다. 이동하는 물체는 작업자에게 표시되는 이미지 상에 지시될 수 있다. 디스플레이는 또한 이동의 속도 및 방향을 지시할 수 있다.
이동을 검출하도록 요구되는 프레임의 숫자는 그의 속도를 포함하는 이동의 특성에 종속할 수 있다. 더 느린 이동은 이동을 검출하도록 더 많은 프레임을 필요로 할 것이다. 그에 따라, 비디오 카메라가 장면에 포인트 지정되는 시간의 양은 검출될 이동의 타입 또는 기타 특징부에 적절하여야 한다.
자동 특징 검출은 고-해상도 이미지의 세부 사항에 대한 일정한 주의를 기울일 필요성의 일부로부터 비디오 카메라 작업자를 구제한다. 몇몇 경우에 있어서, 자동 특징 검출은 획득된 이미지의 해상도를 감소시키는 것을 가능하게 할 수 있다. 몇몇 경우에 있어서, 자동 검출 시스템은 해상도가 너무 낮아서 인간 관측자가 동일한 특징부를 검출할 수 없도록 하는 이미지 내의 특징부를 검출할 수 있다. 원하는 해상도를 감소시키는 것은 더 낮은 해상도 및 더 넓은 FOV로 이지미의 획득을 가능하게 한다. 더 넓은 FOV 이미지는 주어진 기간 내의 더 큰 커버리지의 장면 및 차후의 모니터링되는 구역을 감안할 것이다.
이하에서는 첨부 도면을 참조하여 설명한다. 도 1은 본 발명의 실시예에 따른 자동 비디오 감시 시스템의 개략도이다. 시스템의 목적은 모니터링되는 구역(21) 내의 물체 및 활동을 모니터링하는 것이다. 비디오 카메라 플랫폼(10), 예를 들면, 소정의 비행 경로(24)를 따라 비행하는 UAV는 비디오 카메라 페이로드(12, 페이로드)를 구비한다. 선택적으로, 비디오 카메라 플랫폼은 유인 항공기, 소정의 경로를 따라 비행하는 자유-비행 비행선, 끈에 묶인 풍선, 이동하는 또는 고정된 차량 상의 마스트(mast), 고정 타워, 유인 또는 무인 지상 차량, 또는 기동 장착식 비디오 카메라 또는 비디오 카메라 페이로드의 형태일 수 있다. 비디오 카메라 페이로드(12)는 모니터링되는 구역(21) 내의 장면(20, 20a 및 20b)과 같은 관심 영역에서 비디오 카메라(26)의 포인팅을 가능하게 하도록 장착되는 비디오 카메라(26)를 포함한다. 비디오 카메라 페이로드(12)는, 비행기와 관련이 되든 안되든, 모든 원격 제어식 비디오 카메라 장착 및 조준 시스템을 대표할 수 있다. 비디오 카메라(26)는 서로 독립적으로 포인트 지정되는 몇 개의 비디오 카메라 중 하나를 대표할 수 있다. 비디오 카메라(26)는 또한 공동-장착되는 일 군의 비디오 카메라를 대표하여 그 그룹의 모든 비디오 카메라가 단일 장면에 포인트 지정되도록 할 수 있다. 주어진 순간에, 비디오 카메라(26)는 이미지 형성된 장면(18)을 향해 포인트 지정된다. 비디오 카메라(26)의 방향이 변화함에 따라, 이미지 형성된 구역(18)의 위치도 변화한다. 도 1에 도시된 상태에서, 이미지 형성된 장면(18)은 관심 영역(20) 내에 들어간다. 관측되는 이미지 형성된 장면(18)의 크기 및 형상은 비디오 카메라(26)의 FOV에 대응한다. 통신 인터페이스(13)는 비디오 카메라 페이로드(12)와 관련된다. 통신 인터페이스(13)는 통신 링크(16)를 통해 원격 수신/송신 유닛(28)로부터 원격 제어 명령을 수신하고 데이터 및 이미지를 그로 전송한다. 통신 링크(16)는 라디오, 마이크로웨이브, 광학 또는 기타 무선 통신 캐리어, 유선, 광섬유, 또는 기타 적절한 원격 장치간 통신 매체를 포함할 수 있다. 비디오 카메라 페이로드(12)와 관련되는 것은 또한 페이로드(12)의 지리적 위치 및 방향을 결정하기 위한 내비게이션 장치(15)일 수 있다. 내비게이션 장치는, 예를 들면, 글로벌 포지셔닝 시스템(GPS) 수신기, 관성 유도 시스템(INS), 레이더, 컴퍼스, 자이로스코프, 가속기, 또는 고도계, 및 페이로드(12)의 현재 위치 및 코스를 결정하는 데 도움을 줄 수 있는 기타 장치를 포함할 수 있다.
비디오 카메라(26)의 포인팅 및 작동은 원격 명령에 의해 제어된다. 원격 명령은 원격 제어 콘솔(14)에 의해 발령된다. 원격 제어 콘솔(14)은 몇몇 통신 장치를 포함할 수 있다. 이러한 장치는 관련 데이터 저장 및 처리 능력을 갖는 디지털 컴퓨터, 데이터 입력 장치, 및 이미지 및 기타 데이터를 표시하는 모니터를 포함할 수 있다. 원격 명령은 프로그램된 지시사항을 토대로, 또는 제어 유닛(22)으로의 작업자 입력을 토대로 원격 제어 콘솔(14)에 의해 생성될 수 있다. 제어 정보는 원격 제어 콘솔(14)에 직접 입력될 수 있다. 제어 콘솔(14)에의 입력은 입력된 텍스트 형태일 수도 있고 메뉴로부터 옵션을 선택하는 형태일 수도 있다. 원격 제어 콘솔(14)은 수신/송신 유닛(28)과 통신한다. 수신/송신 유닛(28)은 통신 링크(16)를 통해 비디오 카메라 페이로드(12)에 제어 명령을 전송한다. 전송된 제어 명령에 응답하여, 비디오 카메라 페이로드(12)는 적절한 기간 동안 적적한 비율로 비디오 카메라(26)의 LOS를 변화시킬 수 있다. 비디오 카메라(26)의 LOS를 변화시키면, 이미지 형성된 장면(18)의 위치가 이동된다. 비디오 카메라(26)는 관측되는 이미지 형성된 장면(18)의 이미지 데이터를 획득한다. 비디오 카메라 페이로드(12)는 획득된 이미지 데이터를 통신 링크(16)를 통해 원격 제어 콘솔(14)과 통신하는 수신/송신 유닛(28)으로 전송한다. 원격 제어 콘솔(14)은 그 후 획득된 데이터를, 비디오 카메라 작업자에 의해 관측될 수 있는, 이미지로 표시한다. 획득된 데이터를 표시하기 전에, 원격 제어 콘솔(14), 또는 다른 위치에 있는 프로세서는 획득된 데이터를 처리할 수 있다. 이러한 처리는 자동 특징 검출 또는 스티치(stitched) 이미지의 생성을 포함할 수 있다. 프로세서는 다양한 곳에 위치되는 몇 개의 프로세서를 포함할 수 있다. 각각의 프로세서는 나머지 프로세서의 기능과 별개의 기능을 수행하도록 구성될 수도 있고, 프로세서들이 단일 기능을 수행하도록 협동할 수도 있다. 특히, 프로세서는 비디오 카메라 플랫폼(10) 상에 위치될 수도 있고, 그와 관련지어질 수도 있다.
도 2는 본 발명의 실시예에 따른 자동 비디오 감시 시스템의 블록 다이어그램이다. 작업자 스테이션(82)은 비디오 카메라 플랫폼(84)과 통신한다. 통신은 스테이션 프로세서(64)에 연결되는 스테이션 송수신기(70) 및 플랫폼 프로세서(74)에 연결되는 플랫폼 송수신기(72)를 통해 수행된다. 스테이션 송수신기(70) 및 플랫폼 송수신기(72) 사이의 통신 링크(71)는 비디오 카메라 플랫폼(84)의 특성에 따라 무선 또는 유선일 수 있다. 작업자는 작업자 인터페이스(60)를 통해 스테이션 프로세서(64)에 지시 사항을 입력할 수 있다. 작업자는 또한 작업자 인터페이스(60)를 통해 스테이션 프로세서(64)로부터 정보를 수신할 수 있다. 스테이션 프로세서(64)는 프로그램된 지시사항 및 작업자 인터페이스(60)를 통해 작업자에 의해 제공되는 입력에 따라 작동한다. 스테이션 프로세서(64)는 포인팅 모듈(68) 및 검출 모듈(66)을 포함한다. 포인팅 모듈(68) 및 검출 모듈(66)은 스테이션 프로세서(64)의 프로그램된 지시 사항 내의 소프트웨어의 블록을 포함할 수 있다. 선택적으로, 포인팅 모듈(68) 또는 검출 모듈(66)은 스테이션 프로세서(64)와 통신하는 특수 하드웨어 구성요소를 포함할 수 있다. 선택적으로, 포인팅 모듈(68) 또는 검출 모듈(66)의 하드웨어 또는 소프트웨어 구성요소의 전부 또는 일부는 비디오 카메라 플랫폼(84) 상에 위치될 수도 있고 다른 곳에 위치될 수도 있다.
포인팅 모듈(68)은, 비디오 카메라 플랫폼(84)으로부터 통신된 데이터, 작업자 인터페이스(60)를 통해 작업자에 의해 제공되는 입력, 및 프로그램된 지시 사항을 토대로, 비디오 카메라 플랫폼(84) 상에 장착되는 하나 또는 그 이상의 비디오 카메라의 포인트를 정하는 방향을 계산한다. 포인팅 모듈(68)은 또한 비디오 카메라 플랫폼(84) 상에 장착되는 하나 또는 그 이상의 비디오 카메라용 스캐닝 패턴을 계산할 수 있다. 비디오 카메라 플랫폼으로부터 통신되는 데이터는 내비게이션 모듈(76)에 의해 생성되는 위치, 이동 및 방향 데이터를 포함할 수 있다. 비디오 카메라 플랫폼으로부터 통신되는 데이터는 또한 카메라 포인트/스캔 제어(78)에 의해 생성되는 비디오 카메라의 LOS의 현재 방향에 관한 정보를 포함할 수 있다. 비디오 카메라의 포인트를 정하는 방향을 계산할 때, 계산의 결과는 스테이션 프로세서(64)에 의해 플랫폼 프로세서(74)까지 통신된다. 플랫폼 프로세서(74)는 그 후 포인트/스캔 제어(78)에 적절한 지시 사항을 발령하여 포인트/스캔 제어(78)가 원하는 방향의 비디오 카메라의 LOS의 포인트를 지정하도록 한다. 필요시, 발령된 지시 사항은 포인트/스캔 제어(78)가 원하는 패턴에 따라 LOS를 스캔하도록 할 수 있다.
비디오 카메라(80)에 의해 획득되는 비디오 이미지 데이터는 플랫폼 프로세서(74)에 의해 스테이션 프로세서(64)까지 전송된다. 비디오 이미지 데이터는 그 후 검출 모듈(66)에 의해 처리된다. 검출 모듈(66)은 작업자 인터페이스(60)를 통해 작업자에 의해 제공되는 입력 및 프로그램된 지시 사항을 토대로 비디오 이미지 데이터를 처리한다. 처리의 목적은 비디오 이미지 데이터가 관심 대상을 결정하는 소정의 기준에 부합하는 특징을 포함하는가의 여부를 결정하는 것이다. 비디오 이미지 데이터의 특징이 소정의 기준에 부합하는 경우, 스테이션 프로세서(64)는 비디오 이미지 데이터가 이미지 디스플레이(62) 상에 디스플레이되도록 할 수 있다. 또한, 스테이션 프로세서(64)는 작업자 인터페이스(60)를 통해 작업자에게 적절한 경보를 보낼 수 있다.
본 발명의 실시예에 따라, 표시된 이미지는 관심 영역 전체의 스티치 이미지를 포함할 수도 있다. 이러한 이미지는 관심 영역이 스캔됨에 따라 획득되는 개별 이미지 장면의 이미지들의 조합일 수 있다. 스티치 방법 또한 공지되어 있다.
도 3은 단일 이미지 구역보다 큰 지리적 영역의 개략도이다. 비디오 카메라 플랫폼은 지리적 영역(30)에 대해 위치되어, 비디오 카메라가, 비디오 카메라 플랫폼의 변위 없이, LOS를 변화시킴으로써 지리적 영역(30)의 모든 부분을 관측할 수 있도록 한다. 이러한 경우, 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 상대적으로 짧은 기간 내에 지리적 영역(30)을 스캔할 수 있다. 스캔 중에, 비디오 카메라는 32로 통칭되는 관측된 장면(32a 내지 32c)과 같은 도 3의 작은 정사각형에 의해 표시되는 다양한 관측 장면에서 연속적으로 포인트를 정하도록 스캔된다. 예를 들면, 카메라는 수직인 방향을 따라 또는 사선으로 플랫폼의 이동 방향으로 스캔될 수 있다. 이러한 방식에 있어서, 지리적 영역(30)은 스트립(34, strip)과 같은 일련의 스트립에 의해 커버될 수 잇다. 플랫폼의 이동 방향은 화살표로 지시된다. 스트립(34)의 폭은 충분히 넓어서 각각의 관측된 장면(32)이 충분한 양의 시간 동안 이미지 형성되는 것을 보장한다. 각각의 스트립(34)의 길이는 바닥에 가까운 관측 각도까지 제한된다. 바닥으로부터 너무 큰 각도(예를 들면, 대략 45° 이상)에서의 LOS는 장면 내의 요소가 서로를 방해하는 이미지를 유발할 수 있다. 넓은 지리적 영역(30)의 이미지를 형성하기 위해, 플랫폼은 영역을 한 번 이상 통과하여야 할 것이다. 관측된 장면(32)은 서로 부분적으로 중첩할 수 있다. 각각의 관측된 장면에서 포인트가 정해지는 경우, 비디오 카메라는 하나 또는 그 이상의 이미지 프레임의 관측된 장면을 획득한다. 스캔 결과, 관측된 장면(32)은 지리적 영역(30)의 경계선 내의 전체 구역을 포괄한다. 관측된 구역의 개별적으로 획득된 이미지는 등록을 허용하도록 처리되고, 그 후, 지리적 영역(30)의 단일 스티치 이미지를 구성하도록 조합된다. 단일 스티치 이미지의 스캐닝 및 구성 프로세스는 주기적으로 반복될 수 있다. 개별 이미지에 따라, 단일 스티치 이미지는 관심 대상을 검출하도록 자동 검출 시스템에 의해 처리되거나 작동될 수 있다. 각기 다른 시간에 획득 및 구성되는 스티치 이미지는 지리적 영역 내의 변화를 검출하도록 비교될 수 있다.
지리적 영역(30)을 규정하는 변수는 작업자에 의해 입력될 수 있다. 입력 변수는 영역(30)의 경계선을 규정한다. 본 발명의 실시예에 있어서, 지리적 영역의 경계선은, 표시되는 지도와 같은, 영역에 인접한 그래픽 표시 상에 도식적으로 규정될 수 있다. 선택적으로, 경계선은 수치 데이터로 입력되는 좌표로 규정될 수 있다. 기타 입력 변수는 영역이 스캔될 주기, 및 자동 검출 시스템에 의해 검출될 특징을 규정하는 변수를 포함할 수 있다.
스캔 영역은 도로의 섹션, 벽, 강 또는 경계선과 같은 긴 지리적 특징부를 포괄하도록 규정될 수 있다. 지리적 영역(30)은 긴 지리적 특징과 같은 예이다. 이러한 경우, 스캔 영역은 영역의 길이 치수 및 영역의 폭을 따라 포인트의 좌표에 의해 충분히 규정될 수 있다. 선택적으로, 선형 지리적 특징의 표시가 시스템 내에 이미 존재하는 경우, 이는 엔드 포인트 및 영역의 폭윽 규정하는데 충분할 수 있다.
지리적 영역이 일단 규정되고 나면, 본 발명의 실시예에 따른 자동 비디오 감시 시스템은 비디오 카메라 LOS를 포인트 지정하는 방법 및 전체 지리적 영역(30)의 완전한 포괄을 최적의 방식으로 성공적으로 완수하기 위한 프레임의 비디오 순서를 개별적으로 획득하는 시기를 결정한다. 시스템은 획득된 이미지에 대한 등록 작업을 수행할 수 있다. 예를 들면, 시스템은 획득된 비디오 데이터를 정사사진(orthophotograph)로 변환할 수 있다. 등록 작업은 관점, 범위, 프레임에서 프레임으로의 플랫폼 이동에 있어서의 차이를 보상한다. 등록은 개별 프레임에 대한 스캔 영역의 단일, 테두리 없는, 스티치 이미지로의 조합 또는 스티칭을 가능하게 한다. 이러한 스티치 이미지는 작업자에게 디스플레이될 수 있다.
개별 이미지 프레임의 조합으로부터 형성되는 스캔 영역의 단일 무-테두리 이미지는 각각의 개별 이미지 프레임과 동일한 해상도를 갖는다. 대개는, 장면의 광각 이미지를 생성하기 위해, 비디오 카메라와 이미지 장면 사이의 거리가 증가하거나, 비디오 카메라 렌즈의 유효 초점 거리가 증가한다. 이러한 경우, 이미지의 해상도, 즉, 이미지 내에서 구별될 장면의 특징의 최소 크기는 작아진다. 개별 고해상도 프레임을 단일 스티치로 조합하는 방법은, 본질적으로, 스캔 영역의 고해상도 광각 이미지를 생성한다.
개별 이미지 프레임을 갖는 경우에 있어서, 각기 다른 시간에 획득된 스티치 이미지는 서로 비교되어 이미지 형성된 지리적 영역 내의 느린 이동의 검출 또는 기타 느린 변화를 검출하는데 도움이 될 수 있다.
도 4는 본 발명의 실시예에 따른 자동 비디오 감시 방법의 순서도이다. 도 1에 도시된 구성요소가 참조된다. 데이터는 시스템 내로 입력된다(단계 40). 입력 데이터는, 모니터링되는 구역 내의 관심 영역(ROI)를 포함하는, 모니터링될 지리적 구역을 규정한다. 추가의 데이터는 모니터링되는 구역 및 관심 영역을 관측하는 방식에 영향을 미치는 변수를 추가로 제공할 수 있다. 이러한 데이터는, 예를 들면, ROI의 좌표, 각각의 ROI를 모니터링하는 중요도의 암시, 및 최적화 기준을 포함할 수 있다. 또한, 데이터가 입력되어 관심 대상의 특성, 또는 자동 비디오 카메라-포인팅 시스템과 관련되는 자동 검출 시스템에 의해 검출될 기타 특징을 특성화한다. 이동형 비디오 카메라 플랫폼의 경우에 있어서, 데이터는 플랫폼의 계획된 루트에 관해 입력될 수 있다. 입력 데이터는 원격 제어 콘솔을 통해 작업자에 의해 입력될 수도 있고, 시스템의 메모리 내에 저장되는 데이터로부터 선택될 수도 있다.
입력 데이터를 토대로, 자동 비디오 감시 시스템은 다양한 ROI를 관측하는 최적화된 순서를 생성한다(단계 42). ROI가 비디오 카메라의 FOV보다 큰 경우, 자동 비디오 감시 시스템은 또한 ROI 내의 스캐닝을 위한 최적화된 스캐닝 패턴을 생성한다. 스캐닝 패턴은, 예를 들면, 스캐닝 방향 및 스캐닝 폭에 의해 변수화될 수 있다. 최적화된 스캐닝 패턴은 자동 비디오 감시 시스템이 ROI를 최적의 방식으로 스캔할 수 있도록 한다. 최적화된 순서 및 패턴은, 이들이 포인트 지정되는 경우, 비디오 카메라의 LOS가 포인트 지정되는 방향을 규정한다.
비디오 카메라는 그 후 생성된 순서(단계 44)에 따라 선택되는 제 1 ROI에서 포인트 지정된다. 비디오 카메라는 장면의 일련의 이미지 프레임을 획득함으로써 ROI를 관측한다. ROI가 비디오 카메라 FOV보다 큰 경우, 비디오 카메라 FOV는 ROI를 가로질러 스캔된다(단계 46). 획득된 이미지 프레임은 VMD과 같은 도구를 사용하여 자동 검출 시스템에 의해 처리된다. 자동 검출 시스템은 단계(40) 중에 입력되는 기준과 일치하는 대상 및 특징을 검색한다(단계 48). 여기서, 시스템은 스티치 이미지의 생성과 같은 기타 타입의 이미지 프로세싱을 수행할 수 있다. 관심 대상이 검출되는 경우, 작업자에게 경보가 발령된다(단계 50). 관심 대상을 보여주는 것을 포함하는 이미지는 작업자의 관측을 위해 디스플레이된다. 여기서, 프로그램된 지시 사항 또는 입력 기준에 따라, 또는 작업자의 조치 (단계 51)시, 자동 비디오 감시 시스템은 작업자에 의해 연속하도록 지지될 때까지 자동 작동을 멈춘다(단계 56). 그렇지 않으면, 자동 비디오 감시 시스템은 작동을 계속할 수 있다(단계 52로부터).
관심 대상이 검출되지 않는 경우, 자동 비디오 감시 시스템은 작동을 계속한다(단계 52). 비디오 카메라는 ROI를 관측 또는 스캔, 획득된 이미지 프레임을 처리, 및 관심 대상의 검색을 계속한다(단계 46로 복귀). ROI가 충분히 관측 또는 스캔된 경우, 입력 기준에 의해 결정되는 바와 같이, 자동 비디오 감시 시스템은 최적화된 순서 내의 다음 ROI에서 비디오 카메라의 포인트를 지정한다(단계 54). ROI는 그 후 관측 및 스캔되고, 획득된 이미지 프레임은 처리된다(단계 46로 복귀).
본 명세서에 개시된 실시예 및 첨부 도면에 대한 설명이 본 발명을 그의 범주를 제한하지 않고도, 더 잘 이해할 수 있도록 한다는 것을 알 수 있을 것이다.
또한, 본 기술 분야에 통상의 지식을 가진 자라면, 본 명세서를 읽은 후, 여전히 본 발명에 의해 포괄될, 첨부한 도면 및 전술한 실시예에 대한 조정 및 보정을 가능하게 한다는 것을 알 수 있을 것이다.
10: 비디오 카메라 플랫폼 12: 비디오 카메라 페이로드
16: 통신 링크 18: 장면
20: 관심 영역 21: 모니터링된 구역
24: 비행 경로 26: 비디오 카메라
16: 통신 링크 18: 장면
20: 관심 영역 21: 모니터링된 구역
24: 비행 경로 26: 비디오 카메라
Claims (21)
- 항공기를 통한 모니터링되는 구역의 자동 감시 방법으로서,
장면에서 관심 영역의 공간적 위치를 가리키는 관심 영역(ROI: Region of Interest) 데이터를 수신하는 단계;
상기 장면 내에 잠재적으로 위치해 있는 일 이상의 대상의 특징을 가리키는 관심 대상(OOI: Object of Interest) 데이터를 수신하는 단계;
비디오 영상 장치의 시선 라인(LOS: Lines of Sight)의 반복 시퀀스를 산출하는 단계로서, 상기 시퀀스의 산출은 상기 OOI 데이터, 상기 비디오 영상 장치의 특징들; 및 상기 항공기의 특징들을 가중함으로써 수행되는 단계;
상기 산출된 LOS의 반복 시퀀스에 기초하여 상기 장면에서 상기 비디오 영상 장치를 자동적으로 포인팅하는 단계;
OOI 데이터에 기초하여, 상기 관심 영역의 비디오 영상에 자동적 특징 검출 알고리즘을 적용하는 단계;
상기 OOI 데이터와 연관된 장면에서 일 이상의 대상의 검출에 대한 경보를 발령하는 단계를 포함하고,
상기 특징은 시각적 특징, 시공간적 행동, 및 장면 내의 위치 중 적어도 하나를 포함하는, 방법. - 제1항에 있어서,
자동 결정된 관측 순서가 최적화되는 방법. - 제1항에 있어서,
상기 관심 영역을 자동으로 스캔하여 상기 관심 대상의 일 이상의 특징을 검출하는 단계는, 비디오 이동 검출을 포함하는 방법. - 제1항에 있어서,
상기 관심 영역을 자동으로 스캔하여 상기 관심 대상의 일 이상의 특징을 검출하는 단계는, 상기 관심 영역의 스티치 영상을 구성하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 관심 대상의 상기 일 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 그룹으로부터 선택되는 방법. - 제1항에 있어서,
상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 영상 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 그룹으로부터 선택되는 방법. - 제1항에 있어서,
상기 영상 장치는 승강식 플랫폼 상에 장착되는 방법. - 제7항에 있어서,
상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함하는 방법. - 제7항에 있어서,
상기 선택된 관심 영역을 자동으로 스캔하는 단계는 상기 플랫폼 상에서 수행되는 방법. - 모니터링되는 구역의 자동 감시 장치로서,
포인팅 매커니즘에 연결되는 항공기 장착 비디오 영상 장치;
프로세서; 및
유저 인터페이스를 포함하고,
상기 유저 인터페이스는, (ⅰ) 장면에서 관심 영역의 공간적 위치를 가리키는 관심 영역(ROI) 데이터를 수신하고; (ⅱ) 상기 장면 내에 잠재적으로 위치하는 일 이상의 대상의 특징을 가리키는 관심 대상(OOI) 데이터를 수신하며;
상기 프로세서는, 비디오 영상 장치의 시선 라인(LOS)의 반복 시퀀스를 산출하고, 상기 시퀀스의 산출은 상기 OOI 데이터, 상기 비디오 영상 장치의 특징들; 및 모바일 플랫폼의 특징들을 가중함으로써 수행되며,
상기 포인팅 매커니즘은 상기 산출된 LOS의 시퀀스에 기초하여 상기 장면에서 상기 비디오 영상 장치를 자동적으로 포인팅하며;
상기 프로세서는, (ⅰ) OOI 데이터에 기초하여, 상기 일 이상의 관심 영역의 비디오 영상에 자동적 특징 검출 알고리즘을 적용하고; (ⅱ) 상기 OOI 데이터와 연관된 장면에서 일 이상의 대상의 검출에 대한 경보를 발령하는 것을 더 수행하고,
상기 특징은 시각적 특징, 시공간적 행동, 및 장면 내의 위치 중 적어도 하나를 포함하는, 장치. - 제10항에 있어서,
상기 소정의 관측 순서가 최적화되는 장치. - 제10항에 있어서,
상기 영상 장치는 비디오 카메라를 포함하는 장치. - 제10항에 있어서,
상기 프로세서는 비디오 이동 검출을 사용하여 상기 관심 대상의 상기 일 이상의 특징을 검출하기 위해 상기 선택된 관심 대상을 자동으로 스캔하도록 구성되는 장치. - 제10항에 있어서,
상기 프로세서는 상기 관심 영역의 스티치 영상을 구성하도록 적용되는 장치. - 제10항에 있어서,
상기 관심 대상의 상기 하나 또는 그 이상의 특징은 형상, 치수, 질감, 색, 휘도, 방향, 위치, 기타 알려진 물체에 대한 상대 위치, 이동의 검출, 이동의 방향 및 속도로 이루어지는 대상 특성의 그룹으로부터 선택되는 장치. - 제10항에 있어서,
상기 경보는 상기 검출된 대상의 정지 영상을 디스플레이, 상기 관심 대상에서의 상기 영상 장치의 시선을 포인트 지정, 디스플레이된 영상 상에 상기 검출된 대상을 마킹, 작업자에게 표시를 제공, 및 정보를 제공하는 것으로 이루어지는 경보의 그룹으로부터 선택되는 장치. - 제10항에 있어서,
상기 영상 장치는 승강식 플랫폼 상에 장착되는 장치. - 제17항에 있어서,
상기 플랫폼은 무인 항공기, 유인 항공기, 타워, 포스트, 및 끈에 묶인 풍선으로 이루어지는 일 군의 플랫폼으로부터 선택되는 플랫폼을 포함하는 장치. - 제17항에 있어서,
상기 선택된 관심 영역을 자동으로 스캔하여 상기 관심 대상의 일 이상의 특징을 검출하고 검출 시 경보를 발령하도록 구성되는 상기 프로세서의 구성요소는 상기 플랫폼 상에 장착되는 장치. - 제10항에 있어서,
상기 프로세서에 의한 상기 시퀀스의 산출은 각각의 ROI을 관측하기 위한 대응 시간 구간 및 각각의 ROI가 다시 나타나는 주기를 할당하는 것을 더 포함하는, 장치. - 제20항에 있어서,
상기 비디오 영상 장치는 조절가능한 시야(FOV: Field of View)를 갖고, 상기 FOV는 상기 OOI 및 ROI 데이터에 기초하여 실시간으로 조절되는, 장치.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL199763A IL199763B (en) | 2009-07-08 | 2009-07-08 | Automatic contractual system and method for observation |
IL199763 | 2009-07-08 | ||
PCT/IL2010/000465 WO2011004358A1 (en) | 2009-07-08 | 2010-06-13 | Automatic video surveillance system and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127002703A Division KR20120038990A (ko) | 2009-07-08 | 2010-06-13 | 자동 비디오 감시 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20170026623A KR20170026623A (ko) | 2017-03-08 |
KR101747180B1 true KR101747180B1 (ko) | 2017-06-14 |
Family
ID=42263758
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127002703A KR20120038990A (ko) | 2009-07-08 | 2010-06-13 | 자동 비디오 감시 시스템 및 방법 |
KR1020177003254A KR101747180B1 (ko) | 2009-07-08 | 2010-06-13 | 자동 비디오 감시 시스템 및 방법 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127002703A KR20120038990A (ko) | 2009-07-08 | 2010-06-13 | 자동 비디오 감시 시스템 및 방법 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9253453B2 (ko) |
EP (1) | EP2452490A1 (ko) |
KR (2) | KR20120038990A (ko) |
CA (1) | CA2767312C (ko) |
CL (1) | CL2012000018A1 (ko) |
IL (1) | IL199763B (ko) |
SG (2) | SG10201403923RA (ko) |
WO (1) | WO2011004358A1 (ko) |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
US9041898B1 (en) * | 2007-10-15 | 2015-05-26 | Arete Associates | Apparatus and method for simultaneous plural-view image sequences from a single image sensor |
US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
US11320571B2 (en) | 2012-11-16 | 2022-05-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view with uniform light extraction |
US10795160B1 (en) | 2014-09-25 | 2020-10-06 | Rockwell Collins, Inc. | Systems for and methods of using fold gratings for dual axis expansion |
US11300795B1 (en) | 2009-09-30 | 2022-04-12 | Digilens Inc. | Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion |
US8233204B1 (en) | 2009-09-30 | 2012-07-31 | Rockwell Collins, Inc. | Optical displays |
US8659826B1 (en) | 2010-02-04 | 2014-02-25 | Rockwell Collins, Inc. | Worn display system and method without requiring real time tracking for boresight precision |
US8527445B2 (en) * | 2010-12-02 | 2013-09-03 | Pukoa Scientific, Llc | Apparatus, system, and method for object detection and identification |
EP2673953B1 (en) | 2011-02-10 | 2020-04-08 | BAE Systems PLC | Image capturing |
WO2012107751A1 (en) | 2011-02-10 | 2012-08-16 | Bae Systems Plc | Image capturing |
US9274349B2 (en) | 2011-04-07 | 2016-03-01 | Digilens Inc. | Laser despeckler based on angular diversity |
US8844896B2 (en) | 2011-06-07 | 2014-09-30 | Flir Systems, Inc. | Gimbal system with linear mount |
US8711223B2 (en) * | 2011-06-21 | 2014-04-29 | Flir Systems, Inc. | Vehicle-mounted camera stabilized passively by vibration isolators |
WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
EP2995986B1 (en) | 2011-08-24 | 2017-04-12 | Rockwell Collins, Inc. | Data display |
WO2013033954A1 (zh) | 2011-09-09 | 2013-03-14 | 深圳市大疆创新科技有限公司 | 陀螺式动态自平衡云台 |
US9366864B1 (en) | 2011-09-30 | 2016-06-14 | Rockwell Collins, Inc. | System for and method of displaying information without need for a combiner alignment detector |
US8634139B1 (en) | 2011-09-30 | 2014-01-21 | Rockwell Collins, Inc. | System for and method of catadioptric collimation in a compact head up display (HUD) |
US9715067B1 (en) | 2011-09-30 | 2017-07-25 | Rockwell Collins, Inc. | Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials |
US9507150B1 (en) | 2011-09-30 | 2016-11-29 | Rockwell Collins, Inc. | Head up display (HUD) using a bent waveguide assembly |
TW201326874A (zh) * | 2011-12-26 | 2013-07-01 | Hon Hai Prec Ind Co Ltd | 飛行探測系統 |
US20150010265A1 (en) | 2012-01-06 | 2015-01-08 | Milan, Momcilo POPOVICH | Contact image sensor using switchable bragg gratings |
US9523852B1 (en) | 2012-03-28 | 2016-12-20 | Rockwell Collins, Inc. | Micro collimator system and method for a head up display (HUD) |
EP2645713A1 (en) * | 2012-03-30 | 2013-10-02 | Alcatel Lucent | Method and apparatus for encoding a selected spatial portion of a video stream |
CN106125308B (zh) | 2012-04-25 | 2019-10-25 | 罗克韦尔柯林斯公司 | 用于显示图像的装置和方法 |
TWI438728B (zh) * | 2012-04-25 | 2014-05-21 | Hon Hai Prec Ind Co Ltd | 交通流量管控系統及方法 |
WO2014039050A1 (en) * | 2012-09-07 | 2014-03-13 | Siemens Aktiengesellschaft | Methods and apparatus for establishing exit/entry criteria for a secure location |
KR102074637B1 (ko) * | 2012-09-19 | 2020-02-10 | 한국전력공사 | 구조물 점검용 비행 장치 |
US9933684B2 (en) * | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
US9674413B1 (en) | 2013-04-17 | 2017-06-06 | Rockwell Collins, Inc. | Vision system and method having improved performance and solar mitigation |
IL226696A (en) * | 2013-06-02 | 2015-11-30 | Elbit Systems Ltd | A method and system for determining an area of interest for a device-based imaging system imaging device |
US8922348B2 (en) * | 2013-06-03 | 2014-12-30 | The Boeing Company | Radio frequency identification notification system |
FR3007176B1 (fr) * | 2013-06-18 | 2016-10-28 | Airbus Operations Sas | Dispositif, systeme et procede d’escorte pour un aeronef au sol |
US8903568B1 (en) | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
WO2015015138A1 (en) | 2013-07-31 | 2015-02-05 | Milan Momcilo Popovich | Method and apparatus for contact image sensing |
US9774829B2 (en) * | 2013-08-09 | 2017-09-26 | The Boeing Company | Demand based field of view (FOV) allocation for remote sensing systems |
KR20150029380A (ko) * | 2013-09-10 | 2015-03-18 | 주식회사 케이엠더블유 | 옥외 주차장용 엘이디 조명기구 |
US9244281B1 (en) | 2013-09-26 | 2016-01-26 | Rockwell Collins, Inc. | Display system and method using a detached combiner |
WO2015051501A1 (en) | 2013-10-08 | 2015-04-16 | SZ DJI Technology Co., Ltd | Apparatus and methods for stabilization and vibration reduction |
CA2928840C (en) * | 2013-10-31 | 2021-08-10 | Aerovironment, Inc. | Interactive weapon targeting system displaying remote sensed image of target area |
US20150130936A1 (en) | 2013-11-08 | 2015-05-14 | Dow Agrosciences Llc | Crop monitoring system |
US9158304B2 (en) | 2013-11-10 | 2015-10-13 | Google Inc. | Methods and systems for alerting and aiding an emergency situation |
US10732407B1 (en) | 2014-01-10 | 2020-08-04 | Rockwell Collins, Inc. | Near eye head up display system and method with fixed combiner |
US9519089B1 (en) | 2014-01-30 | 2016-12-13 | Rockwell Collins, Inc. | High performance volume phase gratings |
US9244280B1 (en) | 2014-03-25 | 2016-01-26 | Rockwell Collins, Inc. | Near eye display system and method for display enhancement or redundancy |
EP3169974A2 (en) * | 2014-07-18 | 2017-05-24 | Altec S.p.A. | Image and/or radio signals capturing platform |
WO2016020632A1 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Method for holographic mastering and replication |
US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
US10088675B1 (en) | 2015-05-18 | 2018-10-02 | Rockwell Collins, Inc. | Turning light pipe for a pupil expansion system and method |
US9715110B1 (en) | 2014-09-25 | 2017-07-25 | Rockwell Collins, Inc. | Automotive head up display (HUD) |
CN111323867A (zh) | 2015-01-12 | 2020-06-23 | 迪吉伦斯公司 | 环境隔离的波导显示器 |
KR101701905B1 (ko) * | 2015-01-12 | 2017-02-13 | 주식회사 아이티스테이션 | 무인 항공기를 이용한 작업 차량 운행 관리 시스템 |
US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
US10126552B2 (en) | 2015-05-18 | 2018-11-13 | Rockwell Collins, Inc. | Micro collimator system and method for a head up display (HUD) |
US11366316B2 (en) | 2015-05-18 | 2022-06-21 | Rockwell Collins, Inc. | Head up display (HUD) using a light pipe |
US10247943B1 (en) | 2015-05-18 | 2019-04-02 | Rockwell Collins, Inc. | Head up display (HUD) using a light pipe |
GB2539027B (en) | 2015-06-04 | 2019-04-17 | Thales Holdings Uk Plc | Video compression with increased fidelity near horizon |
US10108010B2 (en) | 2015-06-29 | 2018-10-23 | Rockwell Collins, Inc. | System for and method of integrating head up displays and head down displays |
EP3359999A1 (en) | 2015-10-05 | 2018-08-15 | Popovich, Milan Momcilo | Waveguide display |
CA2952484A1 (en) * | 2015-12-23 | 2017-06-23 | Wal-Mart Stores, Inc. | Apparatus and method for monitoring premises |
US10598932B1 (en) | 2016-01-06 | 2020-03-24 | Rockwell Collins, Inc. | Head up display for integrating views of conformally mapped symbols and a fixed image source |
US11032473B2 (en) | 2016-03-02 | 2021-06-08 | Minuteman Security Technologies, Inc. | Surveillance and monitoring system |
JP6418181B2 (ja) * | 2016-03-04 | 2018-11-07 | トヨタ自動車株式会社 | 遠隔操作システム、車両及び遠隔操作装置 |
WO2017162999A1 (en) | 2016-03-24 | 2017-09-28 | Popovich Milan Momcilo | Method and apparatus for providing a polarization selective holographic waveguide device |
WO2017178781A1 (en) | 2016-04-11 | 2017-10-19 | GRANT, Alastair, John | Holographic waveguide apparatus for structured light projection |
US9977429B2 (en) * | 2016-05-04 | 2018-05-22 | Motorola Solutions, Inc. | Methods and systems for positioning a camera in an incident area |
CN105991977A (zh) * | 2016-06-28 | 2016-10-05 | 齐鲁工业大学 | 一种路况空中探测装置 |
CN106506951A (zh) * | 2016-10-31 | 2017-03-15 | 易瓦特科技股份公司 | 用于无人机的成像控制方法和设备 |
CN108021141B (zh) * | 2016-10-31 | 2021-07-16 | 武汉众宇动力***科技有限公司 | 无人机控制终端及无人机动力监控***操作界面显示方法 |
CN106355805A (zh) * | 2016-11-10 | 2017-01-25 | 广东容祺智能科技有限公司 | 一种基于无人机的大数据变电站监控***及其检测方法 |
US10198841B2 (en) | 2016-11-30 | 2019-02-05 | Gopro, Inc. | Map view |
EP3548939A4 (en) | 2016-12-02 | 2020-11-25 | DigiLens Inc. | UNIFORM OUTPUT LIGHTING WAVEGUIDE DEVICE |
KR20180068411A (ko) * | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치 |
US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
US10295824B2 (en) | 2017-01-26 | 2019-05-21 | Rockwell Collins, Inc. | Head up display with an angled light pipe |
WO2018145291A1 (en) | 2017-02-10 | 2018-08-16 | SZ DJI Technology Co., Ltd. | System and method for real-time location tracking of drone |
US20180231379A1 (en) * | 2017-02-14 | 2018-08-16 | Honeywell International Inc. | Image processing system |
US10354163B2 (en) * | 2017-06-19 | 2019-07-16 | Honeywell International Inc. | Enhanced computer vision using object location information |
JP7399084B2 (ja) | 2017-10-16 | 2023-12-15 | ディジレンズ インコーポレイテッド | ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法 |
CN107564224A (zh) * | 2017-10-24 | 2018-01-09 | 成都思唯奇科技有限公司 | 基于物联网的无线安防*** |
KR20200108030A (ko) | 2018-01-08 | 2020-09-16 | 디지렌즈 인코포레이티드. | 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법 |
US10914950B2 (en) | 2018-01-08 | 2021-02-09 | Digilens Inc. | Waveguide architectures and related methods of manufacturing |
US11402801B2 (en) | 2018-07-25 | 2022-08-02 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
CN108982521A (zh) * | 2018-08-04 | 2018-12-11 | 石修英 | 可视化土壤健康水平检测设备 |
CN109146862A (zh) * | 2018-08-04 | 2019-01-04 | 石修英 | 土壤修复状态智能化检测设备 |
JP7229698B2 (ja) * | 2018-08-20 | 2023-02-28 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10931863B2 (en) * | 2018-09-13 | 2021-02-23 | Genetec Inc. | Camera control system and method of controlling a set of cameras |
TWI693829B (zh) * | 2018-12-24 | 2020-05-11 | 緯創資通股份有限公司 | 電子裝置及其影像測距方法 |
CN113692544A (zh) | 2019-02-15 | 2021-11-23 | 迪吉伦斯公司 | 使用集成光栅提供全息波导显示的方法和装置 |
KR20210134763A (ko) | 2019-03-12 | 2021-11-10 | 디지렌즈 인코포레이티드. | 홀로그래픽 도파관 백라이트 및 관련된 제조 방법 |
CN111345029B (zh) * | 2019-05-30 | 2022-07-08 | 深圳市大疆创新科技有限公司 | 一种目标追踪方法、装置、可移动平台及存储介质 |
JP2022535460A (ja) | 2019-06-07 | 2022-08-08 | ディジレンズ インコーポレイテッド | 透過格子および反射格子を組み込んだ導波路、ならびに関連する製造方法 |
GB2584717B (en) * | 2019-06-13 | 2023-10-25 | Thales Holdings Uk Plc | Autonomous search and track using a wide FOV |
CN112217966B (zh) * | 2019-07-12 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 监控装置 |
JP2022543571A (ja) | 2019-07-29 | 2022-10-13 | ディジレンズ インコーポレイテッド | 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置 |
WO2021041949A1 (en) | 2019-08-29 | 2021-03-04 | Digilens Inc. | Evacuating bragg gratings and methods of manufacturing |
CN111583692A (zh) * | 2020-04-27 | 2020-08-25 | 新石器慧通(北京)科技有限公司 | 一种基于自动驾驶的远程视野获取方法、装置及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005263105A (ja) | 2004-03-19 | 2005-09-29 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した公衆への告知システム |
US20060077255A1 (en) | 2004-08-10 | 2006-04-13 | Hui Cheng | Method and system for performing adaptive image acquisition |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1455525A1 (de) * | 2003-03-05 | 2004-09-08 | TELCAST Media Group GmbH | Verfahren und Vorrichtung zur Aufnahme von Videodaten |
WO2006067547A1 (en) * | 2004-12-23 | 2006-06-29 | Nokia Corporation | Method for extracting of multiple sub-windows of a scanning area by means of a digital video camera |
JP2008527806A (ja) * | 2005-01-03 | 2008-07-24 | ブミー インコーポレイテッド | 夜間監視のシステムおよび方法 |
US20070126867A1 (en) * | 2005-12-02 | 2007-06-07 | Mccutchen David | High resolution surveillance camera |
US8581981B2 (en) * | 2006-04-28 | 2013-11-12 | Southwest Research Institute | Optical imaging system for unmanned aerial vehicle |
US20080068151A1 (en) * | 2006-09-13 | 2008-03-20 | Dror Ouzana | Surveillance system and method for optimizing coverage of a region of interest by a sensor |
US8320615B2 (en) * | 2008-02-27 | 2012-11-27 | Honeywell International Inc. | Systems and methods for recognizing a target from a moving platform |
-
2009
- 2009-07-08 IL IL199763A patent/IL199763B/en active IP Right Grant
-
2010
- 2010-06-13 SG SG10201403923RA patent/SG10201403923RA/en unknown
- 2010-06-13 CA CA2767312A patent/CA2767312C/en active Active
- 2010-06-13 SG SG2012000311A patent/SG177491A1/en unknown
- 2010-06-13 EP EP10738039A patent/EP2452490A1/en not_active Ceased
- 2010-06-13 KR KR1020127002703A patent/KR20120038990A/ko not_active Application Discontinuation
- 2010-06-13 KR KR1020177003254A patent/KR101747180B1/ko active IP Right Grant
- 2010-06-13 WO PCT/IL2010/000465 patent/WO2011004358A1/en active Application Filing
- 2010-06-13 US US13/381,177 patent/US9253453B2/en active Active
-
2012
- 2012-01-04 CL CL2012000018A patent/CL2012000018A1/es unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005263105A (ja) | 2004-03-19 | 2005-09-29 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した公衆への告知システム |
US20060077255A1 (en) | 2004-08-10 | 2006-04-13 | Hui Cheng | Method and system for performing adaptive image acquisition |
Also Published As
Publication number | Publication date |
---|---|
IL199763B (en) | 2018-07-31 |
WO2011004358A1 (en) | 2011-01-13 |
SG177491A1 (en) | 2012-02-28 |
CL2012000018A1 (es) | 2014-03-21 |
US20120105634A1 (en) | 2012-05-03 |
CA2767312C (en) | 2018-03-20 |
KR20120038990A (ko) | 2012-04-24 |
EP2452490A1 (en) | 2012-05-16 |
US9253453B2 (en) | 2016-02-02 |
IL199763A0 (en) | 2010-04-29 |
CA2767312A1 (en) | 2011-01-13 |
SG10201403923RA (en) | 2014-10-30 |
KR20170026623A (ko) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101747180B1 (ko) | 자동 비디오 감시 시스템 및 방법 | |
US20210064024A1 (en) | Scanning environments and tracking unmanned aerial vehicles | |
US10139819B2 (en) | Video enabled inspection using unmanned aerial vehicles | |
US20180342168A1 (en) | Autonomous drone service system | |
US20100286859A1 (en) | Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path | |
CN112130579A (zh) | 一种隧道无人机巡检方法及*** | |
EP3740785B1 (en) | Automatic camera driven aircraft control for radar activation | |
MX2013000158A (es) | Sistema de manejo de plataforma movilen tiempo real. | |
KR20140030610A (ko) | 지상 감시장비와 연동된 무인기를 이용한 감시 방법 | |
CN110673650B (zh) | 无人机控制方法 | |
KR20170089574A (ko) | 선박의 장애물 관리 시스템 및 장애물 관리 방법 | |
CN112884692B (zh) | 分布式机载协同侦察光电***及无人机*** | |
CN106210675A (zh) | 一种输电线路山火监测方法、装置和*** | |
US20040145511A1 (en) | Method for recognizing and identifying objects | |
US20220390940A1 (en) | Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning | |
JP2000152220A (ja) | 監視用itvカメラの制御方法 | |
EP4047437B1 (en) | Methods and systems for searchlight control for aerial vehicles | |
JP2020198024A (ja) | 遠隔管制システムおよび遠隔管制方法 | |
US11829140B2 (en) | Methods and systems for searchlight control for aerial vehicles | |
CN114895713B (zh) | 飞行器着陆方法、***、飞行器及存储介质 | |
CN220323539U (zh) | 一种路侧感知设备 | |
US20240248477A1 (en) | Multi-drone beyond visual line of sight (bvlos) operation | |
JP2000181346A (ja) | 映像地図連携システム | |
EP4390452A1 (en) | Scanning aid for camera-based searches | |
JP2023138423A (ja) | データ収集装置及びセンサの姿勢を決定するための方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |