KR20160068461A - 평면도에 히트맵을 표시하는 장치 및 방법 - Google Patents
평면도에 히트맵을 표시하는 장치 및 방법 Download PDFInfo
- Publication number
- KR20160068461A KR20160068461A KR1020140174257A KR20140174257A KR20160068461A KR 20160068461 A KR20160068461 A KR 20160068461A KR 1020140174257 A KR1020140174257 A KR 1020140174257A KR 20140174257 A KR20140174257 A KR 20140174257A KR 20160068461 A KR20160068461 A KR 20160068461A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- displaying
- plan
- view
- heat map
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치는 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부; 상기 검출된 객체의 수평거리를 계산하는 수평거리계산부; 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및 상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 한다.
Description
본 발명은 평면도에 히트맵을 표시하는 장치 및 방법에 관한 것이다.
카메라 또는 감시 시스템의 호스트 장치는 카메라와 목표물 사이의 거리를 구하여 디스플레이할 필요가 있다.
예를 들어, 감시 시스템에서 카메라들이 연동하면서 사람 또는 차량 등의 목표물을 추적할 경우, 현재 목표물을 촬영중인 카메라와 목표물 사이의 거리를 디스플레이할 필요가 있다.
본 발명에서는 감시 카메라 등에서 촬영된 영상의 왜곡을 수정하여 평면도에 표시하고, 이 정보를 이용하여 정확한 히트맵을 제공하고자 한다.
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치는 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부; 상기 검출된 객체의 수평거리를 계산하는 수평거리계산부; 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및 상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치는 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부; 상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 트래킹부; 상기 검출된 객체의 수평거리를 계산하는 수평거리계산부; 상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 작성하는 평면도생성부; 상기 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및 상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법은 적어도 하나 이상의 카메라에서 객체를 검출하는 단계; 상기 검출된 객체의 수평거리를 계산하는 단계; 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및 상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법은 적어도 하나 이상의 카메라에서 객체를 검출하는 단계; 상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 단계; 상기 검출된 객체의 수평거리를 계산하는 단계; 상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 생성하는 단계; 상기 생성된 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및 상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나, 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에서는 감시 카메라 등에서 촬영된 영상의 왜곡을 수정하여 평면도에 표시하고, 이 정보를 이용하여 정확한 히트맵을 제공하는 효과가 있다.
도 1은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하기 위해 이용하는 시스템의 일 예를 도시한다.
도 2는 본 발명의 바람직한 일 실시예로서, 특정 영역을 표시하는 평면도에 히트맵을 표시하는 장치의 내부 구성도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 각 카메라에서 촬영한 객체의 왜곡을 교정하여 수평거리를 기준으로 객체를 평면도 상에 표시한 일 예를 도시한다.
도 4 내지 5는 본 발명의 바람직한 일 실시예로서, 수평거리를 계산하는 실시예를 도시한다. 도 4는 광학계의 광축이 지면과 평행한 경우를 나타내고, 도 5는 광학계의 광축이 지면과 평행하지 않은 경우의 일 실시예를 도시한다.
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시한 일 예를 도시한다.
도 8 내지 9 는 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
도 2는 본 발명의 바람직한 일 실시예로서, 특정 영역을 표시하는 평면도에 히트맵을 표시하는 장치의 내부 구성도를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 각 카메라에서 촬영한 객체의 왜곡을 교정하여 수평거리를 기준으로 객체를 평면도 상에 표시한 일 예를 도시한다.
도 4 내지 5는 본 발명의 바람직한 일 실시예로서, 수평거리를 계산하는 실시예를 도시한다. 도 4는 광학계의 광축이 지면과 평행한 경우를 나타내고, 도 5는 광학계의 광축이 지면과 평행하지 않은 경우의 일 실시예를 도시한다.
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시한 일 예를 도시한다.
도 8 내지 9 는 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.
도 1은 본 발명의 바람직한 일 실시예로서, 단말기(13)에서 평면도에 히트맵을 표시하기 위해 이용하는 시스템의 일 예를 도시한다.
도 1을 참조하면, 카메라들(101, 111, 121)은, 통신 신호(Sco)를 교환하면서 단말기(13)와 통신을 수행한다. 또한, 카메라(101, 111, 121) 상호간에도 유무선 통신 수행이 가능하며, 정보 교환이 이루어질 수 있다.
카메라들(101, 111, 121)은 라이브-뷰(live-view)의 비디오 신호(Svid)를 단말기(13)에 전송할 수 있다. 또한, 카메라들(101, 111, 121)은 상호간에 라이브-뷰(live-view)의 비디오 신호(Svid)를 교환하여 평면도를 생성하도록 구현될 수 있다.
단말기(13)에서 수신된 비디오 신호(Svid)는, 디스플레이 장치를 통하여 디스플레이되는 한편, 기록 장치 예를 들어, 하드 디스크 드라이브(Hard Disk Drive)에 저장되도록 구현할 수 있다. 또한, 단말기(13)는 사용자로부터 제어 신호를 입력받아 각각의 카메라(101, 111, 121)의 PTZ(Pan, Tilt, Zoom)를 수행할 수 있다.
도 2는 본 발명의 바람직한 일 실시예로서, 특정 영역을 표시하는 평면도에 히트맵을 표시하는 장치의 내부 구성도를 도시한다. 도 3 을 참고하여, 평면도에 히트맵을 표시하는 장치의 구성을 설명하겠다. 도 3 은 본 발명의 바람직한 일 실시예로서, 각 카메라에서 촬영한 객체의 왜곡을 교정하여 수평거리를 기준으로 객체를 평면도 상에 표시한 일 예를 도시한다.
카메라(도 3, 310, 320, 330, 340) 각각에서 검출한 객체의 크기는 카메라(도 3, 310, 320, 330, 340)와의 거리, 각도 등에 따라 왜곡될 수 있다. 일 예로, 동일한 객체(301)를 촬영하는 경우에도, 객체(301)와 가까운 거리에 있는 카메라(310)에서는 객체(301)의 크기가 상대적으로 크게 검출되고, 객체(301)와 상대적으로 먼 거리에 있는 카메라(340)에서는 객체(301)의 크기가 상대적으로 작게 검출되는 등의 왜곡이 발생할 수 있다.
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치(200)는 각 카메라(도 3, 310, 320, 330, 340)에서 검출된 객체의 크기를 수평거리로 조정하여, 평면도에 표시한다. 이상의 과정을 통해 카메라에서 발생하는 왜곡현상을 교정할 수 있다. 본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치(200)는 각 카메라(도 3, 310, 320, 330, 340)에서 객체 검출시 발생하는 왜곡현상을 교정한 이후, 각 객체를 평면도에 표시하고 각 객체의 밀집도 또는 각 객체의 아이트래킹 내지 핸드트래킹에 따라 히트맵을 제공하는 특징이 있다.
본 발명의 바람직한 일 실시예로서, 평면도에 히트맵을 표시하는 장치(200)는 객체검출부(210), 수평거리계산부(220), 객체표시부(230) 및 히트맵표시부(240)를 포함한다.
본 발명의 바람직한 일 실시예로서, 특정영역에 대한 평면도(300)를 미리 보유하고 있을 수도 있고, 또는 카메라(도 3, 310, 320, 330, 340)에서 촬영한 영상의 왜곡을 보정한 후, 카메라(도 3, 310, 320, 330, 340) 상호 간에 촬영한 영상 정보 등을 교환하여 평면도를 생성할 수 있다. 평면도는 2차원 또는 3차원으로 구현이 가능하다.
객체검출부(210)는 적어도 하나 이상의 카메라(도 3, 310, 320, 330, 340)에서 객체(301, 302)를 검출한다. 적어도 하나 이상의 카메라(도 3, 310, 320, 330, 340)는 또한 객체(301, 302)의 이동 경로 내지, 객체(301, 302)의 눈(eye) 또는 손(hand)의 움직임을 추적하도록 구현될 수 있다.
수평거리계산부(220)는 객체검출부(210)에서 검출된 객체의 수평거리를 계산한다. 일 예로, 특정 객체가 복수의 카메라에서 동시에 검출된 경우, 삼각 거리 계산법을 이용하여 특정 객체의 위치 및 크기를 계산할 수 있다. 또 다른 일 실시예로서, 특정 객체가 단일 카메라에서 검출된 경우 도 4 내지 5에 도시된 일 실시예와 같이 수평거리를 계산할 수 있다. 수평거리를 계산하는 방법은 도 4 내지 5의 설명을 참고한다. 이 외에도 본 발명의 바람직한 일 실시예에서 수평거리계산부(220)는 수평거리를 계산하는 다양한 방법을 이용할 수 있다.
객체표시부(230)는 기설정된 평면도 또는 카메라에서 영상 교환을 통해 생성한 평면도 상에 수평거리계산부(220)에서 계산된 수평거리를 이용하여 객체검출부(210)에서 검출한 객체를 표시한다.
도 3 을 참고하면, 평면도(300)에는 수평거리를 기준으로 왜곡이 교정된 객체가 표시될 뿐만 아니라, 카메라가 설치되어 있는 위치(310, 320, 330, 340) 및 각 카메라의 촬영범위가 함께 도시된다.
또한, 평면도(300) 내의 특정 영역을 복수 개의 카메라가 촬영하고 있는 경우 이에 대한 정보도 제공할 수 있다. 평면도(300)에는 단일 카메라에 의해 촬영되는 영역(S310, S320), 두 대의 카메라에 의해 촬영되는 범위(S340), 세 대의 카메라에 의해 촬영되는 범위(S330) 등의 정보가 표시된다. 또한, 카메라에 의해 촬영되지 않는 사각영역(S350) 역시 검출이 가능하다.
평면도(300)를 표시하는 객체표시부(230)는 사용자에게 평면도(300)에 표시된 각 카메라를 선택하거나, 또는 카메라의 위치를 변경할 경우 예상되는 촬영 범위 등을 조절하는 인터페이스를 지원하도록 구현이 가능하다.
히트맵표시부(240)는 평면도(300) 상에 표시된 객체의 밀집도에 따라 히트맵을 표시하도록 구현된다. 히트 맵(heat map)은 색상으로 표현할 수 있는 다양한 정보를 평면도(300)위에 열분포 형태의 비쥬얼한 그래픽으로 출력하도록 구현된다.
히트맵표시부(240)는 또한 객체의 아이트래킹 또는 핸드트래킹 결과를 평면도(300) 상에 추가로 표시할 수 있다. 객체의 눈의 움직임 또는 손의 움직임을 추적하여 표시할 수 있다.
히트맵표시부(240)는 또한 눈의 움직임 또는 손의 움직임을 추적한 정보를 이용하여 평면도(도 3, 300) 위에 객체의 눈이나 손이 많이 머문 위치 또는 좌표에 열분포 이미지를 제공할 수 있다.
도 4 내지 5에 도시된 일 실시예와 같이, 수평거리 z(S400)는 카메라 높이 H(S410), 지평선에서의 거리 x(S420) 및 초점 거리 f(focal length)(S430)를 이용하여 계산할 수 있다. 카메라(101)의 높이(H)는 카메라(101)를 설치하는 사용자에 의하여 설정될 수 있다.
도 4 는 광학계(201)의 광축(231)이 지면(EP2)과 평행한 경우의 수평거리를 계산하는 일 예를 도시하고, 도 5는 광학계(201)의 광축(231)이 지면(EP2)과 평행하지 않은 경우 수평거리를 계산하는 일 예를 도시한다.
도 4에서 참조 부호 101은 카메라, 201은 광학계, 202는 광전 변환 소자, 211은 목표물, 221은 카메라-목표물 연결선, 231은 광학계의 광축, α는 상대적 목표물 각도, Ec는 지면 착지 지점, Ei는 영상 수직 거리, EP1은 지평선, EP2는 지면, f는 초점 거리, H는 카메라의 높이, Lc는 광학계의 중심 지점, Pe는 목표물-영상 착지 지점, Sc는 센서 중심 지점, y는 목표물 수직 길이, yi는 목표물-영상의 수직 길이, 그리고 z는 카메라와 목표물 사이의 수평 거리를 각각 가리킨다.
도 4는 광학계(201)의 광축(231)이 지면(EP2)과 평행한 경우이다. 이 경우, 지평선을 촬영하면 지평선의 영상은 센서 중심 지점(Sc)의 수평 라인에 위치한다. 여기에서, 아래의 수학식 1이 성립한다.
따라서, 카메라(101)와 목표물(211) 사이의 수평 거리(z)는 아래의 수학식 2에 의하여 구해질 수 있다.
도 5는 광학계(201)의 광축(231)이 지면(EP2)과 평행하지 않은 경우의 일 예이다.
도 5에서 도 4 와 동일한 참조 부호는 동일한 대상을 가리킨다. 도 5에서 참조 부호 Pe는 목표물-영상 착지 지점, Ec는 센서 수평 지점, Et는 센서 틸팅 거리, θ는 지면-카메라 각도, 그리고 ρ는 카메라-목표물 각도를 각각 가리킨다.
카메라 또는 단말기는, 지면-카메라 각도(θ)와 카메라-목표물 각도(ρ)의 차이값을 상대적 목표물 각도(α)로서 설정한다. 여기에서, 상대적 목표물 각도(α)는 카메라(101)의 파라미터들(parameters)의 설정 값들로부터 계산될 수 있다.
카메라 또는 단말기는, 카메라의 높이(H)를 상대적 목표물 각도(α)의 탄젠트(tangent) 값(tan-1α)으로 나눈 결과를 카메라(101)와 목표물(211) 사이의 수평 거리(z)로서 설정한다.
수학식 4에 의하여 카메라(101)와 목표물(211) 사이의 수평 거리(z)가 구해진다.
도 6 내지 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시한 일 예를 도시한다.
도 6은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 객체의 밀집도에 따른 히트맵을 표시한 일 실시예이다. 도 6 을 참고하면, 객체들이 입구(S610) 영역에 가장 많이 몰려있고, 그 다음으로 중앙 영역(S620)에 많이 몰려있음을 파악할 수 있다.
관리자는 이와 같은 히트맵을 참고하여, 객체들이 많이 밀집되어 있는 영역(S610)에 카메라를 추가 설치할 수 있다. 또한 객체들이 많이 밀집되어 있는 영역(S610)에 대한 정보를 활용하여 해당 영역에 중요한 공고를 붙이거나, 또는 판매 제품을 디스플레이 하는 등으로 활용이 가능하다.
도 7은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 객체의 아이트래킹 또는 핸드트래킹의 밀집도에 따른 히트맵을 표시한 일 실시예이다. 도 6 내지 7 을 참고하면, 객체들이 많이 밀집되어 있던 영역(도 6, S610, S620)과 객체들의 눈 또는 손이 많이 머문 영역(도 7, S710, S720)이 상이함을 파악할 수 있다.
이러한 정보를 활용하여 관리자는 객체들의 눈 또는 손이 많이 머문 영역(도 7, S710, S720)에 객체들이 사기 쉬운 물품과 함께 판매도를 높이고자 하는 물품을 함께 배치하는 등으로 활용할 수 있다. 또한 객체들의 눈 또는 손이 많이 머문 영역(도 7, S710, S720)에 추가로 카메라를 설치하도록 구현할 수 있다.
도 8 은 본 발명의 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
특정 영역에 설치되어 있는 적어도 하나 이상의 카메라에서 상기 특정 영역을 이동하는 객체를 검출한다(S810). 이 경우 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)의 트래킹을 수행할 수 있다. 이 후, 단말기에서는 적어도 하나 이상의 카메라로부터 수신한 객체 정보와 촬영 영상 정보를 이용하여 검출된 객체의 수평거리를 계산한다(S820). 수평거리를 계산하는 일 실시예는 도 4 내지 5와 관련된 설명을 참고한다.
단말기는 평면도(도 3 참고) 상에 검출된 객체를 표시한다. 이 경우 검출된 객체는 수평거리를 이용하여 각 카메라에서 촬영시 왜곡되게 검출되었던 크기 및 위치가 교정되어 표시된다(S830). 단말기는 평면도 상에 객체의 밀집도에 따라 히트맵을 표시한다(S840).
주의할 것은 도 8에서는 S830 단계와 S840 단계를 시계열적으로 표시하였으나, 단말기에서는 S830과 S840을 동시에 구현하거나 또는 S830 단계를 수행하지 않은 채 S840 단계만을 수행하도록 구현될 수 있다.
도 9 는 본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 평면도에 히트맵을 표시하는 방법의 흐름도를 도시한다.
특정 영역에 설치되어 있는 적어도 하나 이상의 카메라에서 상기 특정 영역을 이동하는 객체를 검출한다(S910). 이 경우 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)의 트래킹을 수행할 수 있다(S920). 이 후, 단말기에서는 적어도 하나 이상의 카메라로부터 수신한 객체 정보와 촬영 영상 정보를 이용하여 검출된 객체의 수평거리를 계산한다(S930). 수평거리를 계산하는 일 실시예는 도 4 내지 5와 관련된 설명을 참고한다.
특정 영역에 설치되어 있는 적어도 하나 이상의 카메라는 상호간에 유무선 통신을 통하여 촬영한 영상 정보, 검출한 객체 정보 등을 교환할 수 있다. 본 발명의 바람직한 일 실시예에서는 특정 영역에 설치되어 있는 적어도 하나 이상의 카메라가 상호간에 교환한 정보를 이용하여 평면도를 생성할 수 있다(S940). 주의할 것은 도 9에서는 S940 단계가 시계열적으로 S910, S920 및 S930 단계 이후에 기술되었으나, S940 단계가 가장 먼저 수행된 이후 시계열적으로 S910, S920 및 S930 단계가 수행되도록 변형이 가능하다. 또는 S910, S920, S930 단계와 함께 S940 단계가 구현될 수 있다.
이상의 과정을 통해 적어도 하나 이상의 카메라가 촬영하고 있는 특정 영역에 대한 평면도가 생성되고, 상기 특정 영역을 이동하는 객체가 검출된 경우, 평면도 상에 수평거리를 이용하여 검출된 객체를 표시한다(S950).
이 경우 검출된 객체는 수평거리를 이용하여 각 카메라에서 촬영시 왜곡되게 검출되었던 크기 및 위치가 교정되어 표시된다(S950). 단말기는 평면도 상에 평면도 상에 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나, 또는 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시한다(S960). 이 경우 단말기는 또한 객체의 밀집도에 따라 히트맵을 표시할 수 있다(S960).
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
Claims (15)
- 평면도에 히트맵을 표시하는 장치로서,
적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부;
상기 검출된 객체의 수평거리를 계산하는 수평거리계산부;
평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및
상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 하는 장치. - 제 1 항에 있어서,
상기 평면도는 특정 영역을 표시하는 기설정된 지도 정보로서, 상기 특정 영역에는 상기 적어도 하나 이상의 카메라가 설치되어 있으며, 상기 평면도에는 상기 적어도 하나 이상의 카메라에 대한 정보가 표시되는 것을 특징으로 하는 장치. - 제 2 항에 있어서, 상기 평면도는
상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하고,
상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하며,
상기 특정 영역 중 상기 적어도 하나 이상의 카메라의 촬영 범위에 해당하지 않는 사각지대를 표시하는 것을 특징으로 하는 장치. - 제 1 항에 있어서, 상기 평면도는
2차원 또는 3차원인 것을 특징으로 하는 장치. - 제 4 항에 있어서, 상기 평면도가 3차원인 경우,
상기 평면도 상에 객체의 높이도 상기 계산된 수평거리를 이용하여 표시하는 것을 특징으로 하는 장치. - 적어도 하나 이상의 카메라에서 객체를 검출하는 객체검출부;
상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 트래킹부;
상기 검출된 객체의 수평거리를 계산하는 수평거리계산부;
상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 작성하는 평면도생성부;
상기 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 객체표시부;및
상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 히트맵표시부;를 포함하는 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치. - 제 6 항에 있어서, 상기 적어도 하나 이상의 카메라는
상호간에 유무선 통신을 통해 정보 교환이 가능한 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치. - 제 6 항에 있어서, 상기 히트맵표시부는
상기 평면도에 상기 검출된 객체의 밀집도를 나타내는 히트맵을 더 표시하는 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치. - 제 6 항에 있어서, 상기 평면도에
상기 적어도 하나 이상의 카메라에 대한 정보가 표시되는 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치. - 제 9 항에 있어서, 상기 평면도는
상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하고,
상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하는 것을 특징으로 하는 평면도에 히트맵을 표시하는 장치. - 단말기에서 평면도에 히트맵을 표시하는 방법으로서,
적어도 하나 이상의 카메라에서 객체를 검출하는 단계;
상기 검출된 객체의 수평거리를 계산하는 단계;
평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및
상기 평면도 상에 상기 표시된 객체의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제 11 항에 있어서,
상기 특정 영역에는 상기 적어도 하나 이상의 카메라가 설치되어 있으며, 상기 평면도에는 상기 적어도 하나 이상의 카메라에 대한 정보가 표시되는 것을 특징으로 하는 방법. - 제 12 항에 있어서, 상기 평면도는
상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하고,
상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하며,
상기 특정 영역 중 상기 적어도 하나 이상의 카메라의 촬영 범위에 해당하지 않는 사각지대를 표시하는 것을 특징으로 하는 방법. - 단말기에서 평면도에 히트맵을 표시하는 방법으로서,
적어도 하나 이상의 카메라에서 객체를 검출하는 단계;
상기 적어도 하나 이상의 카메라에서 상기 검출된 객체의 눈(eye) 또는 손(hand)을 트래킹하는 단계;
상기 검출된 객체의 수평거리를 계산하는 단계;
상기 적어도 하나 이상의 카메라에서 촬영한 영상을 기초로 평면도를 생성하는 단계;
상기 생성된 평면도 상에 상기 계산된 수평거리를 이용하여 상기 검출된 객체를 표시하는 단계;및
상기 평면도 상에 상기 검출된 객체의 아이트래킹 또는 핸드트래킹 경로를 표시하거나, 또는 상기 아이트래킹 또는 핸드트래킹의 밀집도에 따라 히트맵을 표시하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제 14 항에 있어서, 상기 평면도는
상기 적어도 하나 이상의 카메라 각각의 촬영 범위를 표시하고,
상기 적어도 하나 이상의 카메라 중 복수개의 카메라가 촬영하는 영역이 중복되는 경우, 중복되는 영역을 표시하는 것을 특징으로 하는 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140174257A KR102282456B1 (ko) | 2014-12-05 | 2014-12-05 | 평면도에 히트맵을 표시하는 장치 및 방법 |
US14/790,224 US10733774B2 (en) | 2014-12-05 | 2015-07-02 | Device and method of displaying heat map on perspective drawing |
CN201510888714.5A CN105674878B (zh) | 2014-12-05 | 2015-12-07 | 在透视图上显示热图的装置和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140174257A KR102282456B1 (ko) | 2014-12-05 | 2014-12-05 | 평면도에 히트맵을 표시하는 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160068461A true KR20160068461A (ko) | 2016-06-15 |
KR102282456B1 KR102282456B1 (ko) | 2021-07-28 |
Family
ID=56094758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140174257A KR102282456B1 (ko) | 2014-12-05 | 2014-12-05 | 평면도에 히트맵을 표시하는 장치 및 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10733774B2 (ko) |
KR (1) | KR102282456B1 (ko) |
CN (1) | CN105674878B (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019231119A1 (ko) * | 2018-05-31 | 2019-12-05 | 삼성에스디에스 주식회사 | 혼잡도 시각화 장치 및 방법 |
KR20200100988A (ko) * | 2019-02-19 | 2020-08-27 | 한화테크윈 주식회사 | 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법 |
KR102333143B1 (ko) * | 2021-03-15 | 2021-12-02 | 다인스 주식회사 | 무인 계수 서비스 제공 시스템 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110249626B (zh) * | 2017-10-26 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 增强现实图像的实现方法、装置、终端设备和存储介质 |
US11763209B1 (en) * | 2019-03-06 | 2023-09-19 | American Airlines, Inc. | Virtual measurement system for baggage management |
US11023729B1 (en) | 2019-11-08 | 2021-06-01 | Msg Entertainment Group, Llc | Providing visual guidance for presenting visual content in a venue |
CN111161138B (zh) * | 2019-12-31 | 2021-05-07 | 北京城市网邻信息技术有限公司 | 用于二维全景图像的目标检测方法、装置、设备、介质 |
CN113115000B (zh) * | 2021-04-12 | 2022-06-17 | 浙江商汤科技开发有限公司 | 地图生成方法及装置、电子设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010010542A1 (en) * | 1996-09-20 | 2001-08-02 | Yoichi Takagi | Image processor, intruder monitoring apparatus and intruder monitoring method |
US20030085992A1 (en) * | 2000-03-07 | 2003-05-08 | Sarnoff Corporation | Method and apparatus for providing immersive surveillance |
US20060187305A1 (en) * | 2002-07-01 | 2006-08-24 | Trivedi Mohan M | Digital processing of video images |
US20070024704A1 (en) * | 2005-07-26 | 2007-02-01 | Activeye, Inc. | Size calibration and mapping in overhead camera view |
US20080292140A1 (en) * | 2007-05-22 | 2008-11-27 | Stephen Jeffrey Morris | Tracking people and objects using multiple live and recorded surveillance camera video feeds |
US20120314030A1 (en) * | 2011-06-07 | 2012-12-13 | International Business Machines Corporation | Estimation of object properties in 3d world |
US20120327220A1 (en) * | 2011-05-31 | 2012-12-27 | Canon Kabushiki Kaisha | Multi-view alignment based on fixed-scale ground plane rectification |
WO2014087620A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 視界表示システム、視界表示方法および視界表示プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101362630B1 (ko) | 2007-06-21 | 2014-02-12 | 엘지전자 주식회사 | 디지털 비디오 레코더에서의 피사체 이동 경로 추적 방법 |
JP2009145061A (ja) | 2007-12-11 | 2009-07-02 | Mitsubishi Electric Corp | 位置計測装置 |
KR101080073B1 (ko) | 2009-02-27 | 2011-11-04 | 숭실대학교산학협력단 | 다수의 가상 평면 정보를 이용한 3차원 물체의 기하 정보 추출 방법 |
DE102010003336A1 (de) | 2010-03-26 | 2011-09-29 | Robert Bosch Gmbh | Verfahren zur Visualisierung von Aktivitätsschwerpunkten in Überwachungsszenen |
KR101172747B1 (ko) * | 2010-08-16 | 2012-08-14 | 한국표준과학연구원 | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 |
JP2012058968A (ja) * | 2010-09-08 | 2012-03-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
EP2719168A2 (en) | 2011-06-10 | 2014-04-16 | Flir Systems, Inc. | Systems and methods for intelligent monitoring of thoroughfares using thermal imaging |
CN102376061B (zh) * | 2011-08-26 | 2015-04-22 | 浙江工业大学 | 基于全方位视觉的消费者购买行为分析装置 |
US20130063592A1 (en) | 2011-09-08 | 2013-03-14 | Scott Michael Kingsley | Method and system for associating devices with a coverage area for a camera |
KR20140073773A (ko) | 2012-12-07 | 2014-06-17 | 한국전자통신연구원 | 매장 방문을 실시간으로 확인하고 보상을 제공하는 체크인 장치와 그 방법 |
-
2014
- 2014-12-05 KR KR1020140174257A patent/KR102282456B1/ko active IP Right Grant
-
2015
- 2015-07-02 US US14/790,224 patent/US10733774B2/en active Active
- 2015-12-07 CN CN201510888714.5A patent/CN105674878B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010010542A1 (en) * | 1996-09-20 | 2001-08-02 | Yoichi Takagi | Image processor, intruder monitoring apparatus and intruder monitoring method |
US20030085992A1 (en) * | 2000-03-07 | 2003-05-08 | Sarnoff Corporation | Method and apparatus for providing immersive surveillance |
US20060187305A1 (en) * | 2002-07-01 | 2006-08-24 | Trivedi Mohan M | Digital processing of video images |
US8599266B2 (en) * | 2002-07-01 | 2013-12-03 | The Regents Of The University Of California | Digital processing of video images |
US20070024704A1 (en) * | 2005-07-26 | 2007-02-01 | Activeye, Inc. | Size calibration and mapping in overhead camera view |
US20080292140A1 (en) * | 2007-05-22 | 2008-11-27 | Stephen Jeffrey Morris | Tracking people and objects using multiple live and recorded surveillance camera video feeds |
US8350908B2 (en) * | 2007-05-22 | 2013-01-08 | Vidsys, Inc. | Tracking people and objects using multiple live and recorded surveillance camera video feeds |
US20120327220A1 (en) * | 2011-05-31 | 2012-12-27 | Canon Kabushiki Kaisha | Multi-view alignment based on fixed-scale ground plane rectification |
US20120314030A1 (en) * | 2011-06-07 | 2012-12-13 | International Business Machines Corporation | Estimation of object properties in 3d world |
WO2014087620A1 (ja) * | 2012-12-06 | 2014-06-12 | 日本電気株式会社 | 視界表示システム、視界表示方法および視界表示プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019231119A1 (ko) * | 2018-05-31 | 2019-12-05 | 삼성에스디에스 주식회사 | 혼잡도 시각화 장치 및 방법 |
KR20190136517A (ko) * | 2018-05-31 | 2019-12-10 | 삼성에스디에스 주식회사 | 혼잡도 시각화 장치 및 방법 |
CN111164612A (zh) * | 2018-05-31 | 2020-05-15 | 三星Sds株式会社 | 拥挤度可视化设备以及方法 |
US11393214B2 (en) | 2018-05-31 | 2022-07-19 | Samsung Sds Co., Ltd. | Apparatus and method for congestion visualization |
KR20200100988A (ko) * | 2019-02-19 | 2020-08-27 | 한화테크윈 주식회사 | 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법 |
KR102333143B1 (ko) * | 2021-03-15 | 2021-12-02 | 다인스 주식회사 | 무인 계수 서비스 제공 시스템 |
Also Published As
Publication number | Publication date |
---|---|
US10733774B2 (en) | 2020-08-04 |
CN105674878B (zh) | 2021-03-16 |
CN105674878A (zh) | 2016-06-15 |
KR102282456B1 (ko) | 2021-07-28 |
US20160163075A1 (en) | 2016-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102282456B1 (ko) | 평면도에 히트맵을 표시하는 장치 및 방법 | |
EP3089449B1 (en) | Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium | |
US9621982B2 (en) | Directivity control apparatus, directivity control method, storage medium and directivity control system | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5961945B2 (ja) | 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体 | |
US9746319B2 (en) | Generation of depth data based on spatial light pattern | |
GB2577009A (en) | Video and chart image fusion systems and methods | |
JP6620394B2 (ja) | 制御装置、制御方法及びプログラム | |
US20100141767A1 (en) | Semi-Automatic Relative Calibration Method for Master Slave Camera Control | |
KR20140071188A (ko) | 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템 | |
WO2020020021A1 (zh) | 测温处理方法、装置及热成像设备 | |
US20210377432A1 (en) | Information processing apparatus, information processing method, program, and interchangeable lens | |
JP2017535755A (ja) | 動画カメラフォーカス用途における距離測定デバイス | |
CN102694963B (zh) | 一种获取无阴影目标图像的方法 | |
TWI518305B (zh) | 影像擷取方法 | |
JP2011095112A (ja) | 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム | |
KR20140014870A (ko) | 시선 추적 장치 및 이의 시선 추적 방법 | |
KR100957590B1 (ko) | 객체 영상 표출형 전방향 영상레이다 장치 | |
KR20120108256A (ko) | 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법 | |
JP2014215755A (ja) | 画像処理システム、画像処理装置及び画像処理方法 | |
JP7504688B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
TWI486054B (zh) | A portrait processing device, a three-dimensional image display device, a method and a program | |
JP7021036B2 (ja) | 電子機器及び通知方法 | |
JP2008241609A (ja) | 距離計測システム及び距離計測方法 | |
WO2015141185A1 (ja) | 撮像制御装置、撮像制御方法および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |