KR20230163815A - speed calculation system based on images - Google Patents

speed calculation system based on images Download PDF

Info

Publication number
KR20230163815A
KR20230163815A KR1020220063605A KR20220063605A KR20230163815A KR 20230163815 A KR20230163815 A KR 20230163815A KR 1020220063605 A KR1020220063605 A KR 1020220063605A KR 20220063605 A KR20220063605 A KR 20220063605A KR 20230163815 A KR20230163815 A KR 20230163815A
Authority
KR
South Korea
Prior art keywords
image
speed calculation
speed
calculation system
present
Prior art date
Application number
KR1020220063605A
Other languages
Korean (ko)
Inventor
전병흡
김영현
Original Assignee
(주)피플앤드테크놀러지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)피플앤드테크놀러지 filed Critical (주)피플앤드테크놀러지
Priority to KR1020220063605A priority Critical patent/KR20230163815A/en
Publication of KR20230163815A publication Critical patent/KR20230163815A/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

영상 기반 속도 연산 시스템으로, 영상을 획득하는 영상획득부(100); 상기 획득된 영상으로부터 지면 상의 물체를 검출하는 물체 검출부(200); 물체 검출부로부터 검출된 물체의 위치정보로부터 상기 물체의 속도를 연산하는 속도연산부(300)를 포함하며, 상기 속도연산부는(300)는 상기 영상 내 기준지점으로부터 투영변환법을 활용하여 상기 물체의 위치를 파악하여 상기 물체의 속도를 연산하는 것을 특징으로 하는 영상 기반 속도 연산 시스템이 제공된다. It is an image-based speed calculation system, comprising: an image acquisition unit 100 that acquires an image; an object detection unit 200 that detects an object on the ground from the acquired image; It includes a speed calculation unit 300 that calculates the speed of the object from the position information of the object detected by the object detection unit, and the speed calculation unit 300 calculates the position of the object using a projection transformation method from a reference point in the image. An image-based speed calculation system is provided, characterized in that it identifies and calculates the speed of the object.

Description

영상 기반 속도 연산 시스템{speed calculation system based on images}Image-based speed calculation system {speed calculation system based on images}

본 발명은 영상 기반 속도 연산 시스템에 관한 것으로, 보다 상세하게는 측정하려는 대상에 대한 별도의 복잡한 측위 없이 최소한의 참고점(reference point)에 대한 기본 정보를 통해 초기 설정 후 다른 절차 없이 계산이 가능한 영상 기반 속도 연산 시스템에 관한 것이다. The present invention relates to an image-based speed calculation system, and more specifically, to an image-based speed calculation system that can be calculated without any other procedures after initial setup through basic information about a minimum reference point without a separate complicated positioning of the object to be measured. It is about a basic speed calculation system.

IP 카메라의 보급과 동영상 처리기술의 발전에 뒤이어 딥러닝을 이용한 영상의 저 수준, 고수준 처리가 다양한 방면에서 응용되고 있다. 그 중에서도 영상 내의 물체를 탐지하여 분류 및 분석하는 딥러닝 알고리즘은 여러가지 방법이 잘 알려져 있다. 한편 영상 내의 물체를 탐지하는 것은 프레임 별로 이루어지기 때문에 동영상 내부 서로 다른 프레임 사이의 동일한 물체를 식별하는 기술이 필요하다. 화면 상의 2차원 영상 내 물체의 위치를 3차원으로 인식하기 위해 2렌즈 이상의 카메라를 병렬로 배치한 스테레오 카메라, 혹은 라이다(Lidar)나 별도의 센서를 이용하여 영상 내부의 깊이 채널을 측정하는 d-채널 영상장치와 이를 처리하는 알고리즘 등이 있다. Following the spread of IP cameras and the development of video processing technology, low-level and high-level video processing using deep learning is being applied in various fields. Among them, various deep learning algorithms that detect, classify, and analyze objects in images are well known. Meanwhile, since detecting objects in a video is done on a frame-by-frame basis, technology is needed to identify the same object between different frames within the video. A stereo camera with two or more lenses arranged in parallel to recognize the position of an object in a two-dimensional image on the screen in three dimensions, or a d that measures the depth channel inside the image using Lidar or a separate sensor. -There are channel imaging devices and algorithms that process them.

이동하는 물체의 속도는 별도의 레이더 등 장비를 사용하여 측정할 수 있지만 순수하게 영상만을 이용하여 측정하는 방식은 별도로 영상의 기하학적 왜곡을 보정하여 3차원 공간 내의 정확한 좌표 계산을 통해 단위 시간 당 실제 이동거리를 측정하는 효과적인 기술은 아직까지 개시되지 못한 상황이다. The speed of a moving object can be measured using separate equipment such as radar, but the method of measuring purely using images is separate, by correcting the geometric distortion of the image and calculating the exact coordinates in three-dimensional space to measure the actual movement per unit time. Effective technology for measuring distance has not yet been developed.

따라서, 본 발명이 해결하려는 과제는 레이저 등과 같은 별도의 장비 없이 순수하게 영상만을 이용하여 속도를 측정하는 시스템과 방법을 제공하는 것이다. Therefore, the problem to be solved by the present invention is to provide a system and method for measuring speed purely using images without additional equipment such as a laser.

상기 과제를 해결하기 위하여, 본 발명은 영상 기반 속도 연산 시스템으로, 영상을 획득하는 영상획득부(100); 상기 획득된 영상으로부터 지면 상의 물체를 검출하는 물체 검출부(200); 물체 검출부로부터 검출된 물체의 위치정보로부터 상기 물체의 속도를 연산하는 속도연산부(300)를 포함하며, 상기 속도연산부는(300)는 상기 영상 내 기준지점으로부터 투영변환법을 활용하여 상기 물체의 위치를 파악하여 상기 물체의 속도를 연산하는 것을 특징으로 하는 영상 기반 속도 연산 시스템을 제공한다. In order to solve the above problem, the present invention is an image-based speed calculation system, which includes an image acquisition unit 100 that acquires an image; an object detection unit 200 that detects an object on the ground from the acquired image; It includes a speed calculation unit 300 that calculates the speed of the object from the position information of the object detected by the object detection unit, and the speed calculation unit 300 calculates the position of the object using a projection transformation method from a reference point in the image. An image-based speed calculation system is provided, characterized by identifying and calculating the speed of the object.

본 발명의 일 실시예에서, 상기 영상 내 기준지점은 4개 이상의 복수 개이다. In one embodiment of the present invention, the number of reference points in the image is four or more.

본 발명의 일 실시예에서, 상기 기준지점은 일직선 상에 있지 않으며, 각 지점간 거리는 실측되어 상기 속도연산부(300)에 미리 저장된며, 상기 속도연산부(300)는 적어도 2개의 프레임간 물체의 위치의 좌표 변위와 시간 차를 이용하여 상기 물체의 속도를 연산한다. In one embodiment of the present invention, the reference point is not on a straight line, the distance between each point is actually measured and stored in advance in the speed calculation unit 300, and the speed calculation unit 300 determines the position of the object between at least two frames. Calculate the speed of the object using the coordinate displacement and time difference.

본 발명의 일 실시예에서, 상기 물체검출부(200)는 실시간으로 물체를 담고 있는 영역을 출력하는 검출기를 포함한다. In one embodiment of the present invention, the object detection unit 200 includes a detector that outputs an area containing an object in real time.

본 발명의 일 실시예에서, 상기 속도연산부(300)는 상기 검출된 물체의 위치를 투영변환법으로 변환한 후, 상기 기준지점을 중심으로 좌표를 계산한다. In one embodiment of the present invention, the speed calculation unit 300 converts the position of the detected object using projection transformation and then calculates coordinates around the reference point.

본 발명은 객체탐지, 추적, 투영변환의 수학적 모델링을 조합한 속도 측정 시스템을 제공한다. 특히 측정하려는 대상에 대한 별도의 복잡한 측위 없이 최소한의 참고점(reference point)에 대한 기본 정보를 통해 초기 설정 후 별도의 프로세스없이 계산이 가능하며 투영변환의 성질을 이용하므로 직선으로 움직이는 경우만 아니라 다양하게 움직이는 물체의 속도도 구할 수 있다. 또한 정확한 수학적 모델링을 통하여 구현되므로 참고점의 측정오차를 최소화함으로써 이론 상 요구되는 정도에 맞춰 오차를 줄일 수 있는 장점이 있다. 더 나아가, 별도 센서의 도움 없이 일안 카메라를 이용한 영상의 광학 정보만으로 속도 측정이 가능하므로 경제적이며, 복잡한 센서융합의 기술적 비용이 감소되어 영상을 통해 육안으로 작동 상태를 확인할 수 있는 부수적인 효과가 있다.The present invention provides a speed measurement system that combines mathematical modeling of object detection, tracking, and projection transformation. In particular, calculations can be made without a separate process after initial setup through basic information about the minimum reference point without a separate complicated positioning of the object to be measured, and since it uses the properties of projection transformation, it can be used in various situations, not only when moving in a straight line. You can also find the speed of a moving object. In addition, since it is implemented through accurate mathematical modeling, it has the advantage of minimizing the measurement error of the reference point and reducing the error to the degree required in theory. Furthermore, it is economical because speed can be measured using only optical information from the image using a single-lens camera without the help of a separate sensor, and the technical cost of complex sensor fusion is reduced, which has the side effect of allowing the operating status to be confirmed with the naked eye through the image. .

도 1은 본 발명의 일 실시예에 따른 속도 측정 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 속도 연산 시스템에 의한 속도 연산 방법의 단계도이다.
도 3은 동영상 카메라를 이용하여 영상 내부 픽셀 좌표를 구하는 예시를 나타내는 도면이다.
도 4는 트래킹을 통한 위치 정보를 알아내는 것을 설명하는 도면이다.
도 5는 투영변환 행렬을 통한 좌표를 구하는 예를 설명하는 도면이다. 1 is a block diagram of a speed measurement system according to an embodiment of the present invention.
Figure 2 is a step diagram of a speed calculation method using an image-based speed calculation system according to an embodiment of the present invention.
Figure 3 is a diagram showing an example of calculating internal pixel coordinates of an image using a video camera.
Figure 4 is a diagram explaining finding location information through tracking.
Figure 5 is a diagram illustrating an example of obtaining coordinates through a projection transformation matrix.

이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있다.Before explaining the present invention in detail, the terms or words used in this specification should not be construed as unconditionally limited to their ordinary or dictionary meanings, and the inventor of the present invention should not use the terms or words in order to explain his invention in the best way. The concepts of various terms can be appropriately defined and used.

더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.Furthermore, it should be noted that these terms and words should be interpreted with meanings and concepts consistent with the technical idea of the present invention.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니다.That is, the terms used in this specification are only used to describe preferred embodiments of the present invention, and are not used with the intention of specifically limiting the content of the present invention.

이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.It should be noted that these terms are defined in consideration of various possibilities of the present invention.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있다.Additionally, in this specification, singular expressions may include plural expressions unless the context clearly indicates a different meaning.

또한, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.Additionally, it should be noted that even if similarly expressed in plural, it may have a singular meaning.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.Throughout this specification, when a component is described as “including” another component, it does not exclude any other component, but includes any other component, unless specifically stated to the contrary. It could mean that you can do it.

본 발명은 고정된 장소에 설치된 일안 카메라를 통해 얻어진 동영상을 통해 지면 상의 움직이는 물체의 속도를 측정하는 시스템 및 이를 구동하는 알고리즘을 제공한다. The present invention provides a system for measuring the speed of a moving object on the ground through video obtained through a single-lens camera installed at a fixed location, and an algorithm for driving the same.

일반적으로 영상 내 움직이는 물체의 속도를 측정하기 위해서는 물체의 실제 공간 상의 위치에 대한 정확한 계측이 필요하다. 일안 카메라를 이용하면 거리에 대한 정보를 측정할 수 없어 움직이는 물체의 속도를 측정할 수 없다는 문제가 있다. In general, in order to measure the speed of a moving object in an image, accurate measurement of the object's location in real space is required. When using a single-lens camera, there is a problem in that it cannot measure the speed of a moving object because it cannot measure information about distance.

속도를 측정하는 기존의 방식은 별도의 라이다(Lidar) 등 거리측정 센서를 사용하여 깊이 정보를 별도의 채널로 측정하거나 2개의 렌즈를 사용하여 위상차가 발생한 영상 정보를 이용하여 거리 정보를 계산하는 등의 방법이다. The existing method of measuring speed is to measure depth information in a separate channel using a separate distance measurement sensor such as Lidar, or to calculate distance information using image information with a phase difference using two lenses. etc. method.

영상을 이용하지 않는 경우 레이더 등의 특수 목적 센서를 이용하여 물체의 위치와 속도를 직접적으로 측정하여 사용하는 방식도 있지만 일안렌즈 카메라 대비 복잡한 기계적 장치, 설비 및 센서융합 등의 고도 기술을 필요로 하기 때문에 비용 상승과 설치 조건의 문제가 있다.When images are not used, there is a method of directly measuring the position and speed of an object using special-purpose sensors such as radar, but this requires advanced technologies such as complex mechanical devices, facilities, and sensor fusion compared to single-lens cameras. Therefore, there are problems with rising costs and installation conditions.

하지만, 본 발명은 이러한 문제를 해결하기 위하여 고정된 위치에 설치된 카메라를 통해 얻어진 지면 상의 이동 물체를 검출하고 추적하며 공간 내 정확한 위치 추정을 통해 속도를 계산해내는 시스템과 그 구동방법을 제공하며, 도 1은 본 발명의 일 실시예에 따른 속도 측정 시스템의 블록도이다. However, in order to solve this problem, the present invention provides a system and driving method for detecting and tracking a moving object on the ground obtained through a camera installed at a fixed location and calculating the speed through accurate position estimation in space. 1 is a block diagram of a speed measurement system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템은, 지상으로부터 적당한 높이의 고정된 장소에 설치된 카메라를 이용하여 동영상을 획득하는 영상획득부(100), 상기 획득된 영상으로부터 지면 상의 물체를 검출하는 물체 검출부(200)를 포함한다. 본 발명의 일 실시예에서 상기 물체 검출부는 딥러닝을 응용한 사물 탐지 모델(object detection model)을 이용하여 물체를 검출하며, 사물 탐지 모델로는 Yolo, SSD 등 실시간으로 물체를 담고 있는 영역을 출력하는 임의의 검출기를 이용할 수 있으나, 본 발명의 범위는 이에 제한되지 않는다. Referring to FIG. 1, the system according to an embodiment of the present invention includes an image acquisition unit 100 that acquires a video using a camera installed at a fixed location at an appropriate height from the ground, and an object on the ground from the acquired image. It includes an object detection unit 200 that detects. In one embodiment of the present invention, the object detection unit detects an object using an object detection model applying deep learning, and outputs the area containing the object in real time, such as Yolo or SSD, as the object detection model. Any detector may be used, but the scope of the present invention is not limited thereto.

따라서, 본 발명에 따른 시스템은 프레임에서 검출된 물체 이미지로부터 물체의 좌표를 파악하고 그 속도를 연산하는 속도연산부(300)를 더 포함하는데, 이하 이를 보다 상세히 설명한다. Therefore, the system according to the present invention further includes a speed calculation unit 300 that determines the coordinates of the object from the object image detected in the frame and calculates the speed, which will be described in more detail below.

본 발명의 일 실시예에 따른 속도연산부(300)의 속도 연산 방법은, 먼저 획득되어 저장된 영상 내 지면 상의 4개 이상의 기준 지점을 활용한다. 즉, 본 발명의 일 실시예에서 위치 정보를 얻기 위한 4개 이상의 기준지점은 일직선 상에 있지 않아야 하며 실제 공간에서 대응하는 점들 사이의 거리를 알고 있어야 한다. The speed calculation method of the speed calculation unit 300 according to an embodiment of the present invention utilizes four or more reference points on the ground in the first acquired and stored image. That is, in one embodiment of the present invention, four or more reference points for obtaining location information must not be on a straight line, and the distance between corresponding points in real space must be known.

본 발명에서 4개 지점의 위치와 상호간 거리는 실제 측량, 혹은 동등한 측정을 통해 얻어 낼 수 있는데, 여기서 기준이 되는 지점은 4개 지점만 가능한 것은 아니고, 조건을 만족시키는 지점을 4개 이상 미리 지정하여 이하 과정의 측정 오차로 인한 오차를 감소시킬 수 있으며, 이는 모두 본 발명의 범위에 속한다. In the present invention, the positions of four points and the distance between them can be obtained through actual surveying or equivalent measurements. Here, the reference points are not limited to four points, but four or more points that satisfy the conditions are designated in advance. Errors due to measurement errors in the following process can be reduced, and this all falls within the scope of the present invention.

본 발명의 일 실시예에서 상기 속도연산부(300)는 영상 내부 선택된 4점을 실제 공간 상 지면의 대응하는 4점으로 변환하는 투영 변환 행렬(Perspective mapping matrix)을 수행한다. 본 발명의 일 실시예에 따른 투영 변환 행렬은 다음과 같이 수행된다. In one embodiment of the present invention, the speed calculation unit 300 performs a projection conversion matrix (perspective mapping matrix) that converts 4 points selected within the image into 4 corresponding points on the ground in real space. The projection transformation matrix according to one embodiment of the present invention is performed as follows.

실제 지면 상의 지점의 좌표를 (x,y)로 하고 대응하는 영상 속 좌표를 (u,v)라 할 때 이 두 좌표는 사영 공간 상의 동일 지점을 가리키며 (3x3)-투영 변환 행렬 A = (aij)로 주어지는 투영변환으로 아래와 같이 연결된다. . When the coordinates of a point on the actual ground are (x,y) and the corresponding coordinates in the image are (u,v), these two coordinates point to the same point in the projection space, and the (3x3)-projection transformation matrix A = (a The projection transformation given by ij ) is connected as follows. .

투영 변환 행렬의 최우하단부 원소 a33=1로 고정하고 나면 4개의 대응되는 기준 지점 좌표 정보로부터 투영변환행렬 A를 유일하게 얻어낼 수 있다. After fixing the lower-right element a 33 = 1 of the projection transformation matrix, the projection transformation matrix A can be uniquely obtained from the coordinate information of the four corresponding reference points.

이후 동영상 프레임별 탐지된 지면상 물체를 추적(트래킹)하여 서로 다른 프레임 간 동일 물체를 탐지하고, 이후 각각의 동영상 프레임에서 지면상 물체의 실제 좌표 를 앞에서 얻어진 투영변환을 통해 얻어낸다. (여기에서 xt는 t 단위시간 경과 후 좌표임)Afterwards, the object on the ground detected for each video frame is tracked to detect the same object between different frames, and then the actual coordinates of the object on the ground are determined in each video frame. is obtained through the projection transformation obtained previously. (Here, x t is the coordinate after t unit time has elapsed)

이후 서로 다른 프레임 간 탐지된 동일 물체의 실제 좌표의 차이, 즉 변위인 는 와 시간 간격 로터 물체의 속도를 계산되며, 이때 물체의 속도 이 된다. Afterwards, the difference in the actual coordinates of the same object detected between different frames, i.e. the displacement, is Is and time interval The speed of the rotor object is calculated, where the speed of the object is This happens.

즉, 본 발명에 따른 속도연산부(300)는 기설정된 투영 변환 행렬상의 기준점들과, 투영 변환 행렬로 변환된 실제 물체의 좌표를 프레임 단위로 비교하여 그 변위로부터 속도를 연산하게 된다. That is, the speed calculation unit 300 according to the present invention compares the reference points on the preset projection transformation matrix and the coordinates of the actual object converted into the projection transformation matrix on a frame-by-frame basis and calculates the speed from the displacement.

본 발명에 따른 실시예는 다양한 종류의 검출기, Tracking 알고리즘들의 조합으로 구현할 수 있으며 같은 기능을 하는 다른 검출기, 알고리즘 기법을 이용하여 구현하는 것으로 일반화할 수 있다.Embodiments according to the present invention can be implemented as a combination of various types of detectors and tracking algorithms, and can be generalized to be implemented using other detectors and algorithm techniques that perform the same function.

도 2는 본 발명의 일 실시예에 따른 영상 기반 속도 연산 시스템에 의한 속도 연산 방법의 단계도이다. Figure 2 is a step diagram of a speed calculation method using an image-based speed calculation system according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 영상 기반 속도 연산 시스템은, 카메라 영상을 획득하는 단계, 객체를 탐지하는 단계, 상기 객체를 트래킹하는 단계; 및 투영변환 좌표로 측정된 이동거리와 이동시간을 측정한 후, 이를 통하여 속도를 계산하여 출력하는 단계를 포함한다. Referring to FIG. 2, the image-based speed calculation system according to the present invention includes acquiring a camera image, detecting an object, and tracking the object; and measuring the movement distance and movement time measured in projection transformation coordinates, and then calculating and outputting the speed through these.

본 발명에서는 특히 공간 상 지면의 대응하는 4점으로 변환하는 투영 변환 행렬을 통하여 프레임간 객체의 이동거리와 시간을 추출한 후, 이를 통하여 속도를 계산한다. In particular, in the present invention, the moving distance and time of an object between frames are extracted through a projection transformation matrix that is converted to four corresponding points on the spatial ground, and then the speed is calculated through this.

이하 바람직한 실시예를 통하여 본 발명에 따른 속도 연산 방법을 보다 상세히 설명한다. Hereinafter, the speed calculation method according to the present invention will be described in more detail through preferred embodiments.

도 3은 동영상 카메라를 이용하여 영상 내부 픽셀 좌표를 구하는 예시를 나타낸다. Figure 3 shows an example of calculating internal pixel coordinates of an image using a video camera.

도 3을 참조하면, 본 발명의 일실시예에서는 동영상 카메라를 이용하여 영상 프레임별 지면 상의 물체를 탐지하고 다른 프레임에서 탐지된 동일 물체의 영상 내부 픽셀 좌표를 구해낸다. Referring to FIG. 3, in one embodiment of the present invention, an object on the ground is detected for each video frame using a video camera, and pixel coordinates within the image of the same object detected in another frame are obtained.

단일 영상프레임 상 물체 탐지의 일 실시예로서 Yolo나 SSD 등 영상 내 물체 영역을 포함하는 임의의 모델을 사용하는 것이 가능하며, 본 발명의 일 실시예에서는 Yolo를 이용하여 물체 영역을 포함하는 직사각형을 출력하는 검출기를 사용하였다. As an example of object detection on a single video frame, it is possible to use an arbitrary model including the object area in the image, such as Yolo or SSD. In one embodiment of the present invention, Yolo is used to create a rectangle containing the object area. A detector with output was used.

도 4는 트래킹을 통한 위치 정보를 알아내는 것을 설명하는 도면이다. Figure 4 is a diagram explaining finding location information through tracking.

도 4를 참조하면, 본 발명의 일 실시예에서는 탐지된 지면 상 물체들에 대해서 이전 영상 프레임 내 동일 물체를 매칭하는 Tracking 알고리즘을 이용하여 영상 내 동일 물체의 위치 정보를 알아낸다. Referring to FIG. 4, in one embodiment of the present invention, the location information of the same object in the image is found by using a tracking algorithm that matches the same object in the previous image frame to the detected objects on the ground.

즉, 영상 내부에 실제 공간 상 정확한 위치를 알고 있는 지면 상의 네 점을 지정하고, 영상내부의 좌표와 실제 좌표를 대응시키는 투영변환을 통한 계산을 통해 실제 좌표를 구할 수 있다. In other words, four points on the ground whose exact positions in real space are known inside the image can be specified, and the actual coordinates can be obtained through calculation through projection transformation that corresponds the coordinates inside the image to the actual coordinates.

도 5는 투영변환 행렬을 통한 좌표를 구하는 예를 설명하는 도면이다. Figure 5 is a diagram illustrating an example of obtaining coordinates through a projection transformation matrix.

도 5를 참조하면, 영상의 4 지점을 지면 상 직사각형의 꼭지점으로 지정하여 이용한다. 일 실시예로 OpenCV 프레임워크 상의 투영변환에 대한 함수들을 이용할 수 있는데, 지면상의 네 점이 직사각형을 이루는 경우 직사각형의 가로, 세로 길이를 통해 투영변환을 계산할 수 있다. 이를 이하 보다 상세히 설명하면 다음과 같다. Referring to FIG. 5, 4 points of the image are designated as vertices of a rectangle on the ground and used. As an example, functions for projection transformation on the OpenCV framework can be used. When four points on the ground form a rectangle, the projection transformation can be calculated through the horizontal and vertical lengths of the rectangle. This will be explained in more detail below.

도 5에서의 상기 지면 상 직사각형의 가로, 세로 길이는 실측을 통해 얻으며, 이러한 거리 실측은 레이저 거리계를 이용하거나 정밀 GPS 혹은 자 등을 이용하여 수행 가능하다. 또한 지면 상의 직사각형 이외의 다른 사각형을 적용하더라도 실제 공간 상 꼭지점의 정확한 좌표를 얻어내어 계산할 수 있다.The horizontal and vertical lengths of the rectangle on the ground in FIG. 5 are obtained through actual measurement, and such distance measurement can be performed using a laser rangefinder, precision GPS, or a ruler. In addition, even if a rectangle other than the one on the ground is used, the exact coordinates of the vertex in real space can be obtained and calculated.

이후 투영 변환을 통해 서로 다른 두 프레임 상의 동일 물체에 대해 실제 공간 상의 위치를 구하며, 두 프레임 간 시간 차에 대한 변위의 비를 계산하여 물체의 이동 속도를 얻는다. 이러한 이동 속도 연산 방법과 수식은 상술한 바와 같다. Afterwards, the position in real space is obtained for the same object in two different frames through projection transformation, and the moving speed of the object is obtained by calculating the ratio of displacement to the time difference between the two frames. The movement speed calculation method and formula are as described above.

상술한 일 실시예에서는 2개의 프레임 간 동일 물체의 위치 분석을 통해 속도를 계산했지만 또 다른 일실시예는 3개 이상의 여러 프레임에 동일 계산을 동시에 적용하여 구간 평균 속도 및 속도 검출 오차를 줄여 보다 정밀한 측정 수행이 가능하다.In the above-described embodiment, the speed was calculated by analyzing the position of the same object between two frames, but in another embodiment, the same calculation is applied simultaneously to three or more multiple frames to reduce the section average speed and speed detection error to provide more precise Measurements can be performed.

Claims (6)

영상 기반 속도 연산 시스템으로,
영상을 획득하는 영상획득부(100);
상기 획득된 영상으로부터 지면 상의 물체를 검출하는 물체 검출부(200);
물체 검출부로부터 검출된 물체의 위치정보로부터 상기 물체의 속도를 연산하는 속도연산부(300)를 포함하며,
상기 속도연산부는(300)는 상기 영상 내 기준지점으로부터 투영변환법을 활용하여 상기 물체의 위치를 파악하여 상기 물체의 속도를 연산하는 것을 특징으로 하는 영상 기반 속도 연산 시스템.With an image-based speed calculation system,
An image acquisition unit 100 that acquires an image;
an object detection unit 200 that detects an object on the ground from the acquired image;
It includes a speed calculation unit 300 that calculates the speed of the object from the position information of the object detected by the object detection unit,
The speed calculation unit 300 is an image-based speed calculation system characterized in that the speed of the object is calculated by determining the position of the object using a projection transformation method from a reference point in the image. 제 1항에 있어서,
상기 영상 내 기준지점은 4개 이상의 복수 개인 것을 특징으로 하는 영상 기반 속도 연산 시스템.According to clause 1,
An image-based speed calculation system, characterized in that there are four or more reference points in the image. 제 2항에 있어서,
상기 기준지점은 일직선 상에 있지 않으며, 각 지점간 거리는 실측되어 상기 속도연산부(300)에 미리 저장된 것을 특징으로 하는 영상 기반 속도 연산 시스템.According to clause 2,
The reference point is not on a straight line, and the distance between each point is actually measured and stored in advance in the speed calculation unit 300. 제 1항에 있어서,
상기 속도연산부(300)는 적어도 2개의 프레임간 물체의 위치의 좌표 변위와 시간 차를 이용하여 상기 물체의 속도를 연산하는 것을 특징으로 하는 영상 기반 속도 연산 시스템.According to clause 1,
The speed calculation unit 300 is an image-based speed calculation system characterized in that the speed of the object is calculated using the coordinate displacement and time difference of the object's position between at least two frames. 제 1항에 있어서,
상기 물체검출부(200)는 실시간으로 물체를 담고 있는 영역을 출력하는 검출기를 포함하는 것을 특징으로 하는 영상 기반 속도 연산 시스템.According to clause 1,
The object detection unit 200 is an image-based speed calculation system characterized in that it includes a detector that outputs an area containing an object in real time. 제 1항에 있어서,
상기 속도연산부(300)는 상기 검출된 물체의 위치를 투영변환법으로 변환한 후, 상기 기준지점을 중심으로 좌표를 계산하는 것을 특징으로 하는 영상 기반 속도 연산 시스템.According to clause 1,
The speed calculation unit 300 is an image-based speed calculation system characterized in that it converts the position of the detected object using a projection transformation method and then calculates coordinates around the reference point.
KR1020220063605A 2022-05-24 2022-05-24 speed calculation system based on images KR20230163815A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220063605A KR20230163815A (en) 2022-05-24 2022-05-24 speed calculation system based on images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220063605A KR20230163815A (en) 2022-05-24 2022-05-24 speed calculation system based on images

Publications (1)

Publication Number Publication Date
KR20230163815A true KR20230163815A (en) 2023-12-01

Family

ID=89124520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220063605A KR20230163815A (en) 2022-05-24 2022-05-24 speed calculation system based on images

Country Status (1)

Country Link
KR (1) KR20230163815A (en)

Similar Documents

Publication Publication Date Title
US9965870B2 (en) Camera calibration method using a calibration target
US11243072B2 (en) Method for the three dimensional measurement of moving objects during a known movement
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
US10909395B2 (en) Object detection apparatus
Acharya et al. BIM-Tracker: A model-based visual tracking approach for indoor localisation using a 3D building model
US10930013B2 (en) Method and system for calibrating imaging system
Nair et al. Moving obstacle detection from a navigating robot
US11346666B2 (en) System and method for measuring a displacement of a mobile platform
CN111435081B (en) Sea surface measuring system, sea surface measuring method and storage medium
KR101090082B1 (en) System and method for automatic measuring of the stair dimensions using a single camera and a laser
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
JP2023029441A (en) Measuring device, measuring system, and vehicle
Lee et al. Nontarget-based displacement measurement using LiDAR and camera
KR20230163815A (en) speed calculation system based on images
CN115049784A (en) Three-dimensional velocity field reconstruction method based on binocular particle image
KR101907057B1 (en) Device and Method for Depth Information Compensation by Sphere Surface Modeling
Shojaeipour et al. Robot path obstacle locator using webcam and laser emitter
JP4674316B2 (en) Position detection apparatus, position detection method, and position detection program
WO2020129715A1 (en) Image correction device, image correction method, and program
CN117934636A (en) Dynamic external parameter calibration method and device for multi-depth camera
CN118115586A (en) Pose labeling method, pose estimation method and device and electronic equipment
Goeman et al. Automatic camera to laser calibration for high accuracy mobile mapping systems using INS
Lang et al. The accuracy of scene reconstruction from IR images based on known camera positions
Lei et al. Using Optical Flow under Bird’s-Eye View Transform to Estimate the Height of Objects around a Vehicle
Nikolova Experimental studies on the acquisition of 3D information using 2D images captured by a moving digital still camera

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal