KR101192300B1 - Water level detection method using k-means clustering - Google Patents

Water level detection method using k-means clustering Download PDF

Info

Publication number
KR101192300B1
KR101192300B1 KR1020110097507A KR20110097507A KR101192300B1 KR 101192300 B1 KR101192300 B1 KR 101192300B1 KR 1020110097507 A KR1020110097507 A KR 1020110097507A KR 20110097507 A KR20110097507 A KR 20110097507A KR 101192300 B1 KR101192300 B1 KR 101192300B1
Authority
KR
South Korea
Prior art keywords
river
histogram
image
camera
means clustering
Prior art date
Application number
KR1020110097507A
Other languages
Korean (ko)
Inventor
고병철
곽준영
남재열
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020110097507A priority Critical patent/KR101192300B1/en
Application granted granted Critical
Publication of KR101192300B1 publication Critical patent/KR101192300B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Fluid Mechanics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Measurement Of Levels Of Liquids Or Fluent Solid Materials (AREA)

Abstract

PURPOSE: A river stage measuring method using a K-means clustering and a system thereof are provided to accurately measure a river stage under various environments and conditions and to change selectively change the conditions as occasion demands. CONSTITUTION: A river stage measuring method using a K-means clustering comprises next steps. Images of a boundary region of a structure and a river are photographed by using a camera. The image data of the images is collected by an image processing device(S100). A motion vector is generated by using an optical flow referred to the image data collected by the image processing device and a size of the motion vector is accumulated so that a accumulated motion histogram is formed(S200). The accumulated histogram is K-means grouped(S300). The river stage is calculated by using the K-means grouped histogram(S400). [Reference numerals] (AA) Start; (BB) End; (S100) Collecting the image structure-river of a boundary region of a structure and a river; (S200) Generating a motion accumulated histogram by using the image data; (S300) K-means clustering using the motion accumulated histogram; (S400) Calculating a water level of the river by using the clustered histogram

Description

케이 평균 군집화를 이용한 하천 수위 계측방법 및 그 시스템{water level detection method using K-means clustering}River level measurement method using K mean clustering and its system {water level detection method using K-means clustering}

본 발명은 하천 수위 계측 방법 및 시스템에 관한 것으로, 보다 정밀한 K-means 군집화를 이용한 하천 수위 계측방법 및 시스템에 관한 것이다.The present invention relates to a river level measurement method and system, and to a river level measurement method and system using more precise K-means clustering.

국내에서 발생하는 재난피해의 90% 이상이 풍수해로 우리나라는 반도 국가의 특성상 매년 태풍과 홍수해에 의해 많은 인적, 물적 피해를 입는다. 특히 최근 발생하는 태풍과 홍수는 지구 온난화에 따른 기후 변화 등으로 인한 것으로 과거와는 달리 규모가 커지고 진로를 예측하기가 매우 힘들기 때문에 이로 인한 피해규모가 매년 기하급수적으로 늘어나고 있는 형국이다. 이러한 재난피해를 사전에 예방하고자 하천 수위를 자동으로 감지하는 시스템에 대한 요구가 크게 증가하고 있다. More than 90% of the disasters occurring in Korea are feng shui, and Korea suffers many human and material damages every year due to typhoons and floods. In particular, the recent typhoons and floods are caused by climate change due to global warming. Unlike in the past, the size of the typhoons and floods are increasing, and it is difficult to predict the course. In order to prevent such disasters in advance, there is a great demand for a system that automatically detects the river level.

기존의 하천 수위 감지 시스템은 초음파 센서와 압력 센서가 주로 사용되고 보조적으로 CCD 카메라를 이용한 방법이 사용되고 있다. 초음파 센서의 경우에는 하천에 설치된 다리나 다리 기둥에 설치되어 초음파를 수면으로 발사한다. 발사된 초음파는 하천의 표면에 반사되어 다시 센서로 돌아오게 되는데 이것을 측정하여 하천의 수위를 감지하는 방식을 사용한다. 초음파 센서는 다리 또는 다리 기둥에 설치가 되므로 센서의 수명이 길지만 눈이나 비와 같이 외부적인 요인에 민감한 단점이 있다. Conventional river water level detection system mainly uses ultrasonic sensors and pressure sensors, and a method using a CCD camera is used. In the case of an ultrasonic sensor, it is installed on a bridge or a pillar of a river to launch ultrasonic waves into the water. The emitted ultrasonic waves are reflected on the surface of the stream and returned to the sensor, which measures the level of the river by measuring it. Ultrasonic sensors are installed on the legs or leg posts, so the life of the sensor is long, but it is sensitive to external factors such as snow and rain.

압력 센서는 하천 아래에 설치가 되어 측정되는 압력으로 하천의 수위를 감지한다. 눈이나 비와 같은 외부 환경 변화에 덜 민감하지만 하천 아래에 설치되어 지속적으로 압력을 받기 때문에 수명이 짧은 단점이 있다.The pressure sensor is installed under the river to measure the level of the river with the measured pressure. It is less sensitive to changes in the external environment such as snow or rain, but has a short lifespan because it is constantly under pressure because it is installed under a river.

CCD 카메라를 이용하는 방법은 초음파 센서처럼 하천 위에 CCD 카메라를 설치하여 하천을 감시하는 것이다. CCD 카메라로 하천을 감지할 경우 하천 수위뿐만 아니라 하천 주변 환경 정보까지 획득할 수 있다. 하지만 하천 수위를 감지하기 위해서는 사람이 계속해서 CCD 카메라가 보내오는 영상을 감시해야 함으로, 추가적인 인력사용에 대한 비용이 발생한다는 문제점이 있다.
The method of using a CCD camera is to install a CCD camera on the stream like an ultrasonic sensor to monitor the stream. When a river is detected by a CCD camera, not only the river level but also environmental information of the river can be obtained. However, in order to detect the water level, a person has to continuously monitor the images sent by the CCD camera, which causes a problem of additional manpower cost.

본 발명에서는 관리자가 지속적으로 모니터링하는 방법이 아니라, 영상 처리 기술을 이용하여 CCD 카메라에 입력된 영상에서 하천 수위를 자동으로 감지하여 설정된 수위를 초과하였을 때 이를 인식하고 경보를 울릴 수 있는 자동화된 시스템을 제공하고자 함이다.In the present invention, rather than a method of continuously monitoring by the administrator, an automated system that automatically detects the water level in the image input to the CCD camera by using an image processing technology and recognizes an alarm when the set water level is exceeded and generates an alarm. To provide.

또한, 다양한 환경과 조건에서도 하천의 수위를 정밀하고 정확하게 계측할 수 있는 하천 수위 계측방법 및 시스템을 제공하고자 함이다.In addition, to provide a river level measurement method and system that can accurately and accurately measure the river level in a variety of environments and conditions.

상술한 과제를 해결하는 본 발명의 제1 특징은 카메라와 영상처리장치로 구성된 계측 시스템을 통한 하천 수위 계측방법에 있어서, (a) 카메라로 구조물과 하천수의 경계 영역을 촬영하고, 상기 영상처리장치에서 상기 촬영한 영상 데이터를 수집하는 단계; (b) 상기 영상처리장치에서 수집된 상기 영상 데이터로부터 움직임 누적 히스토그램(Accumulated Motion Histogram)을 생성하는 단계; (c) 상기 영상처리장치에서 상기 움직임 히스토그램을 케이 평균(K-means) 군집화하는 단계; 및 (d) 상기 케이 평균(K-means) 군집화된 히스토그램을 통해 상기 하천 수위를 산출하는 단계를 포함한다.According to a first aspect of the present invention, a river level measurement method using a measurement system composed of a camera and an image processing apparatus includes: (a) photographing a boundary area between a structure and a river water with a camera, and performing the image processing apparatus. Collecting the photographed image data at a; (b) generating an accumulated motion histogram from the image data collected by the image processing apparatus; (c) clustering the motion histograms by K-means in the image processing apparatus; And (d) calculating the river level through the K-means clustered histogram.

여기서, 상기 (b) 단계는, 광 흐름(opticlal flow)을 이용하여 움직임 벡터를 생성하고, 상기 움직임벡터를 Y축으로 투영시켜 누적시키는 단계인 것이 바람직하고, 상기 (d) 단계는, 상기 K 군으로 군집화된 상기 히스토그램의 영역에서, 상기 K는 적어도 3개의 군인 것이 바람직하다.Here, the step (b) is a step of generating a motion vector using the optical flow (opticlal flow), and projecting the motion vector to the Y axis to accumulate, and the step (d) is the K In the region of the histogram clustered into groups, the K is preferably at least three soldiers.

또한, 바람직하게는 상기 군집화는 K가 3개의 군으로서, 구조물 영역, 충돌 영역, 물영역으로 구분하는 단계를 포함하는 것일 수 있고, 상기 (d) 단계는, 상기 구조물 영역과 충돌영역의 경계 수위를 하천 수위로 산출하는 것일 수 있다.
In addition, preferably, the clustering may include a step in which K is three groups, and divided into a structure region, a collision region, and a water region, and the step (d) may include a boundary level between the structure region and the collision region. It may be to calculate the river level.

그리고, 본 발명의 제2 특징은 카메라, 영상처리장치를 포함하되, 상기 하천 수위 계측방법 중 어느 한 방법을 이용하여 하천 수위를 계측하는 것을 특징으로 한다.The second aspect of the present invention includes a camera and an image processing apparatus, wherein the river level is measured using any one of the above-described river level measurement methods.

여기서, 야간 영상 촬영을 위한 조명장치와, 상기 카메라의 작동을 제어하는 제어장치를 더 포함하는 것이 바람직하고, 상기 카메라와 상기 영상처리는 유선 또는 무선 네트워크로 연결된 것이 바람직하다.Here, it is preferable to further include a lighting device for photographing the night image, and a control device for controlling the operation of the camera, the camera and the image processing is preferably connected by a wired or wireless network.

이와 같은 본 발명은, 다양한 환경과 조건에서도 하천의 수위를 정밀하고 정확하게 계측할 수 있을 뿐만 아니라, 필요에 따라 선택적으로 조건을 변경하여 용이하게 주변상황에 적합한 수위 계측이 가능한 방법 및 시스템을 제공할 수 있다.As described above, the present invention can provide a method and system capable of accurately and accurately measuring the water level of a river under various environments and conditions, and also being able to easily measure the water level suitable for the surrounding situation by selectively changing the conditions as necessary. Can be.

도 1은 본 발명에 따른 케이 평균(K-means) 군집화를 이용한 하천 수위 계측방법에 관한 흐름을 나타낸 도면,
도 2는 본 발명에 따른 하천 수위 계측방법에 사용되는 광 흐름(opticlal flow)을 이용하여 구해진 움직임벡터를 화면에 표시한 영상,
도 3은 본 발명에 따른 하천 수위 계측방법에 사용되는 입력영상(도 3의 (a))과, 움직임 벡터를 나타낸 사진(도 3의 (b))과, 움직임 벡터 히스토그램을 나타낸 도면,
도 4는 도 3의 움직임 누적 히스토그램에 K=3인 경우의 케이 평균(K-means) 군집화를 적용시킨 결과 영상,
도 5는 유속이 빠른 하천 동영상에서 K=2로 설정하고 케이 평균(K-means) 군집화를 적용시킨 결과 영상,
도 6은 도 5의 움직임 누적 히스토그램에 대해 K = 3으로 설정하고 케이 평균(K-means) 군집화를 적용하여 수위를 검출한 예를 나타낸 영상,
도 7은 본 발명에 따른 또 다른 실시예로서, 케이 평균(K-means) 군집화를 이용한 하천 수위 계측 시스템의 블록 구성을 나타낸 도면,
도 8 내지 도 10은 종래의 FIR(Finite Impulse Response) 필터를 적용한 방법과 본 발명에 따른 케이 평균(K-means) 군집화 방법을 적용한 하천 수위 측정 결과를 나타낸 그래프이다.1 is a flow chart illustrating a river level measurement method using K-means clustering according to the present invention;
FIG. 2 is an image displaying a motion vector obtained by using an optical flow used in a method for measuring a river level according to the present invention;
3 is a view illustrating an input image (FIG. 3A), a photo showing a motion vector (FIG. 3B), a motion vector histogram, and a motion vector histogram used in a river water level measuring method according to the present invention;
4 is a result of applying the K-means clustering when K = 3 to the motion cumulative histogram of FIG.
5 is a result of applying a K-means clustering with K = 2 in a high-speed stream video,
FIG. 6 is an image illustrating an example in which the water level is detected by setting K = 3 and applying K-means clustering to the motion cumulative histogram of FIG. 5;
7 is a block diagram of a river level measurement system using K-means clustering as another embodiment according to the present invention;
8 to 10 are graphs showing the results of river level measurement using the conventional Finite Impulse Response (FIR) filter and the K-means clustering method according to the present invention.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and how to accomplish it, will be described with reference to the embodiments described in detail below with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. The embodiments are provided so that those skilled in the art can easily carry out the technical idea of the present invention to those skilled in the art.

도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.In the drawings, embodiments of the present invention are not limited to the specific forms shown and are exaggerated for clarity. In addition, parts denoted by the same reference numerals throughout the specification represent the same components.

본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.
The expression "and / or" is used herein to mean including at least one of the components listed before and after. In addition, the singular also includes the plural unless specifically stated otherwise in the text. Also, components, steps, operations and elements referred to in the specification as " comprises "or" comprising " refer to the presence or addition of one or more other components, steps, operations, elements, and / or devices.

이하에서 본 발명에 따른 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the drawings.

도 1은 본 발명에 따른 케이 평균(K-means) 군집화를 이용한 하천 수위 계측방법에 관한 흐름을 나타낸 도면이다. 도 1에 나타낸 바와 같이, 본 발명에 따른 하천 수위 계측방법은, 카메라와 영상처리장치로 구성된 계측 시스템을 통한 하천 수위 계측방법에 있어서, (a) 카메라로 구조물과 하천수의 경계 영역을 촬영하고, 상기 영상처리장치에서 상기 촬영한 영상 데이터를 수집하는 단계(S100); (b) 상기 영상처리장치에서 수집된 상기 영상 데이터로부터 움직임 누적 히스토그램(Accumulated Motion Histogram)을 생성하는 단계(S200); (c) 상기 영상처리장치에서 상기 움직임 히스토그램을 케이 평균(K-means) 군집화하는 단계(S300); 및 (d) 상기 케이 평균(K-means) 군집화된 히스토그램을 통해 상기 하천 수위를 산출하는 단계(S400)를 포함하여 구성된다.1 is a flow chart illustrating a method for measuring river level using K-means clustering according to the present invention. As shown in Figure 1, the river level measurement method according to the present invention, in the river level measurement method through a measurement system consisting of a camera and an image processing apparatus, (a) to take a boundary region between the structure and the river water with a camera, Collecting the photographed image data by the image processing apparatus (S100); (b) generating an accumulated motion histogram from the image data collected by the image processing apparatus (S200); (c) clustering the k-means by the motion histogram in the image processing apparatus (S300); And (d) calculating the river level through the K-means clustered histogram (S400).

본 발명은 구조물과 물의 경계영역으로서 하천의 수위를 측정하기 위해 교각의 기둥에 설치된 카메라 영상을 획득하고(S100), 획득된 카메라 영상 데이터를 영상처리장치를 통해 자동으로 하천의 수위를 계측하는 방법을 제한하는 것으로, 케이 평균(K-means) 군집화를 이용하여 구조물과 물의 영역을 구분하여 하천 수위를 계측한다는 점에 그 특징이 있다.The present invention obtains a camera image installed in the pillar of the pier to measure the water level of the river as the boundary area between the structure and the water (S100), and automatically measures the water level of the river through the image processing apparatus obtained camera image data By limiting this, the K-means clustering is used to distinguish the structure and the water region by measuring the river level.

먼저, 카메라를 통해 촬영된 영상 데이터를 수집하고(S100), (b) 단계인 수집된 영상 데이터를 가지고, 움직임 누적 히스토그램(Accumulated Motion Histogram)을 생성하는 단계(S200)를 살펴보면 다음과 같다.First, a step (S200) of collecting image data photographed through a camera (S100) and generating an accumulated cumulative histogram (Scum) with the collected image data of step (b) is as follows.

본 발명에서 제안하는 방법은 움직임 누적 히스토그램에 케이 평균(K-means) 군집화를 적용하여 구조물 또는 다리 기둥 영역과 물 영역을 구분하고 그 경계를 찾는 것이다. 하천은 물의 흐름이 지속적으로 발생함으로 물의 흐름에서 발생하는 움직임과 정지되어 있는 구조물 영역(다리 기둥 영역)간의 차이를 부각시킬 수 있는 특징을 사용하여 하천 수위를 감지하도록 한다. The method proposed in the present invention is to apply the K-means clustering to the motion cumulative histogram to distinguish the structure or bridge column area from the water area and find the boundary. The streams are used to detect the water level by using features that can highlight the difference between the movements in the water flow and the stationary structure area (bridge column area) as the flow of water continuously occurs.

이를 위해 본 발명에서는 광 흐름(opticlal flow)을 이용하여 움직임벡터를 생성하고 이를 Y축으로 투영시킨 움직임 누적 히스토그램(AMH: Accumulated Motion Histogram)을 생성한다. To this end, the present invention generates a motion vector using an optical flow and generates an Accumulated Motion Histogram (AMH) in which the motion vector is projected onto the Y axis.

본 발명에서 사용한 Horn 과 Schunck의 광 흐름(opticlal flow) 검출 알고리즘은 각 픽셀별 움직임을 예측하는 알고리즘으로서 이전 프레임과 현재 프레임을 비교하여 움직인 방향과 크기를 구할 수 있다. 광 흐름(opticlal flow)의 중요 포인트는 색상 지속성(color constancy)과 움직임 근접성(small motion)으로, 색상 지속성은 이전 프레임에서 (i, j) 좌표에 있던 픽셀값이 (i+1, j+1) 좌표로 이동을 했다면 이전 프레임에서 (i, j) 좌표의 픽셀값과 현재 프레임에서 (i+1, j+1) 좌표의 픽셀값이 같아야 한다는 것이다. Horn and Schunck's optical flow detection algorithm used in the present invention is an algorithm for predicting the motion of each pixel, and can compare the previous frame and the current frame to obtain the moving direction and size. The key points of optical flow are color constancy and small motion, which means that the pixel value at the (i, j) coordinate in the previous frame is (i + 1, j + 1). ) If you move to coordinates, the pixel value of the coordinate (i, j) in the previous frame and the pixel value of the (i + 1, j + 1) coordinate in the current frame must be the same.

또한, 움직임 근접성은 픽셀값의 이동이 있을 때 그 거리는 일정 거리 이하로 제한된다는 것이다. 이 두 가지 중요 포인트를 바탕으로 수평 방향과 수직 방향을 나눠서 움직임을 구한다. 이렇게 구해진 움직임 값을 이용하여 픽셀의 수평 방향의 변화량과 수직 방향의 변화량을 구하게 된다. In addition, the motion proximity is that when there is a movement of pixel values, the distance is limited to a certain distance or less. Based on these two important points, motion is divided into horizontal and vertical directions. The amount of change in the horizontal direction and the amount of change in the vertical direction of the pixel is obtained using the motion values thus obtained.

도 2는 본 발명에 따른 하천 수위 계측방법에 사용되는 광 흐름(opticlal flow)을 이용하여 구해진 움직임벡터를 화면에 표시한 것이다. 도 2에 나타내 바와 같이, 하천 영역에서는 움직임을 나타내지만, 다리 기둥 영역에서는 움직임이 감지되지 않고 있다. 이러한 사실을 이용하여 광 흐름(opticlal flow)을 사용하면 움직임이 있는 하천 영역과 움직임이 없는 다리 기둥 영역으로 영역을 구분할 수 있다. FIG. 2 illustrates a motion vector obtained by using an optical flow used in a river level measurement method according to the present invention. As shown in FIG. 2, although the movement is shown in the river area, the movement is not detected in the bridge column area. Using this fact, optical flows can be used to distinguish between river areas with motion and bridge column areas with no motion.

하지만 유속의 강약에 따라 다리 기둥과 물의 충돌이 발생하는 지점에서도 물보라에 의해 역시 움직임이 감지가 됨으로써 단지 움직임이 있는 부분과 없는 부분의 경계로 하천 수위를 정하는 방법은 부정확한 결과를 초래할 수 있다. 따라서, 본 논문에서는 움직임 누적 히스토그램을 제안하여 기둥영역, 물보라 영역, 물 영역 구분을 위한 특징으로 사용하도록 한다.However, even when the collision of bridge columns and water occurs due to the strength of the flow velocity, the movement is also detected by the spray, which can lead to inaccurate results. Therefore, in this paper, we propose a motion cumulative histogram to be used as a feature for dividing column area, spray area and water area.

움직임 누적 히스토그램은 영상에서 단순히 움직임이 나타난 벡터의 크기를 누적한다. 움직임 벡터의 방향은 강물이 다리 기둥에 부딪치면서 다양한 움직임 방향을 나타냄으로 움직임 벡터의 방향은 제외하고 벡터의 크기만을 Y 축으로 투영하여 누적하는데, 이렇게 생성된 히스토그램은 기둥 영역 부분에서는 히스토그램 빈의 누적 개수가 적고 물 영역에서는 히스토그램 빈의 누적 개수가 많아지게 된다.The motion cumulative histogram simply accumulates the size of the vector in which the motion appears in the image. The direction of the motion vector indicates the various directions of movement as the river hits the bridge column. The direction of the motion vector is accumulated by projecting only the magnitude of the vector on the Y axis, except for the direction of the motion vector. The number is small and the cumulative number of histogram bins increases in the water region.

기둥 영역이 위치한 Y축에서 빈 누적 개수가 존재하는 이유는 기둥 영역 오른쪽이 하천 영역이기 때문이다. 하지만 그 수가 적기 때문에 히스토그램이 누적되면 어느 정도 두 영역의 구분이 가능해진다.
The reason why the empty cumulative number exists in the Y axis where the pillar region is located is that the right side of the pillar region is a river region. However, because of the small number, when the histogram is accumulated, the two areas can be distinguished to some extent.

도 3은 본 발명에 따른 하천 수위 계측방법에 사용되는 입력영상(도 3의 (a))과, 움직임 벡터를 나타낸 사진(도 3의 (b))과, 움직임 벡터 히스토그램을 나타낸 도면이다. 도 3에 나타낸 바와 같이, 히스토그램의 분포가 가운데 부분이 가장 높고 위쪽과 아래쪽이 낮은 것을 볼 수 있다. FIG. 3 is a view showing an input image (FIG. 3A), a photo showing a motion vector (FIG. 3B), and a motion vector histogram used in the river water level measuring method according to the present invention. As shown in FIG. 3, it can be seen that the distribution of the histogram is the highest at the center and the top and the bottom are low.

이는 유속이 빠를 경우 물과 기둥이 만나는 부분에서 충돌로 인해 물보라가 크게 일어남으로써, 다른 부분에 비해 상대적으로 많은 움직임을 갖게 되고 따라서 큰 움직임을 갖는 움직임이 검출된다. 기둥 영역 오른쪽의 하천 영역으로 인해 어느 정도의 움직임이 검출되었지만 히스토그램의 크기가 작기 때문에 물 영역과 육안으로 어느 정도 구분이 되는 것을 볼 수 있다. 하지만 히스토그램의 아래쪽은 히스토그램의 크기가 매우 작은 것을 볼 수 있는데 이는 기둥 영역에 비해 장애물이 없는 아래쪽의 물의 흐름이 잔잔하기 때문이다.This is because when the flow velocity is high, the splash occurs largely due to the collision at the part where the water and the pillar meet, and thus the motion having the larger motion is detected than the other part. Although some movement was detected due to the river area to the right of the pillar area, the size of the histogram is small, so it can be seen that the water area and the naked eye are distinguished to some extent. However, the bottom of the histogram shows a very small size of the histogram, because the water flows smoothly below the obstacles compared to the column area.

도 3에 나타낸 바와 같이, 강물은 영역별로 움직임의 크기가 다르기 때문에 움직임 누적 히스토그램만을 이용해서는 기둥 영역과 물 영역을 완벽하게 구분하지 못한다. As shown in FIG. 3, since the rivers have different movement sizes for each region, only the movement accumulation histogram does not completely distinguish the pillar region from the water region.

따라서, 기둥 영역과 물 영역을 완벽하게 구분하고, 가뭄과 홍수와 같이 강물의 변화가 심한 경우에도 하천 수위를 효율적으로 감지하기 위해서는 학습을 통한 교사학습(supervised learning) 방법보다는 비교사 학습(non-supervised learning) 방법이 사용되어야 한다. 본 논문에서는 비교사 학습 기법 중 성능이 우수하고 속도가 빠른 K-mean 군집화 기법을 사용하여 하천수위를 감지하도록 한다.
Therefore, in order to distinguish between the column area and the water area perfectly, and to efficiently detect the river level even in the case of drastic changes in the river such as drought and flood, it is possible to compare non-supervised learning rather than supervised learning method. supervised learning method should be used. In this paper, we use the K-mean clustering technique, which is superior in performance and high speed, to detect river level.

(c) 단계는, 영상처리장치에서 상기 움직임 히스토그램을 케이 평균(K-means) 군집화하는 단계(S300)로서, 물보라와 같은 이상 상황에서도 더욱 정밀하게 계측하기 위해, 물과 구조물 영역을 세밀하게 나누어 구분할 수 있는 케이 평균(K-means) 군집화하는 단계를 말한다.Step (c) is a step of clustering the k-means of the motion histogram in the image processing apparatus (S300), in order to more precisely measure the abnormality such as a spray, the water and the structure area are finely divided. It is the stage of distinguishing K-means clustering.

즉, 이하에서 광 흐름(opticlal flow)에 의해 생성된 움직임 누적 히스토그램에 대해 케이 평균(K-means) 군집화를 적용하여 다리 기둥 영역과 물 영역을 나누는 알고리즘을 설명한다.That is, an algorithm for dividing the bridge column region and the water region by applying K-means clustering to the motion cumulative histogram generated by the optical flow will be described below.

케이 평균(K-means) 군집화는 주어진 데이터들의 특성을 비교하여 유사한 특성을 갖는 데이터들을 K개의 군집으로 분류시켜주는 비 교사 분류 (non-supervised classification)방법 중의 하나이다. K-means clustering is a non-supervised classification method that compares the characteristics of given data and classifies similar data into K clusters.

다리 기둥 영역과 물 영역을 구분하기 위해서는 우선 움직임 누적 히스토그램의 빈(bin) 번호(b_index)와 각 빈에 포함된 움직임의 크기(mv)를 특징벡터로 하는 2차원 벡터 v=[b_index, mv]를 생성한다. 다음으로 다리 기둥(K=1)과 물 영역 충돌영역 (K=2), 물 영역(K=3)으로 이루어진 3개의 클래스를 구분하기 위해 K=3인 K-means 군집화를 적용한다. In order to distinguish the bridge column area from the water area, first, the bin number (b_index) of the motion accumulation histogram and the size of the motion included in each bin (mv) are two-dimensional vectors v = [b_index, mv] Create Next, K-means clustering with K = 3 is applied to distinguish three classes consisting of bridge columns (K = 1), water zone collision zone (K = 2) and water zone (K = 3).

또한, 물과 구조물의 경계영역인 하천다리를 향하고 있는 카메라의 영상에는 상단의 기둥과 하단의 물 영역이 사전정보로 주어짐으로 케이 평균(K-means) 군집화의 수렴속도 및 분류 성능에 영향을 미치는 초기 영역의 시작점을 K=1에 대해서는 최상단 빈의 값으로, K=2는 중간 빈 값, K=3에 대해서는 최하단의 빈의 값으로 설정한다.In addition, the image of the camera facing the river bridge, which is the boundary area between the water and the structure, is provided with preliminary information on the upper column and the lower water area, which affects the convergence speed and classification performance of the K-means clustering. The starting point of the initial region is set to the value of the uppermost bin for K = 1, K = 2 to the middle bin, and K = 3 to the lowermost bin.

이렇게 주어진 초기 영역의 시작점과 2차원 특징 벡터 v를 대상으로 케이 평균(K-means) 군집화를 수행하여 적은 움직임을 갖는 기둥 영역, 큰 움직임을 갖는 충돌영역, 일정한 움직임을 갖는 물 영역으로 분류한다.
The K-means clustering is performed on the starting point of the initial region and the 2D feature vector v , and classified into column regions with small movements, collision regions with large movements, and water regions with constant movements.

이처럼, 본 발명에서 제안한 케이 평균(K-means) 군집화를 이용한 하천 수위 계측 방법의 순서 및 그 방법을 수학적으로 설명하면 아래와 같다.As described above, the procedure and method of river level measurement using the K-means clustering proposed by the present invention will be described mathematically.

첫번째 단계는 촬영된 영상 데이터를 광 흐름(opticlal flow)을 이용하여 움직임 벡터 생성하고, 벡터 크기를 Y축으로 투영시켜 2 X N차원의 움직임 누적 히스토그램(AMH)을 생성한다.(S200)The first step is to generate a motion vector using the optical flow (opticlal flow), and to project the vector size to the Y-axis to generate a motion accumulation histogram (AMH) of 2 X N dimension (S200).

두번째 단계는 상기 움직임 누적 히스토그램으로부터 케이 평균(K-means) 군집화를 다음과 같이 수행한다.(S300)In the second step, K-means clustering is performed from the motion cumulative histogram as follows (S300).

1) Input : AMH = {v 1, v 2, ..., v N}, , 반복횟수 t = 11) Input: AMH = { v 1 , v 2 , ..., v N },, number of repetitions t = 1

2) 초기 중심 벡터 집합 생성 및 초기화2) Create and Initialize Initial Center Vector Set

초기 중심 벡터 집합{k t 1, k t 2, k t 3}으로서, [수학식 1]과 같다.An initial center vector set { k t 1 , k t 2 , k t 3 }, which is the same as [Equation 1].

Figure 112011075288332-pat00001
Figure 112011075288332-pat00001

3) 만약 벡터 v n이 k i에 가장 가깝다면 Ci 군집에 속하도록 레이블링하면 [수학식 2]와 같이 표현되고, [수학식 2]에 의해 데이터 집합 AMH C1, C2, C3 의 군집들로 분류된다.
3) If vector v n is closest to k i , then C i Labeling to belong to the cluster is expressed as [Equation 2], it is classified into the clusters of the data set AMH C 1 , C 2 , C 3 by [Equation 2].

Figure 112011075288332-pat00002
Figure 112011075288332-pat00002

4) 3)에서 구한 새로운 군집들에서 각각의 중심벡터를 갱신하면 [수학식 3]과 같고, 함수 μ(x)는 각 군집의 중심을 구하는 함수이다.
4) In each of the new clusters obtained in 3), each center vector is updated as shown in [Equation 3], and the function μ (x) is a function for finding the center of each cluster.

Figure 112011075288332-pat00003
Figure 112011075288332-pat00003

5) 군집의 새로운 중심점과 각 군집의 요소들과의 거리 합으로 총 왜곡(distortion)을 계산하면 [수학식 4]와 같다.
5) The total distortion is calculated from the sum of the distances between the new center points of the clusters and the elements of each cluster, as shown in [Equation 4].

Figure 112011075288332-pat00004
Figure 112011075288332-pat00004

6) 총 왜곡이 적절하게 변하지 않았거나 설정된 반복 횟수에 도달할 때까지 단계 3) ~ 단계 5)를 반복한다. 6) Repeat steps 3) to 5) until the total distortion has not changed properly or reaches the set number of repetitions.

7) 이를 바탕으로 군집화된 움직임 누적 히스토그램(AMH)을 생성한다.
7) Based on this, clustered motion accumulation histogram (AMH) is generated.

세번째 단계는, 군집화된 누적 히스토그램(AMH)에서 첫 번째 군집과 두 번째 군집의 경계 설정하는 것으로, 상기 경계값을 바탕으로 하천 수위를 산출한다.(S400)The third step is to set the boundary between the first cluster and the second cluster in the clustered cumulative histogram (AMH), and calculate the river level based on the boundary value (S400).

for i = 0: Nfor i = 0: N

// 군집 번호가 다른 군집이 나타나면 경계로 결정      // If a cluster with a different cluster number appears, determine the boundary

if AMH[i-1] ≠ AMH[i]    if AMH [i-1] ≠ AMH [i]

i = Water Level         i = Water Level

break;      break;

와 같은 방법으로 군집의 경계를 설정하게 된다.
In this way, the boundary of the cluster is set.

도 4는 도 3의 움직임 누적 히스토그램에 K=3인 경우의 케이 평균(K-means) 군집화를 적용시킨 결과 영상이다. 도 4에 나타낸 바와 같이, 움직임이 많은 데이터들과 움직임이 적은 데이터들이 각각 군집화하여 세 개의 영역으로 나눠지는데 아래 부분이 물 영역에 해당하고, 중간 부분이 충돌영역 , 윗부분이 기둥 영역에 해당한다.
FIG. 4 is a result of applying K-means clustering when K = 3 to the motion cumulative histogram of FIG. 3. As shown in FIG. 4, data with a lot of motion and data with a little motion are grouped into three areas, the lower part of which corresponds to the water area, the middle part of the collision area, and the upper part of the column area.

도 5는 유속이 빠른 하천 동영상에서 K=2로 설정하고 케이 평균(K-means) 군집화를 적용시킨 결과 영상이다. 우기에 하천의 유속이 빨라지면 기둥에 물이 부딪치면서 발생되는 물보라로 인해 기둥 오른쪽 편에서 많은 움직임이 일어나게 되고 이 상태에서 움직임 누적 히스토그램에 K=2인 케이 평균(K-means) 군집화를 적용하면 도 5와 같이 물 영역과 기둥 영역의 경계를 찾지 못하고 더 아래쪽이 수위라고 오감지를 하게 된다. FIG. 5 is a result of applying K-means clustering to K = 2 in a high-speed river video. In the rainy season, when the flow velocity of the stream increases, a large amount of movement occurs on the right side of the column due to the water splashing on the column. In this state, if the K-means clustering with K = 2 is applied to the movement histogram As shown in FIG. 5, the boundary between the water region and the pillar region is not found, and the lower side is a water level.

이런 경우를 해결하고자 영역의 개수를 K = 3으로 설정하여 케이 평균(K-means) 군집화를 적용하면, 기둥 영역과 물 영역인 두 개의 영역으로 군집화를 하는 것이 아니라 기둥 영역 (K=1), 충돌 영역 (K=2), 물 영역(K=3)으로 군집화할 수 있다.
To solve this case, if K-means clustering is applied by setting the number of areas to K = 3, the column area (K = 1), not clustering into two areas, the column area and the water area, It can cluster into a collision area (K = 2) and a water area (K = 3).

도 6은 도 5의 움직임 누적 히스토그램에 대해 K = 3으로 설정하고 케이 평균(K-means) 군집화를 적용하여 수위를 검출한 예이다. 도 5에서는 물보라가 심한 영역과 기둥 영역이 하나의 군집으로 군집화가 되었고, 아래쪽의 물 흐름이 약한 영역이 하나의 군집이 되어 실제 수위 아래쪽을 수위라고 오감지를 하고 있지만, 도 6에서는 기둥 영역과 물보라가 심한 영역이 나뉘어서 군집화가 수행되어 실제 수위와 두 영역의 경계가 일치하고 있음을 알 수 있다.
FIG. 6 illustrates an example in which the water level is detected by setting K = 3 and applying a K-means clustering to the motion cumulative histogram of FIG. 5. In FIG. 5, the area with severe spray and the column area are clustered into one cluster, and the area with weak water flow at the bottom becomes one cluster, and the false level is sensed below the water level in FIG. 6. The severe areas are divided and clustering is performed, indicating that the actual water level and the boundary of the two areas coincide.

도 7은 본 발명에 따른 또 다른 실시예로서, 케이 평균(K-means) 군집화를 이용한 하천 수위 계측 시스템의 블록 구성을 나타낸 도면이다. 도 7에 나타낸 바와 같이, 본 발명의 시스템은, 카메라(100), 조명등(150), 카메라 제어장치(300) 및 영상처리장치(400)로 구성된다. 여기서 카메라 제어장치와 영상처리 장치는 하나의 PC를 통해 제어 및 처리가 가능함은 물론이다. 7 is a block diagram of a river level measurement system using K-means clustering as another embodiment according to the present invention. As shown in FIG. 7, the system of the present invention includes a camera 100, a lighting lamp 150, a camera control device 300, and an image processing device 400. Here, the camera control device and the image processing device can be controlled and processed through one PC.

이와 같은 구성을 통하여, 구조물과 물의 경계 영역을 카메라로 실시간 촬영하고, 촬영된 영상을 영상처리장치에서 자동으로 케이 평균(K-means) 군집화 알고리즘을 이용하여 하천 수위를 산출하는 시스템이다. 여기서, 조명등(150)은 밤에 카메라(100)를 촬영하기 위한 조명이고, 카메라 제어장치(300)는 구조물에 설치된 눈금과, 경계영역을 명확히 포착하여 촬영하기 위해 외부 또는 원거리에서 카메라를 제어 또는 조정하기 위한 장치이다. Through such a configuration, a real-time photographing of the boundary region between the structure and the water is performed by a camera, and the image processing apparatus automatically calculates the river level by using a K-means clustering algorithm. Here, the lamp 150 is a light for photographing the camera 100 at night, the camera control device 300 controls or controls the camera from the outside or a long distance to clearly capture the scale and the boundary area installed in the structure or to shoot It is a device for adjustment.

그리고, 카메라에서 촬영하여 획득한 영상은 유선 또는 무선으로 원거리에 있는 영상처리장치(400)로 실시간 전송하게 된다. 하천 수위를 측정하기 위한 경계영역의 위치에 따라 유선 또는 무선으로 선택적으로 설치할 수 있고, 무선으로 데이터를 통신하기 위해서는 카메라 장치에 무선 통신장치의 구성이 더 필요하다. 또한 영상처리장치를 통해 상기 산출된 하천의 수위가 특정 수위를 넘는 경우, 자동으로 경보신호를 생성하여 외부로 알리는 것이 가능함은 물론이다.
In addition, the image captured by the camera is transmitted in real time to the image processing apparatus 400 at a long distance by wire or wirelessly. According to the location of the boundary area for measuring the river level can be selectively installed by wire or wireless, and in order to communicate data wirelessly, the configuration of the wireless communication device is further required in the camera device. In addition, when the calculated water level of the river exceeds a specific level through the image processing apparatus, it is of course possible to automatically generate an alarm signal to inform the outside.

결과 및 분석Results and analysis

본 발명에서는 CCD 카메라 기반의 하천수위 감지 실험을 위해 한강철교에 설치된 CCD카메라로부터 입력된 3개의 비디오를 사용하였다. 실험에서 사용된 3개의 동영상은 주간에 촬영된 2개의 영상과 야간에 촬영된 1개의 영상으로 구성되었다. 특히 주간의 1개 영상과 야간의 1개 영상은 장마기간에 촬영된 영상이며, 주간의 1개의 영상은 건기에 촬영된 영상이다. 사용된 동영상에 대한 자세한 설명은 [표 1]과 같다.
In the present invention, three videos input from the CCD camera installed on the Han River Railway Bridge were used for the CCD camera based river level detection experiment. The three videos used in the experiment consisted of two images taken during the day and one image taken at night. In particular, one image of the day and one image of the night are images taken during the rainy season, and one image of the day is the image taken during the dry season. A detailed description of the video used is shown in [Table 1].

Figure 112011075288332-pat00005
Figure 112011075288332-pat00005

[표 1]에서 Movie 1은 물살의 세기가 중간 정도로 다리 기둥에 조금씩 물보라가 나타나고 Movie 2는 야간에 조명을 켜고 촬영된 영상으로 물살의 세기가 매우 강하여 거친 물보라가 끊임없이 나타난다. 그리고 Movie 3은 물살의 세기가 약하여 거의 물보라가 일지 않는 하천 영상이다. 각 동영상은 CCD카메라로부터 원격지 컴퓨터로 유선 네트워크를 통해 전송됨으로 네트워크 지연에 의해 동일한 프레임이 연속적으로 캡처되는 현상이 발생한다. In [Table 1], Movie 1 shows a small amount of water spray on the pillar of the bridge with medium water intensity, and Movie 2 is a film that is lit at night and the water quality is very strong. In addition, Movie 3 is a stream image with almost no spray due to the weak strength of the water current. Each video is transmitted from the CCD camera to the remote computer through the wired network, which causes the same frame to be captured continuously due to network delay.

따라서, 알고리즘 상에서 동일한 프레임에 대해서는 1개의 프레임만을 사용하도록 구현하였으므로 도 8 내지 도 10의 테스트 결과에서 프레임수가 [표 1]의 프레임수와 차이가 발생한다. 도 8 내지 도 10은 종래의 FIR 필터를 적용한 방법과 본 발명에 따른 케이 평균(K-means) 군집화 방법을 적용한 하천 수위 측정 결과를 나타낸 그래프이다.Therefore, since only one frame is used for the same frame in the algorithm, the number of frames may be different from the number of frames in [Table 1] in the test results of FIGS. 8 to 10. 8 to 10 are graphs showing the results of river level measurement using the conventional FIR filter and the K-means clustering method according to the present invention.

본 발명에서 제안된 기법에 의한 하천수위의 성능을 평가하기 위해서, 제안된 기법에 의해 검출된 수위 측정 방법과 FIR 필터를 이용하여 하천 수위를 검출하는 Udomsiri 방법과의 성능을 비교하였다. 실험을 위해 관리자가 매 프레임마다 ground-truth로 사용할 하천 수위의 위치를 수동으로 설정하도록 하였다. In order to evaluate the performance of the river water level by the proposed method, the performance of the water level measurement method detected by the proposed method and the Udomsiri method of detecting the river level using the FIR filter were compared. For the experiment, the administrator manually set the location of the river level to use as ground-truth every frame.

이후 설정된 하천 수위를 0으로 설정하고 각 알고리즘을 적용하여 검출된 수위와의 오차를 계산한다. 이때, 오차가 '+'인 경우(over estimation)는 기준 수위보다 높게 오검출된 경우이고, 오차가 '-' 인 경우(under estimation)는 기준수위보다 낮게 오검출된 경우를 의미한다. 오차의 단위는 픽셀이며 이를 매 프레임마다 그래프로 표시한 것이 도 8, 도 9 및 도 10의 결과이다. After that, the set river level is set to 0 and each algorithm is applied to calculate an error with the detected water level. In this case, when the error is '+' (over estimation) is a case that is incorrectly detected higher than the reference level, and the error is '-' (under estimation) means a case where the error is detected lower than the reference level. The unit of error is a pixel, and the result of the graphs in FIG. 8, 9, and 10 is displayed graphically every frame.

도 8에 나타낸 바와 같이, 본 발명에서 제안하는 방법의 경우 영상의 종류와 관계없이 FIR필터 방법에 비해 일관적으로 ground-truth와 유사한 결과를 보여줌을 알 수 있다. 특히 도 8 및 도 9와 같이 물살의 흐름이 강한 경우 FIR방법은 물살에서 발생하는 강한 수평 에지 성분으로 인해 수위를 실제 수위의 아래로 감지하는 under estimation 오감지가 크게 나타나는 것에 비해, 본 발명에서 제안하는 방법에서는 오히려 유속이 강한 부분에서 움직임 벡터가 크게 나타남으로 케이 평균(K-means) 군집화에 의해 물 영역과 기둥영역을 더 정확하게 구분하는 것을 알 수 있다. As shown in FIG. 8, it can be seen that the method proposed by the present invention consistently shows ground-truth similar results to the FIR filter method regardless of the image type. In particular, when the flow of water is strong, as shown in FIGS. 8 and 9, the FIR method exhibits a large under-estimation false sense of detecting the water level below the actual water level due to the strong horizontal edge component generated in the water current. In the method, the motion vector is larger at the higher velocity, so it can be seen that the K-means clustering can be used to distinguish the water and column areas more accurately.

또한 케이 평균(K-means) 군집화 방법에서, K=2인 경우와 K=3인 경우의 성능을 비교해 보면, 도 9에서 알 수 있듯이 강물의 유속이 빠를 경우 다리의 기둥 부위에 충돌로 인한 물보라 현상이 발생하여 2개의 군집보다는 물보라 영역을 또 다른 하나의 영역으로 구분하는 K=3인 군집화가 훨씬 더 안정되고 정확한 성능을 보여줌을 알 수 있다. In addition, in the K-means clustering method, comparing the performance of the case of K = 2 and K = 3, as shown in FIG. It can be seen that clustering with K = 3, which separates the spray zone into another zone rather than two clusters, shows much more stable and accurate performance.

추가적으로 도 8 내지 도 10에서 제시된 3개 동영상에 대한 전체 하천수위 감지의 오차 평균을 아래 [표 2]와 같이 측정하였다. [표 2]에서 평균 에러 (Average Error)는 Over Estimation과 Under Estimation의 절대값의 합에 대한 평균이다.
Additionally, the average error of the overall river level detection for the three videos shown in FIGS. 8 to 10 was measured as shown in Table 2 below. In Table 2, Average Error is the average of the sum of absolute values of Over Estimation and Under Estimation.

Figure 112011075288332-pat00006
Figure 112011075288332-pat00006

[표 2]에서 보는 것과 같이 본 발명에서 제안하는 방법이 under estimation과 over estimation에서 FIR보다 일관 되게 뛰어난 성능을 보여줄 뿐만 아니라 평균 에러율에서도 상대적으로 30~60 픽셀 정도 작은 오차를 보여줌을 알 수 있다. 또한 K=3일 경우는 K=2인 경우보다도 under estimation에서는 53.52, over estimation에서는 0.22, 평균 에러율에서는 26.87 만큼 줄어든 오차를 보이고 있다. As shown in Table 2, the method proposed in the present invention not only shows consistently superior performance than FIR in under estimation and over estimation, but also shows a relatively small error of about 30 to 60 pixels in the average error rate. In the case of K = 3, the error decreased by 53.52 in under estimation, 0.22 in over estimation, and 26.87 in average error rate.

이처럼, 본 발명에서는 강물의 움직임을 이용하여 움직임 누적 히스토그램을 만들고 케이 평균(K-means) 군집화를 이용하여 다리 기둥 영역과 물 영역을 분할함으로, 유속의 강약에 상관없이 일관적이고 정확하게 수위를 감지하는 계측방법을 제안한다. 특히 케이 평균(K-means) 군집화 방법에서 유속이 강할 경우 강물과 다리 기둥영역과의 충돌로 인해 발생하는 물보라를 구분해 내기 위해 K = 3으로 설정함으로써 효과적으로 기둥 영역과 물 영역을 분할하여 정확한 수위를 감지하는 것이 가능하다.
As such, in the present invention, the cumulative movement histogram is generated using the movement of the river and the bridge column region and the water region are divided using the K-means clustering to detect the water level consistently and accurately regardless of the strength and weakness of the flow rate. We propose a measurement method. In particular, in the K-means clustering method, when the flow velocity is strong, K = 3 is set to distinguish the spray caused by the collision between the river and the bridge column area. It is possible to detect.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.
While the invention has been shown and described with respect to the specific embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Anyone with it will know easily.

Claims (8)

카메라와 영상처리장치로 구성된 계측 시스템을 통한 하천 수위 계측방법에 있어서,
(a) 카메라로 구조물과 하천수의 경계 영역의 영상을 촬영하고, 상기 영상처리장치에서 상기 영상의 영상 데이터를 수집하는 단계;
(b) 상기 영상처리장치에서 수집된 상기 영상 데이터로부터 광 흐름(opticlal flow)을 이용하여 움직임 벡터를 생성하고, 상기 움직임 벡터의 크기를 누적시켜 누적 히스토그램(Accumulated Motion Histogram)을 형성하는 단계;
(c) 상기 영상처리장치에서 상기 누적 히스토그램을 케이 평균(K-means) 군집화하는 단계; 및
(d) 상기 케이 평균(K-means) 군집화된 히스토그램을 통해 상기 하천 수위를 산출하는 단계를 포함하는 것을 특징으로 하는 케이 평균(K-means) 군집화를 이용한 하천 수위 계측방법.
In the river level measurement method through a measurement system consisting of a camera and an image processing device,
(a) capturing an image of the boundary area between the structure and the river water with a camera and collecting image data of the image in the image processing apparatus;
(b) generating a motion vector by using an optical flow from the image data collected by the image processing apparatus, and accumulating the magnitudes of the motion vectors to form an accumulated histogram;
(c) clustering the cumulative histogram with a K-means in the image processing apparatus; And
(D) method for measuring the river level using the K-means clustering, characterized in that it comprises the step of calculating the river level through the K-means clustered histogram.
삭제delete 제1항에 있어서,
상기 (d) 단계는,
상기 K 군으로 군집화된 상기 누적 히스토그램의 영역에서, 상기 K는 적어도 3개의 군인 것을 특징으로 하는 케이 평균(K-means) 군집화를 이용한 하천 수위 계측방법.
The method of claim 1,
The step (d)
In the region of the cumulative histogram clustered into the K group, K is at least three soldiers, characterized in that the river level measurement method using the K-means clustering.
제3항에 있어서,
상기 군집화는 K가 3개의 군으로서, 구조물 영역, 충돌 영역 및 물영역으로 분류하여 군집화 단계를 포함하는 것을 특징으로 하는 케이 평균(K-means) 군집화를 이용한 하천 수위 계측방법.
The method of claim 3,
The clustering method is a river level measurement method using the K-means clustering, characterized in that K is divided into three groups, the structure region, the collision region and the water region comprises a clustering step.
제4항에 있어서,
상기 (d) 단계는,
상기 구조물 영역과 충돌영역의 경계 수위를 하천 수위로 산출하는 것을 특징으로 하는 케이 평균(K-means) 군집화를 이용한 하천 수위 계측방법.
5. The method of claim 4,
The step (d)
River level measurement method using the K-means clustering, characterized in that the boundary level between the structure area and the collision area is calculated as the river level.
하천수의 경계 영역의 영상을 촬영하는 카메라와, 상기 카메라에서 촬영된 영상을 처리하여 하천 수위를 산출하는 영상처리장치를 포함하되,
제1항, 제3항 및 제4항 중 어느 한 항의 방법을 이용하여 하천 수위를 계측하는 것을 특징으로 하는 하천 수위 계측 시스템.
A camera for taking an image of the boundary area of the river water, and an image processing device for processing the image taken by the camera to calculate the river level,
A river level measurement system characterized by measuring the river level by using the method of any one of claims 1, 3 and 4.
제6항에 있어서,
야간 영상 촬영을 위한 조명장치와,
상기 카메라의 작동을 제어하는 제어장치를 더 포함하는 것을 특징으로 하는 하천 수위 계측 시스템.
The method according to claim 6,
Lighting equipment for night vision,
River level measurement system further comprises a control device for controlling the operation of the camera.
제6항에 있어서,
상기 카메라와 상기 영상처리는 유선 또는 무선 네트워크로 연결된 것을 특징으로 하는 하천 수위 계측 시스템.


The method according to claim 6,
And the camera and the image processing are connected by a wired or wireless network.


KR1020110097507A 2011-09-27 2011-09-27 Water level detection method using k-means clustering KR101192300B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110097507A KR101192300B1 (en) 2011-09-27 2011-09-27 Water level detection method using k-means clustering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110097507A KR101192300B1 (en) 2011-09-27 2011-09-27 Water level detection method using k-means clustering

Publications (1)

Publication Number Publication Date
KR101192300B1 true KR101192300B1 (en) 2012-12-24

Family

ID=47906632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110097507A KR101192300B1 (en) 2011-09-27 2011-09-27 Water level detection method using k-means clustering

Country Status (1)

Country Link
KR (1) KR101192300B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744409B1 (en) 2015-10-12 2017-06-09 중앙대학교 산학협력단 Method and apparatus for detecting water level based on camera in low illumination environment
CN111412899A (en) * 2020-03-09 2020-07-14 暨南大学 Method for monitoring and evaluating river by using unmanned aerial vehicle surveying and mapping

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226681A (en) 2006-02-24 2007-09-06 Nagaoka Univ Of Technology Water flow area detection system, water flow area detection method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226681A (en) 2006-02-24 2007-09-06 Nagaoka Univ Of Technology Water flow area detection system, water flow area detection method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744409B1 (en) 2015-10-12 2017-06-09 중앙대학교 산학협력단 Method and apparatus for detecting water level based on camera in low illumination environment
CN111412899A (en) * 2020-03-09 2020-07-14 暨南大学 Method for monitoring and evaluating river by using unmanned aerial vehicle surveying and mapping
CN111412899B (en) * 2020-03-09 2022-03-04 暨南大学 Method for monitoring and evaluating river by using unmanned aerial vehicle surveying and mapping

Similar Documents

Publication Publication Date Title
KR101618814B1 (en) Method and Apparatus for Monitoring Video for Estimating Gradient of Single Object
KR101060031B1 (en) Device and method for monitoring water level
JP6144656B2 (en) System and method for warning a driver that visual recognition of a pedestrian may be difficult
KR101735365B1 (en) The robust object tracking method for environment change and detecting an object of interest in images based on learning
CN109842787B (en) Method and system for monitoring high-altitude parabolic object
CN103096121B (en) A kind of camera movement detection method and device
KR101149916B1 (en) Warning system of landslide
CN105608431A (en) Vehicle number and traffic flow speed based highway congestion detection method
CN109145696B (en) Old people falling detection method and system based on deep learning
WO2008020598A1 (en) Subject number detecting device and subject number detecting method
KR20170119260A (en) Apparatus for weather observation using camera captured images and method thereof
CN112673377A (en) Monitoring device and method for monitoring man overboard
CN115717867A (en) Bridge deformation measurement method based on airborne double cameras and target tracking
KR101192300B1 (en) Water level detection method using k-means clustering
JP5679760B2 (en) Intruder detection device
JP7125843B2 (en) Fault detection system
KR101032098B1 (en) Stand-alone environment traffic detecting system using thermal infra-red
KR101542206B1 (en) Method and system for tracking with extraction object using coarse to fine techniques
KR101290517B1 (en) Photographing apparatus for tracking object and method thereof
KR20060121503A (en) Apparatus and method for tracking salient human face in robot surveillance
KR101640527B1 (en) Method and Apparatus for Monitoring Video for Estimating Size of Single Object
CN104392201A (en) Human fall identification method based on omnidirectional visual sense
US10062155B2 (en) Apparatus and method for detecting defect of image having periodic pattern
KR102164637B1 (en) System for tracking a object in road and method thereof
JP2011090708A (en) Apparatus and method for detecting the number of objects

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150917

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170926

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee