KR101360349B1 - 객체의 특징 정보에 기반한 객체 추적 방법 및 장치 - Google Patents

Abstract

객체의 특징 정보에 기반한 객체 추적 방법 및 장치가 개시되어 있다. 객체 추적 장치가 감시 영역 영상을 수신하여 전경을 분리하는 단계, 객체 추적 장치가 분리된 전경에서 객체의 제1 특징 정보를 추출하여 객체를 식별하는 단계, 객체 추적 장치가 제1 특징 정보를 식별된 객체에 매핑하는 단계, 객체 추적 장치가 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 제1 특징 정보가 제2 특징 정보와 설정된 임계값 이상으로 유사한지 여부를 판단하는 단계와 객체 추적 장치가 제1 특징 정보와 제2 특징 정보가 설정된 임계값 이상으로 유사하다고 판단하는 경우, 식별된 객체를 기존에 식별된 객체로 결정하는 단계를 포함할 수 있다.

Description

객체의 특징 정보에 기반한 객체 추적 방법 및 장치{METHOD AND APPARATUS FOR OBJECT TRACKING BASED ON FEATURE OF OBJECT}

본 발명은 객체 추적 방법에 관한 것으로서 보다 상세하게는 객체의 특징 정보에 기반한 객체 추적 방법 및 장치에 관한 것이다.

연속 영상에서 객체의 추적은 최근 몇 년간 여러 실용적 응용 분야에서 관심을 가지는 주제 중 하나이다. 특히, 다중 물체 추적 시스템은 주위 환경 변화가 존재하는 연속 영상으로부터 움직이는 객체를 추출할 수 있어야 한다. 움직이는 객체 추적을 위한 방법은 3-D(dimension) 모델 기반의 방법, 영역 기반의 방법, 능동 윤곽선 기반의 방법, 특징 기반의 방법이 있다.

3-D 모델 기반의 방법은 소수의 차량에 대해 정확성이 높은 모델과 궤적을 복원하는 것이며, 상세한 기하학적 물체의 모델이 주어져야 하는 단점이 있다. 모든 움직이는 물체에 대한 상세한 모델을 기대하는 것은 비현실적이기 때문이다. 영역 기반 방법은 연속 영상에서 연결된 영역을 구하고 상관관계(cross-correlation) 측정을 이용하여 움직이는 물체를 추적하는 방법이며 현재의 배경을 측정하여 입력되는 영상과의 차영상에서 물체를 검출한다. 이 방법은 차영상에 임계값 이상의 화소를 연결한 영역은 찾으나 혼잡한 물체의 상태에서 각각의 물체를 분할해야 하는 단점이 존재한다. 능동 윤곽선 기반의 방법은 물체의 경계진 윤곽선을 표현하고, 그것을 동적으로 갱신하면서 추적하는 방법이며, 이 방법의 이점은 영역 기반에 비해 복잡한 계산이 줄어든다는 것이나 부분적 가려짐이 발생할 경우 물체를 분할할 능력이 없다.

한편, 영상 내 객체를 효과적으로 확인하기 위한 방법으로 기계 학습 방식을 통해서 영상 내 객체를 식별하고, 이를 활용하여 추적 시 동일 객체 여부를 지속하여 관찰하는 기술이 제시되고 있다. 그러나 기존 기계 학습 방식의 객체 인식 기술의 경우 전체 영상을 기준으로 학습된 객체와 유사한 객체를 검출하는 방식이어서 처리 부하가 너무 높은 문제가 있다. 특히, SVM(support vector machine)이나 랜덤 포레스트 등과 같이 비교적 높은 성능의 기계 학습 방식은 메가 픽셀 감시카메라에서 객체를 추적하는데 사용하기는 현실적으로 너무 무겁다는 문제가 있다. 또한, 기계 학습 방식을 이용한다 하더라도 객체에 대한 인식과 식별만 가능하며, 객체가 군집된 경우 군집된 객체의 종류와 수를 구분하기 위해서는 그에 대한 별도의 학습이 더 필요할 뿐 아니라 그러한 경우라 하더라도 단순히 종류와 수만 구분할 수는 있을 뿐, 객체 각각에 대한 식별을 지속적으로 유지하기는 어렵다.

따라서, 좀 더 낮은 부하로 객체를 식별함과 아울러 객체의 군집이나 소실 후 재등장과 같은 상황에서도 동일 객체를 단일 식별자로 지속 추적할 수 있도록 하는 새로운 객체 트래킹 방식이 요구되고 있는 실정이다.

본 발명의 제1 목적은 검색 대상 객체에 대한 특징(feature)이 학습된 분류기를 이용하되 전체 영상이 아닌 영상에서 전경만을 분리한 후 분리된 전경에 대해서만 분류기를 통한 객체 식별을 실시하고, 식별된 객체는 분류를 위해 추출된 특징 정보와 매칭하여 식별된 객체에 식별자를 할당하고 추적하도록 함으로써 객체 식별 부하를 줄이면서 해당 객체 정보에 객체 특징이 포함되도록 하여 이를 기반으로 객체 식별자를 유지할 수 있도록 한 객체의 특징 정보에 기반한 객체 추적 방법 및 장치를 제공하는 것이다.

본 발명의 제 2 목적은 분류기를 이용하여 전경에서 객체를 식별한 후 해당 객체에 대응되는 특징 정보를 활용하여 식별자가 할당되었던 이전 객체의 특징과 비교하는 것으로 신규 객체인지 이전 객체인지를 구분함으로써 동일 객체에 대한 식별자 유지 및 지속 추적이 가능하도록 한 객체의 특징 정보에 기반한 객체 추적 방법 및 장치를 제공하는 것이다.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 객체 추적 장치에서 객체의 특징 정보에 기반하여 상기 객체를 추적하는 방법은 상기 객체 추적 장치가 감시 영역 영상을 수신하여 전경을 분리하는 단계, 상기 객체 추적 장치가 분리된 상기 전경에서 상기 객체의 제1 특징 정보를 추출하여 상기 객체를 식별하는 단계, 상기 객체 추적 장치가 상기 제1 특징 정보를 상기 식별된 객체에 매핑하는 단계, 상기 객체 추적 장치가 상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보가 상기 제2 특징 정보와 설정된 임계값 이상으로 유사한지 여부를 판단하는 단계와 상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 단계를 포함할 수 있다.

객체 추적 장치에서 객체의 특징 정보에 기반하여 상기 객체를 추적하는 방법은 상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새로 식별된 객체로 결정하는 단계를 더 포함할 수 있다.

객체 추적 장치에서 객체의 특징 정보에 기반하여 상기 객체를 추적하는 방법은 상기 객체 추적 장치가 상기 객체 추적 장치가 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 객체를 상기 식별된 객체에 매핑하고 상기 제 1 특징 정보를 이용하여 상기 제 2 특징 정보를 갱신, 누적 또는 병합하며, 상기 객체 추적 장치가 상기 식별된 객체를 새로 식별된 객체로 결정하는 경우, 상기 새로운 식별자를 상기 식별된 객체에 매핑하는 단계를 더 포함할 수 있다.

상기 객체 추적 장치가 칼만 필터를 기반으로 상기 식별된 객체를 추적할 수 있되, 상기 칼만 필터는 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터일 수 있다. 상기 제1 특징 정보는 상기 식별된 객체에 대한 제1 HOG(histogram of oriented gradient) 특징 벡터이고, 상기 제2 특징 정보는 상기 기존에 식별된 객체에 대한 HOG 특징 벡터의 누적일 수 있다. 상기 제1 HOG 특징 벡터는 상기 제1 특징 정보에 포함된 제1 그레디언트의 크기 및 상기 제1 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터이고, 상기 기존에 식별된 객체에 대한 HOG 특징 벡터는 해당 객체에 대해 특징 벡터가 구해질 때마다 갱신, 누적 혹은 병합된 벡터일 수 있다.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 객체 추적 장치에 있어서, 상기 객체 추적 장치는 프로세서를 포함하고, 상기 프로세서는 감시 영역 영상을 수신하여 전경을 분리하고, 분리된 상기 전경에서 상기 객체의 제1 특징 정보를 추출하여 상기 객체를 식별하고, 상기 제1 특징 정보를 상기 식별된 객체에 매핑하고, 상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보가 상기 제2 특징 정보와 설정된 임계값 이상으로 유사한지 여부를 판단하고, 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하도록 구현될 수 있다.

상기 프로세서는, 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새로 식별된 객체로 결정하도록 구현될 수 있다.

상기 프로세서는 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 식별자를 상기 식별된 객체에 매핑하고 상기 제 1 특징 정보를 이용하여 상기 제 2 특징 정보를 갱신, 누적 또는 병합하며, 상기 객체 추적 장치가 상기 식별된 객체를 새로 식별된 객체로 결정하는 경우, 상기 새로운 식별자를 상기 식별된 객체에 매핑하도록 구현될 수 있다.

상기 프로세서는 칼만 필터를 기반으로 상기 식별된 객체를 추적하되, 상기 칼만 필터는 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터일 수 있다.

상기 제1 특징 정보는 상기 식별된 객체에 대한 제1 HOG 특징 벡터이고, 상기 제2 특징 정보는 상기 기존에 식별된 객체에 대한 HOG 특징 벡터의 누적일 수 있다. 상기 제1 HOG 특징 벡터는 상기 제1 특징 정보에 포함된 제1 그레디언트의 크기 및 상기 제1 그레디언트의 방향에 대한 정보의 누적값을 벡터화하여 정규화한 벡터이고, 상기 기존에 식별된 객체에 대한 HOG 특징 벡터는 해당 객체에 대해 특징 벡터가 구해질 때마다 갱신, 누적 혹은 병합된 벡터일 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 한 객체의 특징 정보에 기반한 객체 추적 방법 및 장치는 검색 대상 객체에 대한 특징이 학습된 분류기를 이용하되 전체 영상이 아닌 영상에서 전경만을 분리한 후 분리된 전경에 대해서만 분류기를 통한 객체 식별을 실시하고, 식별된 객체는 분류를 위해 추출된 특징 정보와 매칭하여 식별된 객체에 식별자를 할당하고 추적하도록 함으로써 객체 식별 부하를 줄이면서 해당 객체 정보에 객체 특징이 포함되도록 하여 이를 기반으로 객체 식별자를 유지할 수 있는 효과가 있다.

본 발명의 실시예에 따른 한 객체의 특징 정보에 기반한 객체 추적 방법 및 장치는 분류기를 이용하여 전경에서 객체를 식별한 후 해당 객체에 대응되는 특징 정보를 활용하여 식별자가 할당되었던 이전 객체의 특징과 비교하는 것으로 신규 객체인지 이전 객체인지를 구분함으로써 복수의 객체가 군집했다가 분산되거나 잠시 카메라의 영상 촬상 범위를 벗어났다가 재 등장한 객체에 대해서도 기존 식별자를 유지하여 지속적인 추적이 가능한 뛰어난 효과가 있다.

도 1은 본 발명의 실시예에 따른 영상에서 객체를 추적하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 객체의 특징 정보를 추출하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 영상 내 객체를 식별하는 방식을 설명하는 개념도이다.
도 4는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 추적 대상 객체를 칼만 필터를 기반으로 추적하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 모델링에 기반한 전경과 배경의 분리 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 객체를 식별하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 객체 추적 장치를 나타낸 개념도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예에 따른 객체 추적 방식은 기본적으로 감시 영상의 배경과 전경을 분리한 후 분리된 전경에 대해서만 기계학습 방식으로 객체 식별을 수행하도록 하여 기계학습에 의한 객체 식별의 부하를 줄이도록 하는 것이다. 한편, 기계학습 방식은 입력 영상에서 특징을 추출하여 학습된 특징과 비교하는 것으로 영상 중 소정의 객체를 식별하는 방식을 이용하고 있는데, 본 발명의 실시예에서는 기계학습 방식의 식별을 수행하기 위해서 전경에서 얻어진 특징(feature) 중 식별된 객체에 대응하는 특징을 해당 객체 식별자에 매핑시켜 식별된 객체가 객체 식별자와 고유정보가 결합된 객체 정보로 관리되도록 한다. 이를 통해서 객체 식별시 고유정보를 기준으로 기존 객체 정보와 비교하는 것으로 해당 객체가 신규 객체인 지 추적 중이던 기존 객체인지를 효과적으로 판단할 수 있도록 함으로써 객체 추적 성능을 높이도록 한다.

도 1은 본 발명의 실시예에 따른 영상에서 객체를 추적하는 방법을 나타낸 개념도이다.

도 1에서는 특징 벡터를 기반으로 객체를 추적하는 방법에 대해 개시한다. 우선 실제 객체 샘플 영상을 이용하여 기계학습을 수행하여 유사한 객체가 포함된 영상이 입력될 경우 해당 객체를 식별할 수 있도록 한다. 이러한 기계학습 방식으로는 SVM(Supporting Vector Machine), 랜덤 포레스트, 아다부스트 등과 같은 다양한 분류기를 활용한 기계학습 방식이 이용될 수 있다.

일반적으로 기존의 기계학습 방식은 객체가 포함된 정지 영상에서 포함된 객체를 효과적으로 구분하기 위한 것이지만 본 발명은 감시 카메라를 이용한 영상 내 객체 추적을 위한 것이므로 영상들로부터 객체로 예상되는 전경을 분리할 수 있고, 이러한 전경만을 기계학습 방식으로 트레이닝된 분류기에 입력하여 해당 전경에 포함된 객체를 식별하도록 하는 방식을 이용한다. 이를 통해 객체 식별 성능을 비약적으로 높이면서도 객체 식별 부하는 크게 감소할 수 있다.

도시된 도 1(a)과 같이 움직이는 객체가 존재하는 영상으로부터 움직임이 존재하는 픽셀들에 해당하는 전경을 분리하고 해당 전경을 사람을 식별하도록 학습된 분류기에 입력하면 분류기는 해당 전경에서 특징들을 추출하여 학습된 내용을 토대로 사람에 해당하는 영역을 분류하는데, 도시된 바와 같이 3개의 객체를 사람으로 구분할 수 있다. 이렇게 구분된 객체들에 대해서 해당 객체들이 최초로 얻어진 객체들이라면 각각에 대해 객체 식별자들을 부여하여 관리하는데, 분류기에서 객체 식별을 위해 사용했던 각 객체 영역에 대한 특징들을 해당 객체의 식별자에 대응시켜 각 객체에 대한 객체 정보로 관리한다.

도시된 예에서는 제 1 객체(10), 제 2 객체(20), 제 3 객체(30)에 각각의 식별자와 대응되는 특징이 매핑된다.

객체들이 지속적으로 이동할 경우의 트래킹은 위의 학습 방식을 지속적으로 활용하여 객체들을 구분할 수도 있으나 알려져 있는 칼만 필터를 이용한 객체 추적 방식을 이용할 수도 있다.

도 1(b)는 객체 추적 중 제 2 객체(20)가 감시 영역을 이탈하여 제 1 객체(10)와 제 3 객체(30)만 추적되고 있는 내용을 보인 것이다. 칼만 필터를 통해서도 객체 추적이 용이한 경우 객체 추적은 칼만 필터를 통해서 이루어질 수 있으며, 필요한 경우 분류기를 통한 전경의 식별을 통해서도 이루어질 수 있다.

도 1(c)는 객체 추적 중 감시 영역에 신규 객체가 더 발견된 경우를 보인 것이다. 도시된 바와 같이 새로운 객체(40)가 등장한 경우이다. 앞서 설명했던 바와 같이 기본적으로 영상 프레임들 간 차 영상으로부터 움직임이 있는 픽셀들이 얻어지거나 백그라운드 모델링으로부터 전경 영상이 얻어지게 되는데 이러한 전경 영상은 객체와 노이즈들이 포함된 영상의 일부에 해당한다. 이러한 전경 영상 중 이전에 추적하던 객체와 유사한 객체들만 존재할 경우 칼만 필터를 통해서 추적 중이던 객체를 지속적으로 추적할 수 있는데 전경 영상 중 새로운 객체로 의심되는 객체가 존재할 경우 전경을 분류기에 적용하여 신규 객체 여부를 확인할 수 있다.

도 1(c)와 같은 영상에서 전경이 분리되어 분류기에 적용되면 분류기는 3개의 객체를 식별하게 되며 이 중 기존에 추적하던 객체 외에 새로운 객체(40)가 더 식별된다. 해당 새로운 객체(40)에는 분류기 적용을 위해 추출된 특징들이 매핑되는데 새로운 객체(40)에 신규한 식별자를 부여하여 신규 객체 정보를 생성하기에 앞서 해당 새로운 객체(40)에 매핑된 특징을 일정 기간 내에 식별되었으나 추적이 중단된 객체 정보의 특징과 비교하여 유사한 것이 있는지 판단한다. 도시된 경우 새로운 객체(40)의 특징이 기존 제 2 객체의 특징과 유사성이 기준치 이상임을 판단할 수 있으며 이 경우 새로운 객체(40)는 신규 식별자가 할당되는 대신 해당 객체와 특징은 기존 제 2 객체 정보에 매핑된다. 이때 새로운 객체(40)에 대해 새롭게 추출된 특징은 기존 제 2 객체 정보에 포함된 특징을 대체할 수 있으나 기존 특징에 추가되거나 병합되는 방식으로도 활용될 수 있다.

이러한 방식을 통해서 감시 영역에서 추적이 종료되었지만 일정 시간 내에 다시 감시 영역에 나타난 기존 객체를 동일한 객체 정보로 추적을 지속할 수 있게 된다. 이는 객체들이 군집화되어 객체 추적이 중단되었다가 군집에서 분리된 객체에 대한 식별자를 유지하는 경우에도 활용될 수 있다.

한편, 기존에 추적이 유지되는 객체들에 대해서도 특징을 추출하여 분류기를 통해 객체를 식별할 경우 해당 객체에 대응되는 객체 정보 중 특징 정보는 새롭게 추출된 특징으로 갱신되거나 누적 혹은 병합될 수 있다.

도 2는 본 발명의 실시예에 따른 객체의 특징 정보를 추출하는 방법을 나타낸 개념도로서 도 2에서는 객체의 특징 정보를 HOG(Histogram of Oriented Gradients)를 기반으로 추출하는 방법에 대해 개시한다.

도 2를 참조하면, HOG는 영상 내 객체에 대한 특징 정보 중 하나로 객체의 특징 정보로 사용될 수 있다. HOG는 특정한 객체가 가지는 지역적인 그레디언트(gradient) 분포 특징을 나타낼 수 있다.

HOG를 산출하기 위해 나뉘어진 셀과 블록 내의 각 픽셀에서의 x, y축 그레디언트(Δx, Δy)를 각각 구할 수 있다. 그레디언트의 크기(M)와 방향(θ)은 아래의 수학식 1 및 2를 기반으로 산출할 수 있다.

<수학식 1>

<수학식 2>

수학식 1을 통해 산출된 그레디언트의 크기는 블록 단위로 가우시안 윈도우잉을 거쳐 위치에 따라 다른 중요도를 가지게 할 수 있다. 또한, 360˚를 P개의 영역으로 나누어 수학식 2를 통해 계산된 방향(θ)이 포함되는 영역에 윈도우잉을 거친 크기(M·g(xb,yb)) 값을 누적시킬 수 있다. 여기서, g(xb,yb)는 블록 내의 위치(xb,yb)에 따른 가우시안 계수를 나타낸다.

도 2를 참조하면, 도 2의 좌측과 같이 객체에 대한 그레디언트 값을 구하고, 도 2의 가운데와 같이 블록별로 생성된 각 영역별 그레디언트 누적값을 도 2의 우측과 같이 연접하여 벡터화하고, 정규화 과정을 거치면 객체에 대한 HOG 특징 벡터를 생성할 수 있다. 정규화 과정에서는 L1-norm, L2-norm, L2-Hys, L1-sqrt 등이 사용될 수 있다.

이러한 객체에 대한 특징 추출 방법을 통해 산출된 객체의 특징 정보는 객체와 매핑되어 추적하고자 하는 객체를 식별하기 위해 사용될 수 있다.

본 발명의 실시예에서는 HOG에 기반한 객체의 특징 정보 추출에 대해서만 개시하였으나, HOG가 아닌 다른 특징 추출 방법(Haar-like 특징, Co-occurrence HOG, LBP(local binary pattern), FAST(features from accelerated segment test)) 등을 사용할 수도 있다.

도 3은 본 발명의 실시예에 따른 영상 내 객체를 식별하는 방식을 설명하는 개념도이다.

도 3에서는 배경과 분리된 전경으로부터 객체의 특징 정보를 추출하여 이를 분류하여 객체를 식별한 후 기존 객체 정보와 비교하여 새로운 객체 정보를 생성하거나 기존 객체 정보에 식별 객체를 매핑하는 과정을 보인 것이다.

도시된 분류부(350)는 객체를 식별하기 위한 샘플 객체 영상들로부터 얻어진 샘플 객체 학습 정보를 이용하여 전경이 추출된 영상에서 얻어진 특징 정보를 확인하여 해당 전경으로부터 객체들을 식별한다. 이렇게 식별된 정보는 어떠한 영역에 어떠한 객체가 있다는 정보가 되는데, 일반적인 분류기나 기계학습장치의 경우 이러한 식별 정보만을 이용하겠지만 본 발명의 실시예에 따른 객체정보 매핑부(360)에서는 상기 분류부(350)로부터 객체에 대한 식별 정보와 함께 해당 식별된 객체에 대응되는 객체의 특징정보를 더 수신한다. 해당 객체의 특징 정보는 분류를 위해 이미 추출된 내용에서 객체 영역에 대응하는 부분이며 객체정보 매핑부(360)는 식별된 객체와 수신된 객체의 특징 정보를 매핑한다. 이후 객체정보 매핑부(360)는 해당 신규 식별된 객체에 식별자를 신규 부여하기 전에 기존 객체 정보의 특징 정보와 신규 식별된 객체에 매핑된 특징 정보를 비교한 후 기 설정된 수준의 범위에서 일치할 경우 해당 객체를 기존의 객체(감시 영역 이탈, 소실, 군집 등으로 추적이 종료된 시점이 기 설정된 기간 이내인 것) 정보에 매핑하여 해당 기존 객체의 추적 히스토리에 이어 연속되는 추적을 수행하도록 하며, 만일 기존 객체 정보 중 일치되는 것이 없는 경우 신규 식별자를 부여하여 신규 객체 정보를 구성하고 추적을 시작하도록 한다.

도 4는 본 발명의 실시예에 따른 객체 추적 방법을 나타낸 순서도이다.

도 4를 참조하면, 우선 영상 프레임들 간의 차이를 이용하거나 백그라운드 모델링 방식 등 다양한 방식을 이용하여 배경에서 전경을 분리한다(S400).

전경으로부터 픽셀의 블럽을 추출(S410)하고, 객체 후보 영역을 선별(S420)한다. 이러한 객체 후보 영역이 현재 추적 중인 객체의 수보다 많을 경우 새로운 객체 식별이 필요한 상황이므로 해당 전경에 존재하고 있을 객체들의 특징 정보를 산출한다(S430). 물론 이러한 전경의 특징 정보 추줄은 상기 블럽으로 구분되는 객체의 후보 영역에 대해서만 이루어지는 것이 바람직하지만 전경 전체에 대해 특징 정보를 추출할 수도 있다.

그 다음 추출된 전경이나 객체(객체 후보 영역)의 특징 정보를 분류기를 통해 분류하여 식별 대상 객체인지 판단한다(S440).

만일 식별 대상 객체라면 해당 객체 후보 영역을 객체로 간주하며 해당 객체 영역에 대응되는 특징 정보를 매핑한다(S450).

신규 식별된 객체에 매핑된 특징 정보를 기존에 식별자가 부여되어 추적되던 객체에 매핑된 특징 정보와 비교하여 유사한 것이 있는지 판단한다(S460).

만일 기존에 추적이 진행되던 객체와 유사성이 기 설정된 값 이상이라면 신규 식별된 객체는 새로운 객체가 아닌 감시 영역을 벗어났다가 복귀한 객체이거나 장애물에 가려졌던 객체이거나 혹은 군집 되었다가 분리된 객체 등과 같이 기존에 소정의 식별자로 구분되어 추적 중이던 객체의 재등장이므로 식별된 객체를 기존 객체 정보에 매핑한다(S470). 물론 이 과정에서 해당 객체에 대한 특징 정보는 갱신되거나 추가 혹은 병합될 수 있다.

만일 기존에 추적이 진행되던 객체와 유사성이 기 설정된 값 이하라면 신규 식별된 객체는 새로운 객체이므로 새로운 식별자를 부여하여 신규 객체 정보를 생성한다(S480). 물론 해당 객체 정보는 이후 해당 객체에 대한 추적이 종료된 후에도 일정 기간 동안 보존될 수 있다.

이렇게 객체에 대한 식별과 객체 정보의 설정이 완료되면 해당 객체들에 대한 추적이 이루어진다(S490).

여기서, 전경과 배경을 분리하고 픽셀 블럽을 추출하여 객체 후보 영역을 선별하는 과정은 신규 추적 대상이 등장하지 않을 경우 칼만 필터를 이용한 객체 추적 과정에 포함될 수 있다. 즉, 도 4에 도시된 과정이 매 영상 분석 프레임마다 실시되어 분류기를 통한 객체 식별 과정으로 객체 추적이 이루어질 수도 있으나 모든 프레임에 대해 이러한 과정을 반복적으로 수행하는 것은 비효율적이므로 신규 객체 후보가 검출되지 않을 경우에는 일반적으로 사용되는 칼만 필터를 이용한 객체 추적 알고리즘을 통해 객체 추적을 실시할 수 있다.

도 5는 본 발명의 실시예에 따른 추적 대상 객체를 칼만 필터를 기반으로 추적하는 방법을 나타낸 개념도로서, 칼만 필터는 동적인 시스템에서 상태 변수(state variable)를 기반으로 수식화될 수 있다. 상태 변수는 시스템 정보를 포함할 수 있다. 칼만 필터에 과거에 필터링된 추정치(filtered estimates)와 현재의 측정치가 입력된 경우, 현재 상태에 대해 필터링된 추정치와 미래 상태에 대한 예측 추정치(predicted estimates)를 출력할 수 있다. 추정을 위한 입력되는 데이터에는 잡음 성분이 추가될 수 있으므로 올바르게 필터링된 추정치 및 미래 상태에 대한 예측을 위해서는 적절한 모델링이 필요하다. 칼만 필터는 상태 방정식(state equation)과 측정 방정식(measurement equation)으로 모델링될 수 있다.

본 발명의 실시예에 따르면, 칼만 필터를 모델링시 입력되는 상태 변수가 객체의 특징 정보를 기반으로 결정된 객체를 기반으로 산출될 수 있다. 객체의 특징 정보를 기반으로 결정된 상태 변수를 칼만 필터에 입력함으로서 기존의 객체 추적 방법보다 정확하게 미래 상태에 대한 예측을 수행할 수 있어 효과적으로 객체를 트래킹할 수 있다. 예를 들어, 본 발명의 실시예에 따르면, 칼만 필터에 배경을 분리하고 특징 정보를 기반으로 결정된 객체에 대한 상태 정보를 입력함으로서 기존의 객체 추적 방법보다 더욱 효과적으로 객체의 이동에 대해 예측할 수 있다. 칼만 필터는 예측 단계와 보정 단계가 수행될 수 있다. 본 발명의 실시예에 따른 칼만 필터의 예측 단계에서 사용하는 상태 방정식은 아래의 수학식 3과 같이 표현될 수 있다.

<수학식 3>

는 특정 시간 k에 예측되는 객체의 상태 정보,

는 특정 시간 k에서 이전 상태에 기반한 상태 전이 행렬이고,

는 특정 시간 k-1에 예측되는 객체의 상태 정보,

는 특정 시간 k의 사용자 입력에 의한 상태 전이 행렬 및 잡음 변수 등에 의해 결정되는 변수일 수 있다.

수학식 3을 참조하면, 특정 시간 k-1에 예측되는 객체의 상태 정보에 입력되는 상태 정보는 객체의 특징 정보를 기반으로 식별된 객체로부터 산출된 정보일 수 있다. 이러한 방법을 사용함으로써 객체의 특정 시간 k에 예측되는 객체의 상태에 대해 정확하게 예측할 수 있다.

결국, 칼만 필터를 이용하는 알려져 있는 객체 추적 방식은 분리된 객체에 대한 추적을 비교적 낮은 부하로 정확하게 수행할 수 있으므로 기본적인 객체 추적에는 이러한 방식을 이용하되, 이러한 과정에서 얻어지는 전경의 객체 후보영역을 기준으로 신규 객체가 있을 경우 이를 학습 방식으로 식별하고 이러한 학습 방식의 적용을 위해 필요한 특징 정보를 식별 객체에 매핑하는 것으로 칼만 필터 만으로는 지속적 추적이 어려운 상황에서도 동일한 객체를 지속적으로 추적할 수 있게 된다.

도 6은 본 발명의 실시예에 따른 전경과 배경의 분리 방법을 나타낸 개념도로서, 본 발명 실시예에 따른 백그라운드 모델링은 배경 영상 획득 과정을 통해 수행될 수 있다. 배경 영상 획득 과정은 연속 영상으로부터 움직이는 물체를 분리한 배경 영상을 얻는 과정을 기반으로 한다. 새로운 영상 프레임과 배경 영상의 차이를 통해 연속 영상으로부터 움직이는 물체와 배경을 분리할 수 있다. 아래의 수학식 4는 연속 영상으로부터 움직이는 물체와 배경을 분리하는 수식을 나타낸다.

<수학식 4>

는 영상 좌표이고,

는 평균 필터를 적용한 상위 단계 i번째 영상 들의 화소별 분산값,

은 일정 시간 동안 획득된 영상의 수,

는 배경으로 선택된 영상,

는 초기 배경 영상을 나타낸다. 수학식 2를 참조하면, n개의 프레임을 비교하여 화소별 분산값이 최소인 화소를 초기 배경 영상의 화소로 설정할 수 있다.

도 6에서는 주위 환경 변화를 고려한 적응 배경 모델을 나타낸다.

배경 영상은 날씨 등과 같은 주위 환경 변화에 따라 배경의 새로운 반영이 필요하다. 날씨, 밤낮 등의 주위 환경 변화가 존재하는 연속 영상으로부터 움직이는 객체만을 찾도록 하기 위해서는 주위 환경 변화에 따라 적응 가능한 배경 모델을 구현할 수 있다.

분리된 움직이는 물체의 외곽 경계선인 윤곽선 집합(contour sets)(600)과 연속 영상 프레임을 이용하여 배경 영상

(620)를 갱신하게 된다. 배경 영상은 아래의 수학식 5와 같이 갱신될 수 있다.

<수학식 5>

수학식 5에서

는 현재 배경 영상(640)이고,

는 갱신된 배경 영상(630),

는 현재 영상(640)을 나타낸다. 또한 마스크 영상(650)

는 아래의 수학식 6과 같이 표현될 수 있다.

<수학식 6>

수학식 6은 윤곽선 집합

(600)의 내부를 1로 외부를 0으로 설정할 수 있다.

즉, 배경 영상은 현재의 영상의 배경 정보, 현재 영상 정보, 마스크 영상 정보를 기반으로 갱신될 수 있다.

결국, 이러한 방식을 포함하는 다양한 고품질 전경 분리 알고리즘을 활용하여 배경으로부터 전경을 효과적으로 분리할 경우 이러한 분리된 전경을 기준으로 객체를 식별해야 하는 분류기의 식별 정확도를 높일 수 있다.

도 7 내지 도 9는 감시 영역에서 빈번하게 이루어지는 객체들의 이동 특성 중 지속적인 추적이 어려운 상황들의 예를 보인 것이다.

도 7은 여러 객체들이 군집했다가 분산되는 경우로 기존 칼만 필터 등을 이용하는 전통적인 객체 추적 방식으로는 어떠한 군집되기 전과 분산되는 객체의 일관성을 유지할 수 없다. 이를 위해 영상의 각 객체마다 새로운 학습을 시켜 객체를 식별하는 방식은 부하가 대단히 높아 적용이 불가능하며, 객체의 종류를 단순 분류하는 방식의 경우도 개별 객체의 일관성을 파악하기는 어렵다.

그러나, 앞서 설명한 본 발명의 실시예에 따라 객체를 추적할 경우 5개의 상이한 객체(710~750)들은 각각 식별자와 특징이 매핑된 객체 정보를 구비하고 있으므로 이들이 군집(760)한 후 다시 분산되는 경우 각각 군집 전과 진행 방향이 불규칙하더라도 각 객체들에 대한 특징 정보를 기반으로 기존 추적 객체들을 확인할 수 있으므로 5개의 객체들(710~750)이 분산되더라도 객체 정보를 동일하게 유지할 수 있어 지속적 추적이 가능하게 된다.

도 8은 군집된 객체(800)에서 일부 객체들(810, 830)만 분리되는 경우로, 해당 군집된 객체(800)를 이루는 각 객체들은 이전에 객체 정보를 구비하여 추적되던 객체로 군집에 의해 그 추적 상태가 중단된 경우이다. 이후 이러한 군집된 객체(800)에서 일부 객체들(810, 830)이 분리되면 전경에 대한 분류기의 식별을 통해서 분리된 객체들(810, 830)을 이전에 추적되던 객체 정보와 다시 매핑할 수 있고, 이를 통해서 객체의 군집 상태와 분리 상태를 일관성 있게 지속적으로 추적할 수 있다.

도 9는 객체가 감시 영역을 이탈했다가 복귀하는 경우를 보인 것으로, 추적 중이던 객체(900)가 감시 영역을 이탈했다가 다시 등장할 경우 이를 신규 객체로 추적하는 것이 아니라 기존에 추적되었던 객체 정보와 다시 매핑하여 해당 객체를 지속적으로 추적할 수 있다. 이를 통해서 감시 영역 근방에서 배회하는 객체에 대해서도 정확한 상황 판단을 실시할 수 있게 된다.

도 10은 본 발명의 실시예에 따른 객체 추적 장치를 나타낸 개념도이다.

도 10을 참조하면, 객체 추적 장치는 객체 추적 카메라(1000)와 전경 분리부(1010), 특징 추출 및 분류부(1020), 객체정보 매핑부(1030), 추적부(1040)를 구비한 프로세서(1050)를 포함할 수 있다. 여기서 프로세서(1050)에 해당하는 구성은 도시된 바와 같이 객체 추적 카메라(1000)와 통합 구성되는 대신 원격지 영상 처리 서버에 구성될 수 있음은 물론이다.

객체 추적 카메라(1000)는 객체를 촬상하고 추적하기 위한 것으로 일반적인 가시광 카메라, 적외선 카메라, 데이 앤 나잇 카메라, 열화상 카메라 등 다양한 카메라가 이용될 수 있다.

전경 분리부(1010)는 영상에서 배경을 분리하여 전경을 추출하며, 픽셀 블럽을 처리하여 객체 후보 영역을 산출한다.

특징 추출 및 분류부(1020)는 전경 분리부(1010)로부터 얻은 전경에 대한 영상 정보나 해당 전경에서 얻어진 객체 후보 영역에 대한 영상에서 특징(HOG, Harr, 극점, 코너, 색상 등)을 추출한 후 이를 기반으로 기 학습된 객체와의 유사성을 판단하여 식별 객체가 어디에 존재하고 있는지 식별한다.

객체 정보 매핑부(1030)는 특징 추출 및 분류부(1020)에서 얻어진 객체 식별 정보와 해당 객체에 대응하는 영역에서 추출된 특징 정보를 매핑하고 기존에 추적하던 객체 정보에 포함된 특징 정보와 비교하는 것으로 식별 객체를 기존 객체 정보에 매핑할 것인지 혹은 새로운 식별자를 부여하여 신규 객체 정보를 생성할 것인지를 결정하여 식별 객체에 대한 객체 정보를 정한다. 이 과정에서 객체에 대한 특징 정보는 객체에 매핑되어 저장된다.

추적부(1040)는 객체 정보를 기반으로 객체에 대한 추적을 실시하는데, 전경 분리부(1010)에서 전경을 처리한 결과 신규 객체 후보가 없다면 전경의 객체 후보 영역을 기준으로 추적 중이던 객체의 추적(칼만 필터를 이용한 추적)을 실시하며, 신규 객체가 있는 경우 해당 객체에 대해서는 추적을 시작한다.

도 10에서는 설명의 편의상 각 구성부를 기능상으로 분리하여 표현하였으나, 구현에 따라 하나의 구성부가 복수의 구성부로 구성되거나 복수의 구성부가 하나의 구성부로 생성될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

1. 객체 추적 장치에서 객체의 특징 정보에 기반하여 상기 객체를 추적하는 방법에 있어서,
   상기 객체 추적 장치가 감시 영역 영상을 수신하여 전경을 분리하는 단계;
   상기 객체 추적 장치가 분리된 상기 전경에서 상기 객체의 제1 특징 정보를 추출하여 상기 객체를 식별하는 단계;
   상기 객체 추적 장치가 상기 제1 특징 정보를 상기 식별된 객체에 매핑하는 단계;
   상기 객체 추적 장치가 상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보가 상기 제2 특징 정보와 설정된 임계값 이상으로 유사한지 여부를 판단하는 단계; 및
   상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 단계를 포함하되,
   상기 제1 특징 정보는 상기 식별된 객체에 대한 제1 HOG(histogram of oriented gradient) 특징 벡터, Haar-like 특징 벡터, Co-occurrence HOG 특징 벡터, LBP(local binary pattern) 특징 벡터 또는 FAST(features from accelerated segment test) 특징 벡터 중에서 선택된 어느 하나이고,
   상기 제2 특징 정보는 상기 기존에 식별된 객체에 대한 HOG 특징 벡터, Haar-like 특징 벡터, Co-occurrence HOG 특징 벡터, LBP 특징 벡터 또는 FAST 특징 벡터 중 어느 하나의 누적이며,
   상기 기존에 식별된 객체에 대한 HOG 특징 벡터, Haar-like 특징 벡터, Co-occurrence HOG 특징 벡터, LBP 특징 벡터 또는 FAST 특징 벡터 중 어느 하나는 해당 객체에 대해 특징 벡터가 구해질 때마다 갱신, 누적 혹은 병합된 벡터인 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 방법.
   
2. 제1항에 있어서,
   상기 객체 추적 장치가 상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새로 식별된 객체로 결정하는 단계를 더 포함하는 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 방법.
   
3. 제2항에 있어서,
   상기 객체 추적 장치가 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 객체를 상기 식별된 객체에 매핑하고 상기 제 1 특징 정보를 이용하여 상기 제 2 특징 정보를 갱신, 누적 또는 병합하며, 상기 객체 추적 장치가 상기 식별된 객체를 새로 식별된 객체로 결정하는 경우, 새로운 식별자를 상기 식별된 객체에 매핑하는 단계를 더 포함하는 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 방법.
   
4. 제3항에 있어서,
   상기 객체 추적 장치가 칼만 필터를 기반으로 상기 식별된 객체를 추적하되,
   상기 칼만 필터는 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터인 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 방법.
   
5. 삭제
6. 삭제
7. 객체 추적 장치에 있어서, 상기 객체 추적 장치는 프로세서를 포함하고,
   상기 프로세서는 감시 영역 영상을 수신하여 전경을 분리하고,
   분리된 상기 전경에서 상기 객체의 제1 특징 정보를 추출하여 상기 객체를 식별하고,
   상기 제1 특징 정보를 상기 식별된 객체에 매핑하고,
   상기 제1 특징 정보와 기존에 식별된 객체에 매핑된 제2 특징 정보를 기반으로 상기 제1 특징 정보가 상기 제2 특징 정보와 설정된 임계값 이상으로 유사한지 여부를 판단하고,
   상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 이상으로 유사하다고 판단하는 경우, 상기 식별된 객체를 상기 기존에 식별된 객체로 결정하도록 구현되되,
   상기 제1 특징 정보는 상기 식별된 객체에 대한 제1 HOG 특징 벡터, Haar-like 특징 벡터, Co-occurrence HOG 특징 벡터, LBP 특징 벡터 또는 FAST 특징 벡터 중에서 선택된 어느 하나이고,
   상기 제2 특징 정보는 상기 기존에 식별된 객체에 대한 HOG 특징 벡터, Haar-like 특징 벡터, Co-occurrence HOG 특징 벡터, LBP 특징 벡터 또는 FAST 특징 벡터 중 어느 하나의 누적이며,
   상기 기존에 식별된 객체에 대한 HOG 특징 벡터, Haar-like 특징 벡터, Co-occurrence HOG 특징 벡터, LBP 특징 벡터 또는 FAST 특징 벡터 중 어느 하나는 해당 객체에 대해 특징 벡터가 구해질 때마다 갱신, 누적 혹은 병합된 벡터인 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 장치.
   
8. 제7항에 있어서, 상기 프로세서는,
   상기 제1 특징 정보와 상기 제2 특징 정보가 상기 설정된 임계값 미만으로 유사하다고 판단하는 경우, 상기 식별된 객체를 새로 식별된 객체로 결정하도록 구현되는 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 장치.
   
9. 제8항에 있어서, 상기 프로세서는,
   상기 식별된 객체를 상기 기존에 식별된 객체로 결정하는 경우, 상기 제2 특징 정보에 매핑된 객체를 상기 식별된 객체에 매핑하고 상기 제 1 특징 정보를 이용하여 상기 제 2 특징 정보를 갱신, 누적 또는 병합하며, 상기 객체 추적 장치가 상기 식별된 객체를 새로 식별된 객체로 결정하는 경우, 새로운 식별자를 상기 식별된 객체에 매핑하도록 구현되는 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 장치.
   
10. 제9항에 있어서, 상기 프로세서는,
    칼만 필터를 기반으로 상기 식별된 객체를 추적하되,
    상기 칼만 필터는 과거에 필터링된 상기 식별된 객체의 추정치와 현재 상기 식별된 객체의 측정치를 기반으로 상기 식별된 객체의 미래 상태에 대한 예측치를 산출하는 필터인 것을 특징으로 하는 객체의 특징 정보에 기반한 객체 추적 장치.
    
11. 삭제
12. 삭제

Images