KR102047936B1

KR102047936B1 - 이미지 분류장치 및 방법

Info

Publication number: KR102047936B1
Application number: KR1020170144731A
Authority: KR
Inventors: 박상표; 남진하; 김은택
Original assignee: 주식회사 안랩
Priority date: 2017-11-01
Filing date: 2017-11-01
Publication date: 2019-11-22
Also published as: WO2019088673A2; WO2019088673A3; JP7019825B2; KR20190049169A; JP2021501432A

Abstract

본 발명의 일실시예에 따르면, 개인정보 탐색을 위한 이미지 분류 장치에 있어서, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있다.

Description

이미지 분류장치 및 방법{APPARATUS AND METHOD FOR CLASSIFYING IMAGES STORED IN A DIGITAL DEVICE}

본 발명은 이미지 분류 장치에 관한 것으로, 특히 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법에 관한 것이다.

최근 들어, 카메라 등으로부터 촬영된 이미지에 대해 광학 인식 기술을 적용하여 이미지로부터 다양한 정보를 분석하는 광학 인식 기술에 대한 연구가 활발히 진행되고 있으며, 이러한 광학 인식 기술을 통해 이미지에 포함된 사물을 식별하거나 텍스트 정보를 추출하는 것이 가능하다.

한편, 최근 들어 스마트폰의 보급이 급속도로 증가하고 있으며, 이러한 스마트폰에는 대부분이 고성능 카메라가 탑재되어 있어 사용자가 언제 어디서든 사진을 촬영할 수 있게 됨에 따라 대부분 사용자의 스마트폰에는 많은 수의 사진들이 저장되어 있다.

현재 스마트 폰을 사용하는 사용자들의 대부분이 저장공간의 50% 정도를 사진 저장을 위해 사용되고 있으며, 사진의 수는 평균적으로 1000장 이상 정도로 추산된다. 이러한 사진들에 대해서도 광학 인식 기술을 이용하여 개인정보를 포함한 이미지에 포함된 다양한 정보를 추출할 수 있다.

그러나, 이러한 많은 이미지들 내에서 이미지들에 대한 광학 인식을 통해 개인정보 등을 확인하기 위해서는 많은 시간과 비용이 발생된다.

위와 같은 광학 인식 기술를 적용하여 이미지 분석을 수행하여 주는 애플리케이션으로 예를 들어 Google Cloud Vision API 등이 존재하는데, 이러한 광학 인식 기술을 사용하게 되는 경우 광학 인식 대상이 되는 이미지의 수가 증가함에 따라 도 1에서 보여지는 바와 같이 광학 인식에 소요되는 시간과 비용이 기하 급수적으로 증가하는 문제점이 있었다.

따라서, 광학 인식에 소요되는 시간과 비용을 줄이기 위해서는 광학 인식을 적용하기 전에 광학 인식 대상이 되는 이미지를 분석하고자 하는 정보에 대응되게 사전에 분류하여 이미지의 수를 최대한 줄이는 작업이 필요하다.

(특허문헌)

대한민국 등록특허번호 10-1735664호(등록일자 2017년 05월 08일)

따라서, 본 발명의 일실시예에서는 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하고, 개인정보가 존재할 가능성이 낮은 이미지를 광학 인식 수행전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 줄여 광학 인식 효율을 높이고 비용을 절감시킬 수 있도록 하는 개인정보 이미지 탐색을 위한 이미지 분류 장치 및 방법을 제공하고자 한다.

상술한 본 발명의 일실시예에 따른 이미지 분류장치로서, 복수의 이미지를 포함하는 제1 이미지 그룹내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와, 상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하는 이미지 제작부를 포함한다.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는 것을 특징으로 한다.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 메타 데이터 기반 분류부를 더 포함하는 것을 특징으로 한다.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는 것을 특징으로 한다.

또한, 상기 이미지 분류부는, 상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는 것을 특징으로 한다.

또한, 상기 이미지 제작부는, 상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와, 상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는 것을 특징으로 한다.

또한, 상기 이미지 제작부는, 상기 하나의 이미지에 포함된 상기 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 위치 기억부를 더 포함하는 것을 특징으로 한다.

또한, 상기 장치는, 상기 이미지 제작부에서 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 이미지 재분류부를 더 포함하는 것을 특징으로 한다.

또한, 상기 개인정보는, 상기 하나의 이미지에 포함된 텍스트 정보인 것을 특징으로 한다.

또한, 본 발명의 일실시예에 따른 이미지 분류방법으로서, 복수의 이미지를 포함하는 제1 이미지 그룹내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와, 상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 해상도를 검사하는 단계와, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하는 단계와, 상기 확인 결과 상기 메타 데이터 정보에 저작권과 관련된 정보가 포함되어 있는 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와, 상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 분류하는 단계는, 상기 제1 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와, 상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 제작하는 단계는, 상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 단계와, 상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와, 상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 제작하는 단계는, 상기 하나의 이미지에 포함된 복수의 축소된 이미지 각각에 대한 식별정보와 상기 축소된 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 방법은, 상기 하나의 이미지에 포함된 복수의 이미지에 대해 상기 하나의 이미지에 대한 광학 인식 결과에 기반하여 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지를 분류하는 단계를 더 포함하는 것을 특징으로 한다.

도 1은 종래 광학 인식 대상 이미지의 수에 따른 광학 인식 소요 시간 및 비용 예시도.
도 2는 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성도.
도 3은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 합성 이미지 예시도.
도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성도.
도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성도.
도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름도.
도 7은 본 발명의 일실시예에 따른 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역 표시 개념도.
도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일실시예에 따른 개인정보 이미지 탐색을 위한 이미지 분류 장치의 기능 블록 구성을 도시한 것이다.

도 1을 참조하면, 본 발명의 일시예에 따른 개인정보 탐색을 위한 이미지 분류장치(200)는 제1 이미지 분류부(202), 이미지 제작부(204), 제2 이미지 분류부(206) 등을 포함할 수 있다.

먼저, 제1 이미지 분류부(202)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다. 이때, 이러한 복수의 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서 예를 들어 텍스트(text) 정보가 될 수 있다. 또한, 이러한 텍스트 정보는 예를 들어 여권 사진에 포함되어 있는 여권 번호, 주민등록증을 촬영한 사진에 포함되어 있는 주민등록번호, 영수증 또는 각종 문서를 촬영한 사진에 포함된 거래 정보, 증빙 정보 등이 될 수 있으나, 이에 한정되는 것은 아니다.

즉, 제1 이미지 분류부(202)는 위와 같은 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류한다. 이어, 제1 이미지 분류부(202)는 제1 이미지 그룹에서 위와 같이 분류된 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성한다.

이때, 제거 대상 이미지는 위와 같이 예시한 개인정보를 포함하고 있지 않은 이미지를 말하는 것으로, 이러한 개인정보를 포함하고 있지 않은 이미지를 분류하는 구체적인 방법에 대해서는 제1 이미지 분류부(202)의 상세 블록 구성을 도시한 도 4를 참조하여 상세히 후술하기로 한다.

이미지 제작부(204)는 제1 이미지 분류부(202)로부터 생성된 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다. 이때, 예를 들어 이미지 제작부(204)는 제2 이미지 그룹내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다.

또한, 이미지 제작부(204)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지로 합성할 수 있다. 위와 같은 이미지 합성 동작에 대해서는 이미지 제작부(204)의 상세 블록 구성을 도시한 도 5를 참조하여 상세히 후술하기로 한다.

2차 이미지 분류부(206)는 이미지 제작부(204)에서 생성된 복수의 이미지를 포함하도록 합성된 하나의 이미지에 대한 광학 인식 결과, 개인정보가 검출되는 경우 하나의 이미지내 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류한다. 이때, 2차 이미지 분류부(206)는 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있으나, 이에 한정되는 것은 아니다.

또한, 이때, 광학 인식이라 함은 이미지에 텍스트 등의 개인정보가 포함되어 있는 경우 이미지로부터 개인정보를 추출하는 기술을 말하는 것으로, 광학 인식을 통해 이미지내 개인정보가 분석될 수 있고, 추출된 개인정보별 이미지상 해당 개인정보가 검출된 위치 정보도 분석될 수 있다.

또한, 광학 인식은 본 발명의 일실시예에 따른 이미지 분류장치(200)가 탑재된 스마트폰(smartphone), 테블릿(tablet), 노트북, 데스크탑 PC 등의 컴퓨팅 장치에서 광학 인식을 수행하는 애플리케이션 등에 의해 실행된 후, 광학 인식 수행된 결과가 이미지 분류장치(200)로 제공될 수도 있으며, 유무선 통신망을 통해 연결되는 외부의 광학 인식 서버 등에서 실행된 후, 이미지 분류장치(200)로 제공될 수도 있다.

도 4는 본 발명의 일실시예에 따른 제1 이미지 분류부의 기능 블록 구성을 도시한 것이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 제1 이미지 분류부(202)는 해상도 기반 분류부(400), 메타 데이터 기반 분류부(402), 연속사진 분류부(404), 초점 기반 분류부(406) 등을 포함할 수 있다.

해상도 기반 분류부(400)는 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다. 이때, 기준 해상도는 예를 들어 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있으나, 이에 한정되는 것은 아니다. 즉, 기준 해상도는 제거 대상 이미지로 분류할 사진을 어떤 것으로 결정하느냐에 따라 선택적으로 변경 설정 가능하다.

메타 데이터 기반 분류부(402)는 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류할 수 있다. 이때, 저작권 관련된 정보가 포함된 이미지는 예를 들어 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는 예를 들어 기업 등에서 제작한 이미지 또는 사진 작가 등에 의해 촬영된 이미지 등이 될 수 있다. 이와 같은 이미지에는 이미지 데이터의 내부에 포함된 메타 데이터 정보에 해당 이미지를 제작한 벤더(vender)나, 사진 작가의 식별 정보가 포함될 수 있고, 해당 이미지를 촬영한 카메라의 모델명 등의 정보가 포함될 수 있는데, 저작권 관련 정보는 이러한 정보 등을 의미할 수 있으나 이에 한정되는 것은 아니다.

연속사진 분류부(404)는 제1 그룹내 모든 이미지에 대해 동일한 카메라로부터 생성된 이미지를 분류하고, 동일한 카메라로부터 생성된 이미지에 대해 다시 각 이미지가 생성된 시간 정보를 확인한 후, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 해당 이미지를 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 시간 간격 범위는 예를 들어 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다. 또한, 연속사진 촬영에 의해 생성된 이미지는 비슷한 정보를 포함하고 있을 가능성이 높으므로, 연속사진 촬영으로 생성된 이미지가 복수개인 경우 하나의 이미지를 제외하고 나머지 이미지에 대해서는 제어 대상 이미지로 분류할 수 있으나, 이에 한정되는 것은 아니다.초점 기반 분류부(406)는 제1 그룹내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다. 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다. 이때, 이러한 기준 초점 불일치 정도는 예를 들어 0이 초점이 정확히 맞은 것을 나타내고 100이 초점이 완전히 불일치한 것을 나타낸다고 가정하는 경우 초점 불일치에도 불구하고 이미지에서 개인정보를 추출할 수 있는 실험치로 정해질 수 있다. 즉, 이러한 초점 불일치 정도는 예를 들어 0~20으로 정해질 수 있고 초점 불일치 정도가 20이상이 되는 이미지는 개인정보의 추출이 어려운 제거 대상 이미지로 분류되도록 할 수 있으나, 이에 한정되는 것은 아니다.

도 5는 본 발명의 일실시예에 따른 이미지 제작부의 기능 블록 구성을 도시한 것이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 이미지 제작부(204)는 해상도 검사부(500), 이미지 축소부(502), 이미지 합성부(504), 이미지 위치 기억부(506) 등을 포함할 수 있다.

해상도 검사부(500)는 1차 분류된 이미지를 제외한 개인정보가 존재할 가능성이 높은 이미지들로 구성되는 제2 이미지 그룹내 각 이미지의 해상도를 검사하고, 검사된 이미지별 해상도에 대한 정보를 이미지 축소부(502)로 제공한다.

이때, 제2 이미지 그룹내 포함된 이미지는 1차 분류를 통해 기설정된 기준 해상도 이상인 이미지가 포함된 상태이나, 이미지별로 해상도는 서로 다를 수 있다. 이러한 제2 이미지 그룹내 포함된 이미지는 이미지 축소부(502)를 통해 원래 이미지가 가지고 있는 해상도를 기반으로 일정 크기로 축소되어야 하기 때문에 이미지별 해상도를 검사하는 것이 필요하다.

이미지 축소부(502)는 제2 그룹내 포함된 각 이미지를 각 이미지의 해상도에 기반하여 기설정된 비율로 축소시킨다. 제2 그룹내 포함된 각 이미지는 1차 분류를 통해 개인정보가 존재할 가능성이 높은 이미지로 분류된 상태로 광학 인식의 대상이 되는 이미지일 수 있다. 이러한 이미지 각각에 대해 광학 인식을 수행하는 경우 여전히 광학 인식에 소요되는 비용이 상대적으로 증가할 수 있으며 외부에 위치한 광학 인식 서버로 전송하는 경우 데이터 전송 효율이 저하될 수 있다. 따라서, 광학 인식 효율을 높이기 위해 본 발명의 일실시예에서는 복수의 축소된 이미지를 합성하여 하나의 이미지로 제작하여 광학 인식 효율을 높이도록 한다.

즉, 이미지 축소부(502)는 하나의 이미지에 들어갈 축소된 이미지의 수가 정해진 경우 이미지의 수에 따라 하나의 이미지상 각 이미지가 차지하는 영역의 크기를 고려하여 해당 영역의 크기에 맞게 원래 이미지를 특정 비율로 축소시키게 된다.

이미지 합성부(504)는 이미지 축소부(502)를 통해 일정 비율로 축소된 이미지 중 하나의 이미지로 합성할 기설정된 개수의 이미지를 선택하고, 선택된 이미지를 하나의 이미지상 기설정된 개수에 맞게 구분된 각 영역에 위치시켜 하나의 이미지로 합성한다.

이미지 위치 기억부(506)는 이미지 합성부(504)에서 합성되는 하나의 이미지별 포함되는 복수의 축소된 이미지 각각에 대한 식별정보와 해당 하나의 이미지상 위치된 영역에 대한 정보를 저장한다.

이때, 위와 같이 이미지 합성이 완료된 하나의 이미지는 이미지 분류장치(200)내 구비되는 광학 인식 장치 또는 유무선 통신망을 통해 연결된 광학 인식 서버(250)를 통해 광학 인식이 수행될 수 있으며, 하나의 이미지내에서 검출된 개인정보와 각 개인정보가 검출된 해당 이미지상 위치정보를 포함하는 광학 인식 결과가 제2 이미지 분류부(206)로 제공될 수 있다.

그러면 제2 이미지 분류부(206)는 위와 같이 광학 인식이 수행되어 하나의 이미지에서 검출된 개인정보와 하나의 이미지상에서 개인정보가 검출된 위치정보를 수신하는 경우, 이미지 위치 기억부(506)에 저장된 정보를 이용하여 하나의 이미지상 개인정보가 검출된 각 이미지를 판별하여 개인정보가 있는 이미지와 개인정보가 없는 이미지를 분류하게 되는 것이다.

이때, 제2 이미지 분류부(206)는 앞서 설명한 바와 같이 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며, 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다.

도 6은 본 발명의 일실시예에 따른 이미지 분류장치에서 이미지를 분류하는 동작 제어 흐름을 도시한 것이다. 이하, 도 2 내지 도 6을 참조하여 본 발명의 일실시예에 따른 동작을 상세히 설명하기로 한다.

먼저, 이미지 분류장치(200)는 이미지 저장부(230)로부터 개인정보 추출을 위한 광학 인식 대상이 되는 복수의 이미지를 입력받는다(S600). 이때, 이러한 이미지는 스마트폰, 디지털 카메라 등을 통해 촬영된 사진 등을 의미할 수 있으며, 개인정보는 이러한 이미지에 포함된 사용자의 개인정보로서 예를 들어 텍스트 정보가 될 수 있다.

이어, 이미지 분류장치(200)는 위와 같이 복수의 이미지를 입력받는 경우, 복수의 이미지를 포함하는 제1 이미지 그룹을 생성하고, 제1 이미지 그룹내 포함된 각 이미지를 기설정된 기준에 따라 검사하여 개인정보가 존재할 가능성이 낮은 제거 대상 이미지를 분류하는 1차 분류를 수행한다(S602).

이때, 이미지 분류장치(200)는 1차 분류를 수행함에 있어서, 제1 그룹내 각 이미지에 대해 해상도를 검사하고, 해상도가 기설정된 기준 해상도 이하인 경우 제거 대상 이미지로 분류한다(S602-1). 이때, 기준 해상도는 예를 들어 스마트폰의 경우 상대적으로 해상도가 낮은 전면 카메라로 사용자 자신을 촬영한 이미지에서 나타나는 해상도로 정해질 수 있으며, 이에 따라 전면 카메라를 이용하여 사용자 자신을 촬영한 이미지는 개인정보가 존재할 가능성이 낮은 제거 대상 이미지로 분류될 수 있다.

또한, 이미지 분류장치(200)는 제1 그룹내 각 이미지에 대한 메타 데이터 정보를 확인하여 저작권과 관련된 정보가 포함되어 있는 경우 제거 대상 이미지로 분류한다(S602-2). 이때, 저작권 관련된 정보가 포함된 이미지는 예를 들어 사용자 자신이 아닌 제3자에 의해 생성된 이미지를 의미할 수 있으며, 이러한 이미지는 예를 들어 기업 등에서 제작한 이미지 또는 사진 작가 등에 의해 촬영된 이미지 등이 될 수 있다.

또한, 이미지 분류장치(200)는 제1 그룹내 모든 이미지에 대해 동일 카메라에 의해 촬영된 이미지를 분류한 후, 동일 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하고, 각 이미지가 생성된 시점이 기설정된 시간 간격 범위 내에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 제거 대상 이미지로 분류한다(S602-3). 이때, 기설정된 기준 시간 간격 범위는 예를 들어 스마트폰, 디지털 카메라 등에 구비되는 연속사진 촬영 모드시 설정된 시간 간격으로 정해질 수 있으며, 이러한 기준 시간 간격 범위내에서 생성된 이미지는 연속사진 촬영에 의해 생성된 것을 의미할 수 있다.

또한, 이미지 분류장치(200)는 제1 그룹내 각 이미지에 대해 초점 불일치(blur) 정도를 검사하고, 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 제거 대상 이미지로 분류한다(S602-4). 이때, 기설정된 기준 초점 불일치 정도는 스마트폰, 디지털 카메라 등을 통해 촬영된 이미지가 초점이 맞지 않게 촬영되어 이미지상 초점 불일치가 발생한 경우, 초점 불일치가 발생한 정도를 백분율로 표시한 것을 의미할 수 있다.

위와 같이 이미지 분류장치(200)는 1차 분류를 통해 제1 이미지 그룹에서 개인정보가 존재할 가능이 낮은 제거 대상 이미지(사진 A)를 제외시키고(S604), 제거 대상 이미지를 제외한 나머지 이미지를 취합하여 제2 이미지 그룹(사진 B)을 생성한다(S606).

이어, 이미지 분류장치(200)는 제2 이미지 그룹에 포함된 이미지에 대해 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성한다(S608). 이때, 예를 들어 이미지 분류장치(200)는 제2 이미지 그룹내 포함된 6개의 이미지를 선택하여 하나의 이미지로 합성할 수 있으나, 이에 한정되는 것은 아니다. 또한, 이미지 분류장치(200)는 6개의 이미지를 하나의 이미지에 합성함에 있어서 상기한 도 3에서 보여지는 바와 같이 하나의 이미지(300)를 6개의 영역으로 구분하고, 제2 그룹에서 선택된 6개의 이미지를 각 영역의 크기에 맞게 일정 비율로 축소한 후 축소된 이미지를 하나의 이미지(300)상 각 영역에 배치하는 것을 통해 하나의 이미지를 합성할 수 있다.

위와 같이 1차 분류된 복수의 이미지를 포함하도록 합성된 하나의 이미지는 시스템 내부의 탑재된 광학 인식 장치 또는 유무선 통신망을 통해 연결된 외부의 광학 인식 서버(250) 등에서 광학 인식이 수행되어 이미지내에 포함된 텍스트 등의 개인정보가 추출되는 광학 인식이 수행되고, 광학 인식 결과가 이미지 분류장치(200)로 입력될 수 있다(S610).

그러면, 이미지 분류장치(200)는 위와 같이 광학 인식 결과가 입력되는 경우, 광학 인식 결과를 기반으로 하나의 이미지내 포함된 복수의 이미지 중 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 분류하는 2차 분류를 수행한다(S612).

도 7은 복수의 이미지가 합성된 하나의 이미지에서 광학 인식을 통해 개인정보가 인식된 영역을 표시한 것이다.

이미지 분류장치(200)는 도 7에서와 같이 광학 인식 결과로 입력되는 개인정보와 개인정보가 검출된 위치정보를 기반으로 복수의 이미지가 합성된 하나의 이미지에서 개인정보가 검출된 이미지와 개인정보가 검출되지 않은 이미지를 식별하여 2차 분류를 수행하는 것이다.

이어, 이미지 분류장치(200)는 예를 들어 개인정보가 검출되지 않은 이미지는 일반 이미지로 분류하여 일반 이미지 그룹으로 관리할 수 있으며(S614), 개인정보가 검출된 이미지는 개인정보 이미지로 분류하여 개인정보 이미지 그룹으로 관리할 수 있다(S614).

이에 따라, 광학 인식 대상 이미지에 대해 기설정된 분류 기준에 따라 분류하여 개인정보가 존재할 가능성이 낮은 이미지를 사전에 제거함으로써 개인정보 탐색을 위한 광학 인식 대상 이미지의 수를 대폭 줄일 수 있으며, 광학 인식 효율을 높이고 비용을 절감시킬 수 있게 된다.

도 8은 본 발명의 일실시예에 따른 이미지 분류 후 광학 인식 시간과 비용 결과 예시도이다.

도 8에서 보여지는 바와 같이 본 발명의 일실시예에 따른 이미지 분류 결과 예를 들어 사용자 A의 경우 1000장의 광학 인식 대상 이미지가 1차 분류와 이미지 합성을 통해 약 100장으로 줄어들어 비용과 광학 인식에 소요되는 시간이 대폭 줄어든 것을 확인할 수 있으며, 사용자 B,C,D의 경우도 동일한 효과가 발생한 것을 확인할 수 있다.

이때, 위와 같은 광학 인식에 소요되는 시간과 비용의 계산은 설명의 편의상 예를 들어 Google Cloud Vision API를 광학 인식 서버로 이용한 경우를 예시한 것일 뿐, 다른 광학 인식 서버를 이용하거나 시스템 내부에 광학 인식 모듈을 탑재하는 경우에도 동일한 결과가 도출되리라는 것은 당업자에게 자명하게 이해될 수 있다.

본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

한편 상술한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시될 수 있다. 따라서 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

200 : 이미지 분류장치 202 : 제1 이미지 분류부
204 : 이미지 제작부 206 : 제2 이미지 분류부
230 : 이미지 저장부 250 : 광학 인식 서버
400 : 해상도 기반 분류부 402 : 메타 데이터 기반 분류부
404 : 연속사진 분류부 406 : 초점 기반 분류부
500 : 해상도 검사부 502 : 이미지 축소부
504 : 이미지 합성부 506 : 이미지 위치 기억부

Claims

복수의 이미지를 포함하는 제1 이미지 그룹내 모든 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하고, 상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 이미지 분류부와,
상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 합성하되, 상기 하나의 이미지로 합성된 상기 기설정된 개수의 이미지 각각에 대한 식별정보와 상기 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 이미지 제작부와,
상기 하나의 이미지에 대한 광학 인식 결과와 상기 식별정보 및 상기 영역 정보에 기초하여, 상기 하나의 이미지로 합성된 상기 제2 이미지 그룹의 이미지를 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지로 분류하는 이미지 재분류부를 포함하는
이미지 분류장치.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 이미지 그룹내 각 이미지에 대해 해상도를 검사하고, 상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 해상도 기반 분류부를 포함하는
이미지 분류장치.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 이미지 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하고, 상기 동일한 카메라에 의해 촬영된 각 이미지의 생성 시간 정보를 기반으로 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 연속사진 분류부를 더 포함하는
이미지 분류장치.
제 1 항에 있어서,
상기 이미지 분류부는,
상기 제1 이미지 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하고, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정도 이상인 경우 상기 제거 대상 이미지로 분류하는 초점 기반 분류부를 더 포함하는
이미지 분류장치.
제 1 항에 있어서,
상기 이미지 제작부는,
상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 해상도 검사부와,
상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 이미지 축소부와,
상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 이미지 합성부를 포함하는
이미지 분류장치.
삭제
삭제
제 1 항에 있어서,
상기 개인정보는,
상기 하나의 이미지에 포함된 텍스트 정보인
이미지 분류장치.
이미지 분류장치에서 수행하는 이미지 분류방법으로서,
복수의 이미지를 포함하는 제1 이미지 그룹내 각 이미지를 기설정된 기준에 따라 검사하여 제거 대상 이미지를 분류하는 단계와,
상기 제거 대상 이미지를 제외한 나머지 이미지를 포함하는 제2 이미지 그룹을 생성하는 단계와,
상기 제2 이미지 그룹내 포함된 이미지 중 기설정된 개수의 이미지를 선택하여 하나의 이미지로 제작하는 단계와,
상기 하나의 이미지에 포함된 상기 기설정된 개수의 이미지 각각에 대한 식별정보와 상기 이미지 각각이 상기 하나의 이미지상 위치된 영역 정보를 저장하는 단계와,
상기 하나의 이미지에 대한 광학 인식 결과와 상기 식별정보 및 상기 영역 정보에 기초하여, 상기 하나의 이미지로 합성된 상기 제2 이미지 그룹의 이미지를 개인정보가 존재하는 이미지와 상기 개인정보가 존재하지 않는 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 이미지 그룹내 각 이미지에 대해 해상도를 검사하는 단계와,
상기 해상도가 기설정된 기준 해상도 이하인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 이미지 그룹내 각 이미지에 대해 동일한 카메라에 의해 촬영된 이미지를 분류하는 단계와,
상기 동일한 카메라에 의해 촬영된 각 이미지의 생성된 시간 정보를 확인하는 단계와,
상기 시간 정보를 기반으로 이미지의 생성 시점이 기설정된 시간 간격 범위에 포함되는 복수의 이미지 중 임의로 선택되는 하나의 이미지를 제외하고 나머지 이미지는 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
제 10 항에 있어서,
상기 분류하는 단계는,
상기 제1 이미지 그룹내 각 이미지에 대해 초점 불일치 정도를 검사하는 단계와,
상기 검사결과, 상기 초점 불일치 정도가 기설정된 기준 초점 불일치 정보 이상인 경우 상기 제거 대상 이미지로 분류하는 단계를 포함하는
이미지 분류방법.
제 10 항에 있어서,
상기 제작하는 단계는,
상기 제2 이미지 그룹내 포함된 각 이미지의 해상도를 검사하는 단계와,
상기 제2 이미지 그룹내 포함된 각 이미지를 상기 검사된 해상도를 기반으로 기설정된 비율로 축소하는 단계와,
상기 축소된 이미지 중 상기 기설정된 개수의 이미지를 선택하고, 상기 하나의 이미지상 상기 기설정된 개수에 맞게 구분된 영역에 상기 축소된 이미지를 위치시켜 상기 하나의 이미지로 합성하는 단계를 포함하는
이미지 분류방법.
삭제
삭제