KR101571681B1 - 동질 영역을 이용한 문서 구조의 분석 방법 - Google Patents

동질 영역을 이용한 문서 구조의 분석 방법 Download PDF

Info

Publication number
KR101571681B1
KR101571681B1 KR1020140192693A KR20140192693A KR101571681B1 KR 101571681 B1 KR101571681 B1 KR 101571681B1 KR 1020140192693 A KR1020140192693 A KR 1020140192693A KR 20140192693 A KR20140192693 A KR 20140192693A KR 101571681 B1 KR101571681 B1 KR 101571681B1
Authority
KR
South Korea
Prior art keywords
text
document
component
components
document image
Prior art date
Application number
KR1020140192693A
Other languages
English (en)
Inventor
김수형
나인섭
오아란
뚜안
강재우
금지수
Original Assignee
주식회사 디오텍
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디오텍, 전남대학교산학협력단 filed Critical 주식회사 디오텍
Priority to KR1020140192693A priority Critical patent/KR101571681B1/ko
Application granted granted Critical
Publication of KR101571681B1 publication Critical patent/KR101571681B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)

Abstract

본 발명은 동질 영역을 이용한 문서 구조의 분석 방법에 관한 것으로서, 본 발명에 따른 동질 영역을 이용한 문서 구조의 분석 방법은 문서 이미지를 분석하여 문서 이미지를 흑백으로 이진화하는 단계, 문서 이미지를 이진화하여 형성된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할함으로써 동질 영역 (homogeneous region) 을 추출하는 단계, 동질 영역에 포함된 연결된 컴포넌트 (connected component) 를 분석하여 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 (non-text) 컴포넌트로 분류하고, 텍스트 컴포넌트가 포함된 텍스트 문서 및 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하는 단계, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하는 단계 및 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류하는 단계를 포함하고, 동질 영역에 기초하여 연결된 컴포넌트를 분석함으로써, 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하는 정확성을 향상시킬 수 있는 효과가 있다.

Description

동질 영역을 이용한 문서 구조의 분석 방법{METHOD FOR ANALYSING STRUCTURE OF DOCUMENT USING HOMOGENEOUS REGION}
본 발명은 동질 영역을 이용한 문서 구조의 분석 방법에 관한 것으로서, 보다 상세하게는 반복적인 분할을 통해 동질 영역을 추출한 후 추출된 동질 영역에 기초하여 문서 구조를 분석하는 방법에 관한 것이다.
광학 문자 인식 (optical character recognition; OCR) 은 텍스트 형태의 이미지를 소정의 문자 인식 처리 과정을 거쳐 컴퓨터가 판독 가능한 텍스트 데이터로 변환하는 것을 의미한다. 광학 문자 인식은 종이 문서 또는 텍스트가 포함된 전자적 이미지를 전자 문서로 변환하는 경우, 사용자가 직접 타이핑하여 텍스트를 입력하는 수작업 과정을 생략할 수 있으므로 널리 이용되고 있다. 광학 문자 인식을 위해서는 변환하고자 하는 문서의 구조를 분석하는 과정이 요구된다. 문서의 구조를 분석함으로써 문서를 텍스트 영역, 테이블 영역, 이미지 영역 및 라인 영역 등으로 분류할 수 있다. 문서 구조를 분석하는 과정의 정확성은 광학 문자 인식의 정확성에 영향을 미칠 수 있다.
종래에는 문서 구조를 분석하기 위해 탑-다운 (top-down) 방식 및 바텀-업 (bottom-up) 방식이 주로 이용되었다. 탑-다운 방식이란 문서 이미지를 블록으로 분할하고, 블록을 텍스트 라인으로 분할하고, 텍스트 라인을 단어로 분류하는 방법이다. 탑-다운 방식은 컴퓨팅 시간이 짧고 정형화된 문서 이미지를 효율적으로 분석할 수 있으나, 문서 이미지의 구조가 복잡해지는 경우 정확한 분할이 어렵다는 단점이 있다. 한편, 바텀-업 방식이란 문서 이미지 내에 포함된 단어를 결정하고, 단어를 텍스트 라인으로 병합하고, 텍스트 라인을 블록으로 병합하는 방법이다. 바텀-업 방식은 문서 이미지의 구조가 복잡해지더라도 문서 이미지를 분석하는 것이 가능하나, 컴퓨닝 시간이 과도하게 길고 분석을 위해 필요한 문턱값 (threshold value) 을 적절하게 설정하는 것이 어렵다는 단점이 있다. 상술한 단점들을 극복하기 위해 탑-다운 방식과 바텀-업 방식이 조합된 방식이 제안되었으나, 이 방식은 상술한 단점들을 근본적으로 해결하지 못한다.
따라서, 컴퓨팅 시간이 짧고 복잡한 문서 이미지의 구조를 정확하게 분석할 수 있는 방법 및 장치의 개발이 요구된다.
[관련기술문헌]
1. 언어모델과 ＯＣＲ을 이용하여 문서에 포함된 문자열을 인식하는 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 (특허출원번호 제10-2008-0103890호)
본 발명이 해결하고자 하는 과제는 문서 이미지에 포함된 백색 라인 및 흑색 라인의 특성을 이용하여 반복적으로 문서 이미지를 분할함으로써, 동일한 특성을 갖는 동질 영역 (homogenious region) 을 추출할 수 있는 동질 영역을 이용한 문서 구조의 분석 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 추출된 동질 영역에 기초하여 연결된 컴포넌트 (connected component) 를 분석함으로써, 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트 (non-text) 로 정확하게 분류할 수 있는 동질 영역을 이용한 문서 구조의 분석 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 연결된 컴포넌트를 2회의 필터링을 통해 분류함으로써, 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 빠르고 정확하게 분류할 수 있는 동질 영역을 이용한 문서 구조의 분석 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법은 문서 이미지를 분석하여 문서 이미지를 흑백으로 이진화하는 단계, 문서 이미지를 이진화하여 형성된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할함으로써 동질 영역을 추출하는 단계, 동질 영역에 포함된 연결된 컴포넌트를 분석하여 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하고, 텍스트 컴포넌트가 포함된 텍스트 문서 및 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하는 단계, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하는 단계 및 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 특징에 따르면, 동질 영역을 추출하는 단계는, 문서 이미지의 픽셀 중 흑색 픽셀의 빈도를 나타내는 문서 이미지의 가로 축 또는 세로 축 방향의 곡선을 획득하는 단계, 곡선의 변화율 및 흑색 픽셀의 빈도의 통계값에 기초하여 이질 영역 (heterogeneous region) 의 존재 여부를 판단하는 단계, 이질 영역이 존재하는 경우, 이질 영역에 포함된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 곡선을 획득하는 단계, 이질 영역의 존재 여부를 판단하는 단계 및 문서 이미지를 분할하는 단계를 이질 영역이 존재하지 않을 때까지 반복하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 텍스트 문서 및 비-텍스트 문서를 획득하는 단계는 연결된 컴포넌트를 분석하여 연결된 컴포넌트 중 비-텍스트 컴포넌트를 추출하는 단계, 동질 영역으로부터 비-텍스트 컴포넌트를 분리하여 비-텍스트 컴포넌트를 포함하는 비-텍스트 문서를 저장하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 비-텍스트 컴포넌트를 추출하는 단계는, 연결된 컴포넌트 및 연결된 컴포넌트를 둘러싸는 박스의 좌표, 폭, 높이 및 면적을 포함하는 특성값에 기초하여 연결된 컴포넌트를 텍스트 컴포넌트 또는 비-텍스트 컴포넌트로 분류하는 단계인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 비-텍스트 컴포넌트를 추출하는 단계 및 비-텍스트 문서를 저장하는 단계를 비-텍스트 컴포넌트가 추출되지 않을 때까지 반복하는 단계 및 비-텍스트 컴포넌트가 제거되고 텍스트 컴포넌트가 포함된 텍스트 문서를 저장하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 비-텍스트 컴포넌트를 분류하는 단계는, 비-텍스트 컴포넌트를 라인 컴포넌트, 테이블 컴포넌트, 세퍼레이터 컴포넌트 및 노이즈 컴포넌트로 분류하는 단계인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 텍스트 문서를 분할하는 단계는, 모폴로지 연산 (morphology operation) 을 통해 텍스트 컴포넌트를 팽창시킨 후, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하는 단계인 것을 특징으로 한다.
본 발명의 또 다른 특징에 따르면, 문서 이미지, 텍스트 문서 및 비-텍스트 문서는 사이즈가 동일한 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분서 장치는 문서 이미지를 분석하여 문서 이미지를 흑백으로 이진화하고, 문서 이미지에 포함된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할함으로써 동질 영역을 추출하고, 동질 영역에 포함된 연결된 컴포넌트를 분석하여 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하고,텍스트 컴포넌트가 포함된 텍스트 문서 및 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하고, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하고, 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류하는 명령어들의 세트를 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 컴퓨터 판독 가능 매체는 프로세서 및 메모리를 포함하고, 프로세서는 문서 이미지를 분석하여 문서 이미지를 흑백으로 이진화하고, 문서 이미지에 포함된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할함으로써 동질 영역을 추출하고, 동질 영역에 포함된 연결된 컴포넌트를 분석하여 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하고, 텍스트 컴포넌트가 포함된 텍스트 문서 및 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하고, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하고, 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류하고, 메모리는, 문서 이미지, 동질 영역, 연결된 컴포넌트, 텍스트 문서 및 비-텍스트 문서 중 적어도 하나 이상을 저장하는 것을 특징으로 한다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명은 문서 이미지에 포함된 백색 라인 및 흑색 라인의 특성을 이용하여 반복적으로 문서 이미지를 분할함으로써, 동일한 특성을 갖는 동질 영역을 정확하게 추출할 수 있다.
본 발명은 추출된 동질 영역에 기초하여 연결된 컴포넌트를 분석함으로써, 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하는 정확성을 향상시킬 수 있는 효과가 있다.
본 발명은 연결된 컴포넌트를 2회의 필터링을 반복적으로 수행하여 분류함으로써, 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 빠르고 정확하게 분류할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 장치의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법을 설명하기 위한 순서도이다.
도 4a 내지 도 4d는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서 흑색 픽셀의 빈도를 나타내는 곡선을 처리하는 예시적인 실시예를 도시한다.
도 5a 및 도 5b는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서의 동질 영역과 이질 영역을 예시적으로 도시한다.
도 6a 및 도 6b는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서 문서 이미지를 분할하는 예시적인 실시예를 도시한다.
도 7은 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서 연결된 컴포넌트 간의 관계를 나타내는 개념도이다.
도 8은 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에 의해 획득된 텍스트 문서 및 비-텍스트 문서를 예시적으로 도시한다.
도 9는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에 의해 분석된 문서 이미지를 예시적으로 도시한다.
도 10은 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법의 성공율을 나타내는 그래프이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 장치의 개략적인 구성도이다.
도 1을 참조하면 동질 영역을 이용한 문서 구조의 분석 장치 (100) 는 프로세서 (110) 및 메모리 (120) 를 포함한다. 동질 영역을 이용한 문서 구조의 분석 장치 (100) 는 범용 (general purpose) 컴퓨터, 특수 목적용 컴퓨터, 스마트 폰, 데스크탑 또는 노트북 컴퓨터 등이거나 이들과 결합하여 사용하는 부속 장치일 수 있다.
프로세서 (110) 는 동질 영역을 이용한 문서 구조의 분석 장치에서 다양한 연산을 수행한다. 프로세서 (110) 는 문서 이미지를 흑백으로 이진화하고, 문서 이미지를 분할함으로써 동질 영역을 추출하고, 동질 영역에 포함된 연결된 컴포넌트 (connected component) 를 분석하여 텍스트 컴포넌트가 포함된 텍스트 문서 및 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하고, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하고, 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류할 수 있다. 상술한 동작에 대해서는 도 2 및 도 3을 참조하여 상세히 후술한다.
메모리 (120) 는 데이터를 일시적으로 저장하고 데이터를 프로세서 (110) 와 교환한다. 메모리 (120) 는 상술한 문서 이미지, 동질 영역, 연결된 컴포넌트, 텍스트 컴포넌트, 비-텍스트 컴포넌트, 텍스트 문서 및 비텍스트 문서 등에 대한 데이터를 일시적으로 저장할 수 있다.
도 1에 도시되지는 않았으나, 동질 영역을 이용한 문서 구조의 분석 장치는 문서 이미지를 획득하기 위한 카메라 등과 같은 입력 수단을 포함할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법을 설명하기 위한 순서도이다. 설명의 편의를 위해 도 1을 함께 참조하여 설명한다.
본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법은 프로세서 (110) 가 문서 이미지를 분석하여 문서 이미지를 흑백으로 이진화함으로써 개시된다 (S210). 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법을 수행하기 위해서는 문서 이미지의 픽셀값 각각을 백색을 나타내는 픽셀값 또는 흑색을 나타내는 픽셀값으로 변환하는 것이 요구된다. 픽셀값이란 픽셀의 밝기를 나타내는 데이터이다. 예를 들어, 백색을 나타내는 픽셀값이 0이고 흑색을 나타내는 픽셀값이 1일 수도 있고, 백색을 나타내는 픽셀값이 1이고 흑색을 나타내는 픽셀값이 0일 수도 있다. 문서 이미지가 컬러 이미지인 경우, 먼저 프로세서 (110) 는 컬러 이미지의 RGB 성분을 컬러 이미지를 그레이 스케일 (grayscale) 이미지로 변환할 수 있다. 컬러 이미지를 그레이스케일 이미지로 변환한 후, 프로세서 (110) 는 문턱값 (threshold value) 이하의 픽셀값을 갖는 픽셀들을 0으로 변환하고, 문턱값 이상의 픽셀값을 갖는 픽셀들을 1로 변환할 수 있다. 문턱값은 미리 결정된 값일 수도 있고, 픽셀에 따라 상이하게 결정되는 값일 수도 있다. 예를 들어, 문턱값은 “Sauvola 기법” (Sauvola, J. and Pietikainen, M., 2000. Adaptive document image binarization. Pattern Recognition, 22(2): 225-236.[doi:10.1016/S0031-3203(99)00055-2]) 에 의해 결정될 수도 있다.
다음으로, 프로세서 (110) 는 이진화된 문서 이미지의 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할함으로써 동질 영역 (homogeneous region) 을 추출한다 (S220). 프로세서 (110) 는 이진화된 문서 이미지를 반복적으로 분할함으로써 동질 영역을 추출할 수 있다. 단계 (S220) 에 대해서는 도 3을 참조하여 상세히 후술한다.
다음으로, 프로세서 (110) 는 동질 영역에 포함된 연결된 컴포넌트 (connected component) 를 분석하여 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 (non-text) 컴포넌트로 분류하고, 텍스트 컴포넌트가 포함된 텍스트 문서 및 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득한다 (S230). 프로세서 (110) 는 추출된 동질 영역 각각을 개별적으로 분석하여 연결된 컴포넌트를 분리함으로써 텍스트 문서 및 비-텍스트 문서를 획득할 수 있다. 단계 (S230) 에 대해서는 도 3을 참조하여 상세히 후술한다.
다음으로, 프로세서 (110) 는 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할한다 (S240). 프로세서 (110) 는 텍스트 컴포트 간의 거리에 기초하여 텍스트 문서를 분할함으로써, 텍스트 컴포넌트 간의 거리가 균일한 동질 텍스트 영역을 추출할 수 있다. 프로세서 (110) 는 모폴로지 연산 (morphology operation) 을 통해 텍스트 컴포넌트를 팽창시킨 후, 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할할 수도 있다. 예를 들어, 프로세서 (110) 는 텍스트 컴포넌트 각각을 일정한 배율로 팽창시킨 후, 팽창된 텍스트 컴포넌트를 분석하여 하나의 단일체를 이루는 텍스트 컴포넌트들을 포함하는 동질 텍스트 영역을 추출할 수 있다. 단일체를 이루는 텍스트 컴포넌트들이란 팽창된 텍스트 컴포넌트가 하나의 연결된 컴포넌트를 이루는 텍스트 컴포넌트들을 의미한다. 프로세서 (110) 는 텍스트 컴포넌트를 서로 상이한 배율로 팽창시킬 수도 있다. 예를 들어, 프로세서 (110) 는 텍스트 컴포넌트를 팽창시키는 배율을 텍스트 컴포넌트가 포함된 동질 영역의 특성에 따라 상이하게 설정할 수도 있다. 프로세서 (110) 는 텍스트 컴포넌트가 포함된 동질 영역 내의 텍스트 컴포넌트 간의 거리가 먼 경우에는 배율을 크게 설정하고, 텍스트 컴포넌트 간의 거리가 가까운 경우에는 배율을 작게 설정할 수 있다. 동질 영역의 특성에 따라 배율을 상이하게 설정함으로써, 동질 텍스트 영역이 보다 정확히 추출될 수 있다.
다음으로, 프로세서 (110) 는 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류한다 (S250). 프로세서 (110) 는 비-텍스트 컴포넌트를, 예를 들어, 라인 컴포넌트, 테이블 컴포넌트, 세퍼레이터 컴포넌트 및 노이즈 컴포넌트로 분류할 수 있다. 비-텍스트 컴포넌트의 특성값이란 비-텍스트 컴포넌트 및 비-텍스트 컴포넌트를 둘러싸는 바운딩 박스의 폭, 높이 및 면적 등을 의미한다.
예를 들어, 프로세서 (110) 는 종횡비가 매우 크거나 작은 비-텍스트 컴포넌트 및 밀도가 매우 높은 비-텍스트 컴포넌트를 라인 컴포넌트로 분류할 수 있다. 프로세서 (110) 는 밀도가 낮고, 사각형 컴포넌트를 포함하고, 바운딩 박스가 다른 텍스트 컴포넌트를 통과하지 않고, 바운딩 박스 내에 다수의 텍스트 컴포넌트를 포함하는 비-텍스트 컴포넌트를 테이블 컴포넌트로 분류할 수 있다. 프로세서 (110) 는 밀도가 매우 낮고 (예를 들어, 0.01 이하), 바운딩 박스가 텍스트 컴포넌트를 포함하는 비-텍스트 컴포넌트를 세퍼레이터 컴포넌트로 분류할 수 있다. 프로세서 (110) 는 면적이 매우 작은 비-텍스트 컴포넌트를 노이즈 컴포넌트로 분류할 수 있다. 프로세서 (110) 는 라인 컴포넌트, 테이블 컴포넌트, 세퍼레이터 컴포넌트 및 노이즈 컴포넌트가 분류된 후 남은 비-텍스트 컴포넌트를 이미지 컴포넌트로 분류하라 수 있다. 비-텍스트 컴포넌트 만을 포함하는 비-텍스트 문서 내에서 상술한 분류를 수행하므로, 비-텍스트 컴포넌트의 분류의 정확성이 향상될 수 있다.
도 3은 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법을 설명하기 위한 순서도이다. 설명의 편의를 위해 도 1을 함께 참조하여 설명한다.
본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법은 프로세서 (110) 가 문서 이미지를 분석하여 문서 이미지를 흑백으로 이진화함으로써 개시된다 (S210). 단계 (S210) 에 대해서는 도 2를 참조하여 설명하였으므로 중복 설명을 생략한다.
다음으로, 프로세서 (110) 는 문서 이미지의 픽셀 중 흑색 픽셀의 빈도를 나타내는 문서 이미지의 가로 축 또는 세로 축 방향의 곡선을 획득한다 (S221). 프로세서 (110) 가 최초로 문서 이미지를 분석하는 경우, 프로세서 (110) 는 문서 이미지의 전체 영역을 대상으로 이하의 분석을 수행한다. 도 4a 내지 도 4d는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서 흑색 픽셀의 빈도를 나타내는 곡선을 처리하는 예시적인 실시예를 도시한다. 프로세서 (110) 는 도 4a 도시된 문서 이미지로부터 도 4b에 도시된 바와 같이, 문서 이미지의 흑색 픽셀을 세로 축으로 프로젝션 (projection) 한 히스토그램을 산출할 수 있다. 다만, 도 4b에 도시된 바와 같이, 산출된 히스토그램은 매우 불규칙한 프로파일을 갖기 때문에 분석에 적합하지 않다. 따라서, 프로세서 (110) 는, 도 4c에 도시된 바와 같이, 히스토그램의 프로파일을 스무드 (smooth) 하게 변환하여 세로 축 방향의 곡선을 획득할 수 있다.
문서 이미지를 가로 축에 프로젝션한 히스토그램을 산출하고 산출된 히스토그램을 스무드닝 (smoothening) 하는 예시적인 수학식은 다음과 같다.
[수학식 1]
Figure 112014127479425-pat00001
[수학식 2]
Figure 112014127479425-pat00002
여기서, x는 픽셀의 가로 축 좌표이고, y는 픽셀의 세로 축 좌표이고, a는 가로 좌표의 최대값이고, b는 세로 좌표의 최대값이다. f(x,y)는 좌표 (x,y) 에서의 픽셀값으로, 0 (백색 픽셀) 또는 1 (흑색 픽셀) 의 값을 갖는다. px는 가로 좌표가 x인 흑색 픽셀의 수이고, P는 px를 원소로 갖는 집합이다. 여기서, s는 스무드닝 (smoothing) 을 위한 커널 사이즈 (kernel size) 를 의미하고, spx는 px를 스무드하게 변환한 값이며, SP는 spx를 원소로 갖는 집합이다.
상술한 바와 같이, 프로세서 (110) 는 흑색 픽셀을 가로 축 또는 세로 축으로 프로젝션한 후 스무드닝함으로써 문서 이미지의 가로 축 또는 세로 축 좌표에 따른 흑색 픽셀의 빈도를 나타내는 가로 축 또는 세로 축 방향의 곡선을 획득할 수 있다. 여기서, 곡선이란 연속적인 점들의 집합을 의미한다.
다음으로, 프로세서 (110) 는 곡선의 변화율 및 흑색 픽셀의 빈도의 통계값에 기초하여 이질 영역 (heterogeneous region) 의 존재 여부를 판단한다 (S222). 도 4d에 도시된 바와 같이, 프로세서 (110) 는 획득된 곡선을 미분하여 곡선의 변화율을 산출할 수 있다. 곡선의 변화율을 통해 흑색 픽셀의 분포를 파악할 수 있으므로, 곡선의 변화율은 영역의 동질성을 판단하는 기준이 될 수 있다.
예를 들어, 프로세서 (110) 는 곡선의 변화율이 0이 되는 극점을 산출하고, 이웃하는 극점 간 거리를 산출하고, 극점 간 거리에 대한 분산을 산출할 수 있다. 극점 간 거리의 분산이 낮다는 것은 분석된 영역이 동질 영역이라는 것을 의미하고, 극점 간 거리의의 분산이 높다는 것은 분석된 영역이 이질 영역이라는 것을 의미한다. 예를 들어, 프로세서 (110) 는 극점 간 거리의 분산이 1.1 이하인 영역을 동질 영역으로 판단하고, 극점 간 거리의 분산이 1.1 이상인 영역을 이질 영역으로 판단할 수 있다. 4a 내지 도 4d를 참조하면, 도시된 텍스트 영역은 극점 간 거리가 일정하므로 동질 영역임을 알 수 있다. 도 5a 및 도 5b는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서의 동질 영역과 이질 영역을 예시적으로 도시한다. 도 5a를 참조하면, 도 5a에 도시된 영역은 이웃하는 극점 간 거리 (d1, d2) 가 일정하므로 도 5a에 도시된 영역은 동질 영역으로 판단될 수 있다. 도 5b를 참조하면, 도 5b에 도시된 영역은 이웃하는 극점 간 거리 (d3, d4) 의 차이가 크므로 도 5b에 도시된 영역은 이질 영역으로 판단될 수 있다.
곡선의 도함수를 산출하고, 곡선의 극점을 산출하고, 극점 간 거리를 산출하고, 극점 간 거리의 분산을 산출하는 예시적인 수학식은 다음과 같다.
[수학식 3]
Figure 112014127479425-pat00003
[수학식 4]
Figure 112014127479425-pat00004
[수학식 5]
Figure 112014127479425-pat00005
[수학식 6]
Figure 112014127479425-pat00006
여기서, dspx는 가로 좌표 x에서의 spx의 기울기이며, DSP는 dspx를 원소로 갖는 집합이다. xi는 spx의 기울기가 0이 되는 극점의 가로 좌표이며, E는 xi를 원소로 갖는 집합이다. dei는 이웃하는 극점 간의 거리를 의미하며, DE는 dei를 원소로 갖는 집합이다. V는 dei의 분산을 의미하고, μ는 dei의 평균을 의미하며, n은 dei의 개수를 의미한다.
다음으로, 프로세서 (110) 는 이질 영역이 존재하는 경우, 이질 영역에 포함된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 백색 라인 중 적어도 일부를 기준으로 문서 이미지를 분할한다 (S223). 프로세서 (110) 가 최초로 문서 이미지를 분석하는 경우에는 문서 이미지의 전체 영역을 대상으로 분석을 수행하므로 이질 영역이 존재할 확률이 높다. 도 6a 및 도 6b는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서 문서 이미지를 분할하는 예시적인 실시예를 도시한다.
도 6a를 참조하면, 프로세서 (110) 는 이질 영역에 포함된 백색 라인의 폭 (w1, w2, w3) 을 산출할 수 있다. 프로세서 (110) 는 이질 영역에 포함된 백색 라인 중 중간값보다 큰 폭을 갖고 이질 영역에 포함된 백색 라인 중 가장 큰 폭을 갖는 백색 라인을 기준으로 이질 영역을 분할할 수 있다. 도 6a에서는 프로세서 (110) 는 중간값보다 크고 가장 큰 폭 (w2) 을 갖는 백색 라인을 기준으로 이질 영역을 분할한다.
도 6b를 참조하면, 프로세서 (110) 는 이질 영역에 포함된 흑색 라인의 폭 (b1, b2, b3, b4) 을 산출할 수 있다. 프로세서 (110) 는 이질 영역에 포함된 흑색 라인 중 중간값보다 큰 폭을 갖고 이질 영역에 포함된 흑색 라인 중 가장 큰 폭을 갖는 흑색 라인을 파악하고, 파악된 흑색 라인과 인접하는 백색 라인을 기준으로 이질 영역을 분할할 수 있다. 도 6a에서는 프로세서 (110) 는 중간값보다 크고 가장 큰 폭 (b3) 을 갖는 흑색 라인에 인접하는 2개의 백색 라인을 기준으로 이질 영역을 분할한다. 백색 라인의 폭 뿐만 아니라 흑색 라인의 폭에 기초하여 이질 영역을 분할함으로써, 동질 영역을 더욱 정확하게 추출할 수 있다는 본 발명의 유리한 효과가 획득된다.
프로세서 (110) 는 곡선을 획득하는 단계 (S221), 이질 영역의 존재 여부를 판단하는 단계 (S222) 및 문서 이미지를 분할하는 단계 (S223) 를 이질 영역이 존재하지 않을 때까지 반복할 수 있다. 즉, 프로세서 (110) 는 문서 이미지를 분할한 후, 분할된 영역 각각을 기준으로 분석을 수행하여 분할된 영역 각각이 이질 영역인지 여부를 판단하고, 다시 이질 영역을 분할할 수 있다. 프로세서 (110) 가 분할을 반복하여 분할된 영역 각각이 모두 동질 영역으로 판단되는 경우, 프로세서 (110) 는 영역의 분할을 중단한다.
프로세서 (110) 는 문서 이미지의 세로 축 방향의 분할이 완료된 후 동일한 방법을 이용하여 문서 이미지를 가로 축 방향으로 분할할 수 있다. 가로 축 방향의 분할이 완료되는 경우, 문서 이미지는 직사각형 영역들을 포함하게 되고, 이 직사각형 영역들은 모두 동질 영역에 해당한다. 이하의 단계들은 추출된 동질 영역에 기초하여 수행된다. 상술한 바와 같이 문서 이미지의 분할을 반복하여 동질 영역을 추출한 후 문서에 포함된 컴포넌트를 분류함으로써, 문서 구조의 분석을 더욱 정확하게 수행할 수 있다는 본 발명의 유리한 효과가 획득된다.
다음으로, 프로세서 (110) 는 텍스트 문서 및 비-텍스트 문서를 획득하는 단계는 연결된 컴포넌트를 분석하여 연결된 컴포넌트 중 비-텍스트 컴포넌트를 추출한다 (S231). 연결된 컴포넌트란 문서 이미지 내에서 서로 연결된 흑색 픽셀의 집합을 의미한다. 예를 들어, 글자 “ㅐ”는 모든 흑색 픽셀이 연결되어 있으므로, 글자 “ㅐ”로부터는 하나의 연결된 컴포넌트가 추출될 수 있고, 글자 “ㅔ”는 흑색 픽셀이 분리된 부분이 있으므로, 글자 “ㅔ”로부터는 2개의 연결된 컴포넌트가 추출될 수 있다. 프로세서 (110) 는 문서 이미지에 포함된 동질 영역 각각으로부터 연결된 컴포넌트를 추출하고, 추출된 연결된 컴포넌트를 라벨링 (labelling) 할 수 있다. 프로세서 (110) 는 연결된 컴포넌트 및 연결된 컴포넌트를 둘러싸는 바운딩 박스의 좌표, 폭, 높이 및 면적을 포함하는 특성값에 기초하여 연결된 컴포넌트를 텍스트 컴포넌트 또는 비-텍스트 컴포넌트로 분류할 수 있다. 바운딩 박스란 하나의 연결된 컴포넌트를 내부에 포함하고 문서 이미지의 가로 축 및 세로 축 방향의 변을 갖는 최소 면적의 직사각형을 의미한다. 바운딩 박스는 좌상단 점 및 우하단 점의 좌표로서 정의될 수 있다. 프로세서 (110) 는 2번의 필터링을 통해 연결된 컴포넌트 중 비-텍스트 컴포넌트를 추출할 수 있다.
프로세서 (110) 는 비-텍스트 컴포넌트를 개략적으로 추출하기 위한 1차 필터링으로서 미리 설정된 조건을 만족하는 연결된 컴포넌트를 비-텍스트 컴포넌트로 추출할 수 있다. 1차 필터링은 비-텍스트 컴포넌트일 확률이 매우 높은 연결된 컴포넌트를 빠르게 추출하기 위한 과정이므로, 조건의 설정은 신중하게 이루어져야 할 필요가 있다. 예를 들어, 프로세서 (110) 는 시각적으로 인식하기 어려울 정도로 작은 연결된 컴포넌트, 밀도가 매우 작아 내부가 빈 도형일 확률이 높은 연결된 컴포넌트 및 종횡비가 극단적으로 크거나 작아 라인일 확률이 높은 연결된 컴포넌트 등을 비-텍스트 컴포넌트로 추출할 수 있다.
1차 필터링에서 비-텍스트 컴포넌트를 추출하기 위한 조건을 나타내는 예시적인 수학식은 다음과 같다.
[수학식 7]
Figure 112014127479425-pat00007
[수학식 8]
Figure 112014127479425-pat00008
[수학식 9]
[수학식 10]
Figure 112014127479425-pat00010
여기서, CCi는 특정 동질 영역 내에 포함된 i번째 연결된 컴포넌트이고, CC_area(CCi)는 CCi의 면적으로서 CCi가 차지하는 픽셀의 개수를 의미하고, Tarea는 문턱값을 의미한다. 예를 들어, Tarea는 6일 수도 있다. B_CCi는 CCi의 바운딩 박스를 의미하고, Inside(B_CCi)는 B_CCi 내부에 포함된 다른 연결된 컴포넌트의 바운딩 박스의 개수를 의미하고, Tinside는 문턱값을 의미한다. 예를 들어, Tinside는 3일 수도 있다. B_dens(CCi)는 CCi의 밀도로서 CCi가 차지하는 픽셀의 개수를 B_CCi가 차지하는 픽셀의 개수로 나눈 값을 의미하며, Tdens는 문턱값을 의미한다. 예를 들어, Tdens는 0.06일 수 있다. Wi는 B_CCi의 폭을 의미하고, Hi는 B_CCi의 높이를 의미하고, HW_ratio(CCi)는 Wi와 Hi 중 작은 값을 큰 값으로 나눈 값이고, THWratio는 문턱값을 의미한다. 예를 들어, THWratio는 0.06일 수도 있다.
1차 필터링에 있어서, 수학식 7, 8 9 및 10에 의해 제시된 조건들은 예시적인 것이므로, 이에 제한되지 않고, 비-텍스트 컴포넌트를 추출하기 위한 다양한 다른 조건들이 이용될 수 있다.
프로세서 (110) 는 1차 필터링에서 추출되지 않은 나머지 연결된 컴포넌트를 1차 필터링보다 정밀한 2차 필터링을 통해 비-텍스트 컴포넌트로 추출할 수 있다.
2차 필터링에 있어, 먼저, 프로세서 (110) 는 일정 이상의 면적을 갖는 연결된 컴포넌트를 후보 컴포넌트로 추출할 수 있다. 예를 들어, 프로세서 (110) 는 동일한 동질 영역 내에 포함된 모든 연결된 컴포넌트의 면적의 중간값의 일정 배수보다 큰 연결된 컴포넌트를 후보 컴포넌트로 추출할 수 있다. 동일한 동질 영역 내에 포함된 텍스트 컴포넌트의 면적은 서로 큰 차이가 없으므로, 동일한 동질 영역 내에서 다른 연결된 컴포넌트와 면적 차이가 큰 연결된 컴포넌트는 비-텍스트 컴포넌트에 해당할 수 있다.
프로세서 (110) 는 추출된 후보 컴포넌트 및 후보 컴포넌트의 바운딩 박스의 좌표에 기초하여 후보 컴포넌트와 다른 연결된 컴포넌트의 바운딩 박스 간의 거리를 산출할 수 있고, 바운딩 박스 간의 거리에 기초하여 가로 방향으로 인접하는 연결된 컴포넌트를 추출하고 가로 방향으로 인접하는 연결된 컴포넌트 간의 거리를 산출할 수 있다. 동일한 동질 영역 내에 포함된 텍스트 컴포넌트들은 서로 거리는 일정하고 좌측으로 하나의 연결된 컴포넌트와 인접하고 우측으로 하나의 연결된 컴포넌트와 인접한다. 상술한 텍스트 컴포넌트의 특성에 기초하여, 프로세서 (110) 는 후보 컴포넌트와 가로 방향으로 인접하는 연결된 컴포넌트의 개수 및 후보 컴포넌트와 가로 방향으로 인접하는 연결된 컴포넌트 간의 거리에 기초하여 비-텍스트 컴포넌트를 추출할 수 있다.
2차 필터링에서 후보 컴포넌트를 추출하기 위한 예시적인 수학식은 다음과 같다.
[수학식 11]
Figure 112014127479425-pat00011
여기서, CCs는 후보 컴포넌트를 포함하는 동질 영역 내에 포함된 연결된 컴포넌트의 집합을 의미하고, CCj는 CCs 내에 포함된 모든 연결된 컴포넌트를 의미하고, CCi는 후보 컴포넌트를 의미하고, median(CC_area)는 CCs에 포함된 모든 연결된 컴포넌트의 면적의 중간값을 의미하고, k는 문턱값을 의미한다.
k는 설정 가능한 상수로서, k가 크게 설정되면 추출의 정확성이 향상되고, k가 작게 설정되면 컴퓨팅 시간이 짧아진다. 정확성 및 컴퓨팅 시간 양자를 모두 고려하여 적합한 k값을 산출하기 위한 예시적인 수학식은 다음과 같다.
[수학식 12]
Figure 112014127479425-pat00012
여기서, mean(CC_area)는 후보 컴포넌트를 포함하는 동질 영역 내에 포함된 모든 연결된 컴포넌트의 면적의 평균값을 의미한다.
후보 컴포넌트 중 비-텍스트 컴포넌트를 추출하기 위한 예시적인 수학식은 다음과 같다.
[수학식 13]
Figure 112014127479425-pat00013
[수학식 14]
Figure 112014127479425-pat00014
도 7은 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에서 연결된 컴포넌트 간의 관계를 나타내는 개념도이다. 도 7을 참조하면, 수학식 13 및 14에서, LNN(CCi)는 CCi와 좌측으로 가장 가까운 연결된 컴포넌트를 의미하고, LNN(CCj)는 CCj와 좌측으로 가장 가까운 연결된 컴포넌트를 의미하고, num{LNN(CCi)}는 CCi와 좌측으로 가장 가까운 연결된 컴포넌트의 개수를 의미하고, max2nd(CC_area(CCi))는 CCi의 면적 중 두번째로 큰 면적을 의미한다. LNWS(CCi)는 CCi와 LNN(CCi) 간의 거리를 의미하고, RNWS(CCi)는 CCi와 RNN(CCi) 간의 거리를 의미하고, RNN(CCi)는 CCi와 우측으로 가장 가까운 연결된 컴포넌트를 의미하고 MeanWS는 RNWS(CCi)의 평균을 의미한다. 프로세서 (110) 는 상술한 수학식 13 또는 14 중 하나 이상을 만족시키는 후보 컴포넌트를 비-텍스트 컴포넌트로 추출할 수도 있다.
상술한 바와 같이 간단한 연산을 통해 비-텍스트 컴포넌트를 개략적으로 추출하는 첫번째 필터링 및 정밀한 연산을 통해 모든 비-텍스트 컴포넌트를 추출하는 두번째 필터링을 이용함으로써, 짧은 컴퓨팅 시간 동안 비-텍스트 컴포넌트를 정확하게 추출할 수 있다는 본 발명의 유리한 효과가 획득된다.
다음으로, 프로세서 (110) 는 동질 영역으로부터 비-텍스트 컴포넌트를 분리하여 비-텍스트 컴포넌트를 포함하는 비-텍스트 문서를 저장한다 (S232). 프로세서 (110) 는 추출된 비-텍스트 컴포넌트를 분리한 후, 분리된 비-텍스트 컴포넌트를 수집하여 비-텍스트 컴포넌트의 집합인 비-텍스트 문서를 획득할 수 있고, 획득된 비-텍스트 문서를 메모리 (120) 에 저장할 수 있다.
다음으로, 프로세서 (110) 는 분리된 비-텍스트 컴포넌트의 존재 여부를 판단한다 (S233). 프로세서 (110) 는 비-텍스트 컴포넌트가 추출되었는지 여부를 판단하여 비-텍스트 컴포넌트가 존재하는지 여부를 판단할 수 있다. 예를 들어, 프로세서 (110) 는 비-텍스트 컴포넌트가 분리되기 전의 문서 이미지의 픽셀 분포와 비-텍스트 컴포넌트가 분리된 후의 문서 이미지의 픽셀 분포를 산출하여 양자가 상이한 경우에는 분리된 비-텍스트 컴포넌트가 존재하는 것으로 판단하고, 양자가 동일한 경우 분리된 비-텍스트 컴포넌트가 존재하지 않는 것으로 판단할 수도 있다.
프로세서 (110) 는 비-텍스트 컴포넌트를 추출하는 단계 (S231) 및 비-텍스트 컴포넌트를 분리하여 비-텍스트 문서를 저장하는 단계를 비-텍스트 컴포넌트가 추출되지 않을 때까지 반복할 수도 있다. 예를 들어, 프로세서 (110) 는 비-텍스트 컴포넌트가 분리되기 전의 문서 이미지의 픽셀 분포와 비-텍스트 컴포넌트가 분리된 후의 문서 이미지의 픽셀 분포가 동일해 질 때까지, 단계 (S231) 및 단계 (S232) 를 반복할 수 있다.
프로세서 (110) 는 비-텍스트 컴포넌트가 제거된 후 남아있는 연결된 컴포넌트, 즉, 텍스트 컴포넌트를 수집하여 텍스트 컴포넌트의 집합인 텍스트 문서를 획득할 수 있고, 획득된 텍스트 문서를 메모리 (120) 에 저장할 수 있다.
도 8은 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에 의해 획득된 텍스트 문서 및 비-텍스트 문서를 예시적으로 도시한다. 도 8을 참조하면, 프로세서 (110) 는 문서 이미지 (710) 를 이진화하여 이진화된 문서 이미지 (720) 를 획득할 수 있고, 이진화된 문서 이미지 (720) 를 분할하여 동질 영역을 추출한 후 이진화된 문서 이미지 (720) 를 동질 영역 별로 분석하여 이진화된 문서 이미지 (720) 로부터 텍스트 컴포넌트 및 비-텍스트 컴포넌트를 추출하고, 텍스트 컴포넌트만을 포함하는 텍스트 문서 (730) 및 비-텍스트 컴포넌트 만을 포함하는 비-텍스트 문서 (740) 를 획득할 수 있다. 문서 이미지 (710), 이진화된 문서 이미지 (720), 텍스트 문서 (730) 및 비-텍스트 문서 (740) 는 사이즈가 동일할 수 있다.
다음으로, 프로세서 (110) 는 텍스트 컴포넌트 간의 거리에 기초하여 텍스트 문서를 분할하고 (S240), 프로세서 (110) 는 비-텍스트 컴포넌트의 특성값에 기초하여 비-텍스트 문서에 포함된 비-텍스트 컴포넌트를 분류한다 (S250). 단계 (S240) 및 단계 (S250) 은 동시에 수행될 수도 있고, 순차적으로 수행될 수도 있고, 역순으로 수행될 수도 있다. 단계 (240) 및 단계 (S250) 에 대해서는 도 2를 참조하여 설명하였으므로 중복 설명을 생략한다.
도 9는 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에 의해 분석된 문서 이미지를 예시적으로 도시한다. 도 9를 참조하면, 텍스트 문서는 텍스트 컴포넌트 간의 거리에 기초하여 동질 텍스트 영역 (911, 912, 913, 414, 915, 916, 917, 918, 919) 으로 분할된다. 비-텍스트 문서에 포함된 비-텍스트 컴포넌트는 밀도가 낮고 내부에 텍스트를 포함하는 테이블 컴포넌트 (941), 직선으로 이루어진 라인 컴포넌트 및 세퍼레이터 컴포넌트 (931, 932, 933, 934, 936) 및 테이플 컴포넌트, 라인 컴포넌트 또는 세퍼레이터 컴포넌트에 포함되지 않는 이미지 컴포넌트 (921, 922, 923, 924) 로 분류된다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법에 의해 문서 이미지의 컴포넌트 각각은 종류별로 정확히 분류될 수 있다.
도 10은 본 발명의 몇몇 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법의 성공률을 나타내는 그래프이다. 도 10에 도시된 성공률은 “F-measure”를 통해 산출된 값이다. 도 10에 도시된 비교예 1, 2, 3 및 4의 성공률은 각각 “Fraunhofer”, “FineReader”, “Tesseract” 및 “DICE”를 이용한 경우의 성공률을 나타낸다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법을 이용한 경우 텍스트 컴포넌트에 대한 분류 성공률은 96.88%이고, 비-텍스트 컴포넌트에 대한 분류 성공률은 92.27%이다. 비교예1, 2, 3 및 4와 비교해 보면, 특히 비-텍스트 컴포넌트의 경우, 본 발명의 일 실시예에 따른 동질 영역을 이용한 문서 구조의 분석 방법의 분류 성공률이 비교예 1, 2, 3 및 4에 비해 약 20% 정도 높은 것을 알 수 있다. 상술한 바와 같이, 반복적인 분할을 통해 동질 영역을 추출한 후, 1차 필터링 및 2차 필터링을 반복하여 비-텍스트 컴포넌트를 분류함으로써, 비-텍스트 컴포넌트에 대한 우수한 분류 성공률이 달성될 수 있다.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈 또는 그 2 개의 결합으로 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM 또는 당업계에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로 (ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 동질 영역을 이용한 문서 구조의 분석 방법
110 프로세서
120 메모리
d1, d2, d3, d4 이웃하는 극점 간 거리
w1, w2, w3 백색 라인의 폭
d1, d2, d3, d4 흑색 라인의 폭
710 문서 이미지
720 이진화된 문서 이미지
730 텍스트 문서
740 비-텍스트 문서
911, 912, 913, 414, 915, 916, 917, 918, 919 동질 텍스트 영역
921, 922, 923, 924 이미지 컴포넌트
931, 932, 933, 934, 936 라인 컴포넌트 및 세퍼레이터 컴포넌트
941 테이블 컴포넌트

Claims (11)

  1. 문서 이미지를 분석하여 상기 문서 이미지를 흑백으로 이진화하는 단계;
    상기 문서 이미지를 이진화하여 형성된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 상기 백색 라인 중 적어도 일부를 기준으로 상기 문서 이미지를 분할함으로써 동질 영역 (homogeneous region) 을 추출하는 단계;
    상기 동질 영역에 포함된 연결된 컴포넌트 (connected component) 를 분석하여 상기 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 (non-text) 컴포넌트로 분류하고, 상기 텍스트 컴포넌트가 포함된 텍스트 문서 및 상기 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하는 단계;
    상기 텍스트 컴포넌트 간의 거리에 기초하여 상기 텍스트 문서를 분할하는 단계; 및
    상기 비-텍스트 컴포넌트의 특성값에 기초하여 상기 비-텍스트 문서에 포함된 상기 비-텍스트 컴포넌트를 분류하는 단계를 포함하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  2. 제 1 항에 있어서,
    상기 동질 영역을 추출하는 단계는,
    상기 문서 이미지의 픽셀 중 흑색 픽셀의 빈도를 나타내는 상기 문서 이미지의 가로 축 또는 세로 축 방향의 곡선을 획득하는 단계;
    상기 곡선의 변화율 및 상기 흑색 픽셀의 빈도의 통계값에 기초하여 이질 영역 (heterogeneous region) 의 존재 여부를 판단하는 단계;
    상기 이질 영역이 존재하는 경우, 상기 이질 영역에 포함된 상기 백색 라인의 폭 및 상기 흑색 라인의 폭에 기초하여 상기 백색 라인 중 적어도 일부를 기준으로 상기 문서 이미지를 분할하는 단계를 포함하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  3. 제 2 항에 있어서,
    상기 곡선을 획득하는 단계, 상기 이질 영역의 존재 여부를 판단하는 단계 및 상기 문서 이미지를 분할하는 단계를 상기 이질 영역이 존재하지 않을 때까지 반복하는 단계를 더 포함하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  4. 제 1 항에 있어서,
    상기 텍스트 문서 및 상기 비-텍스트 문서를 획득하는 단계는
    상기 연결된 컴포넌트를 분석하여 상기 연결된 컴포넌트 중 상기 비-텍스트 컴포넌트를 추출하는 단계;
    상기 동질 영역으로부터 상기 비-텍스트 컴포넌트를 분리하여 상기 비-텍스트 컴포넌트를 포함하는 상기 비-텍스트 문서를 저장하는 단계를 포함하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  5. 제 4 항에 있어서,
    상기 비-텍스트 컴포넌트를 추출하는 단계는,
    상기 연결된 컴포넌트 및 상기 연결된 컴포넌트를 둘러싸는 박스의 좌표, 폭, 높이 및 면적을 포함하는 특성값에 기초하여 상기 연결된 컴포넌트를 상기 텍스트 컴포넌트 또는 상기 비-텍스트 컴포넌트로 분류하는 단계인 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  6. 제 4 항에 있어서,
    상기 비-텍스트 컴포넌트를 추출하는 단계 및 상기 비-텍스트 문서를 저장하는 단계를 상기 비-텍스트 컴포넌트가 추출되지 않을 때까지 반복하는 단계; 및
    상기 비-텍스트 컴포넌트가 제거되고 상기 텍스트 컴포넌트가 포함된 상기 텍스트 문서를 저장하는 단계를 포함하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  7. 제 1 항에 있어서,
    상기 비-텍스트 컴포넌트를 분류하는 단계는,
    상기 비-텍스트 컴포넌트를 라인 컴포넌트, 테이블 컴포넌트, 세퍼레이터 컴포넌트 및 노이즈 컴포넌트로 분류하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  8. 제 1 항에 있어서,
    상기 텍스트 문서를 분할하는 단계는,
    모폴로지 연산 (morphology operation) 을 통해 상기 텍스트 컴포넌트를 팽창시킨 후, 상기 텍스트 컴포넌트 간의 거리에 기초하여 상기 텍스트 문서를 분할하는 단계인 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  9. 제 1 항에 있어서,
    상기 문서 이미지, 상기 텍스트 문서 및 상기 비-텍스트 문서는 사이즈가 동일한 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 방법.
  10. 문서 이미지를 분석하여 상기 문서 이미지를 흑백으로 이진화하고,
    상기 문서 이미지에 포함된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 상기 백색 라인 중 적어도 일부를 기준으로 상기 문서 이미지를 분할함으로써 동질 영역을 추출하고,
    상기 동질 영역에 포함된 연결된 컴포넌트를 분석하여 상기 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하고,상기 텍스트 컴포넌트가 포함된 텍스트 문서 및 상기 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하고,
    상기 텍스트 컴포넌트 간의 거리에 기초하여 상기 텍스트 문서를 분할하고,
    상기 비-텍스트 컴포넌트의 특성값에 기초하여 상기 비-텍스트 문서에 포함된 상기 비-텍스트 컴포넌트를 분류하는 명령어들의 세트를 포함하는 것을 특징으로 하는, 컴퓨터 판독 가능 매체.
  11. 프로세서; 및
    메모리를 포함하고,
    상기 프로세서는
    문서 이미지를 분석하여 상기 문서 이미지를 흑백으로 이진화하고,
    상기 문서 이미지에 포함된 백색 라인의 폭 및 흑색 라인의 폭에 기초하여 상기 백색 라인 중 적어도 일부를 기준으로 상기 문서 이미지를 분할함으로써 동질 영역을 추출하고,
    상기 동질 영역에 포함된 연결된 컴포넌트를 분석하여 상기 연결된 컴포넌트를 텍스트 컴포넌트 및 비-텍스트 컴포넌트로 분류하고, 상기 텍스트 컴포넌트가 포함된 텍스트 문서 및 상기 비-텍스트 컴포넌트가 포함된 비-텍스트 문서를 획득하고,
    상기 텍스트 컴포넌트 간의 거리에 기초하여 상기 텍스트 문서를 분할하고,
    상기 비-텍스트 컴포넌트의 특성값에 기초하여 상기 비-텍스트 문서에 포함된 상기 비-텍스트 컴포넌트를 분류하고,
    상기 메모리는,
    상기 문서 이미지, 상기 동질 영역, 상기 연결된 컴포넌트, 상기 텍스트 문서 및 상기 비-텍스트 문서 중 적어도 하나 이상을 저장하는 것을 특징으로 하는, 동질 영역을 이용한 문서 구조의 분석 장치.
KR1020140192693A 2014-12-29 2014-12-29 동질 영역을 이용한 문서 구조의 분석 방법 KR101571681B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140192693A KR101571681B1 (ko) 2014-12-29 2014-12-29 동질 영역을 이용한 문서 구조의 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140192693A KR101571681B1 (ko) 2014-12-29 2014-12-29 동질 영역을 이용한 문서 구조의 분석 방법

Publications (1)

Publication Number Publication Date
KR101571681B1 true KR101571681B1 (ko) 2015-11-25

Family

ID=54845761

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140192693A KR101571681B1 (ko) 2014-12-29 2014-12-29 동질 영역을 이용한 문서 구조의 분석 방법

Country Status (1)

Country Link
KR (1) KR101571681B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811581B1 (ko) * 2016-11-15 2017-12-26 주식회사 셀바스에이아이 문서 이미지에서 표 인식을 위한 장치 및 방법
KR101831204B1 (ko) 2017-04-11 2018-02-22 주식회사 한글과컴퓨터 문서 영역 분할 방법 및 장치
CN112699712A (zh) * 2019-10-22 2021-04-23 杭州海康威视数字技术股份有限公司 文档图像的区域分离方法、装置及存储介质
US20220237932A1 (en) * 2019-05-08 2022-07-28 Vrije Universiteit Brussel Computer implemented method for segmenting a binarized document

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811581B1 (ko) * 2016-11-15 2017-12-26 주식회사 셀바스에이아이 문서 이미지에서 표 인식을 위한 장치 및 방법
KR101831204B1 (ko) 2017-04-11 2018-02-22 주식회사 한글과컴퓨터 문서 영역 분할 방법 및 장치
US20220237932A1 (en) * 2019-05-08 2022-07-28 Vrije Universiteit Brussel Computer implemented method for segmenting a binarized document
CN112699712A (zh) * 2019-10-22 2021-04-23 杭州海康威视数字技术股份有限公司 文档图像的区域分离方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Bataineh et al. An adaptive local binarization method for document images based on a novel thresholding method and dynamic windows
US8947736B2 (en) Method for binarizing scanned document images containing gray or light colored text printed with halftone pattern
USRE47889E1 (en) System and method for segmenting text lines in documents
US8442319B2 (en) System and method for classifying connected groups of foreground pixels in scanned document images according to the type of marking
EP2553626B1 (en) Segmentation of textual lines in an image that include western characters and hieroglyphic characters
CN113158808B (zh) 中文古籍字符识别、组段与版面重建方法、介质和设备
US8401303B2 (en) Method and apparatus for identifying character areas in a document image
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
US9275279B2 (en) Image processing apparatus and image processing method
JP2012500428A (ja) 印刷媒体ページの記事へのセグメント化
KR101571681B1 (ko) 동질 영역을 이용한 문서 구조의 분석 방법
US11915465B2 (en) Apparatus and methods for converting lineless tables into lined tables using generative adversarial networks
JP4391704B2 (ja) 多値画像から二値画像を生成する画像処理装置および方法
Brisinello et al. Optical Character Recognition on images with colorful background
US9167129B1 (en) Method and apparatus for segmenting image into halftone and non-halftone regions
CN115578741A (zh) 一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法
Sarkar et al. Suppression of non-text components in handwritten document images
CN111767909B (zh) 一种字符识别方法、设备及计算机可读存储介质
Kumar et al. Quad: Quality assessment of documents
JP6377214B2 (ja) テキスト検出方法および装置
Marinai Learning algorithms for document layout analysis
JP2012222581A (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN112215783B (zh) 一种图像噪点识别方法、装置、存储介质及设备
Chitrakala et al. An efficient character segmentation based on VNP algorithm
Kumar et al. Learning to segment document images

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181107

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 5