KR102161053B1 - 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치 - Google Patents

영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102161053B1
KR102161053B1 KR1020130107508A KR20130107508A KR102161053B1 KR 102161053 B1 KR102161053 B1 KR 102161053B1 KR 1020130107508 A KR1020130107508 A KR 1020130107508A KR 20130107508 A KR20130107508 A KR 20130107508A KR 102161053 B1 KR102161053 B1 KR 102161053B1
Authority
KR
South Korea
Prior art keywords
intersection
image
lines
model
line
Prior art date
Application number
KR1020130107508A
Other languages
English (en)
Other versions
KR20150028631A (ko
Inventor
김상호
조남익
권무식
김범수
서원교
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130107508A priority Critical patent/KR102161053B1/ko
Priority to US14/477,151 priority patent/US9141854B2/en
Publication of KR20150028631A publication Critical patent/KR20150028631A/ko
Application granted granted Critical
Publication of KR102161053B1 publication Critical patent/KR102161053B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30176—Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 영상에 포함된 표의 구조를 인식하여 생성하는 방법을 제안한다.
본 발명은, 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출하고, 선에 매칭되는 함수의 교차점을 이용하여, 선들의 교차점을 결정하고, 선들의 교차점에 대응하여, 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정하고, 결정된 교차점 모델을 이용하여 결정된 적어도 하나의 셀을 포함하는, 표에 관한 데이터를 생성하는 방법을 제안한다.

Description

영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치{METHOD AND APPARATUS FOR GENERATING STRUCTURE OF TABLE IN IMAGES}
본 발명은, 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치에 관한 것이다.
일반적으로 영상에서 표의 구조를 분석하기 위한 방법은 표 내부에 존재하는 글자들 사이의 공백을 이용하는 방법이나, 표를 구성하는 가로선과 세로 선을 이용하는 방법 등이 존재한다. 이러한 방법은, 평판 스캐너로 취득한 문서영상 또는 PDF 파일과 같은 기하학적 왜곡이 거의 없는 문서영상에는 적합하다.
그러나, 전술한 방식은 카메라로 취득한 기하학적 왜곡이 있는 영상에서 표의 구조를 정확히 분석하지 못한다.
기하학적 왜곡이 있는 입력 영상에서 표의 구조를 생성하는 방법 및 그 장치를 제공하기 위한 다양한 실시예가 제공된다.
다양한 실시예에 따른 영상에 포함된 표의 구조를 인식하여 생성하는 방법은, 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출하고, 선에 매칭되는 함수의 교차점을 이용하여, 선들의 교차점을 결정하고, 선들의 교차점에 대응하여, 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정하고, 교차점 모델을 이용하여 결정된 적어도 하나의 셀을 포함하는, 표에 관한 데이터를 생성하는 방법을 포함한다.
다양한 실시예에 따른 영상에 포함된 표의 구조를 인식하여 생성하는 장치는 적어도 하나의 데이터가 저장되는 표 저장부, 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출하고, 선에 매칭되는 함수를 결정하는 함수 결정부, 함수의 교차점을 이용하여, 선들의 교차점을 결정하고, 선들의 교차점에 대응하여, 메모리에 저장된 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정하고, 결정된 교차점 모델을 이용하여 적어도 하나의 셀을 포함하는 표에 관한 데이터를 생성하는 셀 생성부를 포함한다.
다양한 실시예에 따른 표 구조 생성 방법을 구현하기 위한 컴퓨터 프로그램이 기록된 기록매체를 포함한다.
도 1은 실시예에 따른 표 구조 생성 장치의 블록도를 도시한다.
도 2는 실시예에 따른 표 구조 생성 방법의 흐름도를 도시한다.
도 3은 실시예에 따른 표 구조 생성 방법의 흐름도를 도시한다.
도 4는 실시예에 따른 인식된 영상에서 연결 요소를 추출하는 방법을 도시한다.
도 5는 실시예에 따른 표를 구성하는 선을 추출하기 위한 연결요소 필터링 방법를 도시한다.
도 6은 실시예에 따른 복수의 표를 포함하는 영상을 하나의 부분 영상이 하나의 표를 포함하도록 분할하는 실시예를 도시한다.
도 7은 실시예에 따른 표를 구성하는 선 각각에 함수를 매칭하는 곡선 맞춤 방법을 도시한다.
도 8a는 실시예에 따른 표를 구성하는 선의 교차점의 형태로 구별되는 교차점 모델을 도시한다.
도 8b는 실시예에 따른 표를 구성하는 선의 교차점에 교차점 모델을 결정하는 방법을 도시한다.
도 8c 실시예에 따른 인접한 교차점 모델간에 양립 할 수 없는 조건을 도시한다.
도 9는 실시예에 따른 교차점 모델을 이용하여 셀을 구성하는 방법을 도시한다.
도 10은 실시예에 따른 열린 셀을 구성하는 방법을 도시한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 다양한 실시예들에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 다양한 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 실시예에 따른 표 구조 생성 장치(100)의 블록도를 도시한다. 도 2는 실시예에 따른 표 구조 생성 방법의 흐름도를 도시한다.
다양한 실시예에 따른 표 구조 생성 장치(100)는 영상에 포함된 표로부터 표를 구성하는 선을 추출할 수 있다. 또한, 표 구조 생성 장치(100)는 추출된 표의 선에 매칭되는 함수를 결정하고, 함수의 교차점을 이용하여, 표를 구성하는 선들의 교차점을 결정할 수 있다. 또한, 표 구조 생성 장치(100)는 선들의 교차점에 대응되는, 교차점 모델을 결정하고, 결정된 교차점 모델을 이용하여 적어도 하나의 셀을 포함하는 표에 관한 데이터를 생성할 수 있다.
다양한 실시예에 따른 표 구조 생성 장치(100)는 다양한 입력 장치로부터 영상을 획득할 수 있다. 예를 들어, 표 구조 생성 장치(100)는 카메라(Camera), 스캐너(Scanner), 광학 판독기(Optical reader) 등을 포함하는, 문서에 포함된 글자, 그림, 선, 표 등을 인식하는 장치로부터 문서 영상을 획득할 수 있다. 또한, 표 구조 생성 장치(100)는 외부 서버 또는 외부 장치로부터 유무선 통신을 통해 문서 영상을 입력 받을 수 있다.
다양한 실시예에 따른 교차점 모델은, 교차점의 형태로 구별되는 모델로서, 상, 하, 좌, 우 중 적어도 두 개의 방향 성분을 갖는 교차점 모델 및 방향 성분을 갖지 않는 교차점 모델을 포함할 수 있다. 교차점 모델의 일 실시예에 대하여 도 8a 또는 도 8b를 참조하여 상세히 후술할 것이다.
다양한 실시예에 따른 표 구조 생성 장치(100)는, 함수 결정부(110), 셀 생성부(120) 및 표 저장부(130)를 포함한다. 표 구조 생성 장치(100)의 함수 결정부(110), 셀 생성부(120) 및 표 저장부(130)를 포함한 각 구성부들은, 표 구조 생성 장치(100)에 탑재된 중앙 연산 장치 또는 연동된 외부 제어 장치 등의 제어를 통해 유기적으로 작동될 수 있다.
다양한 실시예에 따른 함수 결정부(110)는 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출하고, 선에 매칭되는 함수를 결정할 수 있다
다양한 실시예에 따른 연결 요소는, 임의의 두 점이 적어도 하나의 경로에 의해 연결될 수 있는, 선의 집합을 포함할 수 있다.
다양한 실시예에 따른 셀 생성부(120)는 함수의 교차점을 이용하여, 선들의 교차점을 결정할 수 있다. 셀 생성부(120)는, 선들의 교차점에 대응하여, 미리 저장된 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정할 수 있다. 셀 생성부(120)는 결정된 교차점 모델을 이용하여 적어도 하나의 셀을 포함하는 표에 관한 데이터를 생성할 수 있다.
다양한 실시예에 따른 표 저장부(130)는 생성된 표에 관한 데이터를 저장할 수 있다. 표 저장부(130)는 선들의 교차점의 형태로 구별되는 복수의 교차점 모델을 저장하고 있을 수 있다. 또한, 표 생성 장치(100)는 영상으로부터 표의 구조를 생성하기 위해 필요한 데이터를 저장하고 있을 수 있다.
이하, 다양한 실시예에 따른 표 구조 생성 장치(100)가 영상에 포함된 표의 구조를 생성하는 방법을 도2를 참조하여 기술한다.
단계 S210에서, 함수 결정부(110)는 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출할 수 있다. 예를 들어, 함수 결정부(110)는 영상을 이진화하여 영상을 구성하는 연결 요소를 추출하고, 연결 요소 중 표를 구성하는 선을 추출할 수 있다. 예를 들어, 함수 결정부(110)는 색상으로 구분된 영상의 경계 성분을 결정하고, 경계 성분을 이용하여 연결 요소를 추출하고, 연결 요소 중 표를 구성하는 선을 추출할 수 있다. 예를 들어, 함수 결정부(110)는 영상에 포함된 각각의 연결 요소를 타원으로 근사화하고, 타원의 크기, 이심률 및 타원 내의 연결 요소의 픽셀 밀도 중 적어도 하나에 기초하여, 영상의 글자 및 그림 중 적어도 하나의 성분을 결정하고, 영상으로부터 결정된 글자 및 그림 중 적어도 하나의 성분을 제거하여, 표를 구성하는 선을 추출할 수 있다.
단계 S220에서, 함수 결정부(110)는 선에 매칭되는 함수의 교차점을 이용하여, 선들의 교차점을 결정할 수 있다. 예를 들어, 함수 결정부(110) 표를 구성하는 선의 폭을 영상의 하나의 픽셀의 크기로 조정하는 세선화 동작을 수행하고, 조정된 선에 매칭되는 함수의 교차점을 이용하여, 선들의 교차점을 결정할 수 있다.
단계 S230에서, 셀 생성부(120)는 선들의 교차점에 대응하여, 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정할 수 있다. 예를 들어, 셀 생성부(120)는 상호 인접하는 교차점들에 결정된 교차점 모델들 간의 양립 가능 여부에 기초하여, 선들의 교차점에 대응하는 교차점 모델을 결정할 수 있다. 예를 들어, 셀 생성부(120)는 교차점 모델을 랜덤 변수로 하고, 양립 가능 여부를 제약 조건으로 하는 마코브 랜덤 필드(Markov Random Field) 모델을 이용하여, 마코브 랜덤 필드 모델로부터 유도된 에너지 함수의 에너지 값이 최소가 되는 하나의 교차점 모델을 선들의 교차점에 대응하는 교차점 모델로 결정할 수 있다.
단계 S240에서, 셀 생성부(120)는 교차점 모델을 이용하여 결정된 적어도 하나의 셀을 포함하는, 표에 관한 데이터를 생성할 수 있다. 표 저장부(130)는 생성된 표에 관한 데이터를 저장할 수 있다.
도 3은 실시예에 따른 표 구조 생성 방법의 흐름도를 도시한다.
단계 S310에서 함수 결정부(110)는 입력된 영상을 이진화할 수 있다. 또한, 함수 결정부(110)는 영상의 경계 성분을 검출하여 연결 요소를 추출할 수 있다.
연결 요소는, 임의의 두 점이 적어도 하나의 경로에 의해 연결될 수 있는 선의 집합을 포함할 수 있다. 연결 요소는, 영상을 이진화하여 추출될 수 있으며, 색상, 명암 등으로 표현된 영역의 경계로부터 영상의 경계 성분을 결정하여 추출될 수 있다.
단계 S320에서 함수 결정부(110)는 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출할 수 있다. 예를 들어, 함수 결정부(110)는 영상에 포함된 각각의 연결 요소를 타원으로 근사화하고, 타원의 크기, 이심률 및 타원 내의 연결 요소의 밀도 중 적어도 하나에 기초하여, 영상의 글자 성분을 결정하고, 결정된 글자 성분을 제거하여 표를 구성하는 선을 추출할 수 있다.
영상이 복수의 표를 포함하는 경우, 단계 S330에서 함수 결정부(110)는 부분 영상이 복수의 표 중 하나의 표를 포함하도록 영상을 분할할 수 있다. 예를 들면, 함수 결정부(110)는 영상의 표를 구성하는 점 중 적어도 하나의 점을 선택하고, 선택된 점으로부터 거리가 최소가 되는 점을 재귀적으로 연결하여 하나의 표를 추출할 수 있다. 또한, 함수 결정부(110)는 독립적으로 추출된 표가 하나의 부분 영상에 포함되도록, 문서 영상을 적어도 하나의 부분 영상으로 분할할 수 있다. 또한, 함수 결정부(110)는 하나의 표를 추출하기 위해 다이나믹 프로그래밍(Dynamic programming) 기법을 이용할 수 있다.
단계 S340에서 함수 결정부(110)는 표를 구성하는 선의 폭을 영상의 하나의 픽셀의 크기로 조정하는 세선화 동작을 수행할 수 있다. 일반적으로 이미징 센서로 인식된 영상에 포함된 연결 요소들은 넓은 너비를 가질 가능성이 높다. 따라서, 함수 결정부(110)는 표를 구성하는 선을 함수로 매칭시키기 전에 세선화를 통해 표를 구성하는 선들의 폭을 가늘게 만들어 줄 수 있다.
단계 S350에서 함수 결정부(110)는 단계 S340에서 세선화된 선들 각각을 함수로 매칭할 수 있다. 예를 들어, 함수 결정부(110)는 표를 구성하는 선들 중 세로 방향 선들을 직선 함수로 매칭할 수 있다.
단계 S360에서 셀 생성부(120)는 단계 S350에서 결정된 함수들의 교차점 산출하고, 산출된 교차점을 표를 구성하는 선들의 교차점으로 결정할 수 있다.
단계 S370에서 셀 생성부(120)는 단계 S360에서 결정된 표를 구성하는 선들의 교차점에 대응하여, 교차점의 형태로 구별되는 복수의 교차점 모델 중 하나를 결정할 수 있다.
예를 들어, 복수의 교차점 모델은 상, 하, 좌, 우 중 적어도 두 개의 방향 성분을 갖는 11개의 교차점 모델 및 방향 성분을 갖지 않는 하나의 교차점 모델로 구성될 수 있다.
단계 S380에서 셀 생성부(120)는 결정된 교차점 모델을 이용하여 적어도 하나의 셀을 포함하는 표에 관한 데이터를 생성할 수 있다. 셀 생성부(120)는 교차점 모델의 형태에 기초하여 인접한 교차점 모델이 사각형을 형성할 수 있는 경우, 그에 대응하는 교차점의 내부 영역을 하나의 셀로 결정할 수 있다.
단계 S390에서 셀 생성부(120)는 단계 S380에서 결정된 셀을 이용하여 표를 평활화할 수 있다. 예를 들어, 셀 생성부(120)는 경계 보간법을 이용하여 표를 평활화할 수 있다.
또한, 셀 생성부(120)는 생성된 표에 관한 데이터를 표 저장부(130)에 저장할 수 있다.
도 4는 실시예에 따른 인식된 영상에서 연결 요소를 추출하는 방법을 도시한다.
일 실시예에 따른 연결 요소는, 전술한 바와 같이, 임의의 두 점이 적어도 하나의 경로에 의해 연결될 수 있는 선의 집합을 포함할 수 있다. 다시 말하면, 어떠한 선의 집합 중에서 임의의 두 점이 적어도 하나의 경로에 의해 연결 될 수 있다면, 그러한 선의 집합은 하나의 연결 요소가 될 수 있다. 따라서, 문자, 숫자, 기호 각각이 하나의 연결 요소일 수 있으며, 표를 이루는 선 전체가 하나의 연결 요소일 수 있다.
도 4에 도시된 바와 같이, 가장 왼쪽 열(430)의 세로 선을 제외한 경계가 선으로 구성된 표를 포함하는 문서 영상(410)의 연결 요소가 추출된 상태가 도시된다. 가장 왼쪽 열(430)의 경우 색상 또는 명암에 의해 표의 경계가 구분되는 것을 나타내고 있다.
연결 요소가 추출된 영상(420)은 문서 영상(410)에 이진화 또는 경계 성분 검출 방법이 적용되어 글자, 그림, 표 등을 포함하는 연결 요소가 추출된 영상일 수 있다.
표 구조 생성 장치(100)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor Field Effect Transistor) 등을 포함하는 이미징 센서 또는 광학 판독기 등을 이용하여 문서에 포함된 문자, 기호 또는 표를 인식하고 영상을 생성할 수 있다.
이미징 센서 또는 광학 판독기 등을 통해 생성된 영상은 많은 잡음을 포함할 수 있다. 함수 결정부(110)는 입력된 영상의 데이터에 미리 설정된 기준값을 기준으로 0 또는 1로 변경하는 이진화(Binarization)를 적용하여 연결요소를 추출할 수 있다. 또한, 함수 결정부(110)는 영상의 데이터 중 색상 또는 농도 등이 급격히 변하는 부분을 검출하는 경계 성분 검출 방법을 적용하여 연결 요소 추출할 수 있다. 영상의 경계 성분은 색상, 명암 등으로 구별되는 영역의 경계를 포함할 수 있다.
함수 결정부(110)는 이진화 및 경계 성분 검출 방법을 모두 적용할 수 있다. 또한, 함수 결정부(110)는 사용자의 선택에 따라 하나의 방법만을 적용할 수 있다.
도 5는 실시예에 따른 표를 구성하는 선을 추출하기 위한 연결요소 필터링 방법을 도시한다.
연결 요소 필터링이란 영상에 존재하는 연결 요소 중 원하는 연결 요소만을 추출하기 위한 방법이다. 앞서 전술한 바와 같이 연결 요소는 글자, 그림, 표 등을 포함할 수 있다.
일반적으로 표는 글자나 기호에 비해 가늘고 긴 선들로 이루어져 있다. 문자, 기호, 선 또는 표를 타원으로 근사화 한다면, 근사화된 타원의 장축과 단축의 길의 비율인 이심률 및 타원의 크기의 차이에 의해, 선과 나머지 연결 요소가 구분될 수 있다.
결과적으로, 글자나 기호를 근사화한 타원(510)은 크기와 이심률이 작고 타원내의 연결 요소의 밀도가 높다. 또한, 선을 근사화한 타원(520)은 이심률이 크고 타원내의 연결 요소의 밀도가 낮다. 또한, 표를 근사화한 타원(530)은 크기가 크고 타원내의 연결 요소의 밀도가 낮다.
이러한 차이를 이용하여, 함수 결정부(110)는 글자, 기호 및 표를 구별하여 결정할 수 있고, 영상의 연결 요소 중 글자 및 기호 요소를 제거 함으로써 표를 구성하는 선만을 추출할 수 있다.
도 6은 실시예에 따른 복수의 표를 포함하는 영상을 하나의 부분 영상이 하나의 표를 포함하도록 분할하는 실시예를 도시한다.
영상 (a)는 두 개의 표를 포함하고 있다. 영상 (b)는 하나의 부분 영상이 하나의 표를 포함하도록 그림 (a)의 영상이 분리된 영상을 포함한다.
함수 결정부(110)는 영상이 복수의 표를 포함하는 경우, 부분 영상이 복수의 표 중 하나의 표를 포함하도록 영상을 분할할 수 있다.
예를 들어, 함수 결정부(110)는 최소 거리 측정법을 이용하여 영상을 분할할 수 있다. 구체적으로, 함수 결정부(110)는 영상의 표를 구성하는 점으로부터, 거리가 최소가 되는 점을 재귀적으로 연결하여 하나의 표를 추출하여 영상을 분할할 수 있다.
예를 들어, 임의의 점으로부터 시작하여 거리가 최소가 되는 점을 선택하여 연결하고, 선택된 점을 기준으로 다시 거리가 최소가 되는 점을 선택하여 연결하는 과정을 계속하면 하나의 표가 검출될 수 있다. 따라서, 함수 결정부(110)는 영상 (a)에 최소 거리 측정 방법을 적용하여, 각각의 연결 요소(610, 620, 630, 640) 중에서 표를 나타내는 연결요소(620, 640)를 분리할 수 있다.
이때, 함수 결정부(110)는 하나의 점과 거리가 최소가 되는 점을 재귀적으로 연결하는 반복적 동작을 하는데 있어, 다이나믹 프로그래밍 방법을 이용할 수 있다. 다이나믹 프로그래밍은 전체가 부분의 반복적인 형태를 포함하는 문제를 해결하는데 사용하는 프로그래밍 방법론이다. 예를 들어, 함수 결정부(110)는 한번이라도 선택되어 연결되었던 점 또는 경로를 표 저장부(130)에 저장하여, 후에 같은 점 또는 경로가 선택되었을 때 저장된 연결 관계를 이용하여 하나의 연결 요소를 추출할 수 있다. 따라서, 함수 결정부(110)는 동일한 작업을 반복하지 않고 보다 빠르게 연결 요소를 추출할 수 있다.
도 7은 실시예에 따른 표를 구성하는 선 각각에 함수를 매칭하는 곡선 맞춤 방법을 도시한다.
함수 결정부(110)는 표(710)를 구성하는 선들의 교차점을 찾기 위해, 표(710)를 구성하는 가로 방향 선 또는 세로 방향 선에 매칭되는 함수를 결정할 수 있다. 예를 들어, 함수 결정부(110)는 표(710)를 구성하는 특정 선에 포함된 점들의 좌표를 기초로 특정 선에 매칭되는 함수를 모델링 할 수 있다. 영상에 포함된 표의 선들은 곡선일 수 있으므로, 가로 방향 또는 세로 방향 선들은 고차 다항 함수로 매칭될 수 있다.
다만, 일반적으로 이미지 센서로 인식된 표가 펼쳐진 책과 같이 원통형 표면을 갖는 경우나 평평한 표면에 표시되어 있다면, 세로 방향 선들은 직선일 수 있다. 따라서, 함수 결정부(110)는 세로 방향 선들을 일차 다항 함수로 매칭하여 연산량을 줄일 수 있다. 따라서, 함수 결정부(110)는 가로 방향 선에 매칭되는 다항 함수 (730)를 결정하고, 세로 방향 선에 매칭되는 직선 함수 (720)를 결정할 수 있다.
셀 생성부(120)는 함수를 이용하여 표를 구성하는 선들의 교차점을 결정할 수 있다.
도 8a는 실시예에 따른 선의 교차점의 형태로 구별되는 교차점 모델을 도시한다. 도 8b는 실시예에 따른 선의 교차점에 교차점 모델을 결정하는 방법을 도시한다. 도 8c는 실시예에 따른 인접한 교차점 모델간에 양립 할 수 없는 조건을 도시한다.
표의 구조를 완성하기 위해서 표를 구성하는 선들의 교차점의 좌표뿐만 아니라 표 내부의 셀의 구조가 더 결정될 수 있다. 따라서, 셀 생성부(120)는 각 교차점에 대응하는 교차점 모델을 결정하고, 결정된 교차점 모델을 이용하여 셀들의 구조를 결정할 수 있다.
도 8a에 도시된 바와 같이, 교차점 모델은 교차점이 가질 수 있는 형태를 나타낸다. 교차점 모델은 상, 하, 좌, 우 중 적어도 두 개의 방향 성분을 갖는 11개의 모델 및 방향 성분을 갖지 않는 하나의 모델로 구성될 수 있다.
예를 들어, 도 8b에 도시된 표를 구성하는 교차점들 중에서, 상, 우 및 하의 방향 성분을 갖는 교차점(805)에는 교차점 모델 1이 결정될 수 있다. 또한, 상, 좌, 및 하의 방향 성분을 갖는 교차점(810)에는 교차점 모델 2가 결정될 수 있다. 또한, 좌, 하 및 우의 방향 성분을 갖는 교차점(815)에는 교차점 모델 3이 결정될 수 있다. 또한, 좌, 상 및 우의 방향 성분을 갖는 교차점(820)에는 교차점 모델 4가 결정될 수 있다. 또한, 우 및 하의 방향 성분을 갖는 교차점(825)에는 교차점 모델 5가 결정될 수 있다. 또한, 좌 및 하의 방향 성분을 갖는 교차점(830)에는 교차점 모델 6이 결정될 수 있다. 또한, 상 및 우의 방향 성분을 갖는 교차점(835)에는 교차점 모델 7이 결정될 수 있다. 또한, 좌 및 상의 방향 성분을 갖는 교차점(840)에는 교차점 모델 8이 결정될 수 있다. 또한, 좌 및 우의 방향 성분을 갖는 교차점(845)에는 교차점 모델 9가 결정될 수 있다. 또한, 상 및 하의 방향 성분을 갖는 교차점(850)에는 교차점 모델 10이 결정될 수 있다. 또한, 좌, 상, 우 및 하의 방향 성분을 갖는 교차점(855)에는 교차점 모델 11이 결정될 수 있다. 또한, 방향 성분을 갖지 않는 교차점(860)에는 교차점 모델 12가 결정될 수 있다.
한편, 셀 생성부(120)는 교차점에 대응하는 교차점 모델을 결정할 때, 제약 조건을 이용할 수 있다.
도 8c에 도시된 바와 같이, 이웃하는 교차점간에 양립할 수 없는 교차점 모델들이 존재한다. 예를 들어, 교차점 870에 교차점 모델 11이 결정되었다면, 교차점 870의 오른쪽에 인접한 교차점 875에는 교차점 모델 11은 허용될 수 있지만, 교차점 모델 5는 오른쪽 방향 성분이 존재하지 않기 때문에 허용될 수 없다. 또한, 교차점 880에 교차점 모델 3이 결정되었다면, 교차점 880의 아래에 인접한 교차점 885에는 교차점 모델 11이 허용될 수 있지만, 교차점 모델 9는 위 방향 성분이 존재하지 않기 때문에 허용될 수 없다.
또한, 셀 생성부(120)는 교차점에 대응하는 교차점 모델을 결정하기 위해 MRF 모델을 기초로 한 에너지 함수(Energy function)를 이용할 수 있다.
MRF는 결합확률분포(Joint probability distribution)의 그래픽 모델로서, 방향성을 갖지 않는 소정의 그래프에서, 임의의 노드에서 사건이 일어날 확률이 인접한 노드에만 영향을 받는 경우를 모델링 할 수 있다. 또한, MRF 모델에서, 인접한 노드에 사건이 발생했을 때 임의의 노드에 사건이 발생할 확률은 특정한 에너지 함수를 지수(Exponential) 함수의 마이너스 지수(Exponent) 승으로 갖는 함수에 의해 결정될 수 있다. 따라서, 인접한 노드에 사건이 발생했을 때 임의의 노드에 발생할 확률이 가장 높은 사건은, 그러한 사건에 해당하는 에너지 함수 값이 최소인 사건이 된다. 또한, 특정한 에너지 함수는 노드 자신만을 고려하는 데이터 텀(Data term)과 노드들 간의 제약 조건을 고려하는 페어와이즈 텀(Pairwise term)에 의해 결정 될 수 있다.
한편, 표를 구성하는 교차점의 제한 조건은 이웃한 교차점간의 조건이므로, 이웃한 교차점의 교차점 모델이 결정되었을 때 임의의 교차점에 대응될 교차점 모델을 선택하는 문제는 조건부 확률 문제일 수 있다. 따라서, 임의의 교차점에서 교차점 모델을 선택하는 문제에 MRF 모델이 적용될 수 있다. 따라서, MRF에 따라 임의의 교차점에 결정되는 교차점 모델은 에너지 함수의 결과 값이 가장 낮은 교차점 모델이다.
일 실시예에 따른 MRF 모델을 기초로 한 에너지 함수는 교차점 자체만을 고려한 데이터 텀(Data term)과 교차점들 간의 제약 조건을 고려하는 페어와이즈 텀(Pairwise term)으로 구성될 수 있다. 데이터 텀은 임의의 교차점에서 상, 하, 좌 및 우 방향의 n 개의 픽셀을 관찰하여 획득될 수 있고, 페어와이즈 텀은 이웃한 교차점간의 제약 조건으로부터 획득될 수 있다.
예를 들어, 임의의 교차점의 좌표에서 상, 하, 좌 및 우 방향으로 n 개의 픽셀을 관찰하였을 때, 좌, 상 방향으로 많은 픽셀이 관찰되었다면, 임의의 교차점에서 좌 및 상의 방향 성분을 갖는 교차점 모델 8이 이용될 때 낮은 에너지 값을 갖는다. 또한, 이웃한 교차점간에 제약 조건이 발생한 경우 페어와이즈 텀의 에너지 값은 무한대로 결정될 수 있다.
전술한 MRF 모델에 따라, 셀 생성부(120)는 각각의 교차점에서 에너지 함수값이 가장 작은 교차점 모델을 선택하여 교차점에 대응하는 교차점 모델을 빠르고 정확하게 결정할 수 있다.
도 9는 실시예에 따른 교차점 모델을 이용하여 셀을 구성하는 방법을 도시한다.
도 9에 도시된 바와 같이, 셀 생성부(120)는 각각의 교차점에 대응되는 교차점 모델을 이용하여 셀을 생성할 수 있다. 예를 들어, 셀 생성부(120)는 교차점 모델의 형태에 기초하여 인접한 교차점 모델간에 사각형을 형성할 수 있는 경우, 그에 대응하는 교차점의 내부 영역을 하나의 셀로 결정할 수 있다.
예를 들어, 교차점 910, 교차점 920, 교차점 930, 교차점 940에서 결정된 교차점 모델들은 각각 사각형을 구성하기 위해 필요한 방향 성분(우하, 하좌, 좌상, 상우)을 가지고 있으므로 하나의 셀을 구성할 수 있다. 그러나, 교차점 950, 교차점 960, 교차점 970, 교차점 980에서 결정된 교차점 모델 중 교차점 960은 하의 방향 성분을 가지고 있지 않고, 교차점 980 또한 상의 방향 성분을 가지고 있지 않으므로 하나의 셀을 구성할 수 없다. 따라서, 교차점 950, 교차점 930, 교차점 990, 교차점 970이 하나의 셀을 구성할 수 있다.
도 10은 실시예에 따른 열린 셀을 구성하는 방법을 도시한다. 영상에서 표의 가장 왼쪽 또는 오른쪽의 세로 선이 존재하지 않는 경우, 셀 생성부(120)는 열린 방향으로 존재하는 가로 선의 끝점(1020, 1030, 1040)들을 연결하여 열린 셀을 구성할 수 있다.
한편, 일반적으로 문서의 표면은 펼쳐진 책과 같이 원통형 표면이거나 평평한 표면이므로, 실제 문서에서 표의 세로 방향 선은 평행을 유지할 가능성이 크다. 이를 이용하여, 영상에서 세로 방향 선들의 소실점을 산출하고, 산출된 소실점을 이용하여 열린 셀을 구성할 수 있다.
예를 들어, 셀 생성부(120)는 열린 방향으로 존재하는 가로 선들 중 가장 긴 선을 결정하고, 가장 긴 선의 끝점과 세로 선들의 소실점(1010)을 연결하여 열린 셀을 구성할 수도 있다.
도 10에 도시된 바와 같이, 왼쪽 방향으로 열린 셀에서, 가로 방향 선들의 끝점(1020, 1030, 1040)들 중 가장 긴 선의 끝점(1040)이 소실점(1010)과 연결되어 열린 셀이 구성될 수 있다. 소실점은 존재하는 세로선(1050 또는 1060)이 만나는 점(1010)이다.
셀 생성부(120)는 생성한 각각의 셀들에 평활화를 적용하여 표를 평활화 할 수 있다. 예를 들어, 셀 생성부(120)는 셀을 둘러싼 상, 하, 좌, 우의 함수를 이용하여, 셀의 테두리에 경계 보간(Boundary interpolation)법을 적용하여 표를 평활화 할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (25)

  1. 영상에 포함된 표의 구조를 인식하여 생성하는 방법에 있어서,
    상기 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출하는 단계;
    상기 선에 매칭되는 함수의 교차점을 이용하여, 상기 선들의 교차점을 결정하는 단계;
    상기 선들의 교차점에 대응하여, 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정하는 단계; 및
    상기 교차점 모델을 이용하여 결정된 적어도 하나의 셀을 포함하는, 표에 관한 데이터를 생성하는 단계를 포함하고,
    상기 선을 추출하는 단계는,
    상기 영상에 포함된 각각의 연결 요소를 타원으로 근사화하고, 상기 타원의 크기, 이심률 및 상기 타원 내의 상기 연결 요소의 픽셀 밀도 중 적어도 하나에 기초하여, 상기 영상의 글자 및 그림 중 적어도 하나의 성분을 결정하고, 상기 영상으로부터 상기 결정된 글자 및 그림 중 적어도 하나의 성분을 제거함으로써, 상기 표를 구성하는 선을 추출하는 단계를 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  2. 제 1 항에 있어서,
    상기 표에 관한 데이터를 생성하는 단계는, 상기 교차점 모델의 형태에 기초하여 상기 교차점의 내부 영역을 셀로 결정함으로써, 상기 적어도 하나의 셀을 결정하는 단계; 를 포함하고,
    상기 표 구조 생성 방법은,
    상기 결정된 적어도 하나의 셀을 평활화하는 단계; 및
    상기 평활화한 셀을 이용하여 상기 표를 평활화하는 단계;
    를 더 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  3. 제 1 항에 있어서,
    상기 연결 요소는,
    임의의 두 점이 적어도 하나의 경로에 의해 연결될 수 있는, 선의 집합인 것을 특징으로 하는 표 구조 생성 방법.
  4. 제 1 항에 있어서,
    상기 복수의 교차점 모델은,
    상, 하, 좌, 우 중 적어도 두 개의 방향 성분을 갖는 복수개의 교차점 모델 및 방향 성분을 갖지 않는 적어도 하나의 교차점 모델을 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  5. 제 1 항에 있어서,
    상기 선을 추출하는 단계는,
    상기 영상을 이진화하여 상기 영상을 구성하는 연결 요소를 추출하는 단계; 및
    상기 연결 요소 중 표를 구성하는 선을 추출하는 단계를 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  6. 제 1 항에 있어서,
    상기 선을 추출하는 단계는,
    색상으로 구분된 상기 영상의 경계 성분을 결정하는 단계;
    상기 경계 성분을 이용하여 상기 연결 요소를 추출하는 단계; 및
    상기 연결 요소 중 표를 구성하는 선을 추출하는 단계를 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 영상은 복수의 표를 포함하고,
    상기 선들의 교차점을 결정하는 단계는,
    각 부분 영상이 상기 복수의 표 중 하나의 표를 포함하도록 상기 영상을 분할하는 단계; 및
    상기 분할 된 영상에 포함된 표를 구성하는 각각의 선에 매칭되는, 함수의 교차점을 이용하여, 상기 선들의 교차점을 결정하는 단계를 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  9. 제 8 항에 있어서,
    상기 분할하는 단계는,
    상기 영상의 표를 구성하는 점으로부터, 거리가 최소가 되는 점을 재귀적으로 연결하여 하나의 표를 추출하는 단계를 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  10. 제 1 항에 있어서,
    상기 선들의 교차점을 결정하는 단계는,
    상기 표를 구성하는 선의 폭을 상기 영상의 하나의 픽셀의 크기로 조정하는 세선화 동작을 수행하는 단계; 및
    상기 조정된 선에 매칭되는 함수의 교차점을 이용하여, 상기 선들의 교차점을 결정하는 단계를 포함하는 것을 특징으로 하는 표 구조 생성 방법.
  11. 제1 항에 있어서,
    상기 추출된 선 중 세로 방향 선을 직선 함수에 매칭하는 단계;
    를 더 포함하고,
    상기 세로 방향 선을 직선 함수에 매칭하는 단계는, 상기 선을 추출하는 단계 이후에 수행되는 것을 특징으로 하는 표 구조 생성 방법.
  12. 제 1 항에 있어서,
    상기 복수의 교차점 모델 중 하나를 결정하는 단계는,
    상호 인접하는 교차점들에 결정된 교차점 모델들 간의 양립 가능 여부에 기초하여, 상기 선들의 교차점에 대응하는 교차점 모델을 결정하는 것을 특징으로 하는 표 구조 생성 방법.
  13. 제 12 항에 있어서,
    상기 복수의 교차점 모델 중 하나를 결정하는 단계는,
    교차점 모델을 랜덤 변수로 하고, 상기 양립 가능 여부를 제약 조건으로 하는 마코브 랜덤 필드(Markov Random Field) 모델을 이용하여, 상기 마코브 랜덤 필드 모델로부터 유도된 에너지 함수의 에너지 값이 최소가 되는 하나의 교차점 모델을 상기 선들의 교차점에 대응하는 교차점 모델로 결정하는 것을 특징으로 하는 표 구조 생성 방법.
  14. 영상에 포함된 표의 구조를 인식하여 생성하는 장치에 있어서,
    상기 영상을 구성하는 연결 요소 중 표를 구성하는 선을 추출하고, 상기 선에 매칭되는 함수를 결정하는 함수 결정부;
    상기 함수의 교차점을 이용하여, 상기 선들의 교차점을 결정하고, 상기 선들의 교차점에 대응하여, 미리 저장된 교차점의 형태로 구별되는 복수의 교차점 모델들 중 하나를 결정하고, 상기 결정된 교차점 모델을 이용하여 적어도 하나의 셀을 포함하는 표에 관한 데이터를 생성하는 셀 생성부; 및
    상기 교차점의 형태를 저장하는 표 저장부를 포함하고,
    상기 함수 결정부는,
    상기 영상에 포함된 각각의 연결 요소를 타원으로 근사화하고, 상기 타원의 크기, 이심률 및 상기 타원 내의 상기 연결 요소의 픽셀 밀도 중 적어도 하나에 기초하여, 상기 영상의 글자 및 그림 중 적어도 하나의 성분을 결정하고, 상기 영상으로부터 상기 결정된 글자 및 그림 중 적어도 하나의 성분을 제거함으로써, 상기 표를 구성하는 선을 추출하는 것을 특징으로 하는 표 구조 생성 장치.
  15. 제 14 항에 있어서,
    상기 셀 생성부는,
    상기 적어도 하나의 셀을 평활화하고, 상기 평활화한 셀을 이용하여 상기 표를 평활화하는 것을 포함하는 표 구조 생성 장치.
  16. 제 14 항에 있어서,
    상기 연결 요소는,
    임의의 두 점이 적어도 하나의 경로에 의해 연결될 수 있는, 선의 집합인 것을 특징으로 하는 표 구조 생성 장치.
  17. 제 14 항에 있어서,
    상기 복수의 교차점 모델은,
    상, 하, 좌, 우 중 적어도 두 개의 방향 성분을 갖는 복수개의 교차점 모델 및 방향 성분을 갖지 않는 적어도 하나의 교차점 모델을 포함하는 것을 특징으로 하는 표 구조 생성 장치.
  18. 제 14 항에 있어서,
    상기 함수 결정부는,
    상기 영상을 이진화하여 상기 영상을 구성하는 연결 요소를 추출하고, 상기 연결 요소 중 표를 구성하는 선을 추출하는 것을 포함하는 표 구조 생성 장치.
  19. 삭제
  20. 제 14 항에 있어서,
    상기 영상은 복수의 표를 포함하고,
    상기 함수 결정부는,
    각 부분 영상이 상기 복수의 표 중 하나의 표를 포함하도록 상기 영상을 분할하고, 상기 분할 된 영상에 포함된 표를 구성하는 각각의 선에 매칭되는, 함수의 교차점을 이용하여, 상기 선들의 교차점을 결정하는 것을 특징으로 하는 표 구조 생성 장치.
  21. 제 20 항에 있어서,
    상기 함수 결정부는,
    상기 영상의 표를 구성하는 점으로부터, 거리가 최소가 되는 점을 재귀적으로 연결하여 하나의 표를 추출하는 것을 특징으로 하는 표 구조 생성 장치.
  22. 제 14 항에 있어서,
    상기 함수 결정부는,
    상기 표를 구성하는 선의 폭을 상기 영상의 하나의 픽셀의 크기로 조정하는 세선화 동작을 수행하고, 상기 조정된 선에 매칭되는 함수의 교차점을 이용하여, 상기 선들의 교차점을 결정하는 것을 포함하는 표 구조 생성 장치.
  23. 제 14 항에 있어서,
    상기 셀 생성부는,
    상호 인접하는 교차점들에 결정된 교차점 모델들 간의 양립 가능 여부에 기초하여, 상기 선들의 교차점에 대응하는 교차점 모델을 결정하는 것을 특징으로 하는 표 구조 생성 장치.
  24. 제 23 항에 있어서,
    상기 셀 생성부는,
    교차점 모델을 랜덤 변수로 하고, 상기 양립 가능 여부를 제약 조건으로 하는 마코브 랜덤 필드(Markov Random Field) 모델을 이용하여, 상기 마코브 랜덤 필드 모델로부터 유도된 에너지 함수의 에너지 값이 최소가 되는 하나의 교차점 모델을 상기 선들의 교차점에 대응하는 교차점 모델로 결정하는 것을 특징으로 하는 표 구조 생성 장치.
  25. 제 1 항 내지 제6 항, 제8 항 내지 제13 항 중 어느 한 항의 표 구조 생성 방법을 구현하기 위한 컴퓨터 프로그램이 기록된 기록매체.
KR1020130107508A 2013-09-06 2013-09-06 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치 KR102161053B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130107508A KR102161053B1 (ko) 2013-09-06 2013-09-06 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치
US14/477,151 US9141854B2 (en) 2013-09-06 2014-09-04 Method and apparatus for generating structure of table included in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130107508A KR102161053B1 (ko) 2013-09-06 2013-09-06 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20150028631A KR20150028631A (ko) 2015-03-16
KR102161053B1 true KR102161053B1 (ko) 2020-09-29

Family

ID=52625663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130107508A KR102161053B1 (ko) 2013-09-06 2013-09-06 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US9141854B2 (ko)
KR (1) KR102161053B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115846B2 (ja) * 2016-12-30 2022-08-09 ダッソー システムズ マルコフ・ランダム・フィールド最適化を使用するセグメント化された画像の生成
US10241992B1 (en) * 2018-04-27 2019-03-26 Open Text Sa Ulc Table item information extraction with continuous machine learning through local and global models
CN112597987B (zh) * 2020-11-17 2023-08-04 北京百度网讯科技有限公司 纸质数据数字化方法及装置、电子设备、存储介质
CN114511863B (zh) * 2021-12-20 2023-10-03 北京百度网讯科技有限公司 表格结构提取方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099480A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 文書処理装置
JP2008046812A (ja) 2006-08-14 2008-02-28 Fujitsu Ltd 表データ処理方法及び装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3348224B2 (ja) * 1994-10-26 2002-11-20 株式会社日立製作所 表枠線の交点補正装置および表認識装置および光学文字読取装置
JPH08221506A (ja) * 1995-02-16 1996-08-30 Toshiba Corp 帳票文書認識装置および帳票文書認識方法
JP3345224B2 (ja) * 1995-03-06 2002-11-18 富士通株式会社 パターン抽出装置、パターン再認識用テーブル作成装置及びパターン認識装置
KR100259804B1 (ko) 1997-08-14 2000-06-15 구자홍 도표형태의문서인식방법
KR100277831B1 (ko) 1998-10-15 2001-01-15 정선종 문서 영상에서의 표 분석방법
US8763038B2 (en) 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US8600164B2 (en) 2008-03-28 2013-12-03 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8634645B2 (en) 2008-03-28 2014-01-21 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US20100208282A1 (en) 2009-02-18 2010-08-19 Andrey Isaev Method and apparatus for improving the quality of document images when copying documents
US8625895B2 (en) 2009-03-30 2014-01-07 The Neat Company, Inc. Table grid detection and separation
US8731296B2 (en) 2011-04-21 2014-05-20 Seiko Epson Corporation Contact text detection in scanned images
US8792141B2 (en) 2011-06-09 2014-07-29 Xerox Corporation Embedded form extraction definition to enable automatic workflow configuration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099480A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 文書処理装置
JP2008046812A (ja) 2006-08-14 2008-02-28 Fujitsu Ltd 表データ処理方法及び装置

Also Published As

Publication number Publication date
KR20150028631A (ko) 2015-03-16
US20150071500A1 (en) 2015-03-12
US9141854B2 (en) 2015-09-22

Similar Documents

Publication Publication Date Title
EP3333768A1 (en) Method and apparatus for detecting target
US10277806B2 (en) Automatic image composition
JP5826081B2 (ja) 画像処理装置、文字認識方法及びコンピュータプログラム
CN112036395B (zh) 基于目标检测的文本分类识别方法及装置
CN109117846B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
Rahman et al. A framework for fast automatic image cropping based on deep saliency map detection and gaussian filter
JP6904182B2 (ja) 画像視点変換装置及び方法
KR102161053B1 (ko) 영상에 포함된 표의 구조를 생성하는 방법 및 이를 위한 장치
JP4694613B2 (ja) 原稿方向判定装置、原稿方向判定方法、プログラムおよびその記録媒体
US10140510B2 (en) Machine print, hand print, and signature discrimination
CN105450900A (zh) 用于文档图像的畸变校正方法和设备
CN105516590B (zh) 一种图片处理方法及装置
JP6696622B2 (ja) 文字認識のための分類ネットワークの訓練装置、文字認識装置及び方法
CN108520263B (zh) 一种全景图像的识别方法、***及计算机存储介质
JP6542230B2 (ja) 投影ひずみを補正するための方法及びシステム
JP6389742B2 (ja) 画像セグメンテーション方法、装置、及びプログラム
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
CN111414913B (zh) 一种文字识别方法以及识别装置、电子设备
CN111709338B (zh) 一种用于表格检测的方法、装置及检测模型的训练方法
US11410278B2 (en) Automatic artifact removal in a digital image
CN113449726A (zh) 文字比对及识别方法、装置
US10372981B1 (en) Fast identification of text intensive pages from photographs
CN112507938A (zh) 一种文本图元的几何特征计算方法及识别方法、装置
US20180082426A1 (en) Algorithmic method for detection of documents in images
JP6517652B2 (ja) 物体顕著性マップ算出装置、方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant