KR101447932B1 - 화상처리장치 및 화상처리방법 - Google Patents

Abstract

전자문서에 대한 많은 목적에 최적인 포맷 사양의 전자문서를 생성하는 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 기록매체를 제공한다. 입력 화상으로부터 표 영역을 식별하고, 해당 표 영역의 표 구조를 해석한다. 해석된 표 구조에 대하여, 각 괘선이 상기 포맷으로 표현가능한 괘선인지에 관해 표 괘선 판정을 행하고, 그 판정 결과에 따라, 괘선정보 및 벡터 괘선 오브젝트를 생성한다. 그 생성된 괘선정보 및 벡터 괘선 오브젝트를 사용하여, 전자문서를 생성한다.

Description

화상처리장치 및 화상처리방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}

본 발명은 문서화상처리 결과의 보존 방법에 관한 것이다.

최근, 인터넷 등의 네트워크의 확대에 의해, 문서가 전자적으로 배포되는 경우도 많지만, 전자문서가 인쇄된 종이가 배포되는 경우도 많다. 종이문서만 이용가능한 경우에도, 그 종이문서의 내용을 그 종이로부터 재이용 가능한 데이터로서 취득할 수 있는 기술이 생각되고 있다. 예를 들면, 일본국 공개특허공보 특개평11-167532호(1999)에는, 단말로부터 문서화상을 서버에 송신하고, 서버상에서 인식한 해당 문서화상의 데이터를 재이용 가능한 포맷으로 변환해서 그 단말로 역으로 송신하는 기술이 개시되어 있다. 또한, 일본국 공개특허공보 특개2005-346137호에는, 문서화상을 오브젝트의 종류에 대응한 영역들로 나누고, 개별적으로 데이터를 출력할 수 있게 하는 기술이 개시되어 있다.

종이문서를 스캔해서 생성된 문서화상을 전자문서로 변환할 때, 유저가 재이용하고 싶은 데이터의 형식은 경우에 따라 다르지만, 유저가 개개의 오브젝트를 쉽게 이용하도록 문서화상의 오브젝트가 배치되는 것이 바람직하다. 예를 들면, 문서화상중의 표(table)를 표로서 편집해서 사용하고 싶은 유저에 있어서는, 전자문서상에서 그 표가 표 오브젝트로서 편집가능하도록 배치되는 것이 바람직하다. 표를 다시 인쇄해서 종이문서로서 사용하고 싶은 유저에 있어서는, 가능한 한 문서화상에 따라 충실하게 표 괘선등의 비주얼 정보를 재현하도록 상기 표가 배치되는 것이 바람직하다. 그러나, 전자문서의 포맷의 사양에 따라서는, 화상상의 표를 표 오브젝트로 변환할 때, 문서화상의 표 괘선을 완전하게 재현할 수 없을 수도 있다. 표의 비주얼 정보를 재현하기 위해서, 일본국 공개특허공보 특개2005-346137호등에 개시된 방법을 사용해서 표를 벡터(vector) 오브젝트로서 묘화하는 방법이 있지만, 이 방법에서는 유저가 그 표를 표로서 편집하는 것, 예를 들면 행의 추가나 삭제를 할 수 없다. 이렇게, 유저가 상기 표를 표로서 편집해서 사용하고 싶은 경우나, 인쇄나 디스플레이 해서 사용하고 싶은 경우등, 그 목적에 따라 최적의 포맷의 사양은 다르다. 따라서, 전자문서에 대한 많은 목적에 최적인 포맷 사양의 전자문서를 작성하는 것은 곤란하다.

본 발명에 따른 화상처리장치는, 입력된 화상으로부터, 소정의 스프레드시트의 포맷을 갖는 전자문서를 생성하는 화상처리장치로서, 상기 화상을 해석하고, 표 영역을 식별하는 영역 식별부; 상기 식별된 표 영역의 표 구조 및 괘선을 해석하고, 표의 셀의 정보를 포함하는 표 구조정보를 생성하는 표 구조 해석부; 상기 생성된 표 구조정보에 포함되는 상기 셀의 변(side)을, 상기 스프레드시트의 포맷에 의해 상기 스프레드시트의 셀의 괘선으로서 표현가능한 것인가 아닌가를 판단하는 판단부; 상기 괘선으로서 표현가능하다고 판단된 상기 변으로부터, 상기 스프레드시트의 포맷에 따라서 표현되는 괘선정보를 생성하는 부; 상기 괘선으로서 표현불가능하다고 판단된 상기 변에 대하여 벡터 변환 처리를 행하여서, 벡터 괘선 오브젝트를 생성하는 부; 및 상기 생성된 표 구조정보, 상기 생성된 괘선정보, 및 상기 생성된 벡터 괘선 오브젝트에 의거하여, 상기 판단부에서 상기 괘선으로서 표현가능하다고 판단된 상기 변에 대해서는 상기 괘선 정보를 사용하고, 또 상기 판단부에서 상기 괘선으로서 표현 불가능하다고 판단된 변에 대해서는 상기 벡터 괘선 오브젝트를 상기 스프레드시트의 포맷을 갖는 전자문서에서의 상기 표 구조정보에 대응하는 셀 상에 배치하는 것에 의해, 상기 스프레드시트의 포맷을 갖는 전자문서를 생성하는 전자문서 생성부를 구비한다.

본 발명에 의하면, 전자문서에 대한 많은 목적에 최적인 포맷 사양의 전자문서를 작성하는 화상처리장치 및 화상처리방법을 제공한다.

본 발명의 또 다른 특징들은 첨부된 도면들을 참조한 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은 본 발명의 실시예에 따른 시스템의 구성 예를 도시한 도면이다.
도 2는 상기 실시예에 있어서의 화상처리장치의 동작을 설명하는 도면이다.
도 3은 상기 실시예에 있어서의 표 구조정보를 설명하는 도면이다.
도 4는 상기 실시예에 있어서의 표 괘선 판정의 처리를 나타내는 흐름도다.
도 5는 상기 실시예에 있어서의 표 괘선 생성의 처리를 나타내는 흐름도다.
도 6은 상기 실시예에 있어서의 입력 화상의 예를 나타낸 도면이다.
도 7은 상기 실시예에 있어서의 표 구조 정보 해석 결과의 일례를 도시한 도면이다.
도 8은 상기 실시예에 있어서의 문자영역의 문자인식 결과의 일례를 도시한 도면이다.
도 9는 상기 실시예에 있어서의 변환 대상 워크북(workbook) 도큐먼트의 사양의 일례를 도시한 도면이다.
도 10은 상기 실시예에 있어서의 변환된 워크북 도큐먼트의 일례를 도시한 도면이다.
도 11은 상기 실시예에 있어서의 표시/편집 프로그램에 워크북 도큐먼트를 표시한 예를 나타낸 도면이다.
도 12는 다른 실시예에 있어서의 상기 표시/편집 프로그램으로 워크북 도큐먼트를 편집한 예를 나타낸 도면이다.
도 13은 상기 다른 실시예에 있어서의 입력 화상의 예를 나타낸 도면이다.
도 14는 상기 다른 실시예에 있어서의 변환 대상 워크북 도큐먼트의 사양의 예를 나타내는 도면이다.
도 15는 상기 다른 실시예에 있어서의 표 괘선 판정의 처리를 나타내는 흐름도다.
도 16은 상기 다른 실시예에 있어서의 표시/편집 프로그램에 워크북 도큐먼트를 표시한 예를 나타내는 도면이다.

이하, 첨부도면을 참조해서 본 발명의 적합한 실시예를 상세하게 설명한다. 그러나, 본 발명의 범위는, 이 실시예들에 한정되지 않는다.

도 1은 실시예1에서 사용된 시스템의 구성의 일례를 도시한 도면이다. 참조부호 100은 본 발명을 실현하는 화상처리장치의 구성 예를 나타낸다. 화상처리장치(100)는, 스캐너(101), CPU(102), 메모리(103), 하드 디스크(104), 및 네트워크I/F(105)를 구비한다. 스캐너(101)는, 판독된 문서의 지면정보를 화상 데이터로 변환하는 판독장치다. CPU(102)는, 화상 데이터에 본 발명의 처리를 실시하기 위한 전자 도큐먼트 생성 프로그램을 실행하는 프로세서다. 메모리(103)는, 하드 디스크(104)등으로부터 판독된 프로그램을 실행할 때의 워크 메모리나 데이터의 일시 보존등에 이용된다. 하드 디스크(104)는, 전자 도큐먼트 생성 프로그램 등의 프로그램과 데이터를 격납하는 기억장치다. 네트워크I/F(105)는, 외부장치와 데이터를 교환하기 위한 인터페이스다. 퍼스널 컴퓨터(PC)(120)는, 화상처리장치(100)와 LAN(110)등의 네트워크로 접속되고, 화상처리장치로부터 송신된 데이터를 수신하는 단말장치다. PC(120)에서는, 그 수신한 전자 도큐먼트를 화면에 표시해 편집하는 것이 가능한 표시/편집 프로그램(121)을 실행하는 것이 가능하다.

도 2는 실시예1에 있어서의 화상처리장치(100)의 동작을 나타내는 도면이다. 도 2에 도시되는 각 처리의 종류는, CPU(102)로 전자 도큐먼트 생성 프로그램을 실행함으로써 실현되지만, 그 처리의 일부 또는 전부를 전기회로에 의해 실현하여도 된다.

참조부호 200은 스캐너(101)로부터 입력된 입력 화상이다. 참조부호 210은 이 입력 화상(200)으로부터 전자 문서를 생성하기 위한 전자문서 생성부다. 워크북 도큐먼트(220)는 전자문서 생성부(210)에 의해 생성된 전자 도큐먼트다. 워크북 도큐먼트(220)에는, 소정의 포맷 사양이 정해져 있다. 포맷 사양의 예에 관해서는 후술한다. 또한, 본 실시예의 워크북 도큐먼트의 포맷은, 스프레드시트(spreadsheet) 소프트웨어(예를 들면, Microsoft Office Excel)에서 사용가능한 스프레드시트 중의 하나이지만, 이것에 한정되지 않는다.

블록 211∼215는, 전자문서 생성부(210)에서 실행되는 각 처리의 종류를 모식적으로 나타낸 것이다.

참조부호 211은 입력된 문서화상을 해석하고, 문자, 표 및 자연화상 등의 영역을 추출하는 영역식별부다. 참조부호 212는 영역식별부(211)로부터 추출된 표 영역에 대해서 표 구조 및 괘선의 해석을 행하고, 표 구조정보를 생성하는 표 구조 해석부다.

도 3은, 표 구조 해석부(212)로부터 얻어진 표 구조정보를 트리(tree)의 형태로 나타낸 도면이다. 상기 표 구조정보는, 행과, 행을 열로 나눈 표의 최소 구성단위, 즉 셀(cell)로 트리 구조를 형성한다. 그 셀은, 자요소(subelement)로서, 데이터, 사각형 및 괘선의 정보를 가진다. 상기 데이터는, 셀내의 문자를 인식하여 얻어진 결과를 격납한다. 사각형은, 위치x,y와 사이즈w,h로 구성되고, 상기 셀의 문서내의 좌표를 격납한다. 상기 괘선은, 셀을 둘러싸는 괘선 가장자리의 정보이고, 상(upper), 하(lower), 좌(left) 및 우(right)의 변으로 구성되고, 그 변들은 선 굵기와 패턴 정보인 선종(line type) 정보와 선색(line color) 정보를 갖는다. 모퉁이는, 각각 좌상, 우상, 우하 및 좌하로 구성되고, 그 모퉁이의 곡률의 정보를 격납한다. 도 3에 나타낸 정보의 잡는 법은 일례이며; 행을 열로 나누는 방법은 반대이어도 되고, 표 구조의 정보는 상기 트리구조 이외의 어떠한 구조에서 형성되어도 된다.

도 2의 참조부호 213은 표 구조 해석부(212)로부터 추출된 문자영역에 대해서 문자인식을 행하는 문자인식부다. 그 인식한 결과는, 표 구조정보의 셀 요소내의 데이터에 격납된다. 참조부호 214는, 표 괘선을, 변환 대상의 워크북 도큐먼트의 포맷의 사양과 대조해 셀의 가장자리 괘선으로서 표현 가능한가 판정하는 표 괘선 판정부다.

참조부호 215는 표의 괘선정보를 생성하는 표 괘선 생성부이며, 상기 표 괘선 판정부(214)에서 셀의 가장자리 괘선으로서 묘화가 불가능하다고 판단된 셀에 대하여는 벡터 괘선 오브젝트를 생성하고, 적절한 위치에 그 벡터 괘선 오브젝트를 배치한다. 참조부호 216은 상기 문자인식 데이터, 상기 벡터 괘선 오브젝트 및 상기 셀의 가장자리 괘선정보를 워크북 도큐먼트(220)의 포맷으로 변환하는 워크북 도큐먼트 변환부(전자문서 생성부)이다.

상기 워크북 도큐먼트 생성부(210)에 의해 생성된 워크북 도큐먼트(220)는 시트(sheet)(221)를 갖고, PC(120)가 유지하는 표시/편집 프로그램(121)에 의해 표시/편집이 가능하다. 시트(221)는, 워크북 도큐먼트내의 페이지 단위인 시트의 데이터이며, 표 정보(222) 및 괘선 벡터 정보(223)를 포함한다.

이하에 도 4의 흐름도를 참조하여 표 괘선 판정부(214)의 예를 설명한다.

단계S401에서는, 표 구조 해석부(212)에서 추출한 표 구조 트리의 셀 요소로부터, 표 괘선 판정 처리가 미처리된 셀 영역을 선택한다. 단계S402에서는, 셀의 변 요소들을 벡터화할 것인가 아닌가를 판단하는 벡터화 플래그를 준비하고, 그것들을 거짓로 설정한다. 벡터화 플래그에 설정된 정보는, 메모리(103)와 하드 디스크(104)등의 기억부에 기억된다. 이하에 설명하는 여러 가지의 처리를 행하여 얻어진 결과의 정보에 관해서도 같다. 단계S403에서는, 모든 {변,이웃변}에 대하여, 즉, {상,우}, {우,하}, {하,좌} 및 {좌,상}에 대하여 반복 처리를 시키는 반복 끝을 나타낸다. 상기 이웃변은, 변에 대하여 시계방향으로 접하는 변을 말한다. 단계S404에서는, 상기 변과 이웃변이 함께 접하는 모퉁이의 곡률이 변환 대상인 워크북 도큐먼트의 포맷의 사양의 범위내인지를 판단한다. 만약 그 곡률이 범위내이면, 단계S405로 진행되는 반면에, 그 범위외이면 단계S408로 진행된다. 단계S405에서는, 변의 선색이 변환 대상인 워크북 도큐먼트의 포맷의 사양의 범위내인지를 판단한다. 그 선색이 범위내이면, 단계S406로 진행되는 반면에, 그 범위외이면, 단계S409로 진행된다. 단계S406에서는, 변의 선종이 변환 대상인 워크북 도큐먼트의 포맷의 사양의 범위내인지를 판단한다. 만약 그 선종이 범위내이면, 단계S407로 진행되는 반면에, 그 범위외이면, 단계S409로 진행된다. 단계S407은 단계S403으로부터 시작되는 반복의 종단이다. {변,이웃변}이 {좌,상}이면, 반복을 종료하고, 단계S410으로 진행되는 반면에, 그렇지 않으면, 단계S403으로 진행된다. 단계S408에서는, 변과 이웃변의 벡터화 플래그를 참으로 설정하고, 단계S407로 진행된다. 단계S409에서는, 변의 벡터화 플래그를 참으로 설정하고, 단계S407로 진행된다. 단계S410에서는, 미처리된 셀이 남아있는지를 판단한다. 미처리된 셀이 없으면, 처리를 종료하고, 미처리된 셀이 있으면, 단계S401로 진행된다.

이상과 같이 도 4에 나타낸 처리에 의하면, 표 괘선 판정부(214)는, 변과 이웃변이 함께 접하는 모퉁이의 곡률, 변의 선색, 및 변의 선종이 변환 대상의 워크북 도큐먼트의 포맷의 사양의 범위내인지의 여부를 판단한다. 그것들이 상기 포맷의 사양의 범위내가 아니라고 판단되었을 경우, 즉, 그 변이 포맷 사양에 따라서 표현불가능하다고 판단되었을 경우, 그 변의 벡터화 플래그가 참으로 설정된다. 그 변이 표현가능한 것인가 아닌가의 판단 방법은 이 방법에 한정되지 않고, 상기 포맷의 사양의 속성에 근거해서 판단한다.

이하에 도 5의 흐름도를 사용해서 표 괘선 생성부(215)에서 행해지는 처리의 예를 설명한다.

단계S501에서는, 표 구조 해석부(212)에서 추출한 표 구조정보의 셀 정보로부터, 표 괘선 생성 처리가 미처리된 셀 영역을 선택한다. 단계S502에서는, 1개의 셀 영역의 상변, 우변, 하변 및 좌변에 대하여 처리를 반복하는 반복 끝을 나타낸다. 단계S503에서는, 상기 변의 괘선 생성 처리가 이미 행해지고 있는지를 판단한다. 괘선 생성 처리가 미처리이면, 단계S504로 진행되는 반면에, 그 괘선 생성 처리가 행해지면, 단계S508로 진행된다. 단계S504에서는, 표 괘선 판정부(214)에서 부가한 벡터화 플래그가 참인가 거짓인가를 판단한다. 그 플래그가 참인 경우에는 단계S505로 진행되는 반면에, 그 플래그가 거짓인 경우에는, 단계S509로 진행된다. 단계S505에서는, 인접한 변끼리의 벡터화 변을 결합하는 처리를 행한다. 그 인접한 변의 벡터화 플래그가 참이면 벡터화 변을 결합하고, 나머지 평행한 변의 벡터화 플래그가 참이면 한층 더 결합한다. 인접한 양변이 모두 거짓이면, 그 변들은 함께 결합되지 않는다. 단계S506에서는, 단계S505에서 결합된 벡터화 변에 대하여, 벡터화 처리를 행한다. 즉, 입력 문서화상의 대상 괘선영역에 대하여 벡터 변환 처리를 행하여, 벡터 괘선 오브젝트를 표 괘선정보로서 생성한다. 단계S507에서는, 단계S506에서 생성된 벡터 괘선 오브젝트를 상기 셀 위에 배치한다. 그 셀의 배치 위치는, 벡터 괘선 오브젝트의 외접 사각형 좌상점 좌표와 외접 사각형 우하점 좌표를 각각, 해당 벡터 괘선 오브젝트에 대응하는 셀의 좌상 좌표의 상대 위치 및 셀의 우하 좌표 상대 위치가 되도록 한다. 즉, 상기 벡터 괘선 오브젝트를 표영역의 상대 좌표에 배치한 표 괘선정보를 생성한다. 단계S508은, 단계S502로부터 시작되는 반복의 종단을 나타낸다. 상기 변이 왼쪽이면(즉, 1개의 셀 영역의 상변, 우변, 하변 및 좌변의 모두에 대하여 처리가 종료한 경우에는), 단계S510으로 진행되는 반면에, 그 처리가 종료되지 않은 경우에는 단계S502로 진행된다. 단계S509에서는, 표 구조정보의 곡률, 선종 및 선색의 정보로부터 변환 대상인 도큐먼트 포맷의 셀의 괘선의 사양을 사용해서 셀의 가장자리 괘선정보를 표 괘선정보로서 설정한다. 단계S510에서는, 표 괘선 생성이 미처리된 셀이 있는지를 판단한다. 미처리된 셀이 있으면, 단계S501로 진행되는 반면에, 미처리된 셀이 없으면, 처리를 종료한다.

이상과 같이 도 5에 나타낸 처리에 의하면, 벡터화 플래그가 참인 인접한 변끼리를 결합해서 벡터화 처리를 행하고, 생성된 벡터 괘선 오브젝트를 셀상(즉, 표영역의 상대 위치)에 배치한 표 괘선정보를 생성한다. 벡터화 플래그가 거짓인 변에 대하여는, 도큐먼트 포맷의 셀의 괘선의 사양(도큐먼트내의 표의 포맷으로 표현가능한 괘선)을 사용해서 셀의 가장자리(border) 괘선정보를 설정한 표 괘선정보를 생성한다.

이하, 입력 화상(200)의 예로서, 도 6에 나타내는 화상(600)을 워크북 도큐먼트 생성부(210)가 독자형식의 워크북 도큐먼트(220)로 변환하는 처리의 예를 설명한다.

우선, 영역식별부(211)에서 공지의 화상해석처리를 사용해서 입력 화상중의 문자영역과 표영역을 추출한다. 상기 영역의 식별 처리에 관해서는, 예를 들면 일본국 공개특허공보 특개2004-086436호에 그 예가 제안되어 있다. 미국 특허 제5,680,478호 명세서에는, 문서화상중의 흑화소 및 백화소의 집합을 추출하고, 그 형상, 크기, 집합 상태등에 의거하여, 문자, 그림 및 도면, 표, 프레임 및 괘선이라고 한 특징적인 영역을 추출하는 것이 개시되어 있다. 또 영역의 식별 처리를 사용하지 않고, 화상으로부터 런길이 방법 등을 사용해서 원시적인 괘선 정보를 추출하는 방법도 존재한다.

화상(600)의 예에서는, 점선으로 둘러싸여진 영역 601이 표영역으로서 추출되고, 영역 602, 603, 604, 605, 606이 문자영역으로서 추출되는 것으로 가정한다.

다음에, 표 구조 해석부(212)에서는, 공지의 표 구조 해석기술을 사용해서 상기 표 내부의 행, 열 구조, 괘선의 선색, 선종, 모퉁이부의 곡률등의 정보를 추출한다. 표 구조 해석기술에 관해서는, 예를 들면 일본국 공개특허공보 특개2004-086436호에 그 예가 제안되어 있다. 일본국 공개특허공보 특개2004-086436호에는, 표영역 내부의 백(white) 화소 덩어리의 가장자리 근방으로부터 2방향의 엣지로부터 각각 구한 히스토그램에 의거하여 괘선정보를 취득하는 것이 개시되어 있다.

도 7은 표 구조 해석부(212)에서 추출된 정보의 예를 표로 나타낸 것이다. 1-1의 셀은, 좌상 모퉁이로부터 1행 1열째의 셀을 나타낸다. 이 셀의 외접 사각형은 좌상좌표가 (100,200)(좌상원점, 단위 화소), 사이즈가 (200,70)(폭, 높이, 단위화소)인 것이 도시되어 있다. 이 셀의 변들에서, 그 전체 변들의 선색이 12비트 RGB에서 #000(흑)이고, 그 전체 변들의 선종이 1인 것이 도시되어 있다. 이 셀의 곡률에서, 좌상의 모퉁이부의 곡률이 1/30(1/화소), 그 밖의 모퉁이부의 곡률이 ∞(곡률반경이 0임)인 것이 도시되어 있다.

선종의 정보에 대해서는, 여기에서는 괘선 패턴의 표시 영역과, 비표시 영역의 굵기에 대한 길이의 패턴의 반복으로 표현하고 있다. 예를 들면, 선종이 1이면, 그것은 표시 영역에만 실선을 나타내고; 그 선종이 1-1이면, 표시 영역과 비표시 영역이 굵기와 같은 폭으로 반복하는 파선을 나타낸다.

선종의 패턴 정보를 격납하는 방법은 일례이며, 별도의 방법으로 정보를 격납하여도 된다.

1-2의 셀은, 좌상 모퉁이로부터 1행 2열째의 셀을 나타낸다. 이 셀의 외접 사각형의 좌상좌표가 (300,200)이고, 그 사이즈가 (400,70)이고, 전체 변에 대해서 선색이 #000(흑)이고, 전체 변에 대해서 선종이 실선이며, 우상 모퉁이부의 곡률이 1/30이고 그 밖의 모퉁이부의 곡률이 ∞(곡률반경이 0임)인 셀 정보가 추출된 것을 의미한다.

2-1의 셀은, 좌상 모퉁이로부터 2행 1열째의 셀을 나타낸다. 이 셀의 외접 사각형의 좌상좌표가 (100,270)이고, 그 사이즈가 (200,70)이고, 전체 변에 대해서 선색이 #000(흑)이고, 전체 변에 대해서 선종이 실선이며, 좌하의 모퉁이부의 곡률이 1/30이고 그 밖의 모퉁이부의 곡률이 ∞(곡률반경이 0임)인 셀 정보가 추출된 것을 의미한다.

2-2의 셀은, 좌상 모퉁이로부터 2행 2열째의 셀을 나타낸다. 이 셀의 외접 사각형의 좌상좌표가 (300,270)이고, 그 사이즈가 (400,70)이고, 전체 변에 대해서 선색이 #000(흑)이고, 전체 변에 대해서 선종이 실선이며, 우하의 모퉁이부의 곡률이 1/30이고 그 밖의 모퉁이부의 곡률이 ∞(곡률반경이 0임)인 셀 정보가 추출된 것을 의미한다.

문자인식부(213)에서는, 공지의 문자인식 기술을 사용해서 각 문자영역내의 문자인식을 행하고, 문자코드 데이터를 생성하고, 문자의 크기에 따라 OCR 표시 데이터를 생성한다. 문자인식 처리의 일례에 대해서 간단하게 설명한다. 본 설명은 어디까지나 일례이며, 별도의 방법을 사용해도 된다.

문자인식 처리에서는, 먼저 문자영역의 횡으로 또는 종으로 기록을 행했는가에 관해서, 즉 상기 행의 방향에 관해서 판단한다. 이를 행하는 일 방식은, 화상을 이치화하고, 종횡방향의 사영(projection)을 취득하고, 사영 분산이 낮은 쪽을 행방향이라고 판정하는 방식이 있다. 다음에, 화상을 개개의 문자화상으로 분할한다. 2치화상의 행방향으로의 사영을 사용해서 절단해야 할 행간(line space)을 발견하여서; 그 화상을 행 화상으로 분할하고; 한층 더, 행화상을 행과 수직방향으로의 사영을 사용해서 절단해야 할 문자간(character space)을 발견 함으로써, 상기 화상을 문자화상으로 분할하면 좋다. 그리고, 문자화상들 각각의 특징을 취득하고, 미리 전체 문자 종류의 특징을 보존한 사전으로부터 그 특징에 가장 가까운 특징 정보를 탐색하고, 그 사전이 나타낸 문자코드를 그 인식 결과로서 취득한다. 그 문자의 크기는, 개개의 문자를 인식할 때에 취득된 상기 문자의 크기의 평균값으로서 얻을 수 있고; 다른 방법을 사용해도 된다.

도 8은, 도 6의 예에 있어서의 영역식별부(211)와 문자인식부(213)에 의한 처리의 결과의 예를 표로 나타낸 도면이다. 본 예에서는, 영역 602, 603, 604, 605 및 606으로부터, 각각 문자열 "ApplicationForm", "ID", "1234567", "Name" 및 "Maruko Taro"를, 문자인식부의 인식 결과로서 추출한다.

영역 603이 도 7에서 나타내는 1-1의 셀의 범위내이기 때문에, 영역 603은 1-1의 셀의 데이터로서 격납된다. 영역 604가 1-2의 셀의 범위내이기 때문에, 영역 604는 1-2의 셀의 데이터로서 격납된다. 영역 605가 2-1의 셀의 범위내이기 때문에, 영역605는 2-1의 셀의 데이터로서 격납된다. 영역606이 2-2의 셀의 범위내이기 때문에, 영역606은 2-2의 셀의 데이터로서 격납된다.

표 괘선 판정부(214)의 처리는, 도 4의 흐름도를 참조하여 설명한다.

단계S401에서는, 괘선 판정의 미처리 셀로서, 1-1의 셀을 선택한다. 단계S402에서는, 1-1셀의 상변, 하변, 좌변 및 우변의 정보로서 벡터화 플래그를 정의하고, 그들 각각에 대해 거짓의 정보를 설정한다. 단계S403에서는, 위의 값을 변의 변수에 대입하고, 이웃변의 변수에 오른쪽의 값을 대입하여, 반복 처리를 시작한다.

단계S404에서는, 변과 이웃변 사이의 모퉁이인 우상 모퉁이부의 곡률이 사양범위내인지의 판단을 행한다. 변환 대상 워크북 도큐먼트의 사양은 도 9로 설명한다. 이 경우의 변환 대상 워크북 도큐먼트는 독자적인 XML형식의 워크북 도큐먼트인 워크북 도큐먼트 A라고 하고, 선색의 사양은 단색의 32비트 컬러라고 하고, 선종의 사양은 실선과 3패턴의 파선이라고 하고, 모퉁이부의 곡률은 ∞이라고 한다. 1-1셀의 우상(upper right) 모퉁이부에 대해서는, 그 곡률이 ∞, 즉 사양범위내이기 때문에, 단계S405로 진행된다.

단계S405에서는, 변의 선색이 선색의 사양의 범위내인지의 판단을 행한다. 그 선색이 RGB 12비트 단색이고, RGB 32비트 단색으로 변환하는 것이 가능, 즉 사양범위내이기 때문에, 단계S406으로 진행된다. 단계S406에서는, 변의 선종이 선종의 사양의 범위내인지의 판단을 행한다. 선종은 1(실선), 즉 사양범위내이기 때문에, 단계S407로 진행된다.

단계S407에서는, 반복 처리가 종료하고 있지 않기 때문에, 단계S403으로 진행된다. 단계S403에서는, 변에 오른쪽을, 이웃변에 아래를 대입하고, 단계S404로 진행된다. 마찬가지로, {변, 이웃변}이 {우, 하} 및 {하, 좌}에 관해서는 사양의 범위내이며, 벡터화 플래그는 계속 거짓이다. 최후에, {변, 이웃변}에 {좌, 상}을 대입하고, 단계S404로 진행된다. 단계S404에서는, 변과 이웃변 사이의 모퉁이인 좌상 모퉁이부의 곡률이 1/30, 즉 사양의 범위외이기 때문에, 단계S408로 진행된다. 단계S408에서는, 변과 이웃변인, 좌변과 상변의 벡터화 플래그에 참(true)을 설정하고, 단계S407로 진행된다. 단계S407에서는, 반복 처리의 종료가 판단되어 단계S410으로 진행된다. 단계S410에서는, 1-2, 2-1 및 2-2의 셀이 미처리되기 때문에, 단계S401로 진행된다.

1-2, 2-1 및 2-2의 셀에 관해서 마찬가지로 처리를 행하면, 1-2의 셀에서는, 상변과 우변의 벡터화 플래그가 참으로, 2-1의 셀에서는 하변과 좌변의 벡터화 플래그가 참으로, 2-2의 셀에서는 우변과 하변의 벡터화 플래그가 참으로 설정된다. 단계S410에서는, 모든 셀에 관해서 벡터화 판정 처리가 종료했기 때문에, 처리를 종료한다.

표 괘선 생성부(215)의 처리는, 도 5의 흐름도를 참조하여 설명한다. 단계S501에서는, 미처리 셀로서 1-1의 셀을 선택한다. 단계S502에서는, 변의 변수에 대하여 상(upper)을 대입하고, 반복 처리를 시작한다. 단계S503에서는, 상변이 미처리된 벡터의 변이어서, 단계S504로 진행된다. 단계S504에서는, 표 괘선 판정부(214)에 의해 격납된 벡터화 플래그로부터, 1-1의 셀의 상변은 참이라고 판단되기 때문에, 단계S505로 진행된다. 단계S505에서는, 좌변의 벡터화 플래그가 참이기 때문에, 좌변을 결합해서 벡터화를 행하는 것을 결정한다.

단계S506에서는, 단계S505에서 결합한 대상변에 대해서, 공지의 벡터화 기술을 사용해서 입력 화상으로부터, 벡터 괘선 오브젝트의 생성을 행한다. 벡터화 기술의 예로서는, 일본특허 제3026592호와 일본국 공개특허공보 특개2005-346137호에 개시된 방법이 있다. 예를 들면, 일본특허 제3026592호에서는, 아래의 것을 행함으로써, 아웃라인 벡터라고 불리는 연결 화소 데이터의 주위를 화소간 벡터의 집합으로 기술하는 정보를 생성하는 기술을 개시하고 있다. 화상을 래스터 주사하면서, 주목 화소와 그 근방의 화소의 상태에 의거하여 상기 횡방향 및 종방향으로의 화소간 벡터를 검출하고나서; 화소간 벡터끼리의 접속 상태를 바탕으로, 화상 데이터의 윤곽을 추출한다. 일본국 공개특허공보 특개2005-346137호에서는, 아웃라인 벡터를 직선, 2차 또는 3차의 베지어(Bezier) 곡선으로 근사함으로써 크게 변배해도 고품질 벡터 기술 데이터를 생성하는 기술을 개시하고 있다.

단계S507에서는, 단계S506에서 생성한 벡터 괘선 오브젝트에서, 벡터 괘선 오브젝트 외접 사각형 좌상단 좌표를 셀 좌상단의 상대 좌표로서 결정한다. 벡터 괘선 오브젝트 외접 사각형 좌하단 좌표를 셀 우하단(또는 우하 셀의 좌상단)의 상대 좌표로서 결정한다. 벡터 괘선 오브젝트의 배치 좌표값을 결정한다. 단계S508에서는, 반복 처리의 종료조건을 만족시키고 있지 않기 때문에, 단계S502로 진행된다. 단계S502에서는, 변의 값에 오른쪽을 대입한다. 단계S503에서는, 우변은 미벡터화이기 때문에, 단계S504로 진행된다. 단계S504에서는, 변의 벡터화 플래그는 거짓이기 때문에, 단계S509로 진행된다. 단계S509에서는, 표 구조정보의 모퉁이부 곡률∞, 실선 및 #000의 정보로부터 변환 대상의 워크북 도큐먼트의 셀의 괘선 가장자리 형식으로 변환한다.

단계S508에서는, 반복 처리의 종료조건을 만족시키고 있지 않기 때문에, 단계S502로 진행된다. 단계S502에서는, 변에 아래쪽을 대입하고, 처리를 반복한다. 하변에 관해서는 우변과 마찬가지로 셀의 가장자리 괘선형식으로 변환된다. 최후에, 변의 값에 왼쪽을 대입하고, 단계S503으로 진행된다. 단계S503에서는, 좌변이 상변과 결합되고, 그 상변이 처리될 때 벡터화가 완료되기 때문에, 단계S508로 진행된다. 단계S508에서는, 반복 처리가 종료되어서, 단계S510으로 진행된다. 단계S510에서는, 1-2, 2-1 및 2-2의 셀에 관해서 미처리이어서, 단계S501로 진행된다.

단계S501로부터, 마찬가지로 1-2, 2-1 및 2-2에 관해서 처리를 행하면, 1-2의 셀에서 상변 및 우변이 서로 결합해서 벡터 괘선 오브젝트로 변환되고, 하변 및 좌변이 셀의 괘선 가장자리 형식으로 변환된다. 2-1의 셀에서, 하변 및 좌변이 서로 결합되고 벡터 괘선 오브젝트로 변환되고, 상변 및 우변이 셀의 괘선 가장자리 형식으로 변환된다. 2-2의 셀에서, 우변 및 하변이 서로 결합되고 벡터 괘선 오브젝트로 변환되고, 상변 및 좌변이 셀의 괘선 가장자리 형식으로 변환된다. 단계S510에서는 미처리 셀이 존재하지 않기 때문에, 처리를 종료한다.

워크북 변환부(216)에서는, 표 구조 해석부(212)에서 생성한 표 구조정보, 문자인식부(213)에서 인식한 문자, 및 표 괘선 생성부(215)에서 생성한 표의 괘선정보를 바탕으로, 워크북 도큐먼트 형식의 전자 도큐먼트로 변환을 행한다.

도 10의 전자 도큐먼트(1000)는, 본 예를 설명하기 위해 만들어진 가상적인 XML포맷의 사양에 따라서 생성된 워크북 도큐먼트(220)의 예다.

부호 1001은 테이블 정보를 격납하는 부분이고, 요소 명 "Table"에 둘러싸진 영역에 해당한다. 부호 1001에는, 테이블의 열의 정보를 기술하는 "Column"요소부(1003)와, 행의 정보를 기술하는 "Row"요소부(1004)가 격납된다. 워크북 도큐먼트의 시트는, 1개의 큰 테이블 정보로부터 생성되어 있다.

도 6의 입력 화상예에서는, 화상내의 행렬수는 2×2이지만, 표의 상부와, 좌부의 여백을 표현하기 위해서, 1행 1열을 추가하고, 3×3으로 한다. 따라서, 열을 나타낸 "Column"요소부(1003)가 3개, 행을 나타낸 "Row"요소부(1004)가 3개 존재한다. "Column"요소부(1003)에는, 열 번호 "c"속성과, 각각의 열 폭 "width"속성이 격납되어 있다.

"Column"요소부(1003)에서, 도 7의 셀의 사각형 정보에 나타나 있는 바와 같이, 표 좌부의 폭이 100(즉, 셀 1-1의 위치의 x좌표가 100)이기 때문에, "Column"요소부(1003)의 c=1일 때의 "Column"요소의 폭은 100이다. 도 7의 표 1열째의 셀의 사이즈의 폭이 200이기 때문에, "Column"요소부(1003)의 c=2일 때의 "Column"요소의 폭은 200이다. 도 7의 표 2열째의 셀의 사이즈의 폭이 400이기 때문에, "Column"요소부(1003)의 c=3일 때의 "Column"요소의 폭은 400이다.

"Row"요소에는, 행번호 "r"속성과, 각각의 행높이 "hight"속성이 격납되고, "Row"요소는 수에 있어서 열에 대응한 셀 정보 "Cell"요소로 구성된다.

"Row"요소부(1004)에서, 도 7의 셀의 사각형 정보에 나타나 있는 바와 같이, 표 상부의 높이가 200(즉, 셀 1-1의 위치의 ｙ좌표가 200)이기 때문에, r=1의 "Row"요소의 높이 "height"가 200이다. 표 1행째의 높이가 70이기 때문에, r=2의 "Row"요소의 높이 "height"가 70이다. 표 2행째의 높이가 70이기 때문에, r=3의 "Row"요소의 높이 "height"가 70이다.

또한, r=1의 "Row"요소는 여백이며, 셀 정보가 존재하지 않기 때문에, 자요소 "Cell"요소는 존재하지 않는다. r=2의 "Row"요소"와 r=3의 "Row"요소" 각각에서, 2개의 셀 정보가 존재하기 때문에, 2개의 "Cell"요소를 가진다.

"Cell"요소에는, 자신이 c열째인 것을 나타내는 "c"속성, 셀내에 기술되어 있는 데이터의 형태를 나타내는 "type"속성, 셀내의 데이터의 값을 나타내는 "value"속성이 격납되고, 그 "Cell"요소는 셀의 가장자리 괘선 정보 "Line"으로 구성된다. 여기에서는, 도 8에 나타낸 문자인식의 결과에 따라, r=2의 "Row"요소내의 c=2의 "Cell"요소에는, type="string", value="ID"가 격납되어 있다. c=3의 "Cell"요소에는, type="string", value="1234567"이 격납되어 있다. r=3의 "Row"요소내의 c=2의 "Cell"요소에는, type="string", value="Name"이 격납되어 있다. c=3의 "Cell"요소에는, type="string", value="Maruko Taro"이 격납되어 있다.

"Line"요소에는, 4변 중 어느 한쪽이 그 요소에 대응하는지를 나타내는 "position"속성과, 선종을 나타내는 "type"속성과, 선색을 나타내는 "color"속성이 격납되어 있다.

도 5의 흐름도에서 생성된 셀의 가장자리 괘선 정보에 따라, r=2의 "Row"내의 c=2의 "Cell"에는, position이 right와 bottom의 두 개의 "Line"요소가 설정된다. 각각의 "type"속성에는, 실선을 나타내는 solid, color속성에 흑을 나타내는 #000000이 격납되어 있다.

r=2의 "Row"내의 c=3의 "Cell"에는, position이 left와 bottom의 두 개의 "Line"요소가 설정되어 있다. 각각의 "type" 속성에 실선을 나타내는 solid, color속성에 흑을 나타내는 #000000이 격납되어 있다.

r=3의 "Row"내의 c=2의 "Cell"에는, position이 right와 top의 두 개의 "Line"요소가 설정되어 있다. 각각의 "type" 속성에 실선을 나타내는 solid, color속성에 흑을 나타내는 #000000이 격납되어 있다.

r=3의 "Row"내의 c=3의 "Cell"에는, position이 left와 top의 두개의"Line"요소가 설정되어 있다. 각각의 "type" 속성에 실선을 나타내는 solid, color속성에 흑을 나타내는 #000000이 격납되어 있다.

부호 1002는 테이블 위에 자유롭게 배치되고, 도형정보를 격납하는 부분이고, 요소 명 "Shapes"로 둘러싸진 영역에 해당한다. 부호 1002는, 도형정보를 기술한 복수의 "Shape"요소로 구성된다.

"Shape"요소는, 자요소로서 도형 오브젝트를 갖고, 도형 오브젝트가 그려진 위치 정보를 속성으로서 격납한다. 여기에서, "Shape"요소는, 1개의 벡터 괘선 오브젝트에 해당한다. 부호 1002에는, 베지어 곡선을 의미하는 자요소 "Path"으로 구성된 4개의 "Shape"요소(1005,1006,1007,1008)가 구비된다. 본 발명에서는, 벡터 괘선 오브젝트는, 좌상단과 우하단을 셀의 상대 좌표로서 정의하고 있다. 그 때문에, "Shape"요소는 좌상단에 대한 대상 셀의 행렬을 나타내는 fromCell의 정보, 상대 좌표를 나타내는 fromPos의 정보, 우하단에 대한 대상 셀의 행렬을 나타내는 toCell의 정보, 상대 좌표를 나타내는 toPos의 정보로 구성된다.

구체적으로, 셀1-1의 좌상변의 벡터 괘선 오브젝트인 "Shape"요소(1005)에 관하여 설명한다. "Shape"요소(1005)에는, 2행 2열째(fromCell="2 2")의 셀에 대해서 좌상단(0,0)(fromPos="0 0")로부터 우하단까지의 범위에 그려지는 위치와, 사이즈 정보가 기술되어 있다. 2행 2열째의 우하단은, 3행 3열째(toCell="3 3")의 좌상단(0,0)(toPos="0 0")에 해당한다.

마찬가지로, 셀 1-2의 우상변의 벡터 괘선 오브젝트인 "Shape"요소(1006)는 다음과 같다. 구체적으로, 2행 3열째(fromCell="2 3")의 셀에 대해서, 좌상단(0,0)(fromPos="0 0")로부터 우하단까지의 범위에 그려지는 위치와 사이즈 정보가 기술되어 있다. 2행 3열째의 우하단은, 3행 4열째(toCell="3 4")의 좌상단(0,0)(toPos="0 0")에 해당한다.

셀 2-1의 좌하변의 벡터 괘선 오브젝트인 "Shape"요소(1007)는 다음과 같다. 구체적으로, 3행 2열째(fromCell="3 2")의 셀에 대해서, 좌상단(0,0)(fromPos="0 0")로부터 우하단까지의 범위에 그려지는 위치와 사이즈 정보가 기술되어 있다. 3행 2열째의 우하단은, 4행 3열째(toCell="3 4")의 좌상단(0,0)(toPos="0 0")에 해당한다.

셀 2-2의 우하변의 벡터 괘선 오브젝트인 "Shape"요소(1008)는 다음과 같다. 구체적으로, 3행 3열째(fromCell="3 3")의 셀에 대해서, 좌상단(0,0)(fromPos="0 0")로부터 우하단까지의 범위에 그려지는 위치와 사이즈 정보가 기술되어 있다. 3행 3열째의 우하단은, 4행 4열째(toCell="4 4")의 좌상단(0,0)(toPos="0 0")에 해당한다.

"Path"요소는 오브젝트의 형상의 정보를 갖고, "canvasSize"속성으로 설정한 크기의 평면 위에, "data"속성으로 3차 베지어 곡선을 사용해서 곡선의 형상을 기술하고 있다.

윈도우(1101)는, 표시/편집 프로그램(121)에 의해 표시된 윈도우이며, 시트 편집 윈도우(1102)를 포함한다.

시트 편집 윈도우(1102)에는, 워크북 도큐먼트(220)에서의 시트 정보(221)의 내용에 대응한 표시를 생성한다. 본 발명의 실시예1이 예시하는 도 10의 전자 도큐먼트(1000)에 대하여는, 표 정보(1001) 및 괘선 데이터(1002)의 내용이 묘화되어 있다. 셀의 가장자리 괘선으로는 표현불가능한 모퉁이부가 곡률을 갖는 표에 대하여, 입력 화상대로 상기 표가 생성된다.

시트 편집 윈도우(1102)에서, 유저는, 표의 행의 추가, 셀의 내용의 변경, 및 셀의 사이즈의 변경이 가능하다. 또한, 유저는, 편집후의 워크북 도큐먼트를 보존하고, 상기 표시된 시트 편집 윈도우(1102)의 외관을 지면에 인쇄할 수 있다.

도 12는 유저가 행의 추가, 셀 사이즈의 변경을 행한 결과의 예를 나타낸다. 벡터 괘선 오브젝트가 셀에 대한 좌표로서 기술되어 있기 때문에, 셀의 사이즈의 변경과, 행의 삽입등의 조작을 실시해도, 벡터 괘선 오브젝트는 셀의 가장자리 괘선인 것처럼 추종한다.

이상에서 설명한 바와 같이, 본 예에서는, 포맷의 사양으로 재현불가능한 괘선을 표현하고, 표로서의 편집이 가능한 워크북을 생성한다.

이렇게 생성한 워크북은 표시/편집 프로그램(121)에 있어서, 메뉴등을 통해 유저가 용이하게 선택하여, 사용할 수 있다. 즉, 본 실시예에 의하면, 워크북을 인쇄 혹은 디스플레이에 표시하는 것, 또는 워크북의 표를 편집하는 것 중 어느 한쪽, 또는 그 양쪽의 목적에 알맞은 포맷으로 워크북을 제공하는 것이 가능하다.

실시예1에서는, 단순하게 사양으로 표현불가능한 괘선을 전환하는 경우를 다루었지만, 구조자체가 복잡해서 표현불가능한 괘선을 전환하여도 된다.

이하에서는 도 13의 화상(1300)이 입력 화상이고, 도 14의 표가 변환된 포맷의 사양이라고 한 예의 처리를 설명한다.

예를 들면, 상기 화상(1300)을 영역식별부(211)로 처리했을 경우에, 표영역으로서 영역 1301과 1302가 추출되었다고 가정한다.

영역 1301과 1302에 대하여, 표 구조 해석부(212)에 의해 실시예1과 같은 처리를 행하여서, 표 구조정보가 추출되고, 문자인식부(213)에 의해 문자영역에 대하여 문자의 인식 결과가 추출된다.

표 괘선 판정부(214)에 의해 행해진 처리의 예를, 도 15의 흐름도를 참조하여 설명한다.

본 실시예2에서는, 괘선사양의 기준의 수가 증가하므로, 도 4에 도시된 실시예1에 있어서의 표 괘선 판정의 흐름도에, 단계S1501의 표 구조자체의 사양판정의 처리가 추가된다.

단계S1501에서는, 표 자체의 위치에 관해서 사양의 범위를 만족시키는 것인가 아닌가에 관해 판정을 행한다. 본 실시예에서는, 판정 대상의 표의 위치가 다른 표의 내부에 있는 경우, 상기 표 자체의 위치에 관해서 사양의 범위를 만족시키지 않는 것으로서 판정한다. 한편, 해당 판정 대상의 표가 다른 표의 내부에 존재하지 않는 경우, 상기 표 자체의 위치에 관해서 사양의 범위를 만족시키는 것으로서 판정한다. 영역(1301)에 관해서는, 표의 위치의 사양을 만족시켜서, 단계S1502로 진행된다. 그 후는, 실시예1과 같은 처리가 행해지고, 1행 1열째 셀의 좌변 및 상변의 벡터화 플래그가 참으로 설정되고, 1행 2열째 셀의 우변 및 상변의 벡터화 플래그가 참으로 설정되며, 3행 1열째 셀의 좌변, 하변 및 우변의 벡터화 플래그가 참으로 설정된다.

표 영역 1302에 관해서는, 표의 위치가 표 영역 1301의 셀의 내부에 있기 때문에, 단계S1512로 진행된다. 단계S1512에서는, 표 구조가 갖는 모든 변에 대하여 벡터화 플래그를 참으로 설정하고, 내부의 문자열도 도형 오브젝트내의 텍스트로서 표현한다.

표 괘선 판정부(214)의 판정 결과를 바탕으로, 표 괘선 생성부(215)는 표 괘선을 생성한다. 상기 영역(1301)에 관해서는, 1행 1열째 셀의 좌상변이 벡터 괘선 오브젝트로 변환되고, 1행 2열째 셀의 우상변이 벡터 괘선 오브젝트로 변환되며, 3행 1열째 셀의 우하변 및 좌하변이 벡터 괘선 오브젝트로 변환된다. 표 영역(1302)에 관해서는, 모든 변이 벡터 괘선 오브젝트로 변환된다.

워크북 도큐먼트 변환부(216)는, 문자인식부(213)와 표 괘선 생성부(215)의 결과를 바탕으로, 문자인식 데이터와, 벡터 괘선 오브젝트와, 셀의 가장자리 괘선정보를, 워크북 도큐먼트로 변환하는 처리를 행한다.

도 16은 화상(1300)을 변환한 워크북 도큐먼트를 표시/편집 프로그램(121)으로 연 예다. 도 16에 나타나 있는 바와 같이, 종래의 사양으로는 표현불가능한 영역(1302)을 재현하는 것이 가능하다.

본 실시예에 의하면, 표의 구조자체가 복잡하여도, 워크북을 인쇄 혹은 디스플레이에 표시하는 것, 또는 워크북의 표를 편집하는 것 중 어느 한쪽, 또는 그 양쪽의 목적에 알맞은 포맷으로 워크북을 제공하는 것이 가능하다.

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims (10)

1. 입력된 화상으로부터, 소정의 스프레드시트의 포맷을 갖는 전자문서를 생성하는 화상처리장치로서,
   상기 화상을 해석하고, 표 영역을 식별하는 영역 식별부;
   상기 식별된 표 영역의 표 구조 및 괘선을 해석하고, 표의 셀의 정보를 포함하는 표 구조정보를 생성하는 표 구조 해석부;
   상기 생성된 표 구조정보에 포함되는 상기 셀의 변(side)을, 상기 스프레드시트의 포맷에 의해 상기 스프레드시트의 셀의 괘선으로서 표현가능한 것인가 아닌가를 판단하는 판단부;
   상기 괘선으로서 표현가능하다고 판단된 상기 변으로부터, 상기 스프레드시트의 포맷에 따라서 표현되는 괘선정보를 생성하는 부;
   상기 괘선으로서 표현불가능하다고 판단된 상기 변에 대하여 벡터 변환 처리를 행하여서, 벡터 괘선 오브젝트를 생성하는 부; 및
   상기 생성된 표 구조정보, 상기 생성된 괘선정보, 및 상기 생성된 벡터 괘선 오브젝트에 의거하여, 상기 판단부에서 상기 괘선으로서 표현가능하다고 판단된 상기 변에 대해서는 상기 괘선 정보를 사용하고, 또 상기 판단부에서 상기 괘선으로서 표현 불가능하다고 판단된 변에 대해서는 상기 벡터 괘선 오브젝트를 상기 스프레드시트의 포맷을 갖는 전자문서에서의 상기 표 구조정보에 대응하는 셀 상에 배치하는 것에 의해, 상기 스프레드시트의 포맷을 갖는 전자문서를 생성하는 전자문서 생성부를 구비한, 화상처리장치.
   
2. 제 1 항에 있어서,
   상기 판단부는, 상기 변과 그 이웃변이 접하는 모퉁이의 곡률에 의거하여, 상기 생성된 표 구조정보에 포함된 상기 셀의 변을, 상기 스프레드시트의 포맷에 따라서 상기 표의 괘선으로서 표현가능한 것인가 아닌가를 판단하는, 화상처리장치.
   
3. 제 1 항에 있어서,
   상기 판단부는, 상기 변의 선색(line color)에 의거하여, 상기 생성된 표 구조정보에 포함된 상기 셀의 변을, 상기 스프레드시트의 포맷에 따라서 상기 표의 괘선으로서 표현가능한 것인가 아닌가를 판단하는, 화상처리장치.
   
4. 제 1 항에 있어서,
   상기 판단부는, 상기 변의 선종(line type)에 의거하여, 상기 생성된 표 구조정보에 포함된 상기 셀의 변을, 상기 스프레드시트의 포맷에 따라서 상기 표의 괘선으로서 표현가능한 것인가 아닌가를 판단하는, 화상처리장치.
5. 제 1 항에 있어서,
   상기 판단부는, 상기 생성된 표 구조정보에 포함된 상기 표의 위치에 의거하여, 상기 생성된 표 구조정보에 포함된 상기 셀의 변을, 상기 스프레드시트의 포맷에 따라서 상기 표의 괘선으로서 표현가능한 것인가 아닌가를 판단하는, 화상처리장치.
   
6. 삭제
7. 제 1 항에 있어서,
   문자인식부를 더 구비하고,
   상기 영역식별부는 문자영역을 식별하고,
   상기 문자인식부는, 상기 식별된 문자영역으로부터 문자를 인식하고,
   상기 전자문서 생성부는, 상기 생성된 표 구조정보, 상기 생성된 괘선정보, 상기 생성된 벡터 괘선 오브젝트 및 상기 인식된 문자로부터, 상기 전자문서를 생성하는, 화상처리장치.
   
   
8. 삭제
9. 입력된 화상으로부터, 소정의 스프레드시트의 포맷을 갖는 전자문서를 생성하는 화상처리방법으로서,
   상기 화상을 해석하고, 표 영역을 식별하는 영역식별 단계;
   상기 식별된 표 영역의 표 구조 및 괘선을 해석하고, 표의 셀의 정보를 포함하는 표 구조정보를 생성하는 표 구조 해석 단계;
   상기 생성된 표 구조정보에 포함된 상기 셀의 변을, 상기 스프레드시트의 포맷에 의해 상기 스프레드시트의 셀의 괘선으로서 표현가능한 것인가 아닌가를 판단하는 판단 단계;
   상기 괘선으로서 표현가능하다고 판단된 상기 변으로부터, 상기 스프레드시트의 포맷에 따라서 표현되는 괘선정보를 생성하는 단계;
   상기 괘선으로서 표현불가능하다고 판단된 상기 변에 대하여 벡터 변환 처리를 행하고, 벡터 괘선 오브젝트를 생성하는 단계; 및
   상기 생성된 표 구조정보, 상기 생성된 괘선정보 및 상기 생성된 벡터 괘선 오브젝트에 의거하여, 상기 판단 단계에서 상기 괘선으로서 표현가능하다고 판단된 상기 변에 대해서는 상기 괘선 정보를 사용하고, 또 상기 판단 단계에서 상기 괘선으로서 표현 불가능하다고 판단된 변에 대해서는 상기 벡터 괘선 오브젝트를 상기 스프레드시트의 포맷을 갖는 전자문서에서의 상기 표 구조정보에 대응하는 셀 상에 배치하는 것에 의해, 상기 스프레드시트의 포맷을 갖는 전자문서를 생성하는 전자문서 생성단계를 포함하는, 화상처리방법.
   
10. 입력된 화상으로부터, 소정의 스프레드시트의 포맷을 갖는 전자문서를 생성하는 방법을 실행하기 위한 컴퓨터 실행 가능한 명령어들을 갖는 컴퓨터 판독 가능한 기록매체로서, 상기 방법은,
    상기 화상을 해석하고, 표 영역을 식별하는 영역식별 단계;
    상기 식별된 표 영역의 표 구조 및 괘선을 해석하고, 표의 셀의 정보를 포함하는 표 구조정보를 생성하는 표 구조 해석 단계;
    상기 생성된 표 구조정보에 포함된 상기 셀의 변을, 상기 스프레드시트의 포맷에 의해 상기 스프레드시트의 셀의 괘선으로서 표현가능한 것인가 아닌가를 판단하는 판단 단계;
    상기 괘선으로서 표현가능하다고 판단된 상기 변으로부터, 상기 스프레드시트의 포맷에 따라서 표현되는 괘선정보를 생성하는 단계;
    상기 괘선으로서 표현불가능하다고 판단된 상기 변에 대하여 벡터 변환 처리를 행하고, 벡터 괘선 오브젝트를 생성하는 단계; 및
    상기 생성된 표 구조정보, 상기 생성된 괘선정보 및 상기 생성된 벡터 괘선 오브젝트에 의거하여, 상기 판단 단계에서 상기 괘선으로서 표현가능하다고 판단된 상기 변에 대해서는 상기 괘선 정보를 사용하고, 또 상기 판단 단계에서 상기 괘선으로서 표현 불가능하다고 판단된 변에 대해서는 상기 벡터 괘선 오브젝트를 상기 스프레드시트의 포맷을 갖는 전자문서에서의 상기 표 구조정보에 대응하는 셀 상에 배치하는 것에 의해, 상기 스프레드시트의 포맷을 갖는 전자문서를 생성하는 전자문서 생성단계를 포함하는, 컴퓨터 판독 가능한 기록매체.

Images