KR101959831B1 - 이미지 인식 처리 장치 및 방법 - Google Patents

이미지 인식 처리 장치 및 방법 Download PDF

Info

Publication number
KR101959831B1
KR101959831B1 KR1020170124548A KR20170124548A KR101959831B1 KR 101959831 B1 KR101959831 B1 KR 101959831B1 KR 1020170124548 A KR1020170124548 A KR 1020170124548A KR 20170124548 A KR20170124548 A KR 20170124548A KR 101959831 B1 KR101959831 B1 KR 101959831B1
Authority
KR
South Korea
Prior art keywords
image
picture
field
data
unit
Prior art date
Application number
KR1020170124548A
Other languages
English (en)
Inventor
구형일
김소연
장영인
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020170124548A priority Critical patent/KR101959831B1/ko
Application granted granted Critical
Publication of KR101959831B1 publication Critical patent/KR101959831B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/344—
    • G06K9/46—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Character Discrimination (AREA)

Abstract

이미지 인식 처리 장치 및 방법을 개시한다. 본 발명의 일 실시예에 따른 이미지 인식 처리 장치는, 전산화 대상의 이미지에서 텍스트 라인을 분리하고, OCR(Optical Character Reader)을 적용하여 문자를 인식하는 문자 인식부, 상기 인식된 문자들에서 적어도 하나의 필드를 추출하는 필드 추출부, 각 필드명의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드명에 대응하는 값으로 매칭하는 매칭부를 포함한다.

Description

이미지 인식 처리 장치 및 방법{Apparatus and method for image recognition processing}
본 발명은 이미지 인식 처리 장치 및 방법에 관한 것으로, 특히 템플릿(template)이 정해지지 않은 문서의 이미지를 인식하여 전산화하는 이미지 인식 처리 장치 및 방법에 관한 것이다.
과거의 병원에서는 환자의 인적사항, 병력, 건강상태 등 모든 정보를 종이차트에 기록하여 관리하였다. 그러나 데이터를 전산화하여 저장하는 EMR(electronic medical record)이 도입된 이후, 대부분의 병·의원에서는 종이차트를 사용하지 않고 있다.
한편, 과거 병·의원에서 사용한 종이 의무기록지, 종이 처방전과 X-ray 필름들은 병원의 기록물로 보관중이나, 이러한 아날로그 기록물들은 보관하기 힘든 점이 있다. 종이문서는 재질에 따라 몇십년이 지나면 기록된 텍스트의 형태를 알아보기 힘들어지기도 하고, 습도에 취약하여 곰팡이가 생길 수도 있으며, 보관 상태나 건물의 노후 정도에 따라 벌레나 쥐에 의한 손상이 발생하기도 한다. 또한, 아날로그 기록물들은 화재와 같은 비상상황 시 영구 손실이 발생하는 취약성이 있다.
종이문서의 특성에 기인한 이러한 문제들로 인해 이미 외국에서는 도서관 등의 소장자료를 전자화하는 작업을 진행중이며, 특히 네덜란드는 1470년 이후 출간된 모든 국내도서와 신문, 정기간행물을 전자화하는 작업을 진행중이다. 이처럼 아날로그 데이터를 디지털 데이터로 변환하는 것은 최근 과학기술 발달에 따른 세계적인 추세이다.
그런데, 신문 등의 기록매체에 쓰이는 문서인식시스템을 바로 종이 의무기록지, 처방전과 X-ray 필름 등의 아날로그 의료데이터에 적용하는 것에는 무리가 따른다. 의료기록은 단순히 신문이나 책처럼 바로 스캔해서 저장하기엔 그 데이터의 특성에 차이가 있다. 즉, 의료기록은 신문 등에 나타난 활자가 문장형인 것과 달리 환자의 나이/성별/전화번호/과거병력 및 알러지 유무 등이 표기되어 필드와 값으로 나뉘어 있다.
필드와 값으로 나뉜 형태의 문서를 인식하는 시스템은 기존에도 존재하나, 의료기록의 내용은 대부분 수기로 쓰여 있다. 더군다나 의료기록은 다른 기록매체들과 달리 의료계에서만 사용하는 약어로 쓰여 있고, 필기체가 많아 기존의 문서인식시스템을 바로 적용하기 어렵다. 또한, 기존의 문서인식시스템은 관공서나 회사 내부에서 쓰이는 것을 목적으로 하여 포맷이 정해져 있으나, 전국의 병·의료원은 서로 다른 레이아웃을 가진 템플릿을 사용하며, 하나의 병원 내에서도 정형외과, 산부인과 등 분과마다 사용하는 템플릿이 달라 의료데이터만을 대상으로 문서를 전산화하는 시스템이 필요하다.
전술한 바와 같이, 과거부터 누적된 아날로그형태의 막대한 의료기록들은 공간적 제약 및 소실의 위험이 있고, 특정 문서를 찾기 위해 오랜 시간이 걸리는 등 많은 불편함이 있으므로, 전산화할 필요성이 커지고 있다.
그러나, 종래 전산화를 위한 시스템들은 단순히 OCR(광학문자인식, optical character recognition) 등의 문자인식기술을 이용하여 활자를 디지털화하는 데 그치거나, 템플릿이 정해진 차트문서를 미리 등록해야 하는 제약이 있어 병·의원 및 분과별로 그 형태 및 템플릿이 다양한 의료현장의 의료데이터에 적용하기에는 한계가 있다. 뿐만 아니라 의료분야에서만 쓰이는 용어 및 약어가 있어 의료데이터만을 전산화하기 위한 시스템이 필요한 상황이다.
이에 관련하여, 발명의 명칭이 "이미지 처리 시스템 및 그 방법"인 한국등록특허 제10-0710568호가 존재한다.
본 발명의 목적은 템플릿을 미리 등록하지 않아도 다양한 템플릿의 문서를 인식하여 처리할 수 있는 이미지 인식 처리 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 종이의무기록부, 종이처방전 등의 문서와 X-Ray 필름 등의 의료기록들에 기록된 문자 및 그림을 인식하고, 사용자로 하여금 과거의 의료기록을 조회할 수 있도록 하는 이미지 인식 처리 장치 및 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이미지 인식 처리 장치는, 전산화 대상의 이미지에서 텍스트 라인을 분리하고, OCR(Optical Character Reader)을 적용하여 문자를 인식하는 문자 인식부, 상기 인식된 문자들에서 적어도 하나의 필드를 추출하는 필드 추출부, 각 필드의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드에 대응하는 값으로 매칭하는 매칭부를 포함한다.
바람직하게는, 상기 필드 추출부는 상기 인식된 문자들의 좌표 또는 글자체 정보에 근거하여 필드를 추출할 수 있다.
바람직하게는, 상기 필드 추출부는 체크박스 또는 기 설정된 특정 표시를 더 추출할 수 있다.
바람직하게는, 상기 매칭부는 필드와 값을 [고유식별정보;필드;값]의 구조체 형태로 정렬하고, 각 이미지에 대해 고유식별정보를 기준으로 상기 정렬된 데이터를 그룹핑(grouping)하여 색인하는 색인부를 더 포함할 수 있다.
바람직하게는, 상기 색인부는 상기 이미지에서 서식 라인을 인식하고, 상기 인식된 서식 라인에서 교차점 좌표를 추출하며, 상기 추출된 교차점 좌표에 근거하여 상기 이미지를 색인할 수 있다.
바람직하게는, 상기 이미지 인식 처리 장치는 상기 이미지에 그림 데이터가 포함된 경우, 상기 이미지에서 문자를 인식하여 제거하고, 상기 문자가 제거된 그림을 보정하며, 상기 보정된 그림에서 특징점을 추출하고, 상기 추출된 특징점과 상기 보정된 그림 데이터를 매칭하여 색인하는 그림 인식 처리부를 더 포함할 수 있다.
바람직하게는, 상기 이미지 인식 처리 장치는 고유식별정보 또는 그림의 특징점 정보를 기준으로 색인된 문자 데이터 또는 그림 데이터가 저장된 데이터베이스, 키워드가 검색정보로 입력된 경우 상기 데이터베이스로부터 상기 키워드를 포함하는 고유식별정보를 추출하고, 상기 추출된 고유식별정보에 해당하는 문자 데이터 또는 그림 데이터를 검색하며, 그림이 검색정보로 입력된 경우 상기 그림에서 특징점을 추출하고, 상기 데이터베이스로부터 상기 추출된 특징점과 유사도가 가장 높은 그림 데이터를 검색하는 검색부를 더 포함할 수 있다.
바람직하게는, 상기 데이터베이스는 서식 라인의 교차점 정보를 기준으로 색인된 문자 데이터 또는 그림 데이터를 더 저장하고, 상기 검색부는 특정 포맷의 문서 검색이 요청된 경우, 상기 데이터베이스로부터 상기 특정 포맷의 교차점 정보에 대응되는 문자 데이터 또는 그림 데이터를 검색할 수 있다.
바람직하게는, 상기 이미지 인식 처리 장치는 필드에 대한 정보가 저장된 필드 사전, 사용자로부터 필드를 입력받아 등록 또는 상기 필드 추출부에서 추출된 필드를 자동으로 등록하는 필드 등록부를 더 포함하고, 상기 필드 추출부는 상기 인식된 문자들에서 상기 필드 사전에 근거하여 필드를 추출할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 인식 처리 방법은, 이미지 인식 처리 장치가 문서를 인식하여 처리하는 방법에 있어서, 전산화 대상의 이미지에서 텍스트 라인을 분리하고, OCR(Optical Character Reader)을 적용하여 문자를 인식하는 단계, 상기 인식된 문자들의 좌표 및 글자체 정보에 근거하여 필드를 추출하는 단계, 각 필드의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드에 대응하는 값으로 매칭하는 단계를 포함한다.
본 발명에 따르면, 종이의무기록부, 종이처방전, X-Ray 필름 등의 의료기록들을 필드와 값으로 분리하여 저장함으로써, 템플릿을 미리 등록하지 않아도 다양한 템플릿의 문서를 인식하여 처리할 수 있다.
또한, 본 발명에 따르면, 다양한 템플릿 환경에서의 문서 인식이 가능하여 병의원에서 보관중인 의료기록들에 대해 사전분류작업이나 절차 없이 문서의 인식 및 분류를 수행할 수 있고, 이는 문서의 영구 보관을 가능하게 하며, 사용자로 하여금 과거 의료기록 조회를 용이하게 하는 효과가 있다.
또한, 본 발명에 따르면, 전산화한 데이터들이 대량으로 수집 및 관리되는 경우, 환자들의 정보를 바탕으로 한 데이터 분석에 기초적인 단계로써 쓰일 수 있고 나아가 빅데이터를 활용한 기술의 기초역할을 할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 전산화 대상의 인식 처리 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 이미지 인식 처리 장치를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 필드 사전을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 필드와 값을 매칭하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 교차점을 이용하여 문서를 분류하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 문서 이미지를 인식하여 처리하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 문서 이미지에서 문자를 인식하여 저장하는 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 필름 이미지를 인식하여 처리하는 방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 전산화 대상의 인식 처리 시스템을 나타낸 도면이다.
도 1을 참조하면, 전산화 대상의 인식 처리 시스템은 이미지 입력 장치(100), 이미지 인식 처리 장치(200)를 포함한다.
이미지 입력 장치(100)는 전산화 대상에 해당하는 이미지를 이미지 인식 처리 장치(200)에 제공하는 장치로, 예컨대, 문서 스캐너, 필름 전용 스캐너, 카메라, 팩스 등 전산화 대상을 컴퓨터 판독 가능한 이미지로 변환하는데 적합한 임의의 다른 장치를 포함할 수 있다. 여기서, 전산화 대상은 종이의무기록부, 종이처방전 등의 문서와 X-Ray 필름 등을 포함하나, 이에 제한을 두지 않는다.
이미지 인식 처리 장치(200)는 이미지 입력 장치(100)로부터 입력받은 이미지를 분석하여 문자 또는 그림을 인식하고, 인식된 문자 또는 그림을 색인하여 저장한다. 즉, 이미지 인식 처리 장치(200)는 종이의무기록부, 종이처방전 등의 문서 이미지, X-Ray 필름 이미지 등에 대해 문자인식을 수행하되, 템플릿을 미리 입력하지 않아도 문서에 담긴 정보를 전자화하여 저장한다. 이를 통해 이미지 인식 처리 장치(200)는 종이의무기록부, 종이처방전, X-Ray 필름 등의 의료기록들을 영구 저장할 수 있고, 사용자로 하여금 과거의 의료기록의 검색을 가능하게 한다.
한편, 이미지 인식 처리 장치(200)는 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 팜톱 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같은 디지털 기기에 포함되거나 연결될 수 있을 것이다.
이러한 이미지 인식 처리 장치(200)에 대한 상세한 설명은 도 2를 참조하기로 한다.
여기에서는 이미지 인식 처리 장치(200)가 이미지 입력 장치(100)로부터 전산화 대상에 해당하는 이미지를 입력받는 것으로 설명하였으나, 이미지 인식 처리 장치(200)는 통신망을 통해 다른 외부 장치로부터 전산화 대상에 해당하는 이미지를 수신할 수도 있다.
본 발명의 일 실시예에 따르면, 이미지 인식 처리 시스템은 이미지 인식 처리 장치(200)에 저장된 문서를 검색하는 사용자 단말(300)을 더 포함할 수 있다.
사용자 단말(300)은 키워드, 그림, 문서 포맷 등을 검색정보로 입력받으면, 검색정보를 포함하는 검색 요청 신호를 이미지 인식 처리 장치(200)로 전송하고, 이미지 인식 처리 장치(200)로부터 검색정보에 대응되는 검색결과를 수신한다. 이때, 이미지 인식 처리 장치(200)는 데이터베이스로부터 검색정보에 해당하는 데이터를 검색하고, 검색결과를 사용자 단말(300)에 제공한다. 예를 들어, 키워드가 검색정보로 입력된 경우, 이미지 인식 처리 장치(200)는 데이터베이스로부터 키워드를 포함하는 문자 데이터 또는 그림 데이터를 검색하여 사용자 단말(300)에 제공할 수 있다. 또한, 그림이 검색정보로 입력된 경우, 이미지 인식 처리 장치(200)는 입력된 그림에서 특징점을 추출하고, 데이터베이스로부터 상기 추출된 특징점과 유사도가 가장 높은 그림 데이터를 검색하여 사용자 단말(300)에 제공할 수 있다. 또한, 특정 문서 포맷이 검색정보로 입력된 경우, 이미지 인식 처리 장치(200)는 데이터베이스로부터 특정 포맷의 교차점 정보에 대응되는 문자 데이터 또는 그림 데이터를 검색하여 사용자 단말(300)에 제공할 수 있다.
도 2는 본 발명의 일 실시예에 따른 이미지 인식 처리 장치를 나타낸 블록도, 도 3은 본 발명의 일 실시예에 따른 필드 사전을 설명하기 위한 예시도, 도 4는 본 발명의 일 실시예에 따른 필드와 값을 매칭하는 방법을 설명하기 위한 예시도, 도 5는 본 발명의 일 실시예에 따른 교차점을 이용하여 문서를 분류하는 방법을 설명하기 위한 예시도이다.
도 2를 참조하면, 이미지 인식 처리 장치(200)는 입력부(210), 전처리부(220), 영역 추출부(230), 문자 인식부(240), 필드 추출부(250), 매칭부(260), 색인부(270), 그림 인식 처리부(280)를 포함한다.
입력부(210)는 전산화 대상에 해당하는 이미지를 수신 또는 획득한다. 여기서, 전산화 대상은 종이의무기록부, 종이처방전 등의 문서, X-Ray 필름 등 문자/그림 인식을 통해 전산화 및 분류를 요구하는 각종 대상을 포함할 수 있다. 따라서, 전산화 대상에 해당하는 이미지는 종이의무기록부, 종이처방전 등의 문서가 이미지로 변환된 문서 이미지, X-Ray 필름 등이 이미지로 변환된 필름 이미지를 포함할 수 있다.
전처리부(220)는 입력부(210)로부터 입력받은 이미지에 대해 OCR 인식률을 높이기 위해 이미지 프로세싱(image processing)에 의한 전처리를 수행한다.
즉, 전처리부(220)는 문서 여백의 스테이플과 접힌 자국, 도트 노이즈(dot noise: salt and pepper noise)를 포함한 문서 전반의 노이즈를 제거한다. 또한, 전처리부(220)는 이미지에 허프변환(hough transform)을 적용하여 라인(line)을 검출하고, 검출된 라인으로 이미지의 기울어짐 정도와 skew 정도를 파악하여 보정한다.
영역 추출부(230)는 전처리된 이미지의 구조를 분석하여 텍스트 영역을 추출한다. 여기서, 텍스트 영역은 텍스트 문자들을 포함하는 영역을 의미하고, 텍스트 영역 추출부(230)는 MSER(Maximally Stable Extremal Regions), 스트로크 폭 변환(Stroke Width Transform)방법 등을 이용하여 텍스트 영역을 추출할 수 있다.
바람직하게는, 영역 추출부(230)는 MSER을 이용하여 텍스트 영역을 추출할 수 있다. MSER은 이미지에서 영역 간 빛의 강도(intensity)의 임계치(threshold)를 바꾸며 임계치의 변화에 민감하지 않게 검출되는 영역을 추출하는 방법이다.
또한, 영역 추출부(230)는 전처리된 이미지 구조를 분석하여 텍스트 영역과 그림 영역을 추출(또는 구분)할 수 있다. 이때, 영역 추출부(230)는 이진화된 이미지의 영역에 따라 문서의 구조를 분석하여, 텍스트 영역과 그림 영역을 분류할 수 있다. 가령, 이진화된 이미지를 기 저장된 텍스트 표준 패턴과 비교하여 유사도가 높은 영역을 구획화하여 텍스트 영역으로 분류하고, 텍스트 표준 패턴과 유사도가 낮은 영역을 구획화하여 그림 영역으로 분류할 수 있다. 텍스트 표준 패턴은 다양한 글자체의 폰트 정보로서 데이터베이스의 형태로 저장되어 있을 수 있으며, 영역 추출부(230)가 문서의 구조를 분석하여 영역을 분류하는 과정에서 참조될 수 있을 것이다. 이때, 전체 문서에서 텍스트 영역 및 그림 영역이 차지하는 위치에 대한 정보가 저장될 수도 있다.
문자 인식부(240)는 텍스트 영역에서 텍스트 라인을 분리하고, OCR을 적용하여 문자를 인식한다. 이때, 문자 인식부(240)는 이미지에 포함된 곧은 백색 라인, 즉, 텍스트 사이에 포함된 직선 형태의 공백을 기준으로 텍스트 라인을 검출, 텍스트 영역에 대해 행간 주사(Projection)를 통해 텍스트 영역 내에 포함된 라인들을 검출, 가중 이동 평균을 이용하여 텍스트 라인을 검출 등 다양한 방법을 이용하여 텍스트 라인을 분리할 수 있다.
텍스트 라인이 분리되면, 문자 인식부(240)는 OCR을 통해 텍스트 라인 단위로 영문, 한글, 한자, 숫자, 기호 등을 포함하는 문자를 인식할 수 있다. 이때, 문자 인식부(240)는 인식된 문자의 이미지 픽셀에 대한 좌표를 추출할 수 있다.
필드 추출부(250)는 문자 인식부(240)에서 인식된 문자들에서 적어도 하나의 필드를 추출한다. 이때, 필드 추출부(250)는 필드에 대한 정보가 등록된 필드 사전에 근거하여 필드를 추출할 수 있다. 의료기록에는 공통적으로 환자의 성명과 성별, 생년월일, 주소 같은 개인정보뿐 아니라 혈압(B.P), 체온(Temp), 체중(B/W) 등의 기초적인 정보를 표기하는데, 이러한 정보가 필드일 수 있다. 따라서, 필드 사전에는 도 3과 같이 필드에 대한 정보가 등록된다. 또한, 필드 사전에는 각 필드에 대한 동의어, 유의어에 대한 정보도 함께 저장될 수 있다. 예컨대, 'ID'필드는 'No.' 또는 '환자정보'와 동일한 필드로 인식할 수 있다. 또한, '이름'필드는 '성명' 또는 'Name'과 동일한 필드로 인식할 수 있다. 이러한 필드는 항목, 필드명 등으로 칭할 수 있다.
또한, 필드 추출부(250)는 인식된 문자들의 좌표, 글자체 정보, 필드와 값을 구분하기 위해 설정된 특정 기호(예컨대, 세미콜론(;), 콜론(;) 등) 등에 근거하여 필드를 추출할 수 있다. 여기서, 글자체 정보는 인쇄체, 수기(手記) 등의 글자체, 폰트정보(폰트 크기, 폰트 굵기), 문자간격(장평, 간격 등), 효과(그림자, 윤곽선, 오목, 볼록 등) 등을 포함할 수 있다.
예를 들면, 필드 추출부(250)는 인식된 문자들이 인쇄체와 수기를 포함하는 경우, 인쇄체를 필드로 추출할 수 있다. 또한, 필드 추출부(250)는 텍스트 라인 단위로 인식된 문자가 복수개이고, 모두 인쇄체인 경우, 각 문자의 좌표, 폰트크기, 폰트두께, 문자간격 등에 근거하여 필드를 추출할 수 있다. 이처럼 이미지 인식 처리 장치(200)는 글자체 정보를 이용하여 인식된 문자가 필드인지 또는 필드에 대응하는 값인지를 판별함으로써, 수기, 약어, 필기체 등으로 쓰인 의료기록들을 전산화할 수 있다.
또한, 필드 추출부(250)는 체크박스 또는 기 설정된 특정 표시를 필드와 함께 추출할 수 있다. 문자 인식부(240)에서 인식된 문자들은 단순히 필드와 필드에 대응되는 값으로 구성된 것과 달리, '남□ 여□'와 같은 체크박스, 해당하는 사항에 표시(예컨대, 'O', 'Ⅴ' 등)로 필드에 대한 값을 구성할 수도 있다. 이런 경우, 필드 추출부(250)는 필드와 함께 표시된 체크박스, 특정 표시 등을 추출하여, '필드-값'으로 추출할 수 있다. 여기서, '필드-값'은 체크박스 또는 해당 사항에 표시하는 경우를 포함할 수 있다.
매칭부(260)는 필드 추출부(250)에서 추출된 각 필드의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드에 대응하는 값(value)으로 매칭한다. 이때, 매칭부(260)는 필드를 제외한 나머지 문자들을 대상으로 각 필드에 대응하는 값을 선택하여 매칭할 수 있다.
예를 들어, 도 4를 참조하여 필드와 값을 매칭하는 방법에 대해 설명하기로 한다. (a)는 필드가 ID No., 초진일, 환자이름, 성별이고, 값은 필드의 좌측에서 가장 가까운 문자인 이미지를 나타낸다. 이 경우, 매칭부(260)는 'ID No.'의 좌측 방향으로 가장 근거리의 문자 '2330', '초진일'의 좌측 방향으로 가장 근거리의 문자 '2017.03.01', '환자이름'의 좌측 방향으로 가장 근거리의 문자 '호야', '성별'의 좌측 방향으로 가장 근거리의 문자 '여'를 각 필드의 값으로 매칭시킨다. 그러면, 'ID No.-2330', '초진일-2017.03.01', '환자이름-호야', '성별-여'와 같이 필드와 값의 관계가 생성될 수 있다.
(b)는 필드가 ID No., 초진일, 환자이름, 성별이고, 값은 필드의 아래에서 가장 가까운 문자인 이미지를 나타낸다. 이 경우, 매칭부(260)는 'ID No.'의 아래 방향으로 가장 근거리의 문자 '2330', 초진일'의 아래 방향으로 가장 근거리의 문자 '2017.03.01', '환자이름'의 아래 방향으로 가장 근거리의 문자 '호야', '성별'의 아래 방향으로 가장 근거리의 문자 '여'를 각 필드의 값으로 매칭시킬 수 있다. 그러면, 'ID No.-2330', '초진일-2017.03.01', '환자이름-호야', '성별-여'와 같이 필드와 값의 관계가 생성될 수 있다.
한편, 고유식별정보(ID), 환자이름, 성별 등과 같이 값이 변하지 않는 필드가 있는 반면, '나이'와 같이 값이 변하는 필드가 존재할 수 있다. 이런 경우 매칭부(260)는 문서의 기록 시점에 기초하여 필드의 값을 계산하여 매칭시킬 수 있다.
예를 들어, 의료기록의 기록시점이 있는 경우, 매칭부(260)는 생년월일로부터 나이를 계산하여, '나이' 필드의 값을 매칭시킬 수 있다.
매칭부(260)는 필드와 값을 [고유식별정보;필드;값]의 구조체 형태로 정렬한다. 여기서, 고유식별정보는 환자를 구분하기 위해 각 환자에게 부여된 고유한 정보로, ID, 번호 등일 수 있다.
색인부(270)는 각 이미지에 대해 고유식별정보를 기준으로 구조체 형태로 정렬된 데이터를 그룹핑(grouping)하여 색인한다. 즉, 색인부(270)는 구조체 형태로 정렬된 데이터들을 동일한 ID로 그룹핑한다. 그러면, 각 환자별로 의료 기록들이 전산화될 수 있다.
또한, 색인부(270)는 이미지에서 서식 라인(또는 레이아웃)을 인식하고, 인식된 서식 라인에서 교차점 좌표를 추출하며, 추출된 교차점 좌표에 근거하여 이미지를 색인할 수 있다. 즉, 색인부(270)는 문서를 포맷(format)으로 구분하여 분류를 처리할 수 있다.
예를 들어, 도 5를 참조하면, 문서 이미지에서 선분을 검출하고, 선분의 교차점을 그 문서 포맷(format)의 signature로 이용할 수 있다. 따라서, 교차점 정보를 이용하여 같은 포맷의 문서를 검색할 수 있으며, 클러스터링(clustering)을 통해 유사한 문서(비슷한 지점에 교차점을 가지는 문서)끼리 그룹핑할 수 있다. 또한, 대표 포맷에 그림 위치를 명시해준다면 같은 포맷의 문서에 있는 모든 그림을 추출할 수 있고, 특정 포맷의 문서를 검색할 수 있다.
이처럼 문서의 선분 교차점을 문서 포맷의 시그너쳐로 사용함으로써, 병·의원 또는 분과별로 그 형태 및 템플릿이 다양한 의료기록들을 전산화할 수 있다. 또한, 병·의원 또는 분과별로 의료 기록들을 색인할 수 있다.
그림 인식 처리부(280)는 영역 추출부(230)에서 그림 영역이 추출된 경우, 그림 영역의 그림을 인식하여 색인한다. 이때, 그림 인식 처리부(280)는 문서 이미지의 그림인지 또는 필름 이미지의 그림인지에 따라 처리 방식이 상이할 수 있고, 이는 이미지에서 그림 영역이 차지하는 비율에 따라 문서 이미지인지 또는 필름 이미지인지를 판단할 수 있다. 예컨대, 이미지에서 그림 영역이 차지하는 비율이 기 설정된 제1 비율(예컨대, 70%) 이상인 경우 필름 이미지로 판단할 수 있고, 그림 영역이 차지하는 비율이 기 설정된 제2 비율(예컨대, 40%) 이하인 경우 문서 이미지에 포함된 그림이라고 판단할 수 있다.
먼저, 그림 영역이 문서 이미지에 포함된 경우, 그림 인식 처리부(280)는 그림 영역을 분석하여 해당 그림이 삽화와 서명 중 어떤 종류인지 분류하고, 인식된 그림에 대해 세그멘트(segment) 과정을 거쳐 구조화 형태로 정렬한다. 이때, 그림 인식 처리부(280)는 화소 밀도에 근거하여 삽화(illustration), 사진, 서명 등 그림 데이터 종류를 판별할 수 있고, 그림 영역에 대해 행간 주사(Projection)를 통해 그림 영역 내에 포함된 라인들을 분할하는 기능을 수행할 수 있으며, 이를 통해 [고유식별정보 ; 그림데이터 종류 ; 그림데이터]의 구성을 가지는 구조체 형태로 정렬할 수 있다.
다음으로, 필름 이미지인 경우, 그림 인식 처리부(280)는 이미지에서 문자를 인식하여 제거하고, 문자가 제거된 그림을 보정하며, 보정된 그림에서 특징점을 추출하고, 추출된 특징점과 보정된 그림 데이터를 매칭하여 색인한다.
구체적으로, 그림 인식 처리부(280)는 이미지에서 문자를 인식하고, 인페인팅(in-painting)기법을 이용하여 문자 부분을 제거한다. 그런 후, 그림 인식 처리부(280)는 문자가 제거된 그림에 대해 히스토그램 평활화(histogram equalization)를 통해 명암값의 분포를 균일하게 하여 보정을 수행한다. 그런 후, 그림 인식 처리부(280)는 보정된 그림에서 SIFT를 이용하여 특징점을 추출한다. 이때, 특징점은 그림 검색을 위한 데이터를 구성하기 위한 것이다. 따라서, 그림 인식 처리부(280)는 추출된 특징점과 보정된 그림 데이터를 매칭하여 색인한다. 이때, 보정된 그림 데이터와 추출된 특징점은 저장을 위해 [고유식별정보; 그림데이터; 특징점 벡터]의 구성을 가지는 구조체 형태로 정렬될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 이미지 인식 처리 장치(200)는 데이터베이스(290), 검색부(295)를 더 포함할 수 있다.
데이터베이스(290)에는 고유식별정보, 서식라인의 교차점 정보, 그림의 특징점 정보 등을 기준으로 색인된 문자 데이터 또는 그림 데이터가 저장된다. 즉, 데이터베이스(290)는 이미지 인식 처리와 관련된 다양한 결과 데이터를 저장할 수 있다.
검색부(295)는 키워드가 검색정보로 입력된 경우 데이터베이스(290)로부터 상기 키워드를 포함하는 고유식별정보를 추출하고, 상기 추출된 고유식별정보에 해당하는 문자 데이터 또는 그림 데이터를 검색한다. 또한, 검색부(295)는 그림이 검색정보로 입력된 경우 입력된 그림에서 특징점을 추출하고, 데이터베이스(290)로부터 상기 추출된 특징점과 유사도가 가장 높은 그림 데이터를 검색한다. 또한, 검색부(295)는 특정 포맷의 문서 검색이 요청된 경우, 데이터베이스(290)로부터 상기 특정 포맷의 교차점 정보에 대응되는 문자 데이터 또는 그림 데이터를 검색할 수 있다.
전술한 바와 같이, 검색부(295)는 데이터베이스(290)에 저장된 문자 데이터 또는 그림 데이터를 조회할 수 있도록 한다. 이때, 문자 데이터는 데이터 중 값(value)을 쿼리로 사용하여 검색을 할 수 있도록 하고, 그림 데이터는 입력한 그림에 대해 특징점 추출을 수행하며 가장 유사한 특징점 벡터(feature vector)를 가지는 그림을 조회할 수 있도록 한다.
본 발명의 일 실시예에 따르면, 이미지 인식 처리 장치(200)는 필드를 필드 사전에 등록하는 필드 등록부(미도시)를 더 포함할 수 있다. 필드 등록부는 사용자로부터 필드를 입력받아 등록 또는 필드 추출부(250)에서 추출된 필드를 자동으로 등록할 수 있다. 이때, 필드 등록부는 등록 요청된 필드의 필드 사전에 존재 여부를 판단하여, 중복 등록을 방지할 수 있다. 이처럼 필드 사전에 등록되지 않은 필드를 자동으로 등록함으로써, 템플릿(template)이 정해지지 않은 다양한 문서를 인식하여 분류할 수 있다.
또한, 본 발명에 따른 이미지 인식 처리 장치(200)는 이미지 인식 처리를 위한 프로그램 또는 애플리케이션이 저장된 저장부(미도시)를 더 포함할 수 있다. 또한, 저장부는 이미지 인식 및 처리와 관련된 다양한 알고리즘들(예컨대, OCR 알고리즘, 필드 추출 알고리즘, 전처리 알고리즘 등)을 저장할 수 있다. 이러한 경우, 제어부는 저장부를 호출하여 필요한 알고리즘을 획득할 수 있다.
또한, 이미지 인식 처리 장치(200)는 이미지 인식 처리 장치(200)의 다양한 구성부들의 동작을 제어하는 제어부(미도시)를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 입력부(210), 전처리부(220), 영역 추출부(230), 문자 인식부(240), 필드 추출부(250), 매칭부(260), 색인부(270), 그림 인식 처리부(280), 검색부(295)는 그 중 적어도 일부가 외부 단말 장치나 외부 서버 등과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈로서 이미지 인식 처리 장치(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 이미지 인식 처리 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 전술한 특정 동작을 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
상기와 같이 구성된 이미지 인식 처리 장치(200)는 종이의무기록부, 종이처방전 등의 문서와 X-Ray 필름 등의 의료기록들을 필드와 값으로 분리하여 저장함으로써, 템플릿을 미리 등록하지 않아도 다양한 템플릿의 문서를 인식하여 처리할 수 있다.
이하에서는 이미지 인식 처리 장치(200)가 문서 이미지와 X-Ray 필름과 같은 필름 이미지를 인식하여 처리하는 방법으로 나누어 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 문서 이미지를 인식하여 처리하는 방법을 나타낸 흐름도, 도 7은 본 발명의 일 실시예에 따른 문서 이미지에서 문자를 인식하여 저장하는 방법을 설명하기 위한 예시도이다.
도 6을 참조하면, 이미지 인식 처리 장치는 문서 이미지가 입력되면(S600), 문서 이미지에 대해 OCR 인식률을 높이기 위해 이미지 프로세싱(image processing)에 의한 전처리를 수행한다(S610). 여기서, 전처리는 문서 여백의 스테이플과 접힌 자국, 도트 노이즈(dot noise: salt and pepper noise)를 포함한 문서 전반의 노이즈를 제거하고, 이미지의 기울어짐, skew 등의 보정을 포함할 수 있다.
단계 S610의 수행 후, 이미지 인식 처리 장치는 이미지의 구조를 분석하여 텍스트 영역을 추출한다(S620). 이때, 이미지 인식 처리 장치는 이미지 구조를 분석하여 텍스트 영역과 그림 영역으로 구분할 수 있다.
이미지 인식 처리 장치는 텍스트 영역에서 텍스트 라인을 분리하고(S630), OCR을 적용하여 문자를 인식한다(S640). 여기서, 이미지 인식 처리 장치는 텍스트 라인 단위로 영문, 한글, 한자, 숫자, 기호 등을 포함하는 문자를 인식하고, 인식된 문자의 이미지 픽셀에 대한 좌표를 추출할 수 있다.
이미지 인식 처리 장치는 인식된 문자들에서 필드, 체크박스(또는 특정 표시)를 추출한다(S650). 이때, 이미지 인식 처리 장치는 필드 사전에 근거하여 필드를 구분할 수 있다. 또한, 이미지 인식 장치는 인식된 문자들의 좌표, 글자체 정보, 필드와 값을 구분하기 위해 설정된 기호(예컨대, 세미콜론(;), 콜론(;) 등) 등에 근거하여 필드를 구분할 수도 있다. 그러면, '필드', '값에 해당하는 문자', '필드-값'으로 문자들이 구분될 수 있다. '필드-값'은 체크박스 또는 해당 사항에 표시하는 경우를 포함할 수 있다.
단계 S650이 수행되면, 이미지 인식 처리 장치는 각 필드의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드에 대응하는 값으로 매칭한다(S660). 이때, 이미지 인식 처리 장치는 필드와 값을 [고유식별정보;필드;값]의 구조체 형태로 정렬한다.
문서 이미지에 포함된 문자 데이터가 필드와 값이 구조체 형태로 정렬되면, 이미지 인식 처리 장치는 고유식별정보를 기준으로 구조체 형태로 정렬된 데이터를 그룹핑(grouping)하여 색인한다(S670).
한편, 단계 S620에서 추출한 결과 그림 영역이 존재하면, 이미지 인식 처리 장치는 그림 영역을 분석하여 해당 그림이 삽화와 서명 중 어떤 종류인지 분류하고(S680), 인식된 그림에 대해 세그멘트(segment) 과정을 거쳐 구조화 형태로 정렬한다(S690). 이때, 이미지 인식 처리 장치는 그림 영역에 대해 행간 주사(Projection)를 통해 그림 영역 내에 포함된 라인들을 분할하는 기능을 수행할 수 있고, 이를 통해 [고유식별정보 ; 그림데이터 종류 ; 그림데이터]의 구성을 가지는 구조체 형태로 정렬할 수 있다.
단계 S690이 수행되면, 이미지 인식 처리 장치는 단계 S670을 수행한다.
문서 이미지에서 문자를 인식하여 저장하는 방법에 대해 도 7과 같은 진료기록 차트를 참조하여 설명하기로 한다. (a)와 같은 진료기록차트에서, 이미지 인식 처리 장치는 A 텍스트 영역에서 ID No., 주소, 환자이름, 성별을 필드로 인식하고, 필드에 대응하는 값(2330, 수원시 매탄동, 호야, female)을 인식한다. 그러면, 이미지 인식 처리 장치는 인식된 문자 데이터를 (b)와 같은 구조체 형태로 정렬시켜 저장할 수 있다.
또한, 이미지 인식 처리 장치는 (a)에서 B 그림 영역을 인식하고, [2330 ; 삽화; 그림 데이터]와 같은 구조체 형태로 저장할 수 있다.
도 8은 본 발명의 일 실시예에 따른 필름 이미지를 인식하여 처리하는 방법을 나타낸 흐름도이다.
도 8을 참조하면, 이미지 인식 처리 장치는 필름 이미지가 입력되면(S800), 필름 이미지에 대해 OCR 인식률을 높이기 위해 이미지 프로세싱(image processing)에 의한 전처리를 수행한다(S810).
단계 S810의 수행 후, 이미지 인식 처리 장치는 이미지의 구조를 분석하여 텍스트 영역과 그림 영역을 구분한다(S820).
이미지 인식 처리 장치가 텍스트 영역에서 문자를 인식하고 색인하는 단계 S807부터 단계 S815는 도 6에 도시된 S630부터 단계 S670과 동일하므로, 그 설명은 생략하기로 한다.
전술한 바와 같이 문자 인식 및 처리가 완료되면, 이미지 인식 처리 장치는 입력받은 이미지에서 인식된 문자들을 제거하고(S817), 문자가 제거된 그림을 보정한다(S819). 이때, 이미지 인식 처리 장치는 인페인팅(in-painting)기법을 이용하여 문자 부분을 제거할 수 있다. 또한, 이미지 인식 처리 장치는 문자가 제거된 그림에 대해 히스토그램 평활화(histogram equalization)를 통해 명암값의 분포를 균일하게 하여 그림 보정을 수행할 수 있다.
단계 S819가 수행되면, 이미지 인식 처리 장치는 보정된 그림에서 SIFT를 이용하여 특징점을 추출하고(S821), 추출된 특징점과 보정된 그림 데이터를 구조체 형태로 정렬한다(S823). 이때, 이미지 인식 처리 장치는 보정된 그림 데이터와 추출된 특징점은 저장을 위해 [고유식별정보; 그림데이터; 특징점 벡터]의 구성을 가지는 구조체 형태로 정렬하고, 고유식별정보를 기준으로 구조체 형태로 정렬된 데이터를 그룹핑(grouping)하여 색인한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 이미지 입력 장치
200 : 이미지 인식 처리 장치
210 : 입력부
220 : 전처리부
230 : 영역 추출부
240 : 문자 인식부
250 : 필드 추출부
260 : 매칭부
270 : 색인부
280 : 그림 인식 처리부
290 : 데이터베이스
295 : 검색부
300 : 사용자 단말

Claims (10)

  1. 전산화 대상의 이미지에서 텍스트 라인을 분리하고, OCR(Optical Character Reader)을 적용하여 문자를 인식하는 문자 인식부;
    상기 인식된 문자들에서 적어도 하나의 필드를 추출하는 필드 추출부;
    각 필드의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드에 대응하는 값으로 매칭하는 매칭부; 및
    상기 이미지에 그림 영역이 포함된 경우, 상기 그림 영역의 그림 데이터가 문서 이미지의 그림 또는 필름 이미지의 그림인지를 판단하고, 그 판단결과 문서 이미지의 그림인 경우 해당 그림 데이터의 종류를 판별하여 해당 그림 데이터와 구조체 형태로 저장하고, 필름 이미지의 그림인 경우 해당 그림 데이터의 특징점을 추출하여 해당 그림 데이터와 구조체 형태로 저장하는 그림 인식 처리부
    를 포함하는 것을 특징으로 하는 이미지 인식 처리 장치.
  2. 제1항에 있어서,
    상기 필드 추출부는,
    상기 인식된 문자들의 좌표 또는 글자체 정보에 근거하여 필드를 추출하는 것을 특징으로 하는 이미지 인식 처리 장치.
  3. 제1항에 있어서,
    상기 필드 추출부는,
    체크박스 또는 기 설정된 특정 표시를 더 추출하는 것을 특징으로 하는 이미지 인식 처리 장치.
  4. 제1항에 있어서,
    상기 매칭부는 필드와 값을 [고유식별정보;필드;값]의 구조체 형태로 정렬하고,
    각 이미지에 대해 고유식별정보를 기준으로 상기 정렬된 데이터를 그룹핑(grouping)하여 색인하는 색인부를 더 포함하는 것을 특징으로 하는 이미지 인식 처리 장치.
  5. 제4항에 있어서,
    상기 색인부는,
    상기 이미지에서 서식 라인을 인식하고, 상기 인식된 서식 라인에서 교차점 좌표를 추출하며, 상기 추출된 교차점 좌표에 근거하여 상기 이미지를 색인하는 것을 특징으로 하는 이미지 인식 처리 장치.
  6. 제1항에 있어서,
    상기 그림 인식 처리부는, 상기 이미지에 그림 데이터가 포함된 경우, 상기 이미지에서 문자를 인식하여 제거하고, 상기 문자가 제거된 그림을 보정하며, 상기 보정된 그림에서 특징점을 추출하고, 상기 추출된 특징점과 상기 보정된 그림 데이터를 매칭하여 색인하는 것을 특징으로 하는 이미지 인식 처리 장치.
  7. 제1항에 있어서,
    고유식별정보 또는 그림의 특징점 정보를 기준으로 색인된 문자 데이터 또는 그림 데이터가 저장된 데이터베이스; 및
    키워드가 검색정보로 입력된 경우 상기 데이터베이스로부터 상기 키워드를 포함하는 고유식별정보를 추출하고, 상기 추출된 고유식별정보에 해당하는 문자 데이터 또는 그림 데이터를 검색하며, 그림이 검색정보로 입력된 경우 상기 그림에서 특징점을 추출하고, 상기 데이터베이스로부터 상기 추출된 특징점과 유사도가 가장 높은 그림 데이터를 검색하는 검색부를 더 포함하는 것을 특징으로 하는 이미지 인식 처리 장치.
  8. 제7항에 있어서,
    상기 데이터베이스는 서식 라인의 교차점 정보를 기준으로 색인된 문자 데이터 또는 그림 데이터를 더 저장하고,
    상기 검색부는 특정 포맷의 문서 검색이 요청된 경우, 상기 데이터베이스로부터 상기 특정 포맷의 교차점 정보에 대응되는 문자 데이터 또는 그림 데이터를 검색하는 것을 특징으로 하는 이미지 인식 처리 장치.
  9. 제1항에 있어서,
    필드에 대한 정보가 저장된 필드 사전; 및
    사용자로부터 필드를 입력받아 등록 또는 상기 필드 추출부에서 추출된 필드를 자동으로 등록하는 필드 등록부를 더 포함하고,
    상기 필드 추출부는 상기 인식된 문자들에서 상기 필드 사전에 근거하여 필드를 추출하는 것을 특징으로 하는 이미지 인식 처리 장치.
  10. 이미지 인식 처리 장치가 문서를 인식하여 처리하는 방법에 있어서,
    전산화 대상의 이미지에서 텍스트 라인을 분리하고, OCR(Optical Character Reader)을 적용하여 문자를 인식하는 단계;
    상기 인식된 문자들의 좌표 및 글자체 정보에 근거하여 필드를 추출하는 단계;
    각 필드의 좌표를 기준으로 일정 방향 및 거리에 위치하는 문자를 해당 필드에 대응하는 값으로 매칭하는 단계를 포함하되,
    상기 이미지에 그림 영역이 포함된 경우, 상기 그림 영역의 그림 데이터가 문서 이미지의 그림 또는 필름 이미지의 그림인지를 판단하고, 그 판단결과 문서 이미지의 그림인 경우 해당 그림 데이터의 종류를 판별하여 해당 그림 데이터와 구조체 형태로 저장하고, 필름 이미지의 그림인 경우 해당 그림 데이터의 특징점을 추출하여 해당 그림 데이터와 구조체 형태로 저장하는 것을 특징으로 하는 이미지 인식 처리 방법.
KR1020170124548A 2017-09-26 2017-09-26 이미지 인식 처리 장치 및 방법 KR101959831B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170124548A KR101959831B1 (ko) 2017-09-26 2017-09-26 이미지 인식 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170124548A KR101959831B1 (ko) 2017-09-26 2017-09-26 이미지 인식 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101959831B1 true KR101959831B1 (ko) 2019-03-19

Family

ID=65908564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170124548A KR101959831B1 (ko) 2017-09-26 2017-09-26 이미지 인식 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101959831B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102152260B1 (ko) 2020-03-04 2020-09-04 주식회사 로민 키-밸류 관계인식장치 및 키-밸류 관계인식방법
CN112348472A (zh) * 2020-11-09 2021-02-09 浙江太美医疗科技股份有限公司 实验室检查表的录入方法、装置和计算机可读介质
CN112686262A (zh) * 2020-12-28 2021-04-20 广州博士信息技术研究院有限公司 一种基于图像识别技术的手册提取结构化数据并快速归档的方法
KR102276184B1 (ko) * 2020-01-13 2021-07-15 와이즈평가정보 주식회사 데이터 추출 장치 및 방법
KR20210098703A (ko) * 2020-02-03 2021-08-11 한국과학기술연구원 이미지 변환 모델을 사용한 x-ray 이미지 판독 지원 방법 및 이를 수행하는 시스템
CN113255499A (zh) * 2021-05-18 2021-08-13 中国能源建设集团安徽省电力设计院有限公司 一种变电站电缆二次回路数字化自动建模方法
CN113378710A (zh) * 2021-06-10 2021-09-10 平安科技（深圳）有限公司 图像文件的版面分析方法、装置、计算机设备和存储介质
KR20210122481A (ko) * 2020-04-01 2021-10-12 오스템임플란트 주식회사 전자 차트 관리 방법, 전자 차트 관리 서버 및 기록 매체
CN113806368A (zh) * 2021-09-16 2021-12-17 上海晏鼠计算机技术股份有限公司 一种将文档识别并自动建立数据库的***及方法
CN114299528A (zh) * 2021-12-27 2022-04-08 万达信息股份有限公司 一种针对扫描文档的信息提取和结构化方法
KR20220085304A (ko) * 2020-12-15 2022-06-22 주식회사 아이포트폴리오 독서 평가를 위한 스토리 데이터 베이스 생성 방법
CN114842483A (zh) * 2022-06-27 2022-08-02 齐鲁工业大学 基于神经网络和模板匹配的标准文件信息提取方法及***
KR20230013846A (ko) * 2021-07-20 2023-01-27 강상훈 문서 작성 보조 장치
WO2023121051A1 (ko) * 2021-12-21 2023-06-29 재단법인 아산사회복지재단 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2024029661A1 (ko) * 2022-08-01 2024-02-08 주식회사 지오비전 의료 검사 판독지의 디지털 정형화 방법
CN117745713A (zh) * 2024-01-24 2024-03-22 广东省建筑工程监理有限公司 基于图像处理的护坡结构变形检测方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173472A (ja) * 1997-08-29 1999-03-16 Oki Electric Ind Co Ltd フォーマット情報登録方法及びｏｃｒシステム
KR20090079226A (ko) * 2006-11-16 2009-07-21 인터내셔널 비지네스 머신즈 코포레이션 하드카피 서식으로부터 서식 정의의 자동 발생
KR101569919B1 (ko) * 2013-10-30 2015-11-17 인하대학교 산학협력단 차량의 위치 추정 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173472A (ja) * 1997-08-29 1999-03-16 Oki Electric Ind Co Ltd フォーマット情報登録方法及びｏｃｒシステム
KR20090079226A (ko) * 2006-11-16 2009-07-21 인터내셔널 비지네스 머신즈 코포레이션 하드카피 서식으로부터 서식 정의의 자동 발생
KR101569919B1 (ko) * 2013-10-30 2015-11-17 인하대학교 산학협력단 차량의 위치 추정 장치 및 방법

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102276184B1 (ko) * 2020-01-13 2021-07-15 와이즈평가정보 주식회사 데이터 추출 장치 및 방법
KR20210098703A (ko) * 2020-02-03 2021-08-11 한국과학기술연구원 이미지 변환 모델을 사용한 x-ray 이미지 판독 지원 방법 및 이를 수행하는 시스템
US11734831B2 (en) 2020-02-03 2023-08-22 Korea Institute Of Science And Technology Method for supporting X-RAY image reading using image transform model and system performing the same
KR102300796B1 (ko) * 2020-02-03 2021-09-13 한국과학기술연구원 이미지 변환 모델을 사용한 x-ray 이미지 판독 지원 방법 및 이를 수행하는 시스템
KR102152260B1 (ko) 2020-03-04 2020-09-04 주식회사 로민 키-밸류 관계인식장치 및 키-밸류 관계인식방법
KR102376649B1 (ko) * 2020-04-01 2022-03-22 오스템임플란트 주식회사 전자 차트 관리 방법, 전자 차트 관리 서버 및 기록 매체
KR20210122481A (ko) * 2020-04-01 2021-10-12 오스템임플란트 주식회사 전자 차트 관리 방법, 전자 차트 관리 서버 및 기록 매체
CN112348472A (zh) * 2020-11-09 2021-02-09 浙江太美医疗科技股份有限公司 实验室检查表的录入方法、装置和计算机可读介质
CN112348472B (zh) * 2020-11-09 2023-10-31 浙江太美医疗科技股份有限公司 实验室检查表的录入方法、装置和计算机可读介质
KR20220085304A (ko) * 2020-12-15 2022-06-22 주식회사 아이포트폴리오 독서 평가를 위한 스토리 데이터 베이스 생성 방법
KR102496958B1 (ko) * 2020-12-15 2023-02-08 주식회사 아이포트폴리오 독서 평가를 위한 스토리 데이터 베이스 생성 방법
CN112686262A (zh) * 2020-12-28 2021-04-20 广州博士信息技术研究院有限公司 一种基于图像识别技术的手册提取结构化数据并快速归档的方法
CN113255499A (zh) * 2021-05-18 2021-08-13 中国能源建设集团安徽省电力设计院有限公司 一种变电站电缆二次回路数字化自动建模方法
CN113378710B (zh) * 2021-06-10 2024-03-08 平安科技（深圳）有限公司 图像文件的版面分析方法、装置、计算机设备和存储介质
CN113378710A (zh) * 2021-06-10 2021-09-10 平安科技（深圳）有限公司 图像文件的版面分析方法、装置、计算机设备和存储介质
KR102509943B1 (ko) 2021-07-20 2023-03-14 강상훈 문서 작성 보조 장치
KR20230013846A (ko) * 2021-07-20 2023-01-27 강상훈 문서 작성 보조 장치
CN113806368A (zh) * 2021-09-16 2021-12-17 上海晏鼠计算机技术股份有限公司 一种将文档识别并自动建立数据库的***及方法
WO2023121051A1 (ko) * 2021-12-21 2023-06-29 재단법인 아산사회복지재단 환자 정보 제공 방법, 환자 정보 제공 장치, 및 컴퓨터 판독 가능한 기록 매체
CN114299528A (zh) * 2021-12-27 2022-04-08 万达信息股份有限公司 一种针对扫描文档的信息提取和结构化方法
CN114299528B (zh) * 2021-12-27 2024-03-22 万达信息股份有限公司 一种针对扫描文档的信息提取和结构化方法
CN114842483A (zh) * 2022-06-27 2022-08-02 齐鲁工业大学 基于神经网络和模板匹配的标准文件信息提取方法及***
CN114842483B (zh) * 2022-06-27 2023-11-28 齐鲁工业大学 基于神经网络和模板匹配的标准文件信息提取方法及***
WO2024029661A1 (ko) * 2022-08-01 2024-02-08 주식회사 지오비전 의료 검사 판독지의 디지털 정형화 방법
CN117745713A (zh) * 2024-01-24 2024-03-22 广东省建筑工程监理有限公司 基于图像处理的护坡结构变形检测方法和***

Similar Documents

Publication Publication Date Title
KR101959831B1 (ko) 이미지 인식 처리 장치 및 방법
Zhang et al. Text extraction from natural scene image: A survey
US8744196B2 (en) Automatic recognition of images
Wang et al. Word spotting in the wild
US8144921B2 (en) Information retrieval using invisible junctions and geometric constraints
Lee et al. Pill-ID: Matching and retrieval of drug pill images
US7050629B2 (en) Methods and systems to index and retrieve pixel data
US6681044B1 (en) Retrieval of cursive Chinese handwritten annotations based on radical model
US20150242684A1 (en) Method and system for linking printed objects with electronic content
Roy et al. Keyword spotting in doctor's handwriting on medical prescriptions
Arafat et al. Urdu signboard detection and recognition using deep learning
Saïdani et al. Pyramid histogram of oriented gradient for machine-printed/handwritten and Arabic/Latin word discrimination
CN110555435B (zh) 一种点读互动实现方法
Kaur et al. Benchmark dataset: offline handwritten gurmukhi city names for postal automation
Zhang et al. Handwritten word image matching based on Heat Kernel Signature
Igorevna et al. Document image analysis and recognition: a survey
CN113642562A (zh) 基于图像识别的数据解读方法、装置、设备及存储介质
US11755659B2 (en) Document search device, document search program, and document search method
Rahul et al. Multilingual text detection and identification from Indian signage boards
KR20180126352A (ko) 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치
Marinai Text retrieval from early printed books
Diem et al. Semi-automated document image clustering and retrieval
Kumar et al. Line based robust script identification for indianlanguages
US11315351B2 (en) Information processing device, information processing method, and information processing program
Marinai A survey of document image retrieval in digital libraries

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant