JP2559356B2 - 文書画像処理方法 - Google Patents
文書画像処理方法Info
- Publication number
- JP2559356B2 JP2559356B2 JP59174924A JP17492484A JP2559356B2 JP 2559356 B2 JP2559356 B2 JP 2559356B2 JP 59174924 A JP59174924 A JP 59174924A JP 17492484 A JP17492484 A JP 17492484A JP 2559356 B2 JP2559356 B2 JP 2559356B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- image processing
- positional relationship
- grammar
- document image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
- G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
- G06V30/1985—Syntactic analysis, e.g. using a grammatical approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の詳細な説明】 〔発明の利用分野〕 本発明は文書画像の処理方式に係り、特に電子的文書
フアイル装置の入力部として好適な文書画像処理方式に
関する。
フアイル装置の入力部として好適な文書画像処理方式に
関する。
従来の電子的文書フアイル装置は単に文書の各ページ
を画像として格納するのみであり、検索のための二次情
報は別に符号入力手段(たとえばキーボード)から外部
から与えてやる必要があつた。しかし、フアイル入力作
業の省力化のためには文書中に記載されている表題や著
者などを自動的に読み取つて二次情報を生成することが
望ましい。さらに検索を高度化するためには図表のキヤ
プシヨンや章・節表題の自動入力あるいは本文自体の認
識による自動キーワード抽出などが必要となる。また対
象文書の画像を表題・著者・要約・本文・図・写真など
の部分に分割すること、さらに文字の部分は認識して符
号化することは、記憶スペースの削減や検索単位の多様
化のためにも要請されていた。
を画像として格納するのみであり、検索のための二次情
報は別に符号入力手段(たとえばキーボード)から外部
から与えてやる必要があつた。しかし、フアイル入力作
業の省力化のためには文書中に記載されている表題や著
者などを自動的に読み取つて二次情報を生成することが
望ましい。さらに検索を高度化するためには図表のキヤ
プシヨンや章・節表題の自動入力あるいは本文自体の認
識による自動キーワード抽出などが必要となる。また対
象文書の画像を表題・著者・要約・本文・図・写真など
の部分に分割すること、さらに文字の部分は認識して符
号化することは、記憶スペースの削減や検索単位の多様
化のためにも要請されていた。
従来からこのような問題点に対処するため文書の内容
を理解し、その理解結果に基づいて文書の処理を行う方
式が研究されており、たとえば野口要治、豊田順一両氏
による「新聞記事の切り抜きを行うシステムに関する基
礎的研究」(情報処理学会第23回全国大会講演論文集6C
−1,昭和56年)に記載してある。しかし、この文書理解
技術は新聞を対象としたものであるため任意の書式の文
書にたいして適用できるかどうかは明らかでない。また
文字の部分は切り出すのみであつて認識と結合する方法
は示されていない。
を理解し、その理解結果に基づいて文書の処理を行う方
式が研究されており、たとえば野口要治、豊田順一両氏
による「新聞記事の切り抜きを行うシステムに関する基
礎的研究」(情報処理学会第23回全国大会講演論文集6C
−1,昭和56年)に記載してある。しかし、この文書理解
技術は新聞を対象としたものであるため任意の書式の文
書にたいして適用できるかどうかは明らかでない。また
文字の部分は切り出すのみであつて認識と結合する方法
は示されていない。
本発明の目的は、一般の文書を対象とし、その構造に
従つて分割を行うとともに、必要な場合には文字部の認
識を行うことを可能とする文書画像処理方式を提供する
ことにある。
従つて分割を行うとともに、必要な場合には文字部の認
識を行うことを可能とする文書画像処理方式を提供する
ことにある。
かかる目的を達成するために、本発明においては文書
の構造を表現する文法を用い、この文法によつて表現さ
れた記述(文書の構造)を構文解析することにより、未
知入力文書の構造を把握する。上記の文法では、文書を
部分構造とその間の相対関係として表現し、相対関係は
演算子として記述される。構文解析において演算子が出
現すると、入力画像の中でその演算子に対応した関係が
成立するか否かを検証し、成立する場合にはさらに部分
構造の内部を分解して解析を進め、成立しない場合には
他の可能性を探索する。その際、相異なる演算子に対し
てそれぞれ固有の画像処理を対応させた画像処理部を上
記検証手段として用いる。
の構造を表現する文法を用い、この文法によつて表現さ
れた記述(文書の構造)を構文解析することにより、未
知入力文書の構造を把握する。上記の文法では、文書を
部分構造とその間の相対関係として表現し、相対関係は
演算子として記述される。構文解析において演算子が出
現すると、入力画像の中でその演算子に対応した関係が
成立するか否かを検証し、成立する場合にはさらに部分
構造の内部を分解して解析を進め、成立しない場合には
他の可能性を探索する。その際、相異なる演算子に対し
てそれぞれ固有の画像処理を対応させた画像処理部を上
記検証手段として用いる。
本発明の実施例を説明する前に本発明の原理を説明す
る。以下の説明では対象として技術論文を例にとるが、
他の文書であつても文法の形式が若干異なるのみであり
文法の一部を変更すれば本発明で適用でき、本発明は上
記技術論文の一例に限定されるものではない。
る。以下の説明では対象として技術論文を例にとるが、
他の文書であつても文法の形式が若干異なるのみであり
文法の一部を変更すれば本発明で適用でき、本発明は上
記技術論文の一例に限定されるものではない。
第1図に一定の書式を有する技術論文の一頁の例を示
す。以下に文書の構造を表現す文法(以下文書文法と略
する)の一例を示す。
す。以下に文書の構造を表現す文法(以下文書文法と略
する)の一例を示す。
(行) 1〈文書〉 ::=|〈技術論文〉|〈文庫本小説〉
|〜|〈特許公報〉| 2〈技術論文〉 ::=〈表題頁〉 3〈技術論文〉 ::=〈技術論文〉〔+〈継続頁〉:〕 4〈表題頁〉 ::=|〈UDC〉η〈表題事項〉η〈著
者要約〉η〈本文〉η〈表題頁仕切り〉 5〈継続頁〉 ::=|〈柱〉η〈本文〉η〈頁仕切
り〉 6〈UDC〉 ::=〈〈UDC〉〉ξ〈付点数〉〔ξ〈〈C
L〉〉ξ〈付点数〉〕 7〈柱〉 ::=〈和文表題〉ξ〈巻号〉ξ〈数〉 8〈巻号〉 ::=〈〈VOL〉〉ξ〈数〉ξ〈〈N
O〉〉ξ〈数〉 9〈表題事項〉 ::=〈和文表題〉η〈英文表題〉 10〈和文表題〉 ::=〈和文行集合〉 11〈英文表題〉 ::=〈英文行集合〉 12〈著者要約〉 ::=〈要約〉ξ〈著者集合〉 13〈要約〉 ::=〈英文行集合〉 14〈著者集合〉 ::=〈著者〉 15〈著者集合〉 ::=〈著者集合〉〔η〈著者〉〕 16〈著者〉 ::=〈和文行〉ξ〈英文行〉ξ 17〈頁番号〉 ::=〈数〉 18〈本文〉 ::=〈半本文〉ξ〈半本文〉 19〈半本文〉 ::=〈節〉〔η〈半本文〉〕 20〈節〉 ::=〈章表題〉η〈節表題〉η〈節本
文〉 21〈節〉 ::=〈節表題〉η〈節本文〉 22〈節〉 ::=〈節本文〉 23〈節〉 ::=〈〈参考文献〉〉η〈文献リス
ト〉 24〈章表題〉 ::=〈〈数字〉〉ξ〈和文行〉 25〈節表題〉 ::=〈付点数字〉ξ〈和文行〉 26〈節本文〉 ::=〈段落〉〔η〈節本文〉〕 27〈段落〉 ::=〈和文行集合〉 28〈段落〉 ::=〈図表〉 29〈和文行集合〉::=〈和文行〉η〔〈和文行集合〉〕 30〈和文行〉 ::=〈〈日本字〉〉ξ〔〈和文行〉〕 31〈和文行〉 ::=〈〈日本字〉〉α〔〈和文行〉〕 32〈和文行〉 ::=〈〈日本字〉〉β〔〈和文行〉〕 33〈英文行集合〉::=〈英文行〉η〔〈英文行集合〉〕 34〈英文行〉 ::=〈単語〉ξ〈〈DLM〉〉〔英文行
集合〉〕 35〈単語〉 ::=〈〈英字〉〉〔ξ〈単語〉〕 36〈単語〉 ::=〈〈英字〉〉〔α〈単語〉〕 37〈単語〉 ::=〈〈英字〉〉〔β〈単語〉〕 38〈単語〉 ::=|{英文人名}|{英文法人名}
|{英文地名}||{一般英単語}| 39〈数〉 ::=〈〈英字〉〉〔ξ〈数〉〕 40〈付点数〉 ::=〈数〉 41〈付点数〉 ::=〈付点数〉ξ〈数〉 42〈付点数〉 ::=〈付点数〉ξ〈〈PR〉〉 43〈〈数字〉〉 ::=|0|1|〜|9| 44〈〈英字〉〉 ::=|a|b|c|d|〜|A|B|〜|0|1|〜| 45〈〈日本字〉〉::=|あ|い|〜|ア|イ|〜|日|
立|〜|a|b|〜|A|B|〜|0|1|〜1 46〈〈DLM〉〉::=| |,|.|〜| 46〈〈CL〉〉 ::=|:| 47〈〈PR〉〉 ::=|.|,|〕| 48〈図表〉 ::=|−図−|η〈和文説明〉η〈英
文説明〉 49〈図表〉 ::=〈和文説明〉η〈英文説明〉η
〈表〉 50〈図表〉 ::=〈囲み〉 51〈囲み〉 ::=|−枠−|◎〈節〉 52〈和文説明〉 ::=〈〈語_図〉〉ξ〈数〉ξ〈和文
行〉 53〈和文説明〉 ::=〈〈語_表〉〉ξ〈数〉ξ〈和文
行〉 54〈和文説明〉 ::=〈和文説明〉η〈和文行集合〉 55〈英文説明〉 ::=〈〈FIG〉〉ξ〈数〉ξ〈英文
行〉 56〈英文説明〉 ::=〈〈TAB〉〉ξ〈数〉ξ〈英文
行〉 57〈英文説明〉 ::=〈英文説明〉η〈英文行集合〉 58〈〈FIG〉〉::=|Fig.| 59〈〈TAB〉〉::=|Table| 60〈〈語_図〉〉::=|図| 61〈〈語_表〉〉::=|表| 63〈〈VOL〉〉::=|VOL| 64〈〈NO〉〉 ::=|No.| 73〈〈UDC〉〉::=|U.D.C| 66〈表〉 ::=〈囲み〉γ〈表〉〔δ〈表〉〕 67〈表〉 ::=〈囲み〉δ〈表〉〔γ〈表〉〕 68〈表〉 ::=〈囲み〉 69〈〈参考文献〉::=|参考文献| 70〈文献リスト〉::=〈和文文献〉〔η〈文献リス
ト〉〕 71〈文献リスト〉::=〈英文文献〉〔η〈文献リス
ト〉〕 72〈和文文献〉 ::=〈数〉ξ〈〈PR〉〉ξ〈和文行〉 73〈和文文献〉 ::=〈和文文献〉〔η〈和文行集
合〉〕 74〈英文文献〉 ::〈H数〉ξ〈〈PR〉〉ξ〈英文行〉 75〈和文文献〉 ::=〈英文文献〉〔η〈英文行集
合〉〕 上記の文書文法は一般の文書の構造を表現するもので
あるが、特にその中で技術論文に関連した部分を抜き出
している。第1図の例を参照しながら上記の文法につい
て説明する。まず使用する記号について説明する。
|〜|〈特許公報〉| 2〈技術論文〉 ::=〈表題頁〉 3〈技術論文〉 ::=〈技術論文〉〔+〈継続頁〉:〕 4〈表題頁〉 ::=|〈UDC〉η〈表題事項〉η〈著
者要約〉η〈本文〉η〈表題頁仕切り〉 5〈継続頁〉 ::=|〈柱〉η〈本文〉η〈頁仕切
り〉 6〈UDC〉 ::=〈〈UDC〉〉ξ〈付点数〉〔ξ〈〈C
L〉〉ξ〈付点数〉〕 7〈柱〉 ::=〈和文表題〉ξ〈巻号〉ξ〈数〉 8〈巻号〉 ::=〈〈VOL〉〉ξ〈数〉ξ〈〈N
O〉〉ξ〈数〉 9〈表題事項〉 ::=〈和文表題〉η〈英文表題〉 10〈和文表題〉 ::=〈和文行集合〉 11〈英文表題〉 ::=〈英文行集合〉 12〈著者要約〉 ::=〈要約〉ξ〈著者集合〉 13〈要約〉 ::=〈英文行集合〉 14〈著者集合〉 ::=〈著者〉 15〈著者集合〉 ::=〈著者集合〉〔η〈著者〉〕 16〈著者〉 ::=〈和文行〉ξ〈英文行〉ξ 17〈頁番号〉 ::=〈数〉 18〈本文〉 ::=〈半本文〉ξ〈半本文〉 19〈半本文〉 ::=〈節〉〔η〈半本文〉〕 20〈節〉 ::=〈章表題〉η〈節表題〉η〈節本
文〉 21〈節〉 ::=〈節表題〉η〈節本文〉 22〈節〉 ::=〈節本文〉 23〈節〉 ::=〈〈参考文献〉〉η〈文献リス
ト〉 24〈章表題〉 ::=〈〈数字〉〉ξ〈和文行〉 25〈節表題〉 ::=〈付点数字〉ξ〈和文行〉 26〈節本文〉 ::=〈段落〉〔η〈節本文〉〕 27〈段落〉 ::=〈和文行集合〉 28〈段落〉 ::=〈図表〉 29〈和文行集合〉::=〈和文行〉η〔〈和文行集合〉〕 30〈和文行〉 ::=〈〈日本字〉〉ξ〔〈和文行〉〕 31〈和文行〉 ::=〈〈日本字〉〉α〔〈和文行〉〕 32〈和文行〉 ::=〈〈日本字〉〉β〔〈和文行〉〕 33〈英文行集合〉::=〈英文行〉η〔〈英文行集合〉〕 34〈英文行〉 ::=〈単語〉ξ〈〈DLM〉〉〔英文行
集合〉〕 35〈単語〉 ::=〈〈英字〉〉〔ξ〈単語〉〕 36〈単語〉 ::=〈〈英字〉〉〔α〈単語〉〕 37〈単語〉 ::=〈〈英字〉〉〔β〈単語〉〕 38〈単語〉 ::=|{英文人名}|{英文法人名}
|{英文地名}||{一般英単語}| 39〈数〉 ::=〈〈英字〉〉〔ξ〈数〉〕 40〈付点数〉 ::=〈数〉 41〈付点数〉 ::=〈付点数〉ξ〈数〉 42〈付点数〉 ::=〈付点数〉ξ〈〈PR〉〉 43〈〈数字〉〉 ::=|0|1|〜|9| 44〈〈英字〉〉 ::=|a|b|c|d|〜|A|B|〜|0|1|〜| 45〈〈日本字〉〉::=|あ|い|〜|ア|イ|〜|日|
立|〜|a|b|〜|A|B|〜|0|1|〜1 46〈〈DLM〉〉::=| |,|.|〜| 46〈〈CL〉〉 ::=|:| 47〈〈PR〉〉 ::=|.|,|〕| 48〈図表〉 ::=|−図−|η〈和文説明〉η〈英
文説明〉 49〈図表〉 ::=〈和文説明〉η〈英文説明〉η
〈表〉 50〈図表〉 ::=〈囲み〉 51〈囲み〉 ::=|−枠−|◎〈節〉 52〈和文説明〉 ::=〈〈語_図〉〉ξ〈数〉ξ〈和文
行〉 53〈和文説明〉 ::=〈〈語_表〉〉ξ〈数〉ξ〈和文
行〉 54〈和文説明〉 ::=〈和文説明〉η〈和文行集合〉 55〈英文説明〉 ::=〈〈FIG〉〉ξ〈数〉ξ〈英文
行〉 56〈英文説明〉 ::=〈〈TAB〉〉ξ〈数〉ξ〈英文
行〉 57〈英文説明〉 ::=〈英文説明〉η〈英文行集合〉 58〈〈FIG〉〉::=|Fig.| 59〈〈TAB〉〉::=|Table| 60〈〈語_図〉〉::=|図| 61〈〈語_表〉〉::=|表| 63〈〈VOL〉〉::=|VOL| 64〈〈NO〉〉 ::=|No.| 73〈〈UDC〉〉::=|U.D.C| 66〈表〉 ::=〈囲み〉γ〈表〉〔δ〈表〉〕 67〈表〉 ::=〈囲み〉δ〈表〉〔γ〈表〉〕 68〈表〉 ::=〈囲み〉 69〈〈参考文献〉::=|参考文献| 70〈文献リスト〉::=〈和文文献〉〔η〈文献リス
ト〉〕 71〈文献リスト〉::=〈英文文献〉〔η〈文献リス
ト〉〕 72〈和文文献〉 ::=〈数〉ξ〈〈PR〉〉ξ〈和文行〉 73〈和文文献〉 ::=〈和文文献〉〔η〈和文行集
合〉〕 74〈英文文献〉 ::〈H数〉ξ〈〈PR〉〉ξ〈英文行〉 75〈和文文献〉 ::=〈英文文献〉〔η〈英文行集
合〉〕 上記の文書文法は一般の文書の構造を表現するもので
あるが、特にその中で技術論文に関連した部分を抜き出
している。第1図の例を参照しながら上記の文法につい
て説明する。まず使用する記号について説明する。
〈 〉 非終端記号(抽象概念) 〈〈 〉〉 終端記号(文字列) { } 終端記号(辞書中の文字系列) |− −| 終端記号(画像中の部分構造) ::= 書き換え規則 | 選言(または) 〔 〕 省略可能を示す +,ξ,η,α,β,◎,γ,δ 部分構造間の演算子 上記の文法の第1行は、文書にはいろいろな種類があ
り技術論文はその一種であることを示す。第2行は表題
頁(第1図1)のみからなる技術論文があることを示し
第3行はある論文の後に任意頁数(0でもよい)を付加
してよいことを表す。第4行では表題頁はUDC記号すな
わち国際十進分類(第1図2)の下に表題事項(第1図
3)があり、その下に「著者要約」(第1図4)があ
り、さらにその下に本文(第1図7)が続き、最下段に
は「頁番号」(第1図9)がくることを示す。ここで、
「著者要約」とは第12行にあるように、要約(第1図
5)の右側に著者集合(第1図6)があることを示す。
さらに第13行に示すように要約は英文行集合である。第
14行に示すように著者集合は一人の著者から構成されて
もよく、第15行に示すように著者集合の下に別の著者を
(任意の人数だけ)付加して複数の著者から構成されて
もよい。著者は第16行に示すように和文行(人名)と英
文行(人名)が横に連なつたものである。本文(第1図
7)はこの例の場合は頁を縦に二分しているので、第18
行のように半本文(第1図8)という概念を導入し、半
本文が横に連なつたとして表現する。第19行のように半
本文は節の連続である。第26行のように節本文は段落か
らなり、第27,28行のように段落は和文行集合または図
表である。和文行とは第30−33行に示すように、日本字
が横にξ,α,βの関係で連なつたものであり、ここで
ξは単純な横の並び、αは横の接触、βは横のオーバー
ラツプであつて、そのいずれかが生じ得ることを示す。
日本文字は第45行に示すように平仮名、片仮名、漢字、
英字、数字などを含む。
り技術論文はその一種であることを示す。第2行は表題
頁(第1図1)のみからなる技術論文があることを示し
第3行はある論文の後に任意頁数(0でもよい)を付加
してよいことを表す。第4行では表題頁はUDC記号すな
わち国際十進分類(第1図2)の下に表題事項(第1図
3)があり、その下に「著者要約」(第1図4)があ
り、さらにその下に本文(第1図7)が続き、最下段に
は「頁番号」(第1図9)がくることを示す。ここで、
「著者要約」とは第12行にあるように、要約(第1図
5)の右側に著者集合(第1図6)があることを示す。
さらに第13行に示すように要約は英文行集合である。第
14行に示すように著者集合は一人の著者から構成されて
もよく、第15行に示すように著者集合の下に別の著者を
(任意の人数だけ)付加して複数の著者から構成されて
もよい。著者は第16行に示すように和文行(人名)と英
文行(人名)が横に連なつたものである。本文(第1図
7)はこの例の場合は頁を縦に二分しているので、第18
行のように半本文(第1図8)という概念を導入し、半
本文が横に連なつたとして表現する。第19行のように半
本文は節の連続である。第26行のように節本文は段落か
らなり、第27,28行のように段落は和文行集合または図
表である。和文行とは第30−33行に示すように、日本字
が横にξ,α,βの関係で連なつたものであり、ここで
ξは単純な横の並び、αは横の接触、βは横のオーバー
ラツプであつて、そのいずれかが生じ得ることを示す。
日本文字は第45行に示すように平仮名、片仮名、漢字、
英字、数字などを含む。
文書の理解においては、入力文書が技術論文であると
仮定し、文書文法に記述された構造が存在するか否かを
順次調べて行く。そのとき、各演算子に対して異なる画
像処理手続きが適用される。たとえば、演算子ηは部分
構造が縦に重なつていることを示すので、この演算子η
に対しては縦部分構造の重なりを検出する処理が対応す
る。このような処理の一例として横の白画素の連続があ
ることを検出する処理がある。同様にξに対しては縦の
白画素の連続があることを検出して文字を切り出す処理
が、βに対しては斜めに白画素の連続があることを検出
して文字を切り出す処理が対応する。
仮定し、文書文法に記述された構造が存在するか否かを
順次調べて行く。そのとき、各演算子に対して異なる画
像処理手続きが適用される。たとえば、演算子ηは部分
構造が縦に重なつていることを示すので、この演算子η
に対しては縦部分構造の重なりを検出する処理が対応す
る。このような処理の一例として横の白画素の連続があ
ることを検出する処理がある。同様にξに対しては縦の
白画素の連続があることを検出して文字を切り出す処理
が、βに対しては斜めに白画素の連続があることを検出
して文字を切り出す処理が対応する。
以上の説明から分るように本発明で提案した文書文法
では、複雑な文書の構造を階層的かつ再帰的に表現して
いるので、行数が不定の場合や出現が不確定な部分構造
など従来困難であつた対象も記述できる。そして部分構
造間の幾何学的関係を演算子で表しており、演算子の表
す関係の存在を画像処理により検証することにより、多
種多様な文書の理解が可能となる。
では、複雑な文書の構造を階層的かつ再帰的に表現して
いるので、行数が不定の場合や出現が不確定な部分構造
など従来困難であつた対象も記述できる。そして部分構
造間の幾何学的関係を演算子で表しており、演算子の表
す関係の存在を画像処理により検証することにより、多
種多様な文書の理解が可能となる。
以下、本発明の実施例について図面を用いて詳細に説
明する。
明する。
第2図は本発明の一実施例による文書処理方式を採用
した装置の構成を示すブロツク図である。装置の各部は
バス101に接続され、全体の動作は制御部102により制御
される。文書103上の情報(文書画像)は光電変換装置1
04により走査され、さらにデイジタル化され、バス101
を介してメモリ1051に格納される。メモリ1051は後述す
る1052,1053,1054とともにメモリ105の一部をなす。デ
イジタル化の際、公知の高効率符号化処理を行つてもよ
く、これにより文書画像を記憶するメモリの記憶容量を
節約できる。また、以下の説明では1画素1ビツトに二
値化するものとするが、1画素を多値で表現してもよ
く、カラースキヤナにより光電変換して色情報を付与し
てもよい。文書画像に対し制御部102により公知の位置
補正処理、傾き補正処理などを行つて得られる正規化画
像がメモリ1052に格納される。この正規化画像に対し、
制御部102のプログラム制御により以下に述べるように
して文書の理解を行い、理解結果を出力装置106に出力
する。
した装置の構成を示すブロツク図である。装置の各部は
バス101に接続され、全体の動作は制御部102により制御
される。文書103上の情報(文書画像)は光電変換装置1
04により走査され、さらにデイジタル化され、バス101
を介してメモリ1051に格納される。メモリ1051は後述す
る1052,1053,1054とともにメモリ105の一部をなす。デ
イジタル化の際、公知の高効率符号化処理を行つてもよ
く、これにより文書画像を記憶するメモリの記憶容量を
節約できる。また、以下の説明では1画素1ビツトに二
値化するものとするが、1画素を多値で表現してもよ
く、カラースキヤナにより光電変換して色情報を付与し
てもよい。文書画像に対し制御部102により公知の位置
補正処理、傾き補正処理などを行つて得られる正規化画
像がメモリ1052に格納される。この正規化画像に対し、
制御部102のプログラム制御により以下に述べるように
して文書の理解を行い、理解結果を出力装置106に出力
する。
第3図は、文書理解の処理の流れをPAD形式で表した
流れ図である。まず、301でフアイル装置(図示せず)
より文書文法データをメモリ105に読み込む。302は全体
の初期化である。303は終了まで以下の処理を繰り返す
ループである。304で文書の1頁の画像を入力する。305
はこの頁を文書文法に従つて解釈する制御ループであ
る。306で文法の1行を取り出し、307以下で構文解析を
行うことによつてこの1行が成立するか否かの判定を行
う。307では以下の構文解析処理で用いるスタツクの初
期化を行う。スタツクはメモリ1054の中に置かれる。30
8は309から313までの処理の流れを制御する。309は演算
子存在の検出を行うものであり、3091〜3093の各演算子
に対応する処理への分岐の集合である。3091はξ、3092
はη、3093はα、等等の演算子に対する画像処理手続き
である。この画像処理手続きの詳細については後述す
る。310では演算子が存在したか否かを検出し、存在し
ないときは313で308以降のループを脱出し、次の行の処
理(307)に移る。存在したときはこの演算子を311でス
タツクに積み、312で部分構造の存在を検出する。部分
構造の検出は3121の終端記号の識別を行う部分と3122の
非終端記号の識別を行う部分とからなる。
流れ図である。まず、301でフアイル装置(図示せず)
より文書文法データをメモリ105に読み込む。302は全体
の初期化である。303は終了まで以下の処理を繰り返す
ループである。304で文書の1頁の画像を入力する。305
はこの頁を文書文法に従つて解釈する制御ループであ
る。306で文法の1行を取り出し、307以下で構文解析を
行うことによつてこの1行が成立するか否かの判定を行
う。307では以下の構文解析処理で用いるスタツクの初
期化を行う。スタツクはメモリ1054の中に置かれる。30
8は309から313までの処理の流れを制御する。309は演算
子存在の検出を行うものであり、3091〜3093の各演算子
に対応する処理への分岐の集合である。3091はξ、3092
はη、3093はα、等等の演算子に対する画像処理手続き
である。この画像処理手続きの詳細については後述す
る。310では演算子が存在したか否かを検出し、存在し
ないときは313で308以降のループを脱出し、次の行の処
理(307)に移る。存在したときはこの演算子を311でス
タツクに積み、312で部分構造の存在を検出する。部分
構造の検出は3121の終端記号の識別を行う部分と3122の
非終端記号の識別を行う部分とからなる。
3122の処理は307以降の処理を部分行について再帰的
に行うことでなされる。終端記号の識別はたとえば数字
の識別では文字認識を行つて認識結果が数字の集合に属
するか否かを判定する処理である。以上説明したように
して、部分構造と演算子の解釈がすべて終了すると、文
書中のこの頁の理解が完了する。文書理解の結果はスタ
ツク(メモリ1054)の中の部分構造と、その内容(文字
列など)及び部分構造間の演算子であり、これらの結果
は314で所定の符号に変換された後、フアイル装置106に
出力される。文法中のどの行でも解析ができなかつたと
き、この文書は理解不能である。理解不能は全ての行に
ついて313でループを抜け出した場合であり、これを316
で判定し、理解不能のときは317でリジエクト処理を行
う。たとえば文書理解の最終結果あるいは中間結果をデ
イスプレイ107に表示し、コンソール108を用いてマンマ
シン的に修正する。
に行うことでなされる。終端記号の識別はたとえば数字
の識別では文字認識を行つて認識結果が数字の集合に属
するか否かを判定する処理である。以上説明したように
して、部分構造と演算子の解釈がすべて終了すると、文
書中のこの頁の理解が完了する。文書理解の結果はスタ
ツク(メモリ1054)の中の部分構造と、その内容(文字
列など)及び部分構造間の演算子であり、これらの結果
は314で所定の符号に変換された後、フアイル装置106に
出力される。文法中のどの行でも解析ができなかつたと
き、この文書は理解不能である。理解不能は全ての行に
ついて313でループを抜け出した場合であり、これを316
で判定し、理解不能のときは317でリジエクト処理を行
う。たとえば文書理解の最終結果あるいは中間結果をデ
イスプレイ107に表示し、コンソール108を用いてマンマ
シン的に修正する。
第4図に、第3図の3092で述べた演算子ηに対する画
像処理手続き、即ち横の白画素の連続があることを検出
する処理の流れをPAD形式で表した流れ図を示す。第4
図で401は本処理への入り口であり、メモリ1052に格納
されている正規化画像Qが与えられる。402では403〜40
9の処理を走査線番号jについて繰り返すことにより、
黒長連積分値A(j)を得る。403は初期化である。404
は走査線の中の画素Q(i,j)が1か0かを判定し、1
の場合には406で黒の連長Bをカウントする。Q(i,j)
が1の場合にま、407の判定によりその前の画素までの
連長Bが閾値εより大きいとき、408で積分処理を行
い、409で連長Bをリセツトする。ループ終了後410で積
分値A(j)にBを加えているのは404以下のループで
は最終点(j=I−1)における積分がなされていない
からである。407の判定を加えたことにより、比較的長
い黒の連続があるときのみA(j)に積分が行われるの
で雑音の影響を受けにくい。411〜420はA(j)の中で
閾値δ1より小さい領域が、閾値δ2より大きい領域で
挟まれていることを検出する処理である。411はフラグF
1,F2の初期化である。412は413〜419の処理を走査線番
号jについて繰り返す。413ではA(j)が初めて閾値
δ2を越えたことを検出し、414でフラグF1をセツトす
る。415はF1=1の状態でA(j)が初めて閾値δ1を
割つたことを検出し、416でフラグF2をセツトするとと
もにその時のjをj1として記憶する。417はF2=1の状
態でA(j)が閾値δ2を越える点を検出し、418でそ
の一つ前のjをj2として記憶するとともに412以降のル
ープを脱出する。420は出口であり、白連続の場所j1,j2
とフラグF2を外部に与える。F2=1は検出成功を示し、
F2=0は412のループ内で白連続の条件が発見できなか
つた場合であり検出失敗を示す。
像処理手続き、即ち横の白画素の連続があることを検出
する処理の流れをPAD形式で表した流れ図を示す。第4
図で401は本処理への入り口であり、メモリ1052に格納
されている正規化画像Qが与えられる。402では403〜40
9の処理を走査線番号jについて繰り返すことにより、
黒長連積分値A(j)を得る。403は初期化である。404
は走査線の中の画素Q(i,j)が1か0かを判定し、1
の場合には406で黒の連長Bをカウントする。Q(i,j)
が1の場合にま、407の判定によりその前の画素までの
連長Bが閾値εより大きいとき、408で積分処理を行
い、409で連長Bをリセツトする。ループ終了後410で積
分値A(j)にBを加えているのは404以下のループで
は最終点(j=I−1)における積分がなされていない
からである。407の判定を加えたことにより、比較的長
い黒の連続があるときのみA(j)に積分が行われるの
で雑音の影響を受けにくい。411〜420はA(j)の中で
閾値δ1より小さい領域が、閾値δ2より大きい領域で
挟まれていることを検出する処理である。411はフラグF
1,F2の初期化である。412は413〜419の処理を走査線番
号jについて繰り返す。413ではA(j)が初めて閾値
δ2を越えたことを検出し、414でフラグF1をセツトす
る。415はF1=1の状態でA(j)が初めて閾値δ1を
割つたことを検出し、416でフラグF2をセツトするとと
もにその時のjをj1として記憶する。417はF2=1の状
態でA(j)が閾値δ2を越える点を検出し、418でそ
の一つ前のjをj2として記憶するとともに412以降のル
ープを脱出する。420は出口であり、白連続の場所j1,j2
とフラグF2を外部に与える。F2=1は検出成功を示し、
F2=0は412のループ内で白連続の条件が発見できなか
つた場合であり検出失敗を示す。
次に本発明の第二の実施例について説明する。本実施
例は第一の実施例と同一のブロツク図で実現されるが、
使用する文書文法が前記の文法とは若干差異がある。す
なわち部分構造間の関係を示す演算子 ξ,η,α,β,◎,γ,δ などに幾何学的な量を示すパラメータを付随させ、たと
えば ξ(1,5),η(3,10),… などと表す。ここで、η(3,10)とは縦方向に3mm以上
・10mm以下の間隙があることを示す。演算子ηを検出す
る第一の実施例の流れ図(第4図)は第5図のように変
更される。第5図で501〜519は第4図の401〜419と同様
である。520では、512〜519で検出した白連続領域の幅
が3以上10以下であることを判定する。521は420と同じ
である。第二の実施例は第一の実施例に比べ使用する文
書文法の記述が若干複雑であるが、文書の理解において
誤つた判定を行う危険が避けやすい利点があり、書式の
変動が比較的に少ない文書の処理に適する。
例は第一の実施例と同一のブロツク図で実現されるが、
使用する文書文法が前記の文法とは若干差異がある。す
なわち部分構造間の関係を示す演算子 ξ,η,α,β,◎,γ,δ などに幾何学的な量を示すパラメータを付随させ、たと
えば ξ(1,5),η(3,10),… などと表す。ここで、η(3,10)とは縦方向に3mm以上
・10mm以下の間隙があることを示す。演算子ηを検出す
る第一の実施例の流れ図(第4図)は第5図のように変
更される。第5図で501〜519は第4図の401〜419と同様
である。520では、512〜519で検出した白連続領域の幅
が3以上10以下であることを判定する。521は420と同じ
である。第二の実施例は第一の実施例に比べ使用する文
書文法の記述が若干複雑であるが、文書の理解において
誤つた判定を行う危険が避けやすい利点があり、書式の
変動が比較的に少ない文書の処理に適する。
次に本発明の第三の実施例について説明する。本実施
例は第一の実施例と同一のブロツク図で実現されるが、
制御の流れが第一の実施例(第3図)とは異なり、第6
図のようになつている。
例は第一の実施例と同一のブロツク図で実現されるが、
制御の流れが第一の実施例(第3図)とは異なり、第6
図のようになつている。
第6図は、第三の実施例における文書理解の処理の流
れをPAD形式で表した流れ図である。まず、601でフアイ
ル装置(図示せず)より文書文法データをメモリ53に読
みこみ、602で全体を初期化する。603は終了まで以下の
処理を繰り返すループである。604で文書の1頁の画像
を入力し、605で画像処理ルーチンを起動する。そのと
き、画像中のどの部分について処理するかを指定する。
画像処理ルーチンはマルチプログラミングあるいはマル
チプロセツサを用いて下記の文法解釈処理と並列に動作
し、図・表・文字その他の終端記号を処理対象画像から
直接抽出し、メモリ内の特定アドレスに抽出したことを
示すデータを書き込む。なおマルチプロセツサを用いる
場合は第2図のブロツク図に追加を要するが、その修正
は容易であるのでここでは省略している。606はこの頁
を文書文法に従つて解釈する制御ループである。607で
画像処理結果を調べ抽出された結果に従つて、608でそ
の部分構造を記述している行を探索する。画像処理と並
列に動作するので、画像処理の完了を待つ必要がある。
609では以下の処理で用いるスタツクの初期化を行う。6
10はその行に対する処理を行うもので611から615までの
処理の流れを制御する。610は第3図の309と同様であ
る。612では演算子の存在を検出し、存在しないときは6
15で609以降のループを脱出する。存在したときはこの
演算子を612でスタツクに積み、613で部分構造の存在を
検出する。部分構造の検出は画像処理ルーチンで検出し
た部分を除いた残りの画像について再帰的に処理するも
のであるが、基本的には第3図と同様であるので省略す
る。616(文書理解結果の出力)、617は第3図と同様で
ある。第三の実施例は第一の実施例に比べ制御の流れが
複雑ではあるが、画像処理結果から文法処理を起動する
ので、入力文書と関係のない部分の文法を構文解析する
ことが少なく高速の文書の処理が可能となる。
れをPAD形式で表した流れ図である。まず、601でフアイ
ル装置(図示せず)より文書文法データをメモリ53に読
みこみ、602で全体を初期化する。603は終了まで以下の
処理を繰り返すループである。604で文書の1頁の画像
を入力し、605で画像処理ルーチンを起動する。そのと
き、画像中のどの部分について処理するかを指定する。
画像処理ルーチンはマルチプログラミングあるいはマル
チプロセツサを用いて下記の文法解釈処理と並列に動作
し、図・表・文字その他の終端記号を処理対象画像から
直接抽出し、メモリ内の特定アドレスに抽出したことを
示すデータを書き込む。なおマルチプロセツサを用いる
場合は第2図のブロツク図に追加を要するが、その修正
は容易であるのでここでは省略している。606はこの頁
を文書文法に従つて解釈する制御ループである。607で
画像処理結果を調べ抽出された結果に従つて、608でそ
の部分構造を記述している行を探索する。画像処理と並
列に動作するので、画像処理の完了を待つ必要がある。
609では以下の処理で用いるスタツクの初期化を行う。6
10はその行に対する処理を行うもので611から615までの
処理の流れを制御する。610は第3図の309と同様であ
る。612では演算子の存在を検出し、存在しないときは6
15で609以降のループを脱出する。存在したときはこの
演算子を612でスタツクに積み、613で部分構造の存在を
検出する。部分構造の検出は画像処理ルーチンで検出し
た部分を除いた残りの画像について再帰的に処理するも
のであるが、基本的には第3図と同様であるので省略す
る。616(文書理解結果の出力)、617は第3図と同様で
ある。第三の実施例は第一の実施例に比べ制御の流れが
複雑ではあるが、画像処理結果から文法処理を起動する
ので、入力文書と関係のない部分の文法を構文解析する
ことが少なく高速の文書の処理が可能となる。
以上説明したごとく、本発明によれば格納すべき対象
文書の解析を自動的に行うことが可能であり、キーボー
ドから二次情報を入力することが不要となるかあるいは
大幅に削減されるので、入力がきわめて簡素化される。
また、文書を部分構造に分類しているので、構造ごとの
格納を行うことによりフアイルスペースの削減や検索の
高度化が可能となるなどの利点がある。
文書の解析を自動的に行うことが可能であり、キーボー
ドから二次情報を入力することが不要となるかあるいは
大幅に削減されるので、入力がきわめて簡素化される。
また、文書を部分構造に分類しているので、構造ごとの
格納を行うことによりフアイルスペースの削減や検索の
高度化が可能となるなどの利点がある。
第1図は文書の一例を示す図、第2図は本発明の実施例
を示す図、第3,4,5,6図は第2図の制御部における処理
を説明するための流れ図である。 101……バス、102……制御部、103……文書、105……メ
モリ、107……キーボード、108……デイスプレイ。
を示す図、第3,4,5,6図は第2図の制御部における処理
を説明するための流れ図である。 101……バス、102……制御部、103……文書、105……メ
モリ、107……キーボード、108……デイスプレイ。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−47641(JP,A) 特開 昭56−137480(JP,A) 特開 昭57−114974(JP,A) 7th.International Conference on Pat tern Recognition,P roceedings Vol.1,P P.347−349,July 30−Augu st2 1984,“HIERAR CHI CAL RePRESENTATION OF OPTICALLY SCAN NED DOCUMENTS"
Claims (8)
- 【請求項1】入力対象として想定される文書を表題、著
者、本文等の意味をもつ部分構造の組み合わせとして定
義して、該部分構造相互の相対的な幾何学的位置関係を
規定する文法規則の集合を予め準備し、 入力対象とする解析対象文書をディジタル画像として入
力し、 上記文法規則の集合から文法規則を一つ読み出し、該文
法規則に対応して予め規定してある画像処理手続を上記
ディジタル画像に適用し、該ディジタル画像中に該文法
規則が規定する部分構造相互の相対的な位置関係が存在
するか否かを検知し、 該位置関係が存在する場合には、検知された相対的な位
置関係とこれに係わる部分構造を記憶し、 上記位置関係が存在する場合も存在しない場合も、次の
文法規則を一つ読み出して上記相対的な位置関係の存在
を検知する処理を繰り返し、 適用できる文法規則が無くなったときに上記繰り返し処
理を終了し、 記憶された部分構造と相対的な位置関係の集合を、上記
解析対象文書の構造解析結果として出力することを特徴
とする文書画像処理方法。 - 【請求項2】特許請求の範囲第1項において、上記文法
規則は上記部分構造間の幾何学的相対位置関係を演算子
で記述し、該演算子には少なくとも水平又は垂直の白画
素の連続が存在することを検出する画像処理手続が対応
付けられていることを特徴とする文書画像処理方法。 - 【請求項3】特許請求の範囲第1項又は第2項におい
て、上記文法規則は上記部分構造を非終端記号として捉
え、該非終端記号は下位概念の非終端記号の集合として
階層的に記述されていることを特徴とする文書画像処理
方法。 - 【請求項4】特許請求の範囲第1項乃至第3項のうちい
ずれかにおいて、上記文法規則は上記非終端記号をそれ
を構成する下位概念の不特定数の非終端記号に書き換え
られるように記述されていることを特徴とする文書画像
処理方法。 - 【請求項5】特許請求の範囲第1項乃至第4項のうちい
ずれかにおいて、上記文法規則には終端記号として文字
種を規定する規則が存在し、文書構造の解析時には、文
字認識を行って、画像処理の対象とする部分構造が終端
記号として認定すべきであるか否かを検証することを特
徴とする文書画像処理方法。 - 【請求項6】特許請求の範囲第1項乃至第5項のうちい
ずれかにおいて、上記文法規則の集合は異なる複数のタ
イプの文書のレイアウト規則を記憶していることを特徴
とする文書画像処理方法。 - 【請求項7】特許請求の範囲第1項乃至第6項のうちい
ずれかにおいて、上記文書構造を解析する処理は、上記
入力文書画像の傾きを補正した後に行うことを特徴とす
る文書画像処理。 - 【請求項8】特許請求の範囲第2項において、上記演算
子には幾何学的相対位置関係に対する条件として数値パ
ラメータが付随していることを特徴とする文書画像処理
方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP59174924A JP2559356B2 (ja) | 1984-08-24 | 1984-08-24 | 文書画像処理方法 |
EP85110533A EP0175928A3 (en) | 1984-08-24 | 1985-08-22 | Image understanding system |
US07/253,445 US4907285A (en) | 1984-08-24 | 1988-10-05 | Image understanding system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP59174924A JP2559356B2 (ja) | 1984-08-24 | 1984-08-24 | 文書画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS6154569A JPS6154569A (ja) | 1986-03-18 |
JP2559356B2 true JP2559356B2 (ja) | 1996-12-04 |
Family
ID=15987093
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP59174924A Expired - Lifetime JP2559356B2 (ja) | 1984-08-24 | 1984-08-24 | 文書画像処理方法 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP0175928A3 (ja) |
JP (1) | JP2559356B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0262462A3 (de) * | 1986-09-30 | 1991-02-27 | Siemens Aktiengesellschaft | Verfahren zum Interpretieren formularhafter Dokumente |
JP2794042B2 (ja) * | 1989-08-23 | 1998-09-03 | 富士電機株式会社 | 表形式文書の認識装置 |
JP2579397B2 (ja) * | 1991-12-18 | 1997-02-05 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 文書画像のレイアウトモデルを作成する方法及び装置 |
US5630121A (en) * | 1993-02-02 | 1997-05-13 | International Business Machines Corporation | Archiving and retrieving multimedia objects using structured indexes |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5947641A (ja) * | 1982-09-10 | 1984-03-17 | Nippon Telegr & Teleph Corp <Ntt> | 名刺デ−タベ−ス作成装置 |
-
1984
- 1984-08-24 JP JP59174924A patent/JP2559356B2/ja not_active Expired - Lifetime
-
1985
- 1985-08-22 EP EP85110533A patent/EP0175928A3/en not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
7th.International Conference on Pattern Recognition,Proceedings Vol.1,PP.347−349,July 30−August2 1984,"HIERAR CHICAL RePRESENTATION OF OPTICALLY SCANNED DOCUMENTS" |
Also Published As
Publication number | Publication date |
---|---|
JPS6154569A (ja) | 1986-03-18 |
EP0175928A2 (en) | 1986-04-02 |
EP0175928A3 (en) | 1988-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3292388B2 (ja) | 文書画像の復号なしに文書を要約するための方法と装置 | |
US4907285A (en) | Image understanding system | |
CN108614898B (zh) | 文档解析方法与装置 | |
JP3289968B2 (ja) | 電子的文書処理のための装置および方法 | |
JP3232144B2 (ja) | 文章中の単語文節の出現頻度を求めるための装置 | |
JP3232143B2 (ja) | 復号していない文書画像の修正版を自動的に作成するための装置 | |
JP3282860B2 (ja) | 文書上のテキストのデジタル画像を処理する装置 | |
US6694053B1 (en) | Method and apparatus for performing document structure analysis | |
JP2973944B2 (ja) | 文書処理装置および文書処理方法 | |
US7797622B2 (en) | Versatile page number detector | |
US7099507B2 (en) | Method and system for extracting title from document image | |
US6728403B1 (en) | Method for analyzing structure of a treatise type of document image | |
US6374242B1 (en) | Natural-language information processor with association searches limited within blocks | |
CN113673294B (zh) | 文献关键信息的提取方法、装置、计算机设备和存储介质 | |
Li et al. | Extracting figures and captions from scientific publications | |
JP2559356B2 (ja) | 文書画像処理方法 | |
Saitoh et al. | Document image segmentation and layout analysis | |
JPH08180068A (ja) | 電子ファイリング装置 | |
JP5531493B2 (ja) | 文字認識装置、文字認識方法、プログラム及び記録媒体 | |
Faure | Preattentive reading and selective attention for document image analysis | |
JPH09269970A (ja) | 文字認識方法とその装置 | |
Rait et al. | Automatic Language-Independent Indexing of Documents Using Image Processing | |
JPH06139277A (ja) | 電子辞書装置 | |
JPH0259979A (ja) | 文書画像処理装置 | |
JP2004287992A (ja) | 文書情報処理装置並びにプログラム |