JP6579332B2 - 画像形成装置、文書電子化プログラムおよび文書電子化方法 - Google Patents

Description

本発明は、手書きによって修正された加筆修正済み原稿に基づいて文書を電子化する画像形成装置、文書電子化プログラムおよび文書電子化方法に関する。

従来、手書きによって修正された加筆修正済み原稿に基づいて文書を電子化する文書編集装置が知られている（例えば、特許文献１参照。）。

特開平１１−２７２６５４号公報

しかしながら、特許文献１に記載された文書編集装置においては、加筆修正済み原稿の元原稿に含まれる文字の位置を変更することなく、加筆部分によって指示された文字を元原稿に追加するので、電子化された文書、すなわち、電子化文書において文字のレイアウトが不自然になるという問題がある。

そこで、本発明は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる画像形成装置、文書電子化プログラムおよび文書電子化方法を提供することを目的とする。

本発明の画像形成装置は、原稿から画像を読み取る読取デバイスと、手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、前記加筆修正済み原稿の元原稿に含まれる領域を前記元原稿から抽出する領域抽出手段と、前記領域抽出手段によって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と、前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集手段とを備え、前記レイアウト指針判断手段は、文字の前記領域同士の連続性を判断し、前記原稿編集手段は、前記レイアウト指針判断手段によって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集することを特徴とする。

この構成により、本発明の画像形成装置は、加筆修正済み原稿の画像から抽出した加筆部分によって指示された修正内容で元原稿を編集して電子化文書を生成する場合に、加筆修正済み原稿の元原稿に含まれる領域のうち文字の領域同士の連続性を判断し、連続性があると判断した複数の領域同士が連続しているものとして元原稿を編集するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の画像形成装置において、前記レイアウト指針判断手段は、複数の前記領域の間における文字の内容の連続性に基づいて前記領域同士の連続性を判断しても良い。

この構成により、本発明の画像形成装置は、複数の領域の間における文字の内容の連続性に基づいて領域同士の連続性を判断するので、領域同士の連続性の判断の適切性を向上することができる。したがって、本発明の画像形成装置は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の画像形成装置において、前記レイアウト指針判断手段は、複数の前記領域の間における段落の形式の連続性に基づいて前記領域同士の連続性を判断しても良い。

この構成により、本発明の画像形成装置は、複数の領域の間における段落の形式の連続性に基づいて領域同士の連続性を判断するので、領域同士の連続性の判断の適切性を向上することができる。したがって、本発明の画像形成装置は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の画像形成装置は、前記加筆修正済み原稿の画像から前記元原稿を再現する元原稿再現手段を備え、前記加筆部分抽出手段は、色に基づいて前記加筆修正済み原稿の画像から前記加筆部分を抽出し、前記元原稿再現手段は、前記加筆部分抽出手段によって抽出された前記加筆部分を前記加筆修正済み原稿の画像から取り除くことによって前記元原稿を再現しても良い。

この構成により、本発明の画像形成装置は、元原稿自体がなくても、加筆修正済み原稿があれば、元原稿を再現することができるので、利便性を向上することができる。

本発明の文書電子化プログラムは、原稿から画像を読み取る読取デバイスを備える画像形成装置に、手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、前記加筆修正済み原稿の元原稿に含まれる領域を前記元原稿から抽出する領域抽出手段と、前記領域抽出手段によって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と、前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集手段とを実現させ、前記レイアウト指針判断手段は、文字の前記領域同士の連続性を判断し、前記原稿編集手段は、前記レイアウト指針判断手段によって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集することを特徴とする。

この構成により、本発明の文書電子化プログラムを実行する画像形成装置は、加筆修正済み原稿の画像から抽出した加筆部分によって指示された修正内容で元原稿を編集して電子化文書を生成する場合に、加筆修正済み原稿の元原稿に含まれる領域のうち文字の領域同士の連続性を判断し、連続性があると判断した複数の領域同士が連続しているものとして元原稿を編集するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の文書電子化方法は、手書きによって修正された加筆修正済み原稿の画像を読取デバイスによって取得する画像取得ステップと、前記画像取得ステップによって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出ステップと、前記加筆修正済み原稿の元原稿に含まれる領域を前記元原稿から抽出する領域抽出ステップと、前記領域抽出ステップによって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断ステップと、前記加筆部分抽出ステップによって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断ステップによって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集ステップとを備え、前記レイアウト指針判断ステップは、文字の前記領域同士の連続性を判断するステップであり、前記原稿編集ステップは、前記レイアウト指針判断ステップによって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集するステップであることを特徴とする。

この構成により、本発明の文書電子化方法は、加筆修正済み原稿の画像から抽出した加筆部分によって指示された修正内容で元原稿を編集して電子化文書を生成する場合に、加筆修正済み原稿の元原稿に含まれる領域のうち文字の領域同士の連続性を判断し、連続性があると判断した複数の領域同士が連続しているものとして元原稿を編集するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の画像形成装置、文書電子化プログラムおよび文書電子化方法は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の一実施の形態に係るＭＦＰのブロック図である。 加筆修正済み原稿に基づいて文書を電子化する場合の図１に示すＭＦＰの動作のフローチャートである。 図２に示す加筆修正済み原稿の画像の一例を示す図である。 図３に示す加筆修正済み原稿の加筆部分の画像を示す図である。 図３に示す加筆修正済み原稿の元原稿の画像を示す図である。 複数の領域に分離された、図５に示す元原稿の画像を示す図である。 複数の領域に分離された元原稿の画像であって、図６に示す例とは異なる例の画像を示す図である。 複数の領域に分離された元原稿の画像であって、図６および図７に示す例とは異なる例の画像の一部を示す図である。 図６に示す画像から生成される原稿レイアウト情報を示す図である。 図２に示す編集処理のフローチャートである。 文字の領域を新たに追加した場合の図９に示す原稿レイアウト情報の一部を示す図である。 （ａ）図１に示すＭＦＰが「題」を認識しない場合の領域の一例を示す図である。 （ｂ）図１に示すＭＦＰが「題」を認識する場合の領域の一例を示す図である。 図３に示す加筆修正済み原稿に基づいた電子化文書を示す図である。 図１３に示す文書に対するレイアウトを示す図である。 加筆修正済み原稿の画像の一例であって、図２に示す例とは異なる一例を示す図である。 図１５に示す加筆修正済み原稿の元原稿の画像を示す図である。 複数の領域に分離された、図１６に示す元原稿の画像を示す図である。 図１５に示す加筆修正済み原稿に基づいた電子化文書を示す図である。 図１８に示す文書に対するレイアウトを示す図である。

以下、本発明の一実施の形態について、図面を用いて説明する。

まず、本実施の形態に係る画像形成装置としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）の構成について説明する。

図１は、ＭＦＰ１０のブロック図である。

図１に示すように、ＭＦＰ１０は、種々の操作が入力されるボタンなどの操作デバイスである操作部１１と、種々の情報を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部１２と、原稿から画像を読み取る読取デバイスであるスキャナー１３と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター１４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部１５と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介さずに有線または無線によって直接に、または、ネットワーク経由で、外部の装置と通信を行う通信デバイスである通信部１６と、各種のデータを記憶している半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１７と、ＭＦＰ１０全体を制御する制御部１８とを備えている。

記憶部１７は、手書きによって修正された原稿（以下「加筆修正済み原稿」と言う。）に基づいて文書を電子化するための文書電子化プログラム１７ａを記憶している。文書電子化プログラム１７ａは、ＭＦＰ１０の製造段階でＭＦＰ１０にインストールされていても良いし、ＳＤカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの記憶媒体からＭＦＰ１０に追加でインストールされても良いし、ネットワーク上からＭＦＰ１０に追加でインストールされても良い。

記憶部１７は、ヘッダーやフッターに関するレイアウトや、本文の段組に関するレイアウトなど、特定のレイアウトを示す特定レイアウト情報１７ｂを記憶することが可能である。記憶部１７は、ＭＦＰ１０の利用者毎、または、ＭＦＰ１０の利用者が所属するグループ毎に特定レイアウト情報１７ｂを記憶していても良い。なお、ＭＦＰ１０は、予め想定される原稿を学習することによって特定レイアウト情報１７ｂを生成することができる。例えば、ＭＦＰ１０は、特定の利用者の原稿が２段組である頻度が特定の頻度以上である場合に、この利用者の特定レイアウト情報１７ｂに、本文の２段組のレイアウトを含めることができる。

記憶部１７は、文字のサイズ、フォント、太さ、文字間距離などの属性を示す文字属性情報１７ｃを記憶することが可能である。文字属性情報１７ｃは、ヘッダー、フッター、本文など、文字が含まれる場所に応じた文字の属性を示していても良い。また、記憶部１７は、ＭＦＰ１０の利用者毎、または、ＭＦＰ１０の利用者が所属するグループ毎に文字属性情報１７ｃを記憶していても良い。なお、ＭＦＰ１０は、予め想定される原稿を学習することによって文字属性情報１７ｃを生成することができる。

制御部１８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部１８のＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部１８のＣＰＵは、制御部１８のＲＯＭまたは記憶部１７に記憶されているプログラムを実行する。

制御部１８は、記憶部１７に記憶されている文書電子化プログラム１７ａを実行することによって、加筆修正済み原稿の画像をスキャナー１３によって取得する画像取得手段１８ａと、画像取得手段１８ａによって取得された加筆修正済み原稿の画像から、手書きによる修正の指示の部分、すなわち、加筆部分を抽出する加筆部分抽出手段１８ｂと、加筆修正済み原稿の画像から、手書によって修正される前の原稿、すなわち、元原稿を再現する元原稿再現手段１８ｃと、文字の領域および図の領域のうち元原稿に含まれる領域を元原稿から抽出する領域抽出手段１８ｄと、領域抽出手段１８ｄによって抽出された領域に基づいて元原稿のレイアウトの指針を判断するレイアウト指針判断手段１８ｅと、加筆部分抽出手段１８ｂによって抽出された加筆部分によって指示された修正内容で加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集手段１８ｆとを実現する。

次に、加筆修正済み原稿に基づいて文書を電子化する場合のＭＦＰ１０の動作について説明する。

図２は、加筆修正済み原稿に基づいて文書を電子化する場合のＭＦＰ１０の動作のフローチャートである。

制御部１８は、加筆修正済み原稿に基づいて文書を電子化する指示が操作部１１を介して入力されると、図２に示す処理を実行する。

図２に示すように、画像取得手段１８ａは、スキャナー１３にセットされた加筆修正済み原稿からスキャナー１３によって画像２０（例えば、図３参照。）を読み取る（Ｓ１０１）。

図３は、加筆修正済み原稿の画像２０の一例を示す図である。

図３に示す画像２０は、例えば赤色など、特定の色の筆記具で手書きによって修正の指示３１〜３８が元原稿の画像４０に加えられたものの画像である。

指示３１は、ヘッダーの右端に「１／２」という文字を追加する指示である。

指示３２は、「文書」という文字と、「構成」という文字との間に「の」という文字を追加する指示である。指示３２は、文字の挿入を指示するための記号３２ａを含んでいる。

指示３３は、「いいい」という３つの文字を削除する指示である。指示３３は、文字の削除を指示するための記号３３ａによって構成されている。

指示３４は、「ううう」という行と、「えええええ」という行とを入れ替える指示である。指示３４は、行の入れ替えを指示するための記号３４ａによって構成されている。

指示３５は、「かかか」という文字と、「かかかかか」という文字との間に「トトトトト」という文字を追加する指示である。指示３５は、文字の挿入を指示するための記号３５ａを含んでいる。

指示３６は、図を削除する指示である。指示３６は、図の削除を指示するための記号３６ａによって構成されている。

指示３７は、図を移動する指示である。指示３７は、図の移動を指示するための記号３７ａによって構成されている。

指示３８は、「図 ３−２」という文字を削除する指示である。指示３８は、文字の削除を指示するための記号３８ａによって構成されている。

図２に示すように、加筆部分抽出手段１８ｂは、Ｓ１０１の処理の後、Ｓ１０１において読み取った画像２０から加筆部分の画像３０（例えば、図４参照。）を、特定の色に基づいて抽出する（Ｓ１０２）。

図４は、図３に示す加筆修正済み原稿の加筆部分の画像３０を示す図である。

図２に示すように、元原稿再現手段１８ｃは、Ｓ１０２の処理の後、Ｓ１０１において読み取った画像２０から、Ｓ１０２において抽出した画像３０を取り除くことによって元原稿の画像４０（例えば、図５参照。）を再現する（Ｓ１０３）。ここで、元原稿再現手段１８ｃは、画像２０のうち元原稿の画像４０に加筆部分の画像３０が重なっている部分については、元原稿の色に加筆部分の色が重なったことによる加筆部分の色の変化に基づいて元原稿の色を再現したり、周辺色、すなわち、元原稿の画像４０のうち加筆部分の画像３０が重なっていない部分の色から補完したりすることができる。

図５は、図３に示す加筆修正済み原稿の元原稿の画像４０を示す図である。

図２に示すように、領域抽出手段１８ｄは、Ｓ１０３の処理の後、Ｓ１０３において再現した元原稿の画像４０から文字または図の領域を抽出する（Ｓ１０４）。ここで、領域抽出手段１８ｄは、画像４０に文字が存在する場合、画像４０から文字の領域を抽出する。また、領域抽出手段１８ｄは、画像４０に図が存在する場合、画像４０から図の領域を図毎に抽出する。なお、領域抽出手段１８ｄは、文字の領域を抽出する場合、画像４０における文字同士の距離の変化や、図の領域の配置などから、文字の領域を複数抽出することができる。

図６は、複数の領域に分離された元原稿の画像４０を示す図である。

図６に示す画像４０は、文字の領域４１〜４５と、図の領域４６、４７とに分離されている。ここで、領域４２は、段落４２ａ、４２ｂ、４２ｃ、４２ｄを含んでいる。また、領域４３は、題４３ａおよび段落４３ｂ、４３ｃを含んでいる。

図２に示すように、レイアウト指針判断手段１８ｅは、Ｓ１０４の処理の後、文字の領域が存在するか否かを判断する（Ｓ１０５）。

レイアウト指針判断手段１８ｅは、文字の領域が存在するとＳ１０５において判断すると、文字の領域のそれぞれに対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって文字を認識する（Ｓ１０６）。

レイアウト指針判断手段１８ｅは、文字の領域が存在しないとＳ１０５において判断するか、Ｓ１０６の処理が終了すると、加筆修正済み原稿の全てのページを処理したか否かを判断する（Ｓ１０７）。

制御部１８は、加筆修正済み原稿の全てのページは処理していない、すなわち、加筆修正済み原稿に未だ処理していないページが存在するとＳ１０７において判断されると、後続のページについてＳ１０１〜Ｓ１０６の処理を実行する。

レイアウト指針判断手段１８ｅは、加筆修正済み原稿の全てのページを処理したとＳ１０７において判断すると、加筆修正済み原稿の元原稿の全てのページのそれぞれに対して、Ｓ１０４において抽出された文字の領域および図の領域のそれぞれのレイアウトを示す原稿レイアウト情報を生成する（Ｓ１０８）。

例えば、レイアウト指針判断手段１８ｅは、元原稿の同一ページ内に含まれる文字の領域同士の連続性と、元原稿の隣接するページ同士に含まれる文字の領域同士の連続性とを判断し、判断結果を原稿レイアウト情報に含める。

レイアウト指針判断手段１８ｅは、例えば図７に示すように、同一ページ７１内に含まれる文字の領域同士の連続性として、領域７１ａおよび７１ｂ同士や、領域７１ｃおよび７１ｄ同士などのように、上下方向に隣接する領域同士の連続性を判断する。また、レイアウト指針判断手段１８ｅは、元原稿のレイアウトが２段組み以上のレイアウトである場合には、同一ページ内に含まれる文字の領域同士の連続性として、図７に示す領域７１ｂおよび７１ｃ同士などのように、最も下の領域と、この領域が所属する段の右隣の段の最も上の領域との連続性を判断する。

レイアウト指針判断手段１８ｅは、元原稿の隣接するページ同士に含まれる文字の領域同士の連続性として、図７に示すページ７１の最後の領域である領域７１ｄ、および、ページ７１の次のページであるページ７２の最初の領域である領域７２ａなどのように、隣接する２つのページのうち前のページにおける右下の領域と、後のページにおける左上の領域との連続性を判断する。

レイアウト指針判断手段１８ｅは、Ｓ１０６において認識した文字を使用して複数の領域同士の連続性を判断することができる。すなわち、レイアウト指針判断手段１８ｅは、複数の領域の間における文字の内容の連続性に基づいて領域同士の連続性を判断することができる。例えば、レイアウト指針判断手段１８ｅは、１つの語、１つの句、１つの節または１つの文が２つの領域に跨っていると判断することができる場合、これらの領域の間における文字の内容の連続性があると判断することができ、その結果、これらの領域同士の連続性があると判断することができる。

レイアウト指針判断手段１８ｅは、複数の領域の間における段落の形式の連続性に基づいて領域同士の連続性を判断することができる。例えば、レイアウト指針判断手段１８ｅは、対象の領域における最後の行の最後の列に存在する文字が例えば句点などの通常の文の終了文字や空白文字ではなく、この領域の次の領域における最初の行の最初の列に存在する文字が例えば空白文字などの通常の文の開始文字でない場合、これらの領域の間における文字の内容の連続性があると判断しても良い。また、レイアウト指針判断手段１８ｅは、対象の領域における最初の行の最初の列がインデントされていない場合に、この領域と、この領域の前の領域との間における文字の内容の連続性があると判断しても良い。

また、レイアウト指針判断手段１８ｅは、各領域について、元原稿の画像４０の横方向における開始位置（左端位置）、中心位置および終了位置（右端位置）を求めるとともに、元原稿の画像４０の縦方向における開始位置（上端位置）および終了位置（下端位置）を求める。そして、レイアウト指針判断手段１８ｅは、求めたそれらの位置が一致する領域同士が存在する場合、それらの領域をそれらの位置に合わせることをレイアウトとして判断する。それらの位置が一致する場合、あえてそのように配置している可能性が高いからである。なお、レイアウト指針判断手段１８ｅは、連続性があると判断した領域同士の横方向における幅を、実際に領域に含まれる文字列の幅に関わらず、統一して捉える。例えば、図８に示す例では、レイアウト指針判断手段１８ｅは、１行に６文字の幅である領域７３と連続性があると判断した領域７４について、実際には１行に「あああ。」の４文字しか存在しないが、領域７３と統一して１行に６文字の幅の領域として捉える。

また、レイアウト指針判断手段１８ｅは、領域間の距離を求める。そして、レイアウト指針判断手段１８ｅは、求めたそれらの距離が２行分などの特定の距離以下である場合、それらの領域間の距離を維持することをレイアウトとして判断する。

図９は、画像４０から生成される原稿レイアウト情報を示す図である。

例えば、レイアウト指針判断手段１８ｅは、図９において線分５１で示すように、領域４１〜４３を横方向における開始位置が一致させられるものとして判断する。また、レイアウト指針判断手段１８ｅは、図９において線分５２で示すように、領域４２および４３を横方向における終了位置が一致させられるものとして判断する。また、レイアウト指針判断手段１８ｅは、図９において線分５３で示すように、領域４４〜４７を横方向における中心位置が一致させられるものとして判断する。また、レイアウト指針判断手段１８ｅは、例えば、領域４１および４２の間の距離５４、領域４２および４３の間の距離５５、領域４４および４６の間の距離５６、領域４４および４７の間の距離５７、領域４５および４７の間の距離５８がそれぞれ維持されるものとして判断する。

図２に示すように、原稿編集手段１８ｆは、Ｓ１０８の処理の後、Ｓ１０２において抽出した加筆部分の指示内容に応じて元原稿の画像４０の編集処理を実行して（Ｓ１０９）、図２に示す動作を終了する。

図１０は、Ｓ１０９の編集処理のフローチャートである。

図１０に示すように、原稿編集手段１８ｆは、元原稿の画像４０をコピーすることによって、編集対象の画像を生成する（Ｓ１３１）。

次いで、原稿編集手段１８ｆは、Ｓ１０１において読み取った画像２０と、Ｓ１０２において抽出した加筆部分の画像３０とに基づいて、加筆部分を、それぞれの間の距離や、それぞれの内容に応じて分離する（Ｓ１３２）。例えば、原稿編集手段１８ｆは、図４で示す例では、画像３０に含まれる加筆部分を、指示３１〜３８に分離する。

原稿編集手段１８ｆは、Ｓ１３２の処理の後、Ｓ１３２において分離した加筆部分のうち未だ対象にしていない１つを対象にする（Ｓ１３３）。

次いで、原稿編集手段１８ｆは、現在の対象の加筆部分の指示内容の種類を判断する（Ｓ１３４）。

原稿編集手段１８ｆは、指示内容が指示３１、３２、３５のように「文字の追加」であるとＳ１３４において判断すると、現在の対象の加筆部分の文字をＯＣＲによって認識する（Ｓ１３５）。

次いで、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加する位置を特定する（Ｓ１３６）。

具体的には、原稿編集手段１８ｆは、Ｓ１３６において、現在の対象の加筆部分の文字を追加する位置が、特定レイアウト情報１７ｂおよび原稿レイアウト情報に規定されている文字の領域内に具体的に指定されている場合、その位置を特定する。

また、原稿編集手段１８ｆは、Ｓ１３６において、現在の対象の加筆部分の文字を追加する位置が、特定レイアウト情報１７ｂおよび原稿レイアウト情報に規定されている文字の領域内に具体的に指定されていない場合、特定レイアウト情報１７ｂおよび原稿レイアウト情報と、現在の対象の加筆部分の加筆修正済み原稿における位置とに基づいて、新たな領域のレイアウトを特定する。例えば、原稿編集手段１８ｆは、編集対象の画像の横方向において、他の領域が開始位置で揃えて配置されている場合に、この開始位置の付近に現在の対象の加筆部分の開始位置が配置されるとき、現在の対象の加筆部分の開始位置も他の領域と揃えて配置する。編集対象の画像の横方向における領域の開始位置について説明したが、編集対象の画像の横方向における領域の中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置についても同様である。また、原稿編集手段１８ｆは、現在の対象の加筆部分の領域と、現在の対象の加筆部分の領域の隣の領域との間の距離を、付近の領域同士の間の距離に揃えても良い。また、原稿編集手段１８ｆは、現在の対象の加筆部分に関して、編集対象の画像の横方向における領域の開始位置、中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置に法則性が無い場合などに、現在の対象の加筆部分の手書き位置を、現在の対象の加筆部分を追加する位置として特定しても良い。例えば、原稿編集手段１８ｆは、図１１に示すように、領域４３の下側に文字の領域４８を新たに追加する場合、横方向における領域４８の開始位置、終了位置をそれぞれ線分５１、５２で規定し、領域４３および領域４８の間の距離５９を、領域４２および領域４３の間の距離５５と揃える。

原稿編集手段１８ｆは、Ｓ１３６の処理の後、現在の対象の加筆部分の文字の属性を特定する（Ｓ１３７）。例えば、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加する領域が存在する場合、現在の対象の加筆部分の文字を追加する領域において、現在の対象の加筆部分の文字を追加する位置の周辺の文字の属性を取得し、取得した属性を現在の対象の加筆部分の文字の属性として特定する。

原稿編集手段１８ｆは、Ｓ１３７の処理の後、編集対象の画像に対して、Ｓ１３５において認識した文字を、Ｓ１３６において特定した位置に、Ｓ１３７において特定した属性、または、文字属性情報１７ｃで示す属性で追加する（Ｓ１３８）。

例えば、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加する位置が、特定レイアウト情報１７ｂおよび原稿レイアウト情報に規定されている文字の領域内における特定の行の間の位置など、領域内における途中の位置である場合、この位置に現在の対象の加筆部分の文字を追加することによって、現在の対象の加筆部分の文字より後ろの部分を、現在の対象の加筆部分の文字の追加分だけ後ろにずらす。なお、原稿編集手段１８ｆは、領域内の段落に文字を追加する場合に、追加部分より後ろの部分を後ろにずらすとき、ずらした後も段落を維持する。ここで、原稿編集手段１８ｆは、領域内でインデントされている行を段落の開始の行として判断し、途中から最後まで空白が存在する行や、後続の段落の開始の行の直前の行や、領域内の最後の行を段落の終了の行として判断する。また、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加することによって、この文字を含む領域より後ろの部分を、この領域のサイズが大きくなった分だけ、必要に応じて後ろにずらす。ただし、原稿編集手段１８ｆは、追加する文字を含む領域より後ろにおいて、領域同士の間の距離が２行分などの特定の距離より大きい場合、領域同士の間の距離が特定の距離になるまでは、この領域同士のうち後ろ側の領域を後ろにずらさない。

なお、原稿編集手段１８ｆは、Ｓ１０６における文字の認識によって「・・・章 ・・・」などの特定の形式を認識したり、文字のサイズの変化を認識したりすることによって、文字の領域内における「題」の行を認識することができる。したがって、原稿編集手段１８ｆは、領域内で「題」の後続の段落自体がインデントされている場合に、この領域内における「題」の後続の全ての行をそれぞれ段落と誤検出することを防止することができる。例えば、原稿編集手段１８ｆは、図１２（ａ）に示すように、領域６０において行６１が「題」であることを認識しない場合、後続の全ての行のそれぞれを段落として認識してしまう。すなわち、原稿編集手段１８ｆは、図１２（ａ）に示すように、段落６２〜６７が存在すると誤認識してしまう。一方、原稿編集手段１８ｆは、図１２（ｂ）に示すように、領域６０において行６１が「題」であることを認識する場合、段落６８および６９を正しく認識することができる。

原稿編集手段１８ｆは、指示内容が「図の追加」であるとＳ１３４において判断すると、現在の対象の加筆部分の手書きの図を追加する位置を特定する（Ｓ１３９）。

具体的には、原稿編集手段１８ｆは、Ｓ１３９において、特定レイアウト情報１７ｂおよび原稿レイアウト情報と、現在の対象の加筆部分の加筆修正済み原稿における位置とに基づいて、新たな領域のレイアウトを特定する。例えば、原稿編集手段１８ｆは、編集対象の画像の横方向において、他の領域が開始位置で揃えて配置されている場合に、この開始位置の付近に現在の対象の加筆部分の開始位置が配置されるとき、現在の対象の加筆部分の開始位置も他の領域と揃えて配置する。編集対象の画像の横方向における領域の開始位置について説明したが、編集対象の画像の横方向における領域の中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置についても同様である。また、原稿編集手段１８ｆは、現在の対象の加筆部分の領域と、現在の対象の加筆部分の領域の隣の領域との間の距離を、付近の領域同士の間の距離に揃えても良い。また、原稿編集手段１８ｆは、現在の対象の加筆部分に関して、編集対象の画像の横方向における領域の開始位置、中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置に法則性が無い場合などに、現在の対象の加筆部分の手書き位置を、現在の対象の加筆部分を追加する位置として特定しても良い。

原稿編集手段１８ｆは、Ｓ１３９の処理の後、編集対象の画像に対して、現在の対象の加筆部分の手書きの図を、Ｓ１３９において特定した位置に追加する（Ｓ１４０）。

例えば、原稿編集手段１８ｆは、現在の対象の加筆部分の手書きの図を追加することによって、この図が追加された領域より後ろの部分を、この領域が追加された分だけ、必要に応じて後ろにずらす。

原稿編集手段１８ｆは、指示内容が指示３３、３６、３８のように「削除」であるとＳ１３４において判断すると、現在の対象の加筆部分で削除することが指定されている箇所を特定する（Ｓ１４１）。

次いで、原稿編集手段１８ｆは、編集対象の画像に対して、Ｓ１４１で特定した箇所を削除する（Ｓ１４２）。

例えば、原稿編集手段１８ｆは、領域において途中の部分を削除する場合、この領域において削除部分より後ろの部分を、削除部分の削除分だけ前にずらす。なお、原稿編集手段１８ｆは、領域内の段落から文字を削除する場合に、削除部分より後ろの部分を前にずらすとき、ずらした後も段落を維持する。ここで、原稿編集手段１８ｆは、文字の領域内における「題」の行を認識することができるので、領域内で「題」の後続の段落自体がインデントされている場合に、この領域内における「題」の後続の全ての行をそれぞれ段落と誤検出することを防止することができる。また、原稿編集手段１８ｆは、特定の部分を削除することによって、この部分を含んでいた領域より後ろの部分を、この領域のサイズが小さくなった分だけ、必要に応じて前にずらす。

原稿編集手段１８ｆは、指示内容が指示３４、３７のように「移動」であるとＳ１３４において判断すると、現在の対象の加筆部分で移動することが指定されている箇所を特定する（Ｓ１４３）。

次いで、原稿編集手段１８ｆは、現在の対象の加筆部分で指定されている移動先の位置を特定する（Ｓ１４４）。

次いで、原稿編集手段１８ｆは、編集対象の画像に対して、Ｓ１４３で特定した箇所を、Ｓ１４４において特定した位置に移動する（Ｓ１４５）。

例えば、原稿編集手段１８ｆは、Ｓ１４３で特定した箇所を移動先に追加する場合、この箇所が追加された部分より後ろの部分を、この箇所が追加された分だけ、必要に応じて後ろにずらす。ただし、原稿編集手段１８ｆは、文字を追加する場合に、追加する文字を含む領域より後ろにおいて、領域同士の間の距離が２行分などの特定の距離より大きいとき、領域同士の間の距離が特定の距離になるまでは、この領域同士のうち後ろ側の領域を後ろにずらさない。また、原稿編集手段１８ｆは、Ｓ１４３で特定した箇所を移動元において削除する場合、この箇所が削除された部分より後ろの部分を、この箇所が削除された分だけ、必要に応じて前にずらす。なお、原稿編集手段１８ｆは、領域内の段落に文字を追加する場合に、追加部分より後ろの部分を後ろにずらすとき、ずらした後も段落を維持する。また、原稿編集手段１８ｆは、領域内の段落から文字を削除する場合に、削除部分より後ろの部分を前にずらすとき、ずらした後も段落を維持する。ここで、原稿編集手段１８ｆは、文字の領域内における「題」の行を認識することができるので、領域内で「題」の後続の段落自体がインデントされている場合に、この領域内における「題」の後続の全ての行をそれぞれ段落と誤検出することを防止することができる。

原稿編集手段１８ｆは、Ｓ１３８、Ｓ１４０、Ｓ１４２またはＳ１４５の処理の後、Ｓ１３２において分離した加筆部分のうち未だ対象にしていないものが存在するか否かを判断する（Ｓ１４６）。

原稿編集手段１８ｆは、Ｓ１３２において分離した加筆部分のうち未だ対象にしていないものが存在するとＳ１４６において判断すると、原稿レイアウト情報を更新して（Ｓ１４７）、Ｓ１３３の処理を実行する。

原稿編集手段１８ｆは、Ｓ１３２において分離した加筆部分のうち未だ対象にしていないものが存在しないとＳ１４６において判断すると、図１０に示す動作を終了する。

例えば、ＭＦＰ１０は、図３に示す加筆修正済み原稿に基づいて文書を電子化する場合、図２に示す動作を実行することによって編集対象の画像として最終的に図１３に示す文書を生成する。したがって、ＭＦＰ１０は、図１３に示す文書をプリンター１４によって印刷したり、記憶部１７に記憶することができる。

なお、図１３に示す文書に対してレイアウトを示すと、図１４に示すようになる。図１４に示す画像は、図６に示す元原稿の画像４０と比較して、次のように修正されている。

領域４１は、指示３２に応じて「の」が追加されている。領域４１は、横方向における開始位置と、縦方向における開始位置および終了位置とが変化していない。

領域４２は、指示３３に応じて「いいい」という３つの文字が削除されている。また、領域４２は、指示３４に応じて「ううう」という行と、「えええええ」という行とが入れ替えられている。領域４２は、横方向における開始位置および終了位置と、縦方向における開始位置とが変化していない。領域４２は、１行減った分だけ、縦方向における終了位置が上がっている。

領域４３は、指示３５に応じて「トトトトト」という文字が追加されている。領域４３は、横方向における開始位置および終了位置と、縦方向における終了位置とが変化していない。領域４３は、領域４２が１行減った分だけ、縦方向における開始位置が上がっている。

領域４５は、指示３８に応じて削除されている。

領域４６は、指示３６に応じて削除されている。

領域４７は、指示３７に応じて移動させられている。領域４７は、横方向における中心位置が変化していない。領域４７は、縦方向における終了位置と、領域４４の縦方向における開始位置との距離６０が、元原稿の画像４０における領域４４と、領域４６との距離５６（図９参照。）と等しい。

領域４９は、指示３１に応じて「１／２」という文字がヘッダーに追加されている。なお、原稿編集手段１８ｆは、特定レイアウト情報１７ｂに応じてヘッダー内のレイアウトを設定している。

図１５は、加筆修正済み原稿の画像２２０の一例を示す図である。

図１５に示す画像２２０は、１ページ目の原稿の画像２２１と、２ページ目の原稿の画像２２２とからなる。例えば赤色など、特定の色の筆記具で手書きによって修正の指示２３１〜２３４が元原稿の画像４０に加えられたものの画像である。

指示２３１は、「かかか」という文字と、「かかかかか」という文字との間に「トトトトト」という文字を追加する指示である。指示２３１は、文字の挿入を指示するための記号２３１ａを含んでいる。

指示２３２は、「けけ」という２つの文字を削除する指示である。指示２３２は、文字の削除を指示するための記号２３２ａによって構成されている。

指示２３３は、「ここここ」という４つの文字を削除する指示である。指示２３３は、文字の削除を指示するための記号２３３ａによって構成されている。

指示２３４は、「せせ」という文字と、「せせ」という文字との間に「の」という文字を追加する指示である。指示２３４は、文字の挿入を指示するための記号２３４ａを含んでいる。

図１６は、図１５に示す加筆修正済み原稿の元原稿の画像２４０を示す図である。

図１７は、複数の領域に分離された元原稿の画像２４０を示す図である。

図１７に示す画像２４０は、文字の領域２４１〜２４６に分離されている。ここで、領域２４２は、段落２４０ａ、２４０ｂ、２４０ｃ、２４０ｄを含んでいる。また、領域２４３は、題２４０ｅと、段落２４０ｆと、段落２４０ｇの一部とを含んでいる。また、領域２４４は、段落２４０ｇの一部と、段落２４０ｈ、２４０ｉ、２４０ｊとを含んでいる。領域２４５は、題２４０ｋと、段落２４０ｌの一部とを含んでいる。また、領域２４６は、段落２４０ｌの一部と、段落２４０ｍとを含んでいる。

レイアウト指針判断手段１８ｅは、Ｓ１０８において、領域２４３および領域２４４の間における文字の内容の連続性や、領域２４３および領域２４４の間における段落の形式の連続性に基づいて、領域２４３および領域２４４の間に連続性があると判断する。同様に、レイアウト指針判断手段１８ｅは、Ｓ１０８において、領域２４５および領域２４６の間における文字の内容の連続性や、領域２４５および領域２４６の間における段落の形式の連続性に基づいて、領域２４５および領域２４６の間に連続性があると判断する。

また、レイアウト指針判断手段１８ｅは、Ｓ１０８において、１行に６文字の幅である領域２４５と連続性があると判断した領域２４６について、実際には最大でも１行に空白を含めて「 せせせせ」の５文字しか存在しないが、領域２４５と統一して１行に６文字の幅の領域として捉える。

例えば、ＭＦＰ１０は、図１５に示す加筆修正済み原稿に基づいて文書を電子化する場合、図２に示す動作を実行することによって編集対象の画像として最終的に図１８に示す文書を生成する。したがって、ＭＦＰ１０は、図１８に示す文書をプリンター１４によって印刷したり、記憶部１７に記憶することができる。

なお、図１８に示す文書に対してレイアウトを示すと、図１９に示すようになる。図１９に示す画像は、図１７に示す元原稿の画像４０と比較して、次のように修正されている。

領域２４１および２４２は、変化していない。

領域２４３および２４４は、指示２３１に応じて「トトトトト」という文字が追加されている。また、領域２４３および２４４は、指示２３２に応じて「けけ」という文字が削除されているとともに、指示２３３に応じて「ここここ」という文字が削除されている。領域２４３は、横方向における開始位置および終了位置と、縦方向における開始位置および終了位置とが変化していない。領域２４４は、段落２４３および段落２４４からなる連続した領域において、段落２４０ｆが１行増え、段落２４０ｈが１行減り、１行の段落２４０ｉが削除されることによって、１行分だけ縦方向における終了位置が上がっている。

領域２４５は、縦方向における段落２４４の終了位置が１行分だけ上がっているので、縦方向における開始位置が１行分だけ上がっている。しかしながら、領域２４５は、領域２４５および領域２４６からなる連続した領域に含まれる段落２４０ｌを全て含むことによって、１行分だけ縦方向における幅が増えるので、縦方向における終了位置が変化していない。また、領域２４５は、横方向における開始位置および終了位置が変化していない。

領域２４６は、領域２４５および領域２４６からなる連続した領域に含まれる段落２４０ｌを領域２４５が全て含むことによって、１行分だけ縦方向における幅が減るので、１行分だけ縦方向における終了位置が上がっている。また、領域２４６は、縦方向における開始位置と、横方向における開始位置および終了位置とが変化していない。

以上に説明したように、ＭＦＰ１０は、加筆修正済み原稿の画像から抽出した加筆部分によって指示された修正内容で元原稿を編集して電子化文書を生成する場合に、加筆修正済み原稿の元原稿に含まれる領域のうち文字の領域同士の連続性を判断し、連続性があると判断した複数の領域同士が連続しているものとして元原稿を編集するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

ＭＦＰ１０は、複数の領域の間における文字の内容の連続性に基づいて領域同士の連続性を判断するので、領域同士の連続性の判断の適切性を向上することができる。したがって、ＭＦＰ１０は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

ＭＦＰ１０は、複数の領域の間における段落の形式の連続性に基づいて領域同士の連続性を判断するので、領域同士の連続性の判断の適切性を向上することができる。したがって、ＭＦＰ１０は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

なお、ＭＦＰ１０は、複数の領域の間において、文字の内容の連続性と、段落の形式の連続性との両方を満たす場合のみに、これらの領域同士に連続性があると判断しても良い。

ＭＦＰ１０は、元原稿自体がなくても、加筆修正済み原稿があれば、元原稿を再現することができるので、利便性を向上することができる。なお、ＭＦＰ１０は、元原稿の画像を記憶部１７に記憶しておいて、加筆修正済み原稿から元原稿を再現することなく、記憶部１７に記憶している元原稿の画像を使用しても良い。

本発明の文書電子化方法の一部は、ＭＦＰ１０ではなく、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピューターによって実現されても良い。

本発明の画像形成装置は、本実施の形態においてＭＦＰであるが、ＭＦＰ以外の画像形成装置であっても良い。

１０ ＭＦＰ（画像形成装置）
１３ スキャナー（読取デバイス）
１７ａ 文書電子化プログラム
１８ａ 画像取得手段
１８ｂ 加筆部分抽出手段
１８ｃ 元原稿再現手段
１８ｄ 領域抽出手段
１８ｅ レイアウト指針判断手段
１８ｆ 原稿編集手段
２０ 画像（加筆修正済み原稿の画像）
３０ 画像（加筆部分の画像）
４０ 画像（元原稿の画像）
２２０ 画像（加筆修正済み原稿の画像）
２４０ 画像（元原稿の画像）
２４０ａ、２４０ｂ、２４０ｃ、２４０ｄ、２４０ｆ、２４０ｇ、２４０ｈ、２４０ｉ、２４０ｊ、２４０ｌ、２４０ｍ 段落
２４１〜２４６ 領域（文字の領域）

Claims (9)

1. 原稿から画像を読み取る読取デバイスと、
   手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、
   前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、
   前記加筆修正済み原稿の画像から前記加筆修正済み原稿の元原稿を再現する元原稿再現手段と、
   前記元原稿再現手段によって再現された前記元原稿から文字または図の領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と、
   前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集手段と
   を備え、
   前記レイアウト指針判断手段は、複数の前記領域の間における段落の形式の連続性に基づいて文字の前記領域同士の連続性を判断し、
   前記原稿編集手段は、前記レイアウト指針判断手段によって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集し、
   前記レイアウト指針判断手段は、前記領域における最後の行の最後の列に存在する文字が文の終了文字および空白文字のいずれでもなく、この領域の次の領域における最初の行の最初の列に存在する文字が文の開始文字でない場合、これらの領域の間における段落の形式の連続性があると判断することを特徴とする画像形成装置。
2. 原稿から画像を読み取る読取デバイスと、
   手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、
   前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、
   前記加筆修正済み原稿の画像から前記加筆修正済み原稿の元原稿を再現する元原稿再現手段と、
   前記元原稿再現手段によって再現された前記元原稿から文字または図の領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と、
   前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集手段と
   を備え、
   前記レイアウト指針判断手段は、複数の前記領域の間における段落の形式の連続性に基づいて文字の前記領域同士の連続性を判断し、
   前記原稿編集手段は、前記レイアウト指針判断手段によって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集し、
   前記レイアウト指針判断手段は、前記領域における最初の行の最初の列がインデントされていない場合に、この領域と、この領域の前の領域との間における段落の形式の連続性があると判断することを特徴とする画像形成装置。
3. 前記加筆部分抽出手段は、色に基づいて前記加筆修正済み原稿の画像から前記加筆部分を抽出し、
   前記元原稿再現手段は、前記加筆部分抽出手段によって抽出された前記加筆部分を前記加筆修正済み原稿の画像から取り除くことによって前記元原稿を再現する場合に、前記加筆修正済み原稿の画像のうち前記元原稿の画像に前記加筆部分の画像が重なっている部分については、前記元原稿の色に前記加筆部分の色が重なったことによる前記加筆部分の色の変化に基づいて前記元原稿の色を再現することを特徴とする請求項１または請求項２に記載の画像形成装置。
4. 前記加筆部分抽出手段は、色に基づいて前記加筆修正済み原稿の画像から前記加筆部分を抽出し、
   前記元原稿再現手段は、前記加筆部分抽出手段によって抽出された前記加筆部分を前記加筆修正済み原稿の画像から取り除くことによって前記元原稿を再現する場合に、前記加筆修正済み原稿の画像のうち前記元原稿の画像に前記加筆部分の画像が重なっている部分については、前記元原稿の画像のうち前記加筆部分の画像が重なっていない部分の色から補完することを特徴とする請求項１または請求項２に記載の画像形成装置。
5. 前記レイアウト指針判断手段は、複数の前記領域の間における文字の内容の連続性に基づいて前記領域同士の連続性を判断することを特徴とする請求項１から請求項４までのいずれかに記載の画像形成装置。
6. 原稿から画像を読み取る読取デバイスを備える画像形成装置に、
   手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、
   前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、
   前記加筆修正済み原稿の画像から前記加筆修正済み原稿の元原稿を再現する元原稿再現手段と、
   前記元原稿再現手段によって再現された前記元原稿から文字または図の領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と、
   前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集手段と
   を実現させ、
   前記レイアウト指針判断手段は、複数の前記領域の間における段落の形式の連続性に基づいて文字の前記領域同士の連続性を判断し、
   前記原稿編集手段は、前記レイアウト指針判断手段によって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集し、
   前記レイアウト指針判断手段は、前記領域における最後の行の最後の列に存在する文字が文の終了文字および空白文字のいずれでもなく、この領域の次の領域における最初の行の最初の列に存在する文字が文の開始文字でない場合、これらの領域の間における段落の形式の連続性があると判断することを特徴とする文書電子化プログラム。
7. 原稿から画像を読み取る読取デバイスを備える画像形成装置に、
   手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、
   前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、
   前記加筆修正済み原稿の画像から前記加筆修正済み原稿の元原稿を再現する元原稿再現手段と、
   前記元原稿再現手段によって再現された前記元原稿から文字または図の領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と、
   前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集手段と
   を実現させ、
   前記レイアウト指針判断手段は、複数の前記領域の間における段落の形式の連続性に基づいて文字の前記領域同士の連続性を判断し、
   前記原稿編集手段は、前記レイアウト指針判断手段によって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集し、
   前記レイアウト指針判断手段は、前記領域における最初の行の最初の列がインデントされていない場合に、この領域と、この領域の前の領域との間における段落の形式の連続性があると判断することを特徴とする文書電子化プログラム。
8. 手書きによって修正された加筆修正済み原稿の画像を読取デバイスによって取得する画像取得ステップと、
   前記画像取得ステップによって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出ステップと、
   前記加筆修正済み原稿の画像から前記加筆修正済み原稿の元原稿を再現する元原稿再現ステップと、
   前記元原稿再現ステップによって再現された前記元原稿から文字または図の領域を抽出する領域抽出ステップと、
   前記領域抽出ステップによって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断ステップと、
   前記加筆部分抽出ステップによって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断ステップによって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集ステップと
   を備え、
   前記レイアウト指針判断ステップは、複数の前記領域の間における段落の形式の連続性に基づいて文字の前記領域同士の連続性を判断するステップであり、
   前記原稿編集ステップは、前記レイアウト指針判断ステップによって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集するステップであり、
   前記レイアウト指針判断ステップは、前記領域における最後の行の最後の列に存在する文字が文の終了文字および空白文字のいずれでもなく、この領域の次の領域における最初の行の最初の列に存在する文字が文の開始文字でない場合、これらの領域の間における段落の形式の連続性があると判断するステップであることを特徴とする文書電子化方法。
9. 手書きによって修正された加筆修正済み原稿の画像を読取デバイスによって取得する画像取得ステップと、
   前記画像取得ステップによって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出ステップと、
   前記加筆修正済み原稿の画像から前記加筆修正済み原稿の元原稿を再現する元原稿再現ステップと、
   前記元原稿再現ステップによって再現された前記元原稿から文字または図の領域を抽出する領域抽出ステップと、
   前記領域抽出ステップによって抽出された前記領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断ステップと、
   前記加筆部分抽出ステップによって抽出された前記加筆部分によって指示された修正内容で、前記レイアウト指針判断ステップによって判断された前記指針に応じて前記元原稿を編集して電子化文書を生成する原稿編集ステップと
   を備え、
   前記レイアウト指針判断ステップは、複数の前記領域の間における段落の形式の連続性に基づいて文字の前記領域同士の連続性を判断するステップであり、
   前記原稿編集ステップは、前記レイアウト指針判断ステップによって連続性があると判断された複数の前記領域同士が連続しているものとして前記元原稿を編集するステップであり、
   前記レイアウト指針判断ステップは、前記領域における最初の行の最初の列がインデントされていない場合に、この領域と、この領域の前の領域との間における段落の形式の連続性があると判断するステップであることを特徴とする文書電子化方法。

Images