JP6579331B2 - 画像形成装置、文書電子化プログラムおよび文書電子化方法 - Google Patents

Description

本発明は、手書きによって修正された加筆修正済み原稿に基づいて文書を電子化する画像形成装置、文書電子化プログラムおよび文書電子化方法に関する。

従来、手書きによって修正された加筆修正済み原稿に基づいて文書を電子化する文書編集装置が知られている（例えば、特許文献１参照。）。

特開平１１−２７２６５４号公報

しかしながら、特許文献１に記載された文書編集装置においては、加筆修正済み原稿の元原稿に含まれる文字の位置を変更することなく、加筆部分によって指示された文字を元原稿に追加するので、電子化された文書、すなわち、電子化文書において文字のレイアウトが不自然になるという問題がある。

そこで、本発明は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる画像形成装置、文書電子化プログラムおよび文書電子化方法を提供することを目的とする。

本発明の画像形成装置は、原稿から画像を読み取る読取デバイスと、手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で前記加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集手段とを備え、前記原稿編集手段は、文字および図のうち前記元原稿に含まれるものの少なくとも一部の位置を変更することによって前記文書を生成することを特徴とする。

この構成により、本発明の画像形成装置は、文字および図のうち加筆修正済み原稿の元原稿に含まれるものの少なくとも一部の位置を変更することによって文書を生成するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の画像形成装置は、文字の領域および図の領域のうち前記元原稿に含まれる領域を前記元原稿から抽出する領域抽出手段と、前記領域抽出手段によって抽出された領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段とを備え、前記原稿編集手段は、前記レイアウト指針判断手段によって判断された前記指針に応じて前記元原稿を編集しても良い。

この構成により、本発明の画像形成装置は、元原稿のレイアウトの指針に応じて元原稿を編集して文書を生成するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を更に向上することができる。

本発明の画像形成装置において、前記原稿編集手段は、前記修正内容が文字の領域における段落に対する文字の追加および削除の少なくとも一方である場合、前記元原稿の編集後にも前記段落を維持しても良い。

この構成により、本発明の画像形成装置は、元原稿の段落に対して文字の追加および削除の少なくとも一方を実行する場合に、元原稿の編集後にも段落を維持するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を更に向上することができる。

本発明の画像形成装置は、前記加筆修正済み原稿の画像から前記元原稿を再現する元原稿再現手段を備え、前記加筆部分抽出手段は、色に基づいて前記加筆修正済み原稿の画像から前記加筆部分を抽出し、前記元原稿再現手段は、前記加筆部分抽出手段によって抽出された前記加筆部分を前記加筆修正済み原稿の画像から取り除くことによって前記元原稿を再現しても良い。

この構成により、本発明の画像形成装置は、元原稿自体がなくても、加筆修正済み原稿があれば、元原稿を再現することができるので、利便性を向上することができる。

本発明の文書電子化プログラムは、原稿から画像を読み取る読取デバイスを備える画像形成装置に、手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で前記加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集手段とを実現させ、前記原稿編集手段は、文字および図のうち前記元原稿に含まれるものの少なくとも一部の位置を変更することによって前記文書を生成することを特徴とする。

この構成により、本発明の文書電子化プログラムを実行する画像形成装置は、文字および図のうち加筆修正済み原稿の元原稿に含まれるものの少なくとも一部の位置を変更することによって文書を生成するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の文書電子化方法は、手書きによって修正された加筆修正済み原稿の画像を読取デバイスによって取得する画像取得ステップと、前記画像取得ステップによって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出ステップと、前記加筆部分抽出ステップによって抽出された前記加筆部分によって指示された修正内容で前記加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集ステップとを備え、前記原稿編集ステップは、文字および図のうち前記元原稿に含まれるものの少なくとも一部の位置を変更することによって前記文書を生成するステップであることを特徴とする。

この構成により、本発明の文書電子化方法は、文字および図のうち加筆修正済み原稿の元原稿に含まれるものの少なくとも一部の位置を変更することによって文書を生成するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の画像形成装置、文書電子化プログラムおよび文書電子化方法は、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

本発明の一実施の形態に係るＭＦＰのブロック図である。 加筆修正済み原稿に基づいて文書を電子化する場合の図１に示すＭＦＰの動作のフローチャートである。 図２に示す加筆修正済み原稿の画像の一例を示す図である。 図３に示す加筆修正済み原稿の加筆部分の画像を示す図である。 図３に示す加筆修正済み原稿の元原稿の画像を示す図である。 複数の領域に分離された、図５に示す元原稿の画像を示す図である。 図６に示す画像から生成される原稿レイアウト情報を示す図である。 図２に示す編集処理のフローチャートである。 文字の領域を新たに追加した場合の図７に示す原稿レイアウト情報の一部を示す図である。 （ａ）図１に示すＭＦＰが「題」を認識しない場合の領域の一例を示す図である。 （ｂ）図１に示すＭＦＰが「題」を認識する場合の領域の一例を示す図である。 図３に示す加筆修正済み原稿に基づいた電子化文書を示す図である。 図１１に示す文書に対するレイアウトを示す図である。

以下、本発明の一実施の形態について、図面を用いて説明する。

まず、本実施の形態に係る画像形成装置としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）の構成について説明する。

図１は、ＭＦＰ１０のブロック図である。

図１に示すように、ＭＦＰ１０は、種々の操作が入力されるボタンなどの操作デバイスである操作部１１と、種々の情報を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部１２と、原稿から画像を読み取る読取デバイスであるスキャナー１３と、用紙などの記録媒体に印刷を実行する印刷デバイスであるプリンター１４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部１５と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介さずに有線または無線によって直接に、または、ネットワーク経由で、外部の装置と通信を行う通信デバイスである通信部１６と、各種のデータを記憶している半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１７と、ＭＦＰ１０全体を制御する制御部１８とを備えている。

記憶部１７は、手書きによって修正された原稿（以下「加筆修正済み原稿」と言う。）に基づいて文書を電子化するための文書電子化プログラム１７ａを記憶している。文書電子化プログラム１７ａは、ＭＦＰ１０の製造段階でＭＦＰ１０にインストールされていても良いし、ＳＤカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの記憶媒体からＭＦＰ１０に追加でインストールされても良いし、ネットワーク上からＭＦＰ１０に追加でインストールされても良い。

記憶部１７は、ヘッダーやフッターに関するレイアウトや、本文の段組に関するレイアウトなど、特定のレイアウトを示す特定レイアウト情報１７ｂを記憶することが可能である。記憶部１７は、ＭＦＰ１０の利用者毎、または、ＭＦＰ１０の利用者が所属するグループ毎に特定レイアウト情報１７ｂを記憶していても良い。なお、ＭＦＰ１０は、予め想定される原稿を学習することによって特定レイアウト情報１７ｂを生成することができる。例えば、ＭＦＰ１０は、特定の利用者の原稿が２段組である頻度が特定の頻度以上である場合に、この利用者の特定レイアウト情報１７ｂに、本文の２段組のレイアウトを含めることができる。

記憶部１７は、文字のサイズ、フォント、太さ、文字間距離などの属性を示す文字属性情報１７ｃを記憶することが可能である。文字属性情報１７ｃは、ヘッダー、フッター、本文など、文字が含まれる場所に応じた文字の属性を示していても良い。また、記憶部１７は、ＭＦＰ１０の利用者毎、または、ＭＦＰ１０の利用者が所属するグループ毎に文字属性情報１７ｃを記憶していても良い。なお、ＭＦＰ１０は、予め想定される原稿を学習することによって文字属性情報１７ｃを生成することができる。

制御部１８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部１８のＣＰＵの作業領域として用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部１８のＣＰＵは、制御部１８のＲＯＭまたは記憶部１７に記憶されているプログラムを実行する。

制御部１８は、記憶部１７に記憶されている文書電子化プログラム１７ａを実行することによって、加筆修正済み原稿の画像をスキャナー１３によって取得する画像取得手段１８ａと、画像取得手段１８ａによって取得された加筆修正済み原稿の画像から、手書きによる修正の指示の部分、すなわち、加筆部分を抽出する加筆部分抽出手段１８ｂと、加筆修正済み原稿の画像から、手書によって修正される前の原稿、すなわち、元原稿を再現する元原稿再現手段１８ｃと、文字の領域および図の領域のうち元原稿に含まれる領域を元原稿から抽出する領域抽出手段１８ｄと、領域抽出手段１８ｄによって抽出された領域に基づいて元原稿のレイアウトの指針を判断するレイアウト指針判断手段１８ｅと、加筆部分抽出手段１８ｂによって抽出された加筆部分によって指示された修正内容で加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集手段１８ｆとを実現する。

次に、加筆修正済み原稿に基づいて文書を電子化する場合のＭＦＰ１０の動作について説明する。

図２は、加筆修正済み原稿に基づいて文書を電子化する場合のＭＦＰ１０の動作のフローチャートである。

制御部１８は、加筆修正済み原稿に基づいて文書を電子化する指示が操作部１１を介して入力されると、図２に示す処理を実行する。

図２に示すように、画像取得手段１８ａは、スキャナー１３にセットされた加筆修正済み原稿からスキャナー１３によって画像２０（例えば、図３参照。）を読み取る（Ｓ１０１）。

図３は、加筆修正済み原稿の画像２０の一例を示す図である。

図３に示す画像２０は、例えば赤色など、特定の色の筆記具で手書きによって修正の指示３１〜３８が元原稿の画像４０に加えられたものの画像である。

指示３１は、ヘッダーの右端に「１／２」という文字を追加する指示である。

指示３２は、「文書」という文字と、「構成」という文字との間に「の」という文字を追加する指示である。指示３２は、文字の挿入を指示するための記号３２ａを含んでいる。

指示３３は、「いいい」という３つの文字を削除する指示である。指示３３は、文字の削除を指示するための記号３３ａによって構成されている。

指示３４は、「ううう」という行と、「えええええ」という行とを入れ替える指示である。指示３４は、行の入れ替えを指示するための記号３４ａによって構成されている。

指示３５は、「かかか」という文字と、「かかかかか」という文字との間に「トトトトト」という文字を追加する指示である。指示３５は、文字の挿入を指示するための記号３５ａを含んでいる。

指示３６は、図を削除する指示である。指示３６は、図の削除を指示するための記号３６ａによって構成されている。

指示３７は、図を移動する指示である。指示３７は、図の移動を指示するための記号３７ａによって構成されている。

指示３８は、「図 ３−２」という文字を削除する指示である。指示３８は、文字の削除を指示するための記号３８ａによって構成されている。

図２に示すように、加筆部分抽出手段１８ｂは、Ｓ１０１の処理の後、Ｓ１０１において読み取った画像２０から加筆部分の画像３０（例えば、図４参照。）を、特定の色に基づいて抽出する（Ｓ１０２）。

図４は、図３に示す加筆修正済み原稿の加筆部分の画像３０を示す図である。

図２に示すように、元原稿再現手段１８ｃは、Ｓ１０２の処理の後、Ｓ１０１において読み取った画像２０から、Ｓ１０２において抽出した画像３０を取り除くことによって元原稿の画像４０（例えば、図５参照。）を再現する（Ｓ１０３）。ここで、元原稿再現手段１８ｃは、画像２０のうち元原稿の画像４０に加筆部分の画像３０が重なっている部分については、元原稿の色に加筆部分の色が重なったことによる加筆部分の色の変化に基づいて元原稿の色を再現したり、周辺色、すなわち、元原稿の画像４０のうち加筆部分の画像３０が重なっていない部分の色から補完したりすることができる。

図５は、図３に示す加筆修正済み原稿の元原稿の画像４０を示す図である。

図２に示すように、領域抽出手段１８ｄは、Ｓ１０３の処理の後、Ｓ１０３において再現した元原稿の画像４０から文字または図の領域を抽出する（Ｓ１０４）。ここで、領域抽出手段１８ｄは、画像４０に文字が存在する場合、画像４０から文字の領域を抽出する。また、領域抽出手段１８ｄは、画像４０に図が存在する場合、画像４０から図の領域を図毎に抽出する。なお、領域抽出手段１８ｄは、文字の領域を抽出する場合、画像４０における文字同士の距離の変化や、図の領域の配置などから、文字の領域を複数抽出することができる。

図６は、複数の領域に分離された元原稿の画像４０を示す図である。

図６に示す画像４０は、文字の領域４１〜４５と、図の領域４６、４７とに分離されている。ここで、領域４２は、段落４２ａ、４２ｂ、４２ｃ、４２ｄを含んでいる。また、領域４３は、題４３ａおよび段落４３ｂ、４３ｃを含んでいる。

図２に示すように、レイアウト指針判断手段１８ｅは、Ｓ１０４の処理の後、文字の領域が存在するか否かを判断する（Ｓ１０５）。

レイアウト指針判断手段１８ｅは、文字の領域が存在するとＳ１０５において判断すると、文字の領域のそれぞれに対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）によって文字を認識する（Ｓ１０６）。

レイアウト指針判断手段１８ｅは、文字の領域が存在しないとＳ１０５において判断するか、Ｓ１０６の処理が終了すると、Ｓ１０４において抽出された文字の領域および図の領域のそれぞれのレイアウトを示す原稿レイアウト情報を生成する（Ｓ１０７）。

例えば、レイアウト指針判断手段１８ｅは、各領域について、元原稿の画像４０の横方向における開始位置（左端位置）、中心位置および終了位置（右端位置）を求めるとともに、元原稿の画像４０の縦方向における開始位置（上端位置）および終了位置（下端位置）を求める。そして、レイアウト指針判断手段１８ｅは、求めたそれらの位置が一致する領域同士が存在する場合、それらの領域をそれらの位置に合わせることをレイアウトとして判断する。それらの位置が一致する場合、あえてそのように配置している可能性が高いからである。

また、レイアウト指針判断手段１８ｅは、領域間の距離を求める。そして、レイアウト指針判断手段１８ｅは、求めたそれらの距離が２行分などの特定の距離以下である場合、それらの領域間の距離を維持することをレイアウトとして判断する。

図７は、画像４０から生成される原稿レイアウト情報を示す図である。

例えば、レイアウト指針判断手段１８ｅは、図７において線分５１で示すように、領域４１〜４３を横方向における開始位置が一致させられるものとして判断する。また、レイアウト指針判断手段１８ｅは、図７において線分５２で示すように、領域４２および４３を横方向における終了位置が一致させられるものとして判断する。また、レイアウト指針判断手段１８ｅは、図７において線分５３で示すように、領域４４〜４７を横方向における中心位置が一致させられるものとして判断する。また、レイアウト指針判断手段１８ｅは、例えば、領域４１および４２の間の距離５４、領域４２および４３の間の距離５５、領域４４および４６の間の距離５６、領域４４および４７の間の距離５７、領域４５および４７の間の距離５８がそれぞれ維持されるものとして判断する。

図２に示すように、原稿編集手段１８ｆは、Ｓ１０７の処理の後、Ｓ１０２において抽出した加筆部分の指示内容に応じて元原稿の画像４０の編集処理を実行して（Ｓ１０８）、図２に示す動作を終了する。

図８は、Ｓ１０８の編集処理のフローチャートである。

図８に示すように、原稿編集手段１８ｆは、元原稿の画像４０をコピーすることによって、編集対象の画像を生成する（Ｓ１３１）。

次いで、原稿編集手段１８ｆは、Ｓ１０１において読み取った画像２０と、Ｓ１０２において抽出した加筆部分の画像３０とに基づいて、加筆部分を、それぞれの間の距離や、それぞれの内容に応じて分離する（Ｓ１３２）。例えば、原稿編集手段１８ｆは、図４で示す例では、画像３０に含まれる加筆部分を、指示３１〜３８に分離する。

原稿編集手段１８ｆは、Ｓ１３２の処理の後、Ｓ１３２において分離した加筆部分のうち未だ対象にしていない１つを対象にする（Ｓ１３３）。

次いで、原稿編集手段１８ｆは、現在の対象の加筆部分の指示内容の種類を判断する（Ｓ１３４）。

原稿編集手段１８ｆは、指示内容が指示３１、３２、３５のように「文字の追加」であるとＳ１３４において判断すると、現在の対象の加筆部分の文字をＯＣＲによって認識する（Ｓ１３５）。

次いで、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加する位置を特定する（Ｓ１３６）。

具体的には、原稿編集手段１８ｆは、Ｓ１３６において、現在の対象の加筆部分の文字を追加する位置が、特定レイアウト情報１７ｂおよび原稿レイアウト情報に規定されている文字の領域内に具体的に指定されている場合、その位置を特定する。

また、原稿編集手段１８ｆは、Ｓ１３６において、現在の対象の加筆部分の文字を追加する位置が、特定レイアウト情報１７ｂおよび原稿レイアウト情報に規定されている文字の領域内に具体的に指定されていない場合、特定レイアウト情報１７ｂおよび原稿レイアウト情報と、現在の対象の加筆部分の加筆修正済み原稿における位置とに基づいて、新たな領域のレイアウトを特定する。例えば、原稿編集手段１８ｆは、編集対象の画像の横方向において、他の領域が開始位置で揃えて配置されている場合に、この開始位置の付近に現在の対象の加筆部分の開始位置が配置されるとき、現在の対象の加筆部分の開始位置も他の領域と揃えて配置する。編集対象の画像の横方向における領域の開始位置について説明したが、編集対象の画像の横方向における領域の中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置についても同様である。また、原稿編集手段１８ｆは、現在の対象の加筆部分の領域と、現在の対象の加筆部分の領域の隣の領域との間の距離を、付近の領域同士の間の距離に揃えても良い。また、原稿編集手段１８ｆは、現在の対象の加筆部分に関して、編集対象の画像の横方向における領域の開始位置、中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置に法則性が無い場合などに、現在の対象の加筆部分の手書き位置を、現在の対象の加筆部分を追加する位置として特定しても良い。例えば、原稿編集手段１８ｆは、図９に示すように、領域４３の下側に文字の領域４８を新たに追加する場合、横方向における領域４８の開始位置、終了位置をそれぞれ線分５１、５２で規定し、領域４３および領域４８の間の距離５９を、領域４２および領域４３の間の距離５５と揃える。

原稿編集手段１８ｆは、Ｓ１３６の処理の後、現在の対象の加筆部分の文字の属性を特定する（Ｓ１３７）。例えば、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加する領域が存在する場合、現在の対象の加筆部分の文字を追加する領域において、現在の対象の加筆部分の文字を追加する位置の周辺の文字の属性を取得し、取得した属性を現在の対象の加筆部分の文字の属性として特定する。

原稿編集手段１８ｆは、Ｓ１３７の処理の後、編集対象の画像に対して、Ｓ１３５において認識した文字を、Ｓ１３６において特定した位置に、Ｓ１３７において特定した属性、または、文字属性情報１７ｃで示す属性で追加する（Ｓ１３８）。

例えば、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加する位置が、特定レイアウト情報１７ｂおよび原稿レイアウト情報に規定されている文字の領域内における特定の行の間の位置など、領域内における途中の位置である場合、この位置に現在の対象の加筆部分の文字を追加することによって、現在の対象の加筆部分の文字より後ろの部分を、現在の対象の加筆部分の文字の追加分だけ後ろにずらす。なお、原稿編集手段１８ｆは、領域内の段落に文字を追加する場合に、追加部分より後ろの部分を後ろにずらすとき、ずらした後も段落を維持する。ここで、原稿編集手段１８ｆは、領域内でインデントされている行を段落の開始の行として判断し、途中から最後まで空白が存在する行や、後続の段落の開始の行の直前の行や、領域内の最後の行を段落の終了の行として判断する。また、原稿編集手段１８ｆは、現在の対象の加筆部分の文字を追加することによって、この文字を含む領域より後ろの部分を、この領域のサイズが大きくなった分だけ、必要に応じて後ろにずらす。ただし、原稿編集手段１８ｆは、追加する文字を含む領域より後ろにおいて、領域同士の間の距離が２行分などの特定の距離より大きい場合、領域同士の間の距離が特定の距離になるまでは、この領域同士のうち後ろ側の領域を後ろにずらさない。

なお、原稿編集手段１８ｆは、Ｓ１０６における文字の認識によって「・・・章 ・・・」などの特定の形式を認識したり、文字のサイズの変化を認識したりすることによって、文字の領域内における「題」の行を認識することができる。したがって、原稿編集手段１８ｆは、領域内で「題」の後続の段落自体がインデントされている場合に、この領域内における「題」の後続の全ての行をそれぞれ段落と誤検出することを防止することができる。例えば、原稿編集手段１８ｆは、図１０（ａ）に示すように、領域６０において行６１が「題」であることを認識しない場合、後続の全ての行のそれぞれを段落として認識してしまう。すなわち、原稿編集手段１８ｆは、図１０（ａ）に示すように、段落６２〜６７が存在すると誤認識してしまう。一方、原稿編集手段１８ｆは、図１０（ｂ）に示すように、領域６０において行６１が「題」であることを認識する場合、段落６８および６９を正しく認識することができる。

原稿編集手段１８ｆは、指示内容が「図の追加」であるとＳ１３４において判断すると、現在の対象の加筆部分の手書きの図を追加する位置を特定する（Ｓ１３９）。

具体的には、原稿編集手段１８ｆは、Ｓ１３９において、特定レイアウト情報１７ｂおよび原稿レイアウト情報と、現在の対象の加筆部分の加筆修正済み原稿における位置とに基づいて、新たな領域のレイアウトを特定する。例えば、原稿編集手段１８ｆは、編集対象の画像の横方向において、他の領域が開始位置で揃えて配置されている場合に、この開始位置の付近に現在の対象の加筆部分の開始位置が配置されるとき、現在の対象の加筆部分の開始位置も他の領域と揃えて配置する。編集対象の画像の横方向における領域の開始位置について説明したが、編集対象の画像の横方向における領域の中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置についても同様である。また、原稿編集手段１８ｆは、現在の対象の加筆部分の領域と、現在の対象の加筆部分の領域の隣の領域との間の距離を、付近の領域同士の間の距離に揃えても良い。また、原稿編集手段１８ｆは、現在の対象の加筆部分に関して、編集対象の画像の横方向における領域の開始位置、中心位置、終了位置や、編集対象の画像の縦方向における領域の開始位置、終了位置に法則性が無い場合などに、現在の対象の加筆部分の手書き位置を、現在の対象の加筆部分を追加する位置として特定しても良い。

原稿編集手段１８ｆは、Ｓ１３９の処理の後、編集対象の画像に対して、現在の対象の加筆部分の手書きの図を、Ｓ１３９において特定した位置に追加する（Ｓ１４０）。

例えば、原稿編集手段１８ｆは、現在の対象の加筆部分の手書きの図を追加することによって、この図が追加された領域より後ろの部分を、この領域が追加された分だけ、必要に応じて後ろにずらす。

原稿編集手段１８ｆは、指示内容が指示３３、３６、３８のように「削除」であるとＳ１３４において判断すると、現在の対象の加筆部分で削除することが指定されている箇所を特定する（Ｓ１４１）。

次いで、原稿編集手段１８ｆは、編集対象の画像に対して、Ｓ１４１で特定した箇所を削除する（Ｓ１４２）。

例えば、原稿編集手段１８ｆは、領域において途中の部分を削除する場合、この領域において削除部分より後ろの部分を、削除部分の削除分だけ前にずらす。なお、原稿編集手段１８ｆは、領域内の段落から文字を削除する場合に、削除部分より後ろの部分を前にずらすとき、ずらした後も段落を維持する。ここで、原稿編集手段１８ｆは、文字の領域内における「題」の行を認識することができるので、領域内で「題」の後続の段落自体がインデントされている場合に、この領域内における「題」の後続の全ての行をそれぞれ段落と誤検出することを防止することができる。また、原稿編集手段１８ｆは、特定の部分を削除することによって、この部分を含んでいた領域より後ろの部分を、この領域のサイズが小さくなった分だけ、必要に応じて前にずらす。

原稿編集手段１８ｆは、指示内容が指示３４、３７のように「移動」であるとＳ１３４において判断すると、現在の対象の加筆部分で移動することが指定されている箇所を特定する（Ｓ１４３）。

次いで、原稿編集手段１８ｆは、現在の対象の加筆部分で指定されている移動先の位置を特定する（Ｓ１４４）。

次いで、原稿編集手段１８ｆは、編集対象の画像に対して、Ｓ１４３で特定した箇所を、Ｓ１４４において特定した位置に移動する（Ｓ１４５）。

例えば、原稿編集手段１８ｆは、Ｓ１４３で特定した箇所を移動先に追加する場合、この箇所が追加された部分より後ろの部分を、この箇所が追加された分だけ、必要に応じて後ろにずらす。ただし、原稿編集手段１８ｆは、文字を追加する場合に、追加する文字を含む領域より後ろにおいて、領域同士の間の距離が２行分などの特定の距離より大きいとき、領域同士の間の距離が特定の距離になるまでは、この領域同士のうち後ろ側の領域を後ろにずらさない。また、原稿編集手段１８ｆは、Ｓ１４３で特定した箇所を移動元において削除する場合、この箇所が削除された部分より後ろの部分を、この箇所が削除された分だけ、必要に応じて前にずらす。なお、原稿編集手段１８ｆは、領域内の段落に文字を追加する場合に、追加部分より後ろの部分を後ろにずらすとき、ずらした後も段落を維持する。また、原稿編集手段１８ｆは、領域内の段落から文字を削除する場合に、削除部分より後ろの部分を前にずらすとき、ずらした後も段落を維持する。ここで、原稿編集手段１８ｆは、文字の領域内における「題」の行を認識することができるので、領域内で「題」の後続の段落自体がインデントされている場合に、この領域内における「題」の後続の全ての行をそれぞれ段落と誤検出することを防止することができる。

原稿編集手段１８ｆは、Ｓ１３８、Ｓ１４０、Ｓ１４２またはＳ１４５の処理の後、Ｓ１３２において分離した加筆部分のうち未だ対象にしていないものが存在するか否かを判断する（Ｓ１４６）。

原稿編集手段１８ｆは、Ｓ１３２において分離した加筆部分のうち未だ対象にしていないものが存在するとＳ１４６において判断すると、原稿レイアウト情報を更新して（Ｓ１４７）、Ｓ１３３の処理を実行する。

原稿編集手段１８ｆは、Ｓ１３２において分離した加筆部分のうち未だ対象にしていないものが存在しないとＳ１４６において判断すると、図８に示す動作を終了する。

例えば、ＭＦＰ１０は、図３に示す加筆修正済み原稿に基づいて文書を電子化する場合、図２に示す動作を実行することによって編集対象の画像として最終的に図１１に示す文書を生成する。したがって、ＭＦＰ１０は、図１１に示す文書をプリンター１４によって印刷したり、記憶部１７に記憶することができる。

なお、図１１に示す文書に対してレイアウトを示すと、図１２に示すようになる。図１２に示す画像は、図６に示す元原稿の画像４０と比較して、次のように修正されている。

領域４１は、指示３２に応じて「の」が追加されている。領域４１は、横方向における開始位置と、縦方向における開始位置および終了位置とが変化していない。

領域４２は、指示３３に応じて「いいい」という３つの文字が削除されている。また、領域４２は、指示３４に応じて「ううう」という行と、「えええええ」という行とが入れ替えられている。領域４２は、横方向における開始位置および終了位置と、縦方向における開始位置とが変化していない。領域４２は、１行減った分だけ、縦方向における終了位置が上がっている。

領域４３は、指示３５に応じて「トトトトト」という文字が追加されている。領域４３は、横方向における開始位置および終了位置と、縦方向における終了位置とが変化していない。領域４３は、領域４２が１行減った分だけ、縦方向における開始位置が上がっている。

領域４５は、指示３８に応じて削除されている。

領域４６は、指示３６に応じて削除されている。

領域４７は、指示３７に応じて移動させられている。領域４７は、横方向における中心位置が変化していない。領域４７は、縦方向における終了位置と、領域４４の縦方向における開始位置との距離６０が、元原稿の画像４０における領域４４と、領域４６との距離５６（図７参照。）と等しい。

領域４９は、指示３１に応じて「１／２」という文字がヘッダーに追加されている。なお、原稿編集手段１８ｆは、特定レイアウト情報１７ｂに応じてヘッダー内のレイアウトを設定している。

以上に説明したように、ＭＦＰ１０は、文字および図のうち加筆修正済み原稿の元原稿に含まれるものの少なくとも一部の位置を変更することによって文書を生成するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を向上することができる。

ＭＦＰ１０は、元原稿のレイアウトの指針に応じて元原稿を編集して文書を生成するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を更に向上することができる。

ＭＦＰ１０は、元原稿の段落に対して文字の追加および削除の少なくとも一方を実行する場合に、元原稿の編集後にも段落を維持するので、加筆修正済み原稿に基づいた電子化文書におけるレイアウトの適切性を更に向上することができる。

ＭＦＰ１０は、元原稿自体がなくても、加筆修正済み原稿があれば、元原稿を再現することができるので、利便性を向上することができる。なお、ＭＦＰ１０は、元原稿の画像を記憶部１７に記憶しておいて、加筆修正済み原稿から元原稿を再現することなく、記憶部１７に記憶している元原稿の画像を使用しても良い。

本発明の文書電子化方法の一部は、ＭＦＰ１０ではなく、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピューターによって実現されても良い。

本発明の画像形成装置は、本実施の形態においてＭＦＰであるが、ＭＦＰ以外の画像形成装置であっても良い。

１０ ＭＦＰ（画像形成装置）
１３ スキャナー（読取デバイス）
１７ａ 文書電子化プログラム
１８ａ 画像取得手段
１８ｂ 加筆部分抽出手段
１８ｃ 元原稿再現手段
１８ｄ 領域抽出手段
１８ｅ レイアウト指針判断手段
１８ｆ 原稿編集手段
２０ 画像（加筆修正済み原稿の画像）
３０ 画像（加筆部分の画像）
４０ 画像（元原稿の画像）
４１〜４５ 領域（文字の領域）
４２ａ、４２ｂ、４２ｃ、４２ｄ 段落
４３ｂ、４３ｃ 段落
４６、４７ 領域（図の領域）
４８、４９ 領域（文字の領域）

Claims (13)

1. 原稿から画像を読み取る読取デバイスと、
   手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、
   前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、
   前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で前記加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集手段と、
   文字の領域および図の領域のうち前記元原稿に含まれる領域を前記元原稿から抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と
   を備え、
   前記原稿編集手段は、文字および図のうち前記元原稿に含まれるものの少なくとも一部の位置を変更することによって前記電子化文書を生成し、
   前記原稿編集手段は、文字の領域および図の領域の少なくとも１つの領域の位置を前記元原稿において変更する編集を実行する場合に、前記レイアウト指針判断手段によって判断された前記指針に応じて、前記元原稿の編集後における、この領域の位置を特定し、
   前記原稿編集手段は、文字の領域および図の領域の少なくとも１つの領域を前記元原稿に追加する編集を実行する場合に、前記レイアウト指針判断手段によって判断された前記指針に応じて、前記元原稿の編集後における、この領域の位置を特定することを特徴とする画像形成装置。
2. 前記原稿編集手段は、前記元原稿の画像の横方向における領域の開始位置、前記横方向における領域の中心位置、前記横方向における領域の終了位置、前記元原稿の画像の縦方向における領域の開始位置、および、前記縦方向における領域の終了位置の少なくとも１つに関して、前記加筆部分の領域の他の領域が揃えて配置されている場合に、前記加筆部分の領域も揃えて配置することを特徴とする請求項１に記載の画像形成装置。
3. 前記原稿編集手段は、前記加筆部分の領域と、前記加筆部分の領域の隣の領域との間の距離を、前記加筆部分の領域の他の領域同士の間の距離に揃えることを特徴とする請求項１または請求項２に記載の画像形成装置。
4. 前記原稿編集手段は、文字を追加する編集を実行する場合に、追加する文字を含む領域より後ろにおいて、領域同士の間の距離が特定の距離より大きい場合、領域同士の間の距離がこの特定の距離になるまでは、この領域同士のうち後ろ側の領域を後ろにずらさないことを特徴とする請求項１から請求項３までのいずれかに記載の画像形成装置。
5. 前記原稿編集手段は、文字の領域および図の領域の少なくとも１つの領域の位置を前記元原稿において変更する編集を実行する場合に、特定のレイアウトを示す特定レイアウト情報に応じて、前記元原稿の編集後における、この領域の位置を特定し、
   前記原稿編集手段は、文字の領域および図の領域の少なくとも１つの領域を前記元原稿に追加する編集を実行する場合に、前記特定レイアウト情報に応じて、前記元原稿の編集後における、この領域の位置を特定することを特徴とする請求項１から請求項４までのいずれかに記載の画像形成装置。
6. 前記特定レイアウト情報は、ヘッダーに関するレイアウトと、フッターに関するレイアウトと、本文の段組に関するレイアウトとの少なくとも１つを示すことを特徴とする請求項５に記載の画像形成装置。
7. 前記レイアウト指針判断手段は、各領域について、前記元原稿の画像の横方向における開始位置、中心位置および終了位置と、前記元原稿の画像の縦方向における開始位置および終了位置とを求め、求めたそれらの位置が一致する領域同士が存在する場合、それらの領域をそれらの位置に合わせることを前記指針として判断することを特徴とする請求項１から請求項６までのいずれかに記載の画像形成装置。
8. 前記レイアウト指針判断手段は、領域間の距離を求め、求めたそれらの距離が特定の距離以下である場合、それらの領域間の距離を維持することを前記指針として判断することを特徴とする請求項１から請求項７までのいずれかに記載の画像形成装置。
9. 前記加筆修正済み原稿の画像から前記元原稿を再現する元原稿再現手段を備え、
   前記加筆部分抽出手段は、色に基づいて前記加筆修正済み原稿の画像から前記加筆部分を抽出し、
   前記元原稿再現手段は、前記加筆部分抽出手段によって抽出された前記加筆部分を前記加筆修正済み原稿の画像から取り除くことによって前記元原稿を再現する場合に、前記加筆修正済み原稿の画像のうち前記元原稿の画像に前記加筆部分の画像が重なっている部分については、前記元原稿の色に前記加筆部分の色が重なったことによる前記加筆部分の色の変化に基づいて前記元原稿の色を再現することを特徴とする請求項１から請求項８までの何れかに記載の画像形成装置。
10. 前記加筆修正済み原稿の画像から前記元原稿を再現する元原稿再現手段を備え、
    前記加筆部分抽出手段は、色に基づいて前記加筆修正済み原稿の画像から前記加筆部分を抽出し、
    前記元原稿再現手段は、前記加筆部分抽出手段によって抽出された前記加筆部分を前記加筆修正済み原稿の画像から取り除くことによって前記元原稿を再現する場合に、前記加筆修正済み原稿の画像のうち前記元原稿の画像に前記加筆部分の画像が重なっている部分については、前記元原稿の画像のうち前記加筆部分の画像が重なっていない部分の色から補完することを特徴とする請求項１から請求項８までの何れかに記載の画像形成装置。
11. 前記原稿編集手段は、前記修正内容が文字の領域における段落に対する文字の追加および削除の少なくとも一方である場合、前記元原稿の編集後にも前記段落を維持することを特徴とする請求項１から請求項１０までのいずれかに記載の画像形成装置。
12. 原稿から画像を読み取る読取デバイスを備える画像形成装置に、
    手書きによって修正された加筆修正済み原稿の画像を前記読取デバイスによって取得する画像取得手段と、
    前記画像取得手段によって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出手段と、
    前記加筆部分抽出手段によって抽出された前記加筆部分によって指示された修正内容で前記加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集手段と、
    文字の領域および図の領域のうち前記元原稿に含まれる領域を前記元原稿から抽出する領域抽出手段と、
    前記領域抽出手段によって抽出された領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断手段と
    を実現させ、
    前記原稿編集手段は、文字および図のうち前記元原稿に含まれるものの少なくとも一部の位置を変更することによって前記電子化文書を生成し、
    前記原稿編集手段は、文字の領域および図の領域の少なくとも１つの領域の位置を前記元原稿において変更する編集を実行する場合に、前記レイアウト指針判断手段によって判断された前記指針に応じて、前記元原稿の編集後における、この領域の位置を特定し、
    前記原稿編集手段は、文字の領域および図の領域の少なくとも１つの領域を前記元原稿に追加する編集を実行する場合に、前記レイアウト指針判断手段によって判断された前記指針に応じて、前記元原稿の編集後における、この領域の位置を特定することを特徴とする文書電子化プログラム。
13. 手書きによって修正された加筆修正済み原稿の画像を読取デバイスによって取得する画像取得ステップと、
    前記画像取得ステップによって取得された前記加筆修正済み原稿の画像から加筆部分を抽出する加筆部分抽出ステップと、
    前記加筆部分抽出ステップによって抽出された前記加筆部分によって指示された修正内容で前記加筆修正済み原稿の元原稿を編集して電子化文書を生成する原稿編集ステップと、
    文字の領域および図の領域のうち前記元原稿に含まれる領域を前記元原稿から抽出する領域抽出ステップと、
    前記領域抽出ステップによって抽出された領域に基づいて前記元原稿のレイアウトの指針を判断するレイアウト指針判断ステップと
    を備え、
    前記原稿編集ステップは、文字および図のうち前記元原稿に含まれるものの少なくとも一部の位置を変更することによって前記電子化文書を生成するステップであり、
    前記原稿編集ステップは、文字の領域および図の領域の少なくとも１つの領域の位置を前記元原稿において変更する編集を実行する場合に、前記レイアウト指針判断ステップによって判断された前記指針に応じて、前記元原稿の編集後における、この領域の位置を特定するステップであり、
    前記原稿編集ステップは、文字の領域および図の領域の少なくとも１つの領域を前記元原稿に追加する編集を実行する場合に、前記レイアウト指針判断ステップによって判断された前記指針に応じて、前記元原稿の編集後における、この領域の位置を特定するステップであることを特徴とする文書電子化方法。

Images