JP6520761B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、文字列に重畳されたマーキングを含む原稿画像から、マーキングされた文字列を解答とする穴埋め問題を作成することが可能な情報処理装置及びプログラムに関する。

問題の解答となる文字列を手書きのマーキングで指定した原稿の画像を読み取り、読み取った原稿の画像データの中からマーキングの画像を抽出し、マーキングの位置で文字列を抽出し、マーキングの位置で文字列を消去し、文字列の消去部分に解答欄を設定する、穴埋め問題を作成する技術が知られている（特許文献１、要約書）。一具体例として、２以上の虫食い箇所を１つの虫食いグループとして設定し、その虫食いグループについて１つの虫食い問題を作成する技術も知られている（特許文献２、要約書）。

特開２００７−４５２３号公報 特開２０１０−１０１９７０号公報

穴埋め問題を作成することが可能な情報処理装置においては、問題作成者及び回答者の双方について益々ユーザーフレンドリーであることが望まれる。

以上のような事情に鑑み、本発明の目的は、文字列に重畳されたマーキングを含む原稿画像から、マーキングされた文字列を解答とする穴埋め問題を作成することが可能な情報処理装置及びプログラムにおいて、ユーザーの利便性を向上することにある。

上記目的を達成するため、本発明の一形態に係る情報処理装置は、
文字列に重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
各前記マーキングが重畳された前記文字列に含まれる１以上の文字を抽出する文字抽出部と、
前記抽出した１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する重畳判定部と、
前記別のマーキングが重畳されていると判定された場合、前記文字列に重畳された複数のマーキングを接続して、新たなマーキングを作成するマーキング合成部
とを具備する。

文字列に重畳されたマーキングに隙間や空白部分が存在するとしても、その隙間や空白部分を包含する１つの新たなマーキングを接続により作成する。これにより、問題作成者が意図したマーキングを作成することができる。

前記文字抽出部は、前記新たなマーキングが重畳された前記文字列に含まれる１以上の文字を抽出する。

これにより、１つの新たなマーキングに重畳する文字列としての、空欄とすべき文字列（解答となる文字列）を、正確に抽出することができる。

情報処理装置は、
前記マーキング抽出部が抽出した前記複数のマーキングそれぞれの、前記原稿画像内での位置及び形状を判定するマーキング判定部をさらに具備し、
前記マーキング合成部は、前記文字列に重畳された複数のマーキングそれぞれの位置及び形状をもとに、前記文字列に重畳された複数のマーキングを含む前記新たなマーキングを作成する。

前記マーキング合成部は、前記文字列に重畳された複数のマーキングの位置及び形状をもとに、前記文字列に重畳された複数のマーキングの各端点を少なくとも輪郭線上に含む前記新たなマーキングを作成する。

前記文字列に重畳された複数のマーキングの各端点を少なくとも輪郭線上に含む新たなマーキングを作成することにより、問題作成者が意図したマーキングを、より正確に作成することができる。

前記文字抽出部は、前記マーキングの位置及び形状をもとに、前記マーキングが重畳された前記文字列に含まれる１以上の文字を抽出する。

前記重畳判定部は、
前記抽出した１以上の文字のうち、前記マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字を判定し、
前記マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する。

このように、マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字を判定することにより、空欄とすべき文字列（解答となる文字列）を、より正確に抽出することができる。

前記重畳判定部は、前記抽出した１以上の文字のうち、前記新たなマーキングが重畳する割合がそれぞれ閾値以上の１以上の文字を判定する。

情報処理装置は、
前記重畳判定部が判定した１以上の文字に重畳する１つの空欄画像を作成する空欄作成部と、
前記原稿画像と、前記空欄画像とを合成した合成画像を作成する画像合成部と
をさらに具備する。

前記文字抽出部は、エッジ検出により、前記マーキングが重畳された前記文字列に含まれる１以上の文字のエッジを抽出し、
前記空欄作成部は、前記重畳判定部が判定した１以上の文字のエッジを合成して得られる文字列に重畳する１つの空欄画像を作成する。

このように、マーキングを空欄画像作成の基準とするのではなく、１以上の文字のエッジを合成して得られる文字列に重畳する１つの空欄画像を作成することにより、空欄とすべき文字列（解答となる文字列）を過不足なく正確に空欄にすることができる。

上記目的を達成するため、本発明の一形態に係るプログラムは、
情報処理装置を、
文字列に重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
各前記マーキングが重畳された前記文字列に含まれる１以上の文字を抽出する文字抽出部と、
前記抽出した１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する重畳判定部と、
前記別のマーキングが重畳されていると判定された場合、前記文字列に重畳された複数のマーキングを接続して、新たなマーキングを作成するマーキング合成部
として機能させる。

本発明によれば、文字列に重畳されたマーキングを含む原稿画像から、マーキングされた文字列を解答とする穴埋め問題を作成することが可能な情報処理装置及びプログラムにおいて、ユーザーの利便性が向上する。

画像形成装置のハードウェア構成を示すブロック図である。 画像形成装置の機能的構成を示すブロック図である。 画像形成装置の動作を示すフローチャートである。 画像形成装置の動作を説明するための図である。 マーキングの接続方法を説明するための図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

（１．画像形成装置のハードウェア構成）
図１は、本発明の一実施形態に係る画像形成装置のハードウェア構成を示すブロック図である。

本発明の各実施形態に係る情報処理装置は、画像形成装置（例えば、ＭＦＰ、Multifunction Peripheral）であり、以下ＭＦＰと称する。

ＭＦＰ１は、制御部１１を備える。制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及び専用のハードウェア回路等から構成され、ＭＦＰ１の全体的な動作制御を司る。ＭＦＰ１を各機能部（後述）として機能させるコンピュータプログラムは、ＲＯＭ等の非一過性の記憶媒体に記憶される。

制御部１１は、画像読取部１２、画像処理部１４、画像メモリー１５、画像形成部１６、操作部１７、記憶部１８、ネットワーク通信部１３等と接続されている。制御部１１は、接続されている上記各部の動作制御や、各部との間での信号又はデータの送受信を行う。

制御部１１は、ユーザーから、操作部１７またはネッワーク接続されたパーソナルコンピュータ（図示せず）等を通じて入力されるジョブの実行指示に従って、スキャナ機能、印刷機能及びコピー機能機能などの各機能についての動作制御を実行するために必要な機構の駆動及び処理を制御する。

画像読取部１２は、原稿から画像を読み取る。

画像処理部１４は、画像読取部１２で読み取られた画像の画像データを必要に応じて画像処理する。例えば、画像処理部１４は、画像読取部１２により読み取られた画像が画像形成された後の品質を向上させるために、シェーディング補正等の画像処理を行う。

画像メモリー１５は、画像読取部１２による読み取りで得られた原稿画像のデータを一時的に記憶したり、画像形成部１６での印刷対象となるデータを一時的に記憶したりする領域である。

画像形成部１６は、画像読取部１２で読み取られた画像データ等の画像形成を行う。

操作部１７は、ＭＦＰ１が実行可能な各種動作及び処理についてユーザーからの指示を受け付けるタッチパネル部および操作キー部を備える。タッチパネル部は、タッチパネルが設けられたＬＣＤ（Liquid Crystal Display）等の表示部１７ａを備えている。

ネットワーク通信部１３は、ネットワークに接続するためのインタフェースである。

記憶部１８は、画像読取部１２によって読み取られた原稿画像等を記憶する、ＨＤＤ（Hard Disk Drive）などの大容量の記憶装置である。

（２．画像形成装置の機能的構成）
図２は、画像形成装置の機能的構成を示すブロック図である。

ＭＦＰ１は、情報処理プログラムを実行することで、マーキング抽出部１０１、マーキング判定部１０２、文字抽出部１０３、重畳判定部１０４、マーキング合成部１０７、空欄作成部１０５及び画像合成部１０６として機能する。

マーキング抽出部１０１は、画像読取部１２が読み取った原稿画像から、文字列に重畳されたマーキングを抽出する。なお、本実施の形態において、「文字列」は、１文字からなる単位、又は連続する複数の文字からなる単位を意味する。

マーキング判定部１０２は、マーキング抽出部１０１が抽出したマーキングの、原稿画像内での位置及び形状を判定する。

文字抽出部１０３は、マーキング判定部１０２が判定したマーキングの位置及び形状をもとに、マーキングが重畳された文字列に含まれる１以上の文字を抽出する。

重畳判定部１０４は、文字抽出部１０３が抽出した１以上の文字のうち、マーキングに対して重畳する割合がそれぞれ閾値以上の１以上の文字を判定する。重畳判定部１０４は、判定した少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する。

マーキング合成部１０７は、重畳判定部１０４がマーキングが重畳する割合がそれぞれ閾値以上の１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されていると判定すると、文字列に重畳された複数のマーキングそれぞれの位置及び形状をもとに、文字列に重畳された複数のマーキングを接続して、新たなマーキングを作成する。詳細には、マーキング合成部１０７は、文字列に重畳された複数のマーキングそれぞれの位置及び形状をもとに、文字列に重畳された複数のマーキングを含む（包含する）新たなマーキングを作成する。

空欄作成部１０５は、重畳判定部１０４が判定したマーキングが重畳する割合が閾値以上の１以上の文字に重畳する１つの空欄画像を作成する。

画像合成部１０６は、画像読取部１２が読み取った原稿画像と、空欄作成部１０５が作成した空欄画像とを合成した合成画像を作成する。

（３．画像形成装置の動作）
図３は、画像形成装置の動作を示すフローチャートである。図４は、画像形成装置の動作を説明するための図である。図４において、ハッチング部分がマーキングを示している。

前提として、原稿（典型的には、紙）には、テキストデータとしての文字列が印字されている。あるいは、原稿には、画像データとしての文字列の画像が形成されている（文字列が印字された原稿がコピーされている）。そして、文字列全体のうち複数の一部の文字列（熟語、文節、数値等）が、ユーザーである問題作成者により、蛍光マーカーペン等を用いて手書きでマーキングされている。マーキングされた文字列は、穴埋め問題において、解答となる文字列である。

画像読取部１２は、原稿を光学的にスキャンし、原稿画像を読み取る（ステップＳ１０１）。「原稿画像」は、全体的に見れば多数の文字列を含む文書原稿の画像データであり、複数の文字列に重畳された複数のマーキングを含む。「文字列」は、語句（単語、文節、文章等）、数値等であり、厳密には、その画像である。

マーキング抽出部１０１は、画像読取部１２が読み取った原稿画像から、文字列に重畳されたマーキングを抽出する（ステップＳ１０２）。具体的には、マーキング抽出部１０１は、背景（白色等）と明度及び／又は彩度等が異なり、特定の形状及びサイズ（特定の幅の帯状の長方形等）の領域を、マーキングとして抽出する。

マーキング判定部１０２は、マーキング抽出部１０１が抽出したマーキングの、原稿画像内での位置及び形状を判定する（ステップＳ１０３）。具体的には、マーキング判定部１０２は、原稿画像全体を座標系全体として、マーキングの位置及び形状を座標として算出する。

文字抽出部１０３は、マーキング判定部１０２が判定したマーキングの位置及び形状（座標）をもとに、マーキングが重畳された文字列に含まれる１以上の文字を抽出する（ステップＳ１０４でＹＥＳ、Ｓ１０５）。具体的には、文字抽出部１０３は、エッジ検出により、マーキング判定部１０２が判定した位置及び形状（座標）により定義されるマーキングが重畳された１以上の文字のエッジを抽出する。なお、文字抽出部１０３は、１つのマーキングが重畳された文字列全体を、１つの文字列として抽出するのではなく、文字列に含まれる１文字１文字のエッジを抽出する。

重畳判定部１０４は、文字抽出部１０３が抽出した１以上の文字のうち、マーキングに対して重畳する割合がそれぞれ閾値以上の１以上の文字（１文字、又は連続する複数の文字。以下同じ）を判定する（ステップＳ１０６）。具体的には、重畳判定部１０４は、エッジ検出により抽出されたそれぞれの文字（１文字１文字）に対してマーキングが重畳する割合を算出し、その割合が閾値以上か否かを判定する（文字１つに対してマーキングが完全に重畳している場合を１００％とする。図４のＡ）。なお、重畳判定部１０４は、１つの文字に複数のマーキングが重畳している場合は（図４のＣ，Ｆ，Ｇ，Ｈ）、１つの文字に対して複数のマーキングが重畳する割合（割合の合計）を算出し、その割合が閾値以上か否かを判定する。重畳判定部１０４は、マーキングが重畳する割合が閾値以上の１以上の文字が存在する場合（ステップＳ１０６でＹＥＳ、図４のＢ，Ｆ，Ｇ，Ｈ）、マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する（ステップＳ１０７）。閾値は、例えば、３０％などであり、ユーザーが任意に設定できてもよい。

重畳判定部１０４は、マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されていないと判定すると（ステップＳ１０７でＮＯ、図４のＢ）、この１以上の文字は、マーキングが重畳されていると判定する（ステップＳ１０８）。

空欄作成部１０５は、重畳判定部１０４が判定したマーキングが重畳する割合が閾値以上の１以上の文字に重畳する１つの空欄画像を作成する（ステップＳ１０９）。具体的には、空欄作成部１０５は、重畳判定部１０４が判定した１以上の文字の、文字抽出部１０３がエッジ検出により抽出したエッジを合成して得られる文字列に重畳する１つの空欄画像を作成する。空欄作成部１０５は、この文字列からはみ出たマーキングの縁部分とを消し込むような形状及び位置（座標）の空欄画像を作成する。より詳細には、空欄作成部１０５は、重畳判定部１０４が判定した１以上の文字に対して抽出されたエッジを全て含む空欄画像を作成する。このとき、空欄画像は、その周囲の少なくとも一部がエッジに接していてもよい。また、空欄画像は、単なるブランクでも良いし、予め決められたスタイル（下線、矩形枠、括弧等）を含んでも良い。また、空欄画像は、矩形としてもよい。空欄画像が矩形の場合、空欄画像の４辺とも、少なくとも一部がエッジに接していてもよい。

一方、重畳判定部１０４は、マーキングが重畳する割合が閾値以上の文字が存在しない場合（ステップＳ１０６でＮＯ、図４のＣ，Ｄ）、判定対象の文字にはマーキングが重畳されていないと判定し（ステップＳ１１０）、マーキングが無効であると判定する（ステップＳ１１１）。なお、文字抽出部１０３が、マーキングが重畳された文字列に含まれる１以上の文字を抽出しない（マーキングが重畳された文字が存在しない）（ステップＳ１０４でＮＯ、図４のＥ）場合も、同様に、マーキングが無効である。

一方、重畳判定部１０４が、マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されていると判定すると（ステップＳ１０７でＹＥＳ、図４のＦ，Ｇ，Ｈ）、マーキング合成部１０７は、文字列に重畳された複数のマーキングそれぞれのマーキング判定部１０２が判定（ステップＳ１０３）した位置及び形状をもとに、文字列に重畳された複数のマーキングを接続して、新たなマーキングを作成する（ステップＳ１１２）。

図５は、マーキングの接続方法を説明するための図である。図５において、ハッチング部分がマーキングを示している。
マーキング合成部１０７は、文字列に重畳された複数のマーキング（図５のＦ，Ｇ，Ｈ。図４のＦ，Ｇ，Ｈと同じ。）のマーキング判定部１０２が判定（ステップＳ１０３）した位置及び形状をもとに、文字列に重畳された複数のマーキングの各端点を抽出する（図５のＦ−１，Ｇ−１，Ｈ−１）。マーキング合成部１０７は、抽出した各端点を少なくとも輪郭線上に含む新たなマーキングを作成し（図５のＦ−２，Ｇ−２，Ｈ−２）、マーキングとして再定義する。

マーキング合成部１０７は、再定義したマーキングの位置及び形状（座標）を、文字抽出部１０３に通知する。文字抽出部１０３は、マーキング合成部１０７が再定義した新たなマーキングの位置及び形状（座標）をもとに、新たなマーキングが重畳された文字列に含まれる１以上の文字を抽出する（ステップＳ１０４でＹＥＳ、Ｓ１０５）。この後、新たなマーキングに対してステップＳ１０４〜Ｓ１１２の処理が繰り返される。

ＭＦＰ１がステップＳ１０４〜Ｓ１１２の処理を原稿画像に含まれる全てのマーキング及び新たなマーキング（ステップＳ１１２）に対して行う（ステップＳ１１３、ＹＥＳ）と、画像合成部１０６は、画像読取部１２が読み取った原稿画像（ステップＳ１０１）と、空欄作成部１０５が作成した空欄画像（ステップＳ１０９）とを合成した合成画像を作成する（ステップＳ１１４）。具体的には、画像合成部１０６は、原稿画像の座標系に、形状及び位置が座標により定義される空欄画像を配置する。

画像形成部１６は、画像合成部１０６が作成した合成画像を、用紙に形成（プリントアウト）する（ステップＳ１１５）。

（４．変形例）
各実施形態では、画像読取部１２が原稿画像を読み取った（ステップＳ１０１）。これに替えて、ＭＦＰ１は、ネットワーク通信部１３を通じて、ネットワークに接続された情報処理装置（図示せず）から原稿画像を受信しても良い。

（５．まとめ）
元原稿の空欄とすべき文字列（解答となる文字列）を手書きでマーキングして穴埋め問題を作成する場合、文字列の上を正確にマーキングできるとは限らない。例えば、マーカーペンのペン先幅よりも高さが大きい文字列を手書きでマーキングする場合、その文字列に対して複数回マーキングを繰り返すことにより文字列全体をマーキングすることが考えられるが、複数のマーキングの間に隙間が生じるおそれがある。あるいは、インクが消耗したマーカーペンで文字列をマーキングする場合、マーキングがかすれて、結果的に、文字列に重畳されたマーキングに空白部分が生じるおそれがある。このような場合、マーキングの位置及び形状等をもとに空欄を作成すると、文字列に重畳されたマーキングに隙間や空白部分が存在する故、解答となる文字列を過不足なく正確に空欄にすることができないおそれがある。

これに対して、本形態によれば、重畳判定部１０４は、マーキングが重畳された前記文字列に含まれる１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する（ステップＳ１０７）。そして、マーキング合成部１０７は、文字列に重畳された複数のマーキングを接続して、新たなマーキングを作成する（ステップＳ１１２）。

これにより、文字列に重畳されたマーキングに隙間や空白部分が存在するとしても、その隙間や空白部分を包含する１つの新たなマーキングを接続により作成する。このように、１つの新たなマーキングを再定義することで、問題作成者が意図したマーキングを作成することができる。問題作成者が意図したマーキングを作成する結果として、新たなマーキングに重畳する文字列、即ち、空欄とすべき文字列（解答となる文字列）を、正確に抽出することができる。

さらに、本形態によれば、空欄作成部１０５は、重畳判定部１０４が判定した１以上の文字の、文字抽出部１０３がエッジ検出により抽出したエッジを合成して得られる文字列に重畳する１つの空欄画像を作成する（ステップＳ１０９）。このように、マーキングを空欄画像作成の基準とするのではなく、解答となる文字列のエッジに重畳する空欄画像を作成することにより、解答となる文字列を過不足なく正確に空欄にすることができる。

１…ＭＦＰ
１２…画像読取部
１６…画像形成部
１０１…マーキング抽出部
１０２…マーキング判定部
１０３…文字抽出部
１０４…重畳判定部
１０５…空欄作成部
１０６…画像合成部
１０７…マーキング合成部

Claims (8)

1. 文字列に重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
   前記マーキング抽出部が抽出した前記複数のマーキングそれぞれの、前記原稿画像内での位置及び形状を判定するマーキング判定部と、
   各前記マーキングが重畳された前記文字列に含まれる１以上の文字を抽出する文字抽出部と、
   前記抽出した１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する重畳判定部と、
   前記別のマーキングが重畳されていると判定された場合、前記複数のマーキングそれぞれの位置及び形状をもとに、前記文字列に重畳された複数のマーキングを接続して、前記文字列に重畳された複数のマーキングの各端点を少なくとも輪郭線上に含む新たなマーキングを作成するマーキング合成部
   とを具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記文字抽出部は、前記新たなマーキングが重畳された前記文字列に含まれる１以上の文字を抽出する
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記文字抽出部は、前記マーキングの位置及び形状をもとに、前記マーキングが重畳された前記文字列に含まれる１以上の文字を抽出する
   情報処理装置。
4. 請求項１乃至３の何れか一項に記載の情報処理装置であって、
   前記重畳判定部は、
   前記抽出した１以上の文字のうち、前記マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字を判定し、
   前記マーキングが重畳する割合がそれぞれ閾値以上の１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する
   情報処理装置。
5. 請求項１乃至４の何れか一項に記載の情報処理装置であって、
   前記重畳判定部は、前記抽出した１以上の文字のうち、前記新たなマーキングが重畳する割合がそれぞれ閾値以上の１以上の文字を判定する
   情報処理装置。
6. 請求項１乃至５の何れか一項に記載の情報処理装置であって、
   前記重畳判定部が判定した１以上の文字に重畳する１つの空欄画像を作成する空欄作成部と、
   前記原稿画像と、前記空欄画像とを合成した合成画像を作成する画像合成部と
   をさらに具備する情報処理装置。
7. 請求項５に記載の情報処理装置であって、
   前記文字抽出部は、エッジ検出により、前記新たなマーキングが重畳された前記文字列に含まれる１以上の文字のエッジを抽出し、
   前記空欄作成部は、前記重畳判定部が判定した１以上の文字のエッジを合成して得られる文字列に重畳する１つの空欄画像を作成する
   情報処理装置。
8. 情報処理装置を、
   文字列に重畳された複数のマーキングを含む原稿画像から、前記複数のマーキングを抽出するマーキング抽出部と、
   前記マーキング抽出部が抽出した前記複数のマーキングそれぞれの、前記原稿画像内での位置及び形状を判定するマーキング判定部と、
   各前記マーキングが重畳された前記文字列に含まれる１以上の文字を抽出する文字抽出部と、
   前記抽出した１以上の文字のうち、少なくとも１つの文字に、別のマーキングが重畳されているか否か判定する重畳判定部と、
   前記別のマーキングが重畳されていると判定された場合、前記複数のマーキングそれぞれの位置及び形状をもとに、前記文字列に重畳された複数のマーキングを接続して、前記文字列に重畳された複数のマーキングの各端点を少なくとも輪郭線上に含む新たなマーキングを作成するマーキング合成部
   として機能させるプログラム。