JP2011175569A - 文書画像生成装置、文書画像生成方法及びコンピュータプログラム - Google Patents

Abstract

【課題】原文画像における原文のレイアウトを保持しつつ、原文及び原文の補足説明（例えば訳文）の可読性を向上させることができる文書画像生成装置、文書画像生成方法及びコンピュータプログラムを提供する。
【解決手段】原文４１１の訳文４２１は、１行目の原文４１１と２行目の原文４１２との行間領域に配置されるが、図４（ｂ）に示すように行間領域が狭い場合には、原文４１１に訳文４２１が重なる。このとき、原文４１１に係る色彩を視認性が低い色彩に変更し、訳文４２１に係る色彩を視認性が高い色彩に設定する。この結果、文書画像４を視認したユーザは、視認性が低い（又は高い）色彩を有する文字を読むことによって、原文４１１（又は訳文４２１）を読むことができる。即ち、原文４１１と訳文４２１とが重なっていても、原文４１１及び訳文４２１の両方の可読性が向上される。しかも、訳文４２１は、原文４１１よりも読み易い。
【選択図】図４

Description

本発明は、原文の行間領域に補足説明が付加されている補足説明付き文書を表わす補足説明付き文書画像を生成する文書画像生成装置、文書画像生成方法及びコンピュータプログラムに関する。

従来、記録用紙又は書籍等に記録されている画像を画像読取装置で読み取り、読み取った画像（以下、原文画像という）が表わす原文を翻訳する技術が提案されている（特許文献１，２参照）。
特許文献１に記載の翻訳装置は、原文の行間領域に、原文を翻訳した結果（以下、訳文という）がルビ状に付加されている翻訳文書を生成する。
ただし、行間領域が狭い場合、翻訳装置は、行間領域の背景色で原文を塗り潰してから、訳文を配置する。
一方、特許文献２に記載の機械翻訳装置は、原文と訳文とが並置された対照表を生成する。

本明細書では、行間に存在する領域も、行間に相当する領域（例えば、横書きの場合の第１行の上側の領域、又は最終行の下側の領域等）も、区別なく行間領域という。また、行間領域が広い／狭いとは、行間領域の、原文の可読方向に直交する方向（例えば横書きであれば縦方向）の長さが十分／不十分である、という意味である。
更に、本明細書では、文字とは、英数字、漢字、かな文字、及び記号等を意味する。

特開２００９−５３８３８号公報 特開２００５−１５７４１２号公報

しかしながら、特許文献２に記載の機械翻訳装置が生成した対照表は、原文画像における原文のレイアウトを保持していない。このため、原文のレイアウトを参照する場合には、対照表のみならず、原文画像も別途必要になる。
一方、特許文献１に記載の翻訳装置が生成した翻訳文書は、原文画像における原文のレイアウトを保持している。ところが、原文が背景色で塗り潰されている場合には、原文を参照するために、翻訳文書のみならず、原文画像も別途必要になる。

かといって、行間領域が狭いにも拘らず原文を背景色で塗り潰さなければ、原文の文字と訳文の文字とが重なるため、原文及び訳文の両方が読み難い。
そこで、原文と訳文との文字の重なりを回避するために、訳文に係る文字サイズを減少させることが考えられるが、過剰に小さい文字からなる訳文は読み難い。

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、一の色彩を有する原文と、他の色彩を有する補足説明とを合成する構成とすることにより、原文画像における原文のレイアウトを保持しつつ、原文及び補足説明の可読性を向上させることができる文書画像生成装置、文書画像生成方法及びコンピュータプログラムを提供することにある。

本発明に係る文書画像生成装置は、一の色彩を有する複数行の原文を表わす原文画像に基づいて、前記原文に関する補足説明が前記原文の行間領域に付加されている補足説明付き文書を表わす補足説明付き文書画像を生成する文書画像生成装置において、前記補足説明に係る色彩を、前記原文に係る色彩とは異なる他の色彩に設定する設定手段と、該設定手段が設定した他の色彩を有する補足説明を表わす補足説明レイヤを生成する生成手段と、前記原文画像を用いてなる原文レイヤ、及び、前記生成手段が生成した補足説明レイヤを合成することによって、前記補足説明付き文書画像を生成する合成手段とを備えることを特徴とする。

本発明に係る文書画像生成装置は、前記原文に係る色彩が所定の条件を満たしているか否かを判定する判定手段と、該判定手段が否と判定した場合、前記原文に係る色彩を、前記所定の条件を満たす一の色彩に変更するための変更手段とを更に備え、前記設定手段は、前記補足説明に係る色彩を、前記所定の条件を満たさない他の色彩に設定するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記設定手段は、前記補足説明に係る色彩として、前記原文に係る色彩よりも視認性が低い他の色彩及び高い他の色彩の両方を、切り替え可能に設定するようにしてあり、前記合成手段は、前記原文の視認性を優先する態様、及び、前記補足説明の視認性を優先する態様の何れか一方を選択するための選択手段と、前記選択手段によって前記原文（又は前記補足説明）の視認性を優先する態様が選択された場合に、前記補足説明に係る色彩を、前記低い他の色彩（又は前記高い他の色彩）に切り替える切替手段とを前記補足説明付き文書画像に付属させるようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記設定手段は、前記補足説明に係る色彩を、前記補足説明を分割すべき所定単位毎に設定するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記原文に係る色彩を、前記原文画像における原文が有する一の色彩よりも視認性が低い一の色彩に変更するための色彩変更レイヤを生成するようにしてあり、前記設定手段は、前記補足説明に係る色彩を、前記一の色彩よりも視認性が高い他の色彩に設定するようにしてあり、前記合成手段は、前記変更手段が生成した色彩変更レイヤ、並びに、前記原文レイヤ及び補足説明レイヤを合成することによって、前記補足説明付き文書画像を生成するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記色彩変更レイヤとして、前記原文レイヤにおける前記原文の配置位置に対応する位置に、所定の透明度を有する塗り潰し図形が配置されているレイヤを生成するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記色彩変更レイヤとして、前記原文レイヤにおける前記原文の配置位置に対応する位置に、所定の透明度を有する矩形記号が配置されているレイヤを生成するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記原文を分割すべき所定単位毎に１個の前記矩形記号を配置すべく前記矩形記号の縦横の倍率を設定するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記原文を分割すべき所定単位毎に、夫々の文字サイズが互いに等しい複数個の前記矩形記号を密着配置すべく各矩形記号の配置位置を設定するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記原文を分割すべき所定単位毎に１個又は複数個の前記矩形記号を前記所定単位に含まれる文字の形状に応じて配置すべく各矩形記号の縦横の倍率及び／又は配置位置を設定するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記変更手段は、前記矩形記号の色彩を、前記原文の背景の色彩に対応した色彩に設定するようにしてあることを特徴とする。

本発明に係る文書画像生成装置は、前記補足説明レイヤにおける前記補足説明に含まれる文字が配置される範囲と前記色彩変更レイヤにおける前記矩形記号が配置される範囲との重複を所定量以下に制限する制限手段を更に備えることを特徴とする。

本発明に係る文書画像生成方法は、一の色彩を有する複数行の原文を表わす原文画像に基づいて、前記原文に関する補足説明が前記原文の行間領域に付加されている補足説明付き文書を表わす補足説明付き文書画像を生成する文書画像生成方法において、前記原文画像を用いてなる原文レイヤと、前記原文に係る色彩とは異なる他の色彩を有する補足説明を表わす補足説明レイヤとを合成することによって、前記補足説明付き文書画像を生成することを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、一の色彩を有する複数行の原文を表わす原文画像に基づいて、前記原文に関する補足説明が前記原文の行間領域に付加されている補足説明付き文書を表わす補足説明付き文書画像を生成させるためのコンピュータプログラムであって、コンピュータに、前記補足説明に係る色彩を、前記原文に係る色彩とは異なる他の色彩に設定させる設定ステップと、コンピュータに、前記設定ステップで設定された他の色彩を有する補足説明を表わす補足説明レイヤを生成させる生成ステップと、コンピュータに、前記原文画像を用いてなる原文レイヤ、及び、前記生成ステップで生成された補足説明レイヤを合成させることによって、前記補足説明付き文書画像を生成させる合成ステップとを実行させることを特徴とする。

本発明にあっては、文書画像生成装置が、設定手段、生成手段、及び合成手段を備える。このような文書画像生成装置は、本発明に係る文書画像生成方法を実現する。また、本発明に係るコンピュータプログラムは、本発明の文書画像生成装置が備える各種手段を、コンピュータのハードウェア要素を用いてソフトウェア的に実現させる。
原文は、一の色彩を有する。
補足説明は、原文に関するもの（例えば、原文の翻訳結果である訳文）である。

設定手段は、補足説明に係る色彩を、原文に係る色彩とは異なる他の色彩に設定する。この場合、原文に係る色彩とは異なる他の色彩とは、例えば、色相、彩度、明度、及び透明度等の内、少なくともひとつが、一の色彩に係る色相、彩度、明度、及び透明度等とは異なる色彩のことである。一の色彩及び他の色彩夫々は、有彩色でも無彩色でもよい。
生成手段は、補足説明レイヤを生成する。補足説明レイヤとは、設定手段が設定した他の色彩を有する補足説明を表わすものである。

合成手段は、原文画像を用いてなる原文レイヤと、生成手段が生成した補足説明レイヤとを合成することによって、補足説明付き文書画像を生成する。
このとき生成される補足説明付き文書画像は、補足説明付き文書を表わすものであり、補足説明付き文書では、他の色彩を有する補足説明が、一の色彩を有する原文の行間領域に付加されている。
原文レイヤは原文画像を用いてなるため、原文レイヤが表わす原文のレイアウトは、元の原文画像における原文のレイアウトに等しい。つまり、原文のレイアウトが保持されている。

行間領域が、補足説明に含まれる各文字の文字サイズに比べて狭い場合、補足説明付き文書画像においては、原文に含まれている文字と補足説明に含まれている文字とが重なって見えることがある。
しかしながら、原文と補足説明とは、互いに異なる色彩を有しているため、原文及び補足説明夫々の可読性は、原文と補足説明とが同一の色彩を有している場合に比べて、向上されている。即ち、原文及び補足説明が両方とも読み易い。
無論、行間領域が補足説明に含まれる各文字の文字サイズに比べて広い場合にも、互いに異なる色彩を有している原文及び補足説明夫々の可読性は向上される。

本発明にあっては、文書画像生成装置が判定手段及び変更手段を更に備える。
例えば、一の色彩が黒色又は濃紺色等の濃い色である場合、一の色彩を有する原文は、一般的に見え易い（即ち視認性が高い）。このため、補足説明に係る色彩を、原文に係る色彩とは異なる他の色彩に設定しただけでは、補足説明が原文に比べて見え難い（即ち視認性が低い）か、又は、共に視認性が高い原文と補足説明とが干渉し合うことによって原文及び補足説明が両方とも読み難くなる虞がある。
そこで、判定手段は、原文に係る色彩が所定の条件を満たしているか否かを判定する。上述の例の場合、判定手段は、一の色彩が淡い色であるか否かを判定する。

原文に係る色彩が所定の条件を満たしていない場合、即ち判定手段が否と判定した場合、変更手段は、原文に係る色彩が、所定の条件を満たす一の色彩に変更されるようにする。上述の例の場合、変更手段は、原文に係る色彩が、濃い色から淡い色に変更されるようにする。
原文に係る色彩が所定の条件を満たしている場合、原文に係る色彩は変更されない。上述の例の場合、原文に係る色彩は淡い色のままである。
設定手段は、補足説明に係る色彩を、所定の条件を満たさない他の色彩に設定する。上述の例の場合、設定手段は、補足説明に係る色彩として濃い色を設定する。

そして、合成手段は原文レイヤと補足説明レイヤとを合成する。
このとき生成される補足説明付き文書画像は、所定の条件を満たす一の色彩を有する原文の行間領域に、所定の条件を満たさない他の色彩を有する補足説明が付加されている補足説明付き文書を表わす。従って、上述の例の場合、補足説明の視認性を向上させることができる。しかも、共に視認性が高い原文と補足説明とが干渉し合うことによって原文及び補足説明が両方とも読み難くなる不都合を抑制することができる。

無論、判定手段の判定基準である所定の条件次第では、上述の例とは逆に、原文に係る色彩を淡い色から濃い色に変更し、補足説明に係る色彩を淡い色に設定することができる。この場合、原文の視認性を向上させることができる。しかも、共に視認性が高い原文と補足説明とが干渉し合うことによって原文及び補足説明が両方とも読み難くなる不都合を抑制することができる。

本発明にあっては、設定手段が、他の色彩として、原文に係る色彩よりも視認性が低い色彩と、原文に係る色彩よりも視認性が高い色彩とを設定し、且つ、原文に係る色彩よりも視認性が低い色彩と原文に係る色彩よりも視認性が高い色彩とを切り替え可能にしておく。
以下では、視認性が低い色彩を見難い色といい、視認性が高い色彩を見易い色という。
合成手段は、選択手段及び切替手段を補足説明付き文書画像に付属させる。

補足説明付き文書画像を入手したユーザは、選択手段を用いて、原文の視認性を優先する態様、及び、補足説明の視認性を優先する態様の内、何れか一方を選択する。なお、選択手段による選択は、ユーザが手動で行なう構成に限定されるものではなく、何らかの条件に応じて自動的に行なわれる構成でもよい。例えば、原文が日本語（又は英語）ならば原文（又は補足説明）の視認性が優先され、補足説明が原文の振り仮名（又は訳文）ならば原文（又は補足説明）の視認性が優先される。

切替手段は、選択手段によって原文の視認性を優先する態様が選択された場合に、補足説明に係る色彩を、見難い色に切り替える。このとき、補足説明付き文書画像は、見難い色を有する補足説明が、見易い色を有する原文の行間領域に付加されている補足説明付き文書を表わす。
一方、選択手段によって補足説明の視認性を優先する態様が選択された場合には、切替手段は、補足説明に係る色彩を、見易い色に切り替える。このとき、補足説明付き文書画像は、見易い色を有する補足説明が、見難い色を有する原文の行間領域に付加されている補足説明付き文書を表わす。

以上の結果、原文（又は補足説明）の視認性を優先する態様では、原文（又は補足説明）の視認性を、補足説明（又は原文）よりも向上させることができる。換言すれば、本発明の文書画像生成装置は、選択手段によって選択された優先順位に応じて、原文及び補足説明の内、何れか一方の視認性を他方よりも向上させることができる。

本発明にあっては、設定手段は、補足説明に係る色彩を、補足説明を分割すべき所定単位毎に設定する。ここで、所定単位とは、文字単位、単語／連語単位、行単位、文単位、又は、原文において同一の文字色を有する連続した文字群に対応する文字群単位等である。
この場合、本発明の文書画像生成装置は、補足説明の可読性を更に向上させることができる。或いは、本発明の文書画像生成装置は、原文を作成した作成者の意図を、補足説明に反映させることができる。

例えば、原文が複数の英文からなり、補足説明が各英文を和訳した結果である複数の和文からなる場合には、一の英文に対応する和文の色彩と他の英文に対応する和文の色彩とが互いに異なる方が、各和文の色彩が互いに同じであるときよりも、各和文の可読性を向上させることができる。
或いは、原文が複数の単語からなり、一の単語が、他の単語に比べて見易い色（いわゆる強調色）を有している場合、補足説明においても、強調色を有している単語に対応する語句の色彩と、強調色を有していない単語に対応する語句の色彩とが互いに異なるときには、原文における単語同士の差別化を、補足説明に反映させることができる。

本発明にあっては、原文に係る色彩が所定の条件を満たしていない場合、変更手段は、色彩変更レイヤを生成する。ここで、所定の条件を満たし、且つ、原文画像における原文が有する一の色彩よりも視認性が低い一の色彩を、変更後の色という。
また、合成手段は、変更手段が生成した色彩変更レイヤと、原文レイヤ及び補足説明レイヤとを合成する。
このとき生成される補足説明付き文書画像は、変更後の色を有する原文の行間領域に、所定の条件を満たしておらず、且つ、変更後の色よりも見易い色を有する補足説明が付加されている補足説明付き文書を表わす。
この結果、原文の視認性が低くなり、補足説明の視認性が高くなる。

ところで、このような補足説明付き文書画像から色彩変更レイヤを除去した状態の補足説明付き文書画像は、原文画像における原文が有する一の色彩と同じ一の色彩を有する原文が含まれている補足説明付き文書を表わす。つまり、色彩変更レイヤの使用／不使用を切り替えることによって、原文が有する一の色彩を、変更すること／変更前に戻すことができる。
つまり、本発明の文書画像生成装置は、原文レイヤが表わす原文そのものに手を加えることなく、原文の視認性を変化させることができる。

色彩変更レイヤは、例えば、レイヤ全体が所定の透明度を有するマスクレイヤであり、このマスクレイヤと原文レイヤ及び補足説明レイヤとを合成することによって生成される補足説明付き文書画像は、マスクレイヤを透過した状態の原文が含まれている補足説明付き文書を表わす。マスクレイヤを透過した状態の原文は、マスクレイヤを透過しない原文、即ち元の原文に比べて、薄く見えるため、視認性が低い。

本発明にあっては、色彩変更レイヤとは、原文レイヤにおける原文の配置位置に対応する位置に、所定の透明度を有する塗り潰し図形が配置されているレイヤ（以下、図形レイヤという）である。
仮に、色彩変更レイヤとして、レイヤ全体が所定の透明度を有するマスクレイヤを用いた場合、原文レイヤに含まれている原文以外のオブジェクト（例えば図形）もマスクレイヤに覆われる虞がある。このとき、原文以外のオブジェクトがマスクレイヤを透過した状態で表わされることによって、視認性を低くすべきではないオブジェクトの視認性が無用に低下してしまうという不都合が生じる。

一方、色彩変更レイヤとして上述の図形レイヤを用いた場合、原文のみが塗り潰し図形に覆われる。このとき、補足説明付き文書画像においては、原文は塗り潰し図形を透過した状態で表わされるが、原文以外のオブジェクトは通常通りに表わされる。従って、視認性を低くすべきではないオブジェクトの視認性の低下を防止することができる。
つまり、本発明の文書画像生成装置は、所要の部分の視認性を低下させることと、所要の部分以外の視認性を維持することとを容易に両立させることができる。

本発明にあっては、色彩変更レイヤとは、原文レイヤにおける原文の配置位置に対応する位置に、所定の透明度を有する矩形記号が配置されているレイヤ（以下、文字レイヤという）である。
仮に、色彩変更レイヤとして、レイヤ全体が所定の透明度を有するマスクレイヤを用いた場合、原文レイヤに含まれている原文以外のオブジェクト（例えば図形）もマスクレイヤに覆われる虞がある。このとき、原文以外のオブジェクトがマスクレイヤを透過した状態で表わされることによって、視認性を低くすべきではないオブジェクトの視認性が無用に低下してしまうという不都合が生じる。

一方、色彩変更レイヤとして上述の文字レイヤを用いた場合、原文のみが矩形記号に覆われる。このとき、補足説明付き文書画像においては、原文は矩形記号を透過した状態で表わされるが、原文以外のオブジェクトは通常通りに表わされる。従って、視認性を低くすべきではないのオブジェクトの視認性の低下を防止することができる。
つまり、本発明の文書画像生成装置は、所要の部分の視認性を低下させることと、所要の部分以外の視認性を維持することとを容易に両立させることができる。

本発明にあっては、原文を分割すべき所定単位毎に、１個の矩形記号が配置される。ここで、所定単位とは、文字単位、行単位、パラグラフ単位、カラム単位、又は頁単位等である。このために、各矩形記号の縦横の倍率が適宜に設定される。
例えば文字単位の場合、原文における１個の文字が、１個の矩形記号で覆われる。この場合、矩形記号の縦横比は、１個の文字の縦横比に対応する。また、矩形記号の配置位置は、原文における１個の文字の配置位置に対応する。
以上の結果、本発明の文書画像生成装置は、所定の透明度を有する矩形記号を用いて、原文の視認性を低下させることができる。

本発明にあっては、原文を分割すべき所定単位毎に、複数個の矩形記号が密着配置される。ただし、複数個の矩形記号夫々の文字サイズは互いに等しい。ここで、所定単位とは、文字単位、行単位、パラグラフ単位、カラム単位、又は頁単位等である。このために、各矩形記号の配置位置が適宜に設定される。
例えば文字単位の場合、原文における１個の文字が、複数個の矩形記号で隙間なく覆われる。
以上の結果、本発明の文書画像生成装置は、所定の透明度を有する矩形記号を用いて、原文の視認性を低下させることができる。

本発明にあっては、原文を分割すべき所定単位毎に、１個又は複数個の矩形記号が配置される。ここで、所定単位とは、文字単位、単語／連語単位、又は行単位等である。このために、各矩形記号の縦横の倍率、及び／又は、各矩形記号の配置位置が適宜に設定される。
例えば文字単位の場合、文字「ａ」，「ｅ」に比べて文字「ｄ」，「ｆ」は上方に突き出た部分を有し、文字「ｐ」，「ｑ」は下方に突き出た部分を有する。

このため、文字「ａ」，「ｅ」を覆う矩形記号が正方形状をなすように縦横の倍率が設定された場合には、文字「ｄ」，「ｆ」，「ｐ」，「ｑ」を覆う矩形記号は縦長の長方形状をなすように縦横の倍率が設定される。
又は、文字「ｄ」，「ｆ」を覆う矩形記号の配置位置と、文字「ｐ」，「ｑ」を覆う矩形記号の配置位置とが、上下方向に異なるように設定される。
以上の結果、本発明の文書画像生成装置は、所定の透明度を有する矩形記号を用いて、原文の視認性を低下させることができる。

本発明にあっては、矩形記号の色彩と、原文の背景の色彩とが対応するようにしてある。この場合、変更手段は、例えば、矩形記号の色相、彩度、及び明度を、背景の色相、彩度、及び明度と同一に設定し、透明度のみを所定の透明度に設定する。
補足説明付き文書画像においては、背景の色彩と対応する色彩を有する矩形記号は、目立たないか、ほとんど見えない（即ち、視認性が非常に低い）。このため、矩形記号が、原文及び補足説明の視認性を無用に低下させてしまう不都合を抑制することができる。

本発明にあっては、文書画像生成装置が制限手段を更に備える。
行間領域が狭い場合、補足説明に含まれる文字が、矩形記号に重なることは避け難い。しかしながら、補足説明に含まれる文字が、矩形記号に完全に又は大幅に重なる場合には、補足説明の視認性が低下する虞がある。
そこで、制限手段は、補足説明レイヤにおいて、補足説明に含まれる文字が配置される範囲と、色彩変更レイヤにおいて、矩形記号が配置される範囲との重複を、所定量以下に制限する。

このために、制限手段は、補足説明に含まれる文字と矩形記号とが過剰に重なることがないように、矩形記号の文字サイズ、縦横の倍率、及び／又は配置位置を適宜に設定するか、或いは、補足説明に含まれる文字の文字サイズ、縦横の倍率、及び／又は配置位置を適宜に設定する。
以上の結果、本発明の文書画像生成装置は、行間領域が狭い場合であっても、補足説明の視認性の低下を抑制することができる。換言すれば、補足説明に含まれる文字が、一定割合以下の範囲で矩形記号に重なることを許容することができる。

本発明の文書画像生成装置、文書画像生成方法及びコンピュータプログラムによる場合、元の原文画像における原文のレイアウトを保持することができる。しかも、原文及び補足説明の可読性を向上させることができる。
この結果、補足説明付き文書画像を参照すれば、原文及び補足説明と共に、元の原文画像における原文のレイアウトも参照することができる。即ち、元の原文画像を参照する必要がない。このため、補足説明付き文書画像のみを保存し、元の原文画像を削除しても、格別の問題は生じない。従って、本発明の文書画像生成装置、文書画像生成方法及びコンピュータプログラムは、必要な画像の効率的な保存に寄与することができる。

更にまた、原文と補足説明との文字の重なりを回避する必要がないため、補足説明付き文書画像を生成する場合に、補足説明に含まれている文字の文字サイズを、適宜に大きな文字サイズに設定することができる。即ち、補足説明の可読性を更に向上させることができる。

本発明の実施の形態１に係る文書画像生成装置の構成を模式的に示すブロック図である。 本発明の実施の形態１に係る文書画像生成装置にて文書画像が生成される手順を説明するための機能ブロック図である。 本発明の実施の形態１に係る文書画像生成装置にて読み取られる原文画像の一例を示す模式図である。 本発明の実施の形態１に係る文書画像生成装置にて生成される文書画像の一例を示す模式図である。 本発明の実施の形態１に係る文書画像生成装置で実行される文書生成処理の手順を示すフローチャートである。 本発明の実施の形態１に係る文書画像生成装置にて生成される色彩変更レイヤの一例を示す模式図である。 表示部に文書画像を表示させるための文書表示処理の手順を示すフローチャートである。 原文画像及び文書画像夫々の他の一例を示す模式図である。 本発明の実施の形態１に係る文書画像生成装置にて生成される原文情報を説明するための概念図である。 文字列の整形を説明するための概念図である。 本発明の実施の形態１に係る文書画像生成装置にて生成される原文訳文情報を説明するための概念図である。 本発明の実施の形態１に係る文書画像生成装置にて生成される訳文書式情報を説明するための概念図である。 本発明の実施の形態２に係る文書画像生成装置にて文書画像が生成される手順を説明するための機能ブロック図である。 本発明の実施の形態２に係る文書画像生成装置で実行される文書生成処理の手順を示すフローチャートである。 本発明の実施の形態２に係る文書画像生成装置にて生成される色彩変更レイヤの一例を示す模式図である。 本発明の実施の形態２に係る文書画像生成装置にて生成される色彩変更レイヤの他の一例を示す模式図である。 訳文と矩形記号との重なりの制限を説明するための模式図である。 本発明の実施の形態３に係る文書画像生成装置の構成を模式的に示すブロック図である。

以下、本発明を、その実施の形態を示す図面に基づいて詳述する。

実施の形態 １．
図１は、本発明の実施の形態１に係る文書画像生成装置１の構成を模式的に示すブロック図である。
文書画像生成装置１は、カラースキャナ機能及びカラーコピー機能等を有するデジタル複合機を用いてなる。文書画像生成装置１は、図示しないＬＡＮを介して、ＰＣ（パーソナルコンピュータ）３に通信可能に接続されている。
文書画像生成装置１は、画像読取部１１、送信部１２、画像記録部１３、辞書ＤＢ（データベース）１４、及び画像処理部２を備えている。

画像読取部１１は、カラースキャナを用いてなり、画像読取部１１に載置された記録用紙又は書籍等に記録されている画像を光学的にカラーで読み取る。画像読取部１１が読み取ったカラー画像（即ち原文画像）は、送信部１２、画像記録部１３、又は画像処理部２に与えられる。
画像処理部２は、与えられた原文画像に基づいて、文書画像を生成する。生成された文書画像は、送信部１２又は画像記録部１３に与えられる。
ここで、文書画像とは、ＰＤＦ（Portable Document Format）形式の電子文書画像であり、本発明の実施の形態における補足説明付き文書画像として機能する。

送信部１２は、ネットワークアダプタを用いてなり、与えられた原文画像又は文書画像を、ＰＣ３へ送信する。原文画像が送信部１２に与えられる場合とは、文書画像生成装置１がカラースキャナ装置として機能する場合である。
画像記録部１３は、電子写真方式又はインクジェット方式等のカラープリンタを用いてなり、与えられた原文画像又は文書画像に基づくカラー画像を、記録用紙に記録する。原文画像が画像記録部１３に与えられる場合とは、文書画像生成装置１がカラープリンタ装置として機能する場合である。
以下では、画像処理部２に原文画像が与えられ、送信部１２に文書画像が与えられる場合を例示する。

辞書ＤＢ１４は、文書画像生成装置１が備える図示しない大容量記憶装置に予め記憶されている。辞書ＤＢ１４には、後述するＳ１９の処理を実行するために必要な各種データが含まれている。

ＰＣ３は、受信部３１、表示部３２、制御部３３、及び操作部３４を備えている。
制御部３３はＰＣ３の制御中枢であり、図示しないＲＡＭを作業領域として用い、図示しないＲＯＭ又は不揮発性の大容量記憶装置に記憶されたコンピュータプログラムに従ってＰＣ３の各部を制御し、各種処理を実行する。
受信部３１は、ネットワークアダプタを用いてなり、文書画像生成装置１から送信された文書画像を受信する。
表示部３２は、液晶表示パネルを用いてなり、文書画像に基づくカラー画像を表示する。

操作部３４は、キーボード及びマウスを用いてなる。ＰＣ３のユーザは、操作部３４を操作することによって、各種の指示をＰＣ３に入力する。入力された指示は、制御部３３に与えられる。

図２は、文書画像生成装置１にて文書画像が生成される手順を説明するための機能ブロック図である。
画像処理部２は、ＭＰＵを用いてなる。画像処理部２は、本発明の実施の形態における文書画像生成方法を実現するためのコンピュータプログラム（即ち、本発明の実施の形態におけるコンピュータプログラム）に従って、各種処理を実行する。この結果、画像処理部２は、文字領域抽出部２０、文字認識部２１、翻訳部２２、設定部２３、レイヤ生成部２４、判定部２５、変更部２６、及び合成部２７として機能する。

なお、画像処理部２は、文書画像生成装置１の制御中枢として機能する制御部と兼用であってもよい。又は、画像処理部２は、１個又は複数個の画像処理専門のＡＳＩＣを用いてなる構成でもよい。

図３（ａ），（ｂ）夫々は、文書画像生成装置１にて読み取られる原文画像４００の一例を示す模式図である。
図３に示す原文画像４００は、白地に黒字の原文４１１，４１２が横書きで記載され、更に、原文４１１，４１２の右側に、図画４１０が記載されている文書を表わす。１行目の原文４１１は英単語「ｇｅｎｅｒａｔｅｄ」であり、２行目の原文４１２は英単語「ｉｍａｇｅ」である。
原文４１１，４１２は、本発明の実施の形態における複数行の原文の一例であり、原文画像４００が表わす原文４１１，４１２が有する色彩は黒色である。また、原文４１１，４１２の背景の色彩（即ち背景色）は白色である。

本実施の形態では、原文４１１，４１２の下側に位置する行間領域に、後述する図４に示すような訳文４２１，４２２がルビ状に付加される場合を例示する。従って、原文４１１，４１２の行間領域とは、具体的には、原文４１１と原文４１２との間に位置する空白領域、及び、原文４１２の下方に位置する空白領域である。
図３（ａ）に示す原文画像４００は、行間領域（この場合、行間領域の縦長さ）が広い場合の例であり、図３（ｂ）に示す原文画像４００は、行間領域が狭い場合の例である。

図４（ａ），（ｂ）夫々は、文書画像生成装置１にて生成される文書画像４の一例を示す模式図である。
図４（ａ）に示す文書画像４は、図３（ａ）に示す原文画像４００に基づいて画像処理部２が生成するものであり、図４（ｂ）に示す文書画像４は、図３（ｂ）に示す原文画像４００に基づいて画像処理部２が生成するものである。
文書画像４は、各後述する原文画像レイヤ４１、訳文レイヤ４２、及び色彩変更レイヤ４３が合成されてなる。図４では、後述する塗り潰し図形の図示は省略している。

図４に示す文書画像４は、図３に示す原文画像４００と同様に、白地に原文４１１，４１２が横書きで記載され、更に、原文４１１，４１２の右側に、図画４１０が記載されている文書を表わす。即ち、文書画像４は、原文画像４００における原文４１１，４１２及び図画４１０のレイアウトを保持している。
ただし、文書画像４が表わす原文４１１，４１２が有する色彩は薄い黒色である。即ち、原文４１１，４１２に係る色彩は、元の色彩（即ち、原文画像４００が表わす原文４１１，４１２が有する色彩）から変更されている。

更に、文書画像４が表わす文書は、原文４１１と原文４１２との間に位置する行間領域に赤字の訳文４２１が横書きで記載され、原文４１２の下方に位置する行間領域に赤字の訳文４２２が横書きで付加されているものである。
訳文４２１は、原文４１１を和訳してなる和単語「生成する」であり、訳文４２２は、原文４１２を和訳してなる和単語「画像」である。このような訳文４２１，４２２は、本発明の実施の形態における補足説明の一例であり、文書画像４が表わす訳文４２１，４２２が有する色彩は、赤色である。

このように、文書画像４が表わす文書では、赤色を有する訳文４２１，４２２が、薄い黒色を有する原文４１１，４１２の行間領域に付加されている。即ち、文書画像４が表わす文書は、本発明の実施の形態における補足説明付き文書の一例であり、文書画像４は、本発明の実施の形態における補足説明付き文書画像の一例である。

図３（ａ）に示すように、原文４１１，４１２の行間領域が広い場合には、図４（ａ）に示すように、訳文４２１，４２２を原文４１１，４１２の行間領域に付加しても、訳文４２１，４２２に含まれる文字が原文４１１，４１２に含まれる文字に重なることはない。
従って、原文４１１，４１２の可読性が訳文４２１，４２２によって損なわれることも、訳文４２１，４２２の可読性が原文４１１，４１２によって損なわれることもない。

しかも、文書画像４が表わす原文４１１，４１２は薄い黒色を有し、訳文４２１，４２２は赤色を有している。即ち、両者の色彩が互いに異なる。従って、両者の色彩が同じである場合に比べて、原文４１１，４１２及び訳文４２１，４２２両方の可読性が向上される。

一方、図３（ｂ）に示すように、原文４１１，４１２の行間領域が狭い場合には、図４（ｂ）に示すように、訳文４２１，４２２を原文４１１，４１２の行間領域に付加すると、訳文４２１，４２２に含まれる文字が原文４１１，４１２に含まれる文字に重なる。
このため、仮に、文書画像４が表わす原文４１１，４１２及び訳文４２１，４２２夫々が同じ色彩を有している場合には、原文４１１，４１２及び訳文４２１，４２２両方の可読性が損なわれる。

ところが、文書画像４が表わす原文４１１，４１２は薄い黒色を有し、訳文４２１，４２２は赤色を有している。即ち、両者の色彩が互いに異なる。従って、両者の色彩が同じである場合に比べて、原文４１１，４１２及び訳文４２１，４２２両方の可読性が向上される。

しかも、文書画像４においては、訳文４２１，４２２は、原文４１１，４１２の色彩よりも見易い色を有している。従って、訳文４２１，４２２は、原文４１１，４１２よりも見え易い（即ち、訳文４２１，４２２の視認性が向上している）。
ところで、文書画像４が表わす原文４１１，４１２が元の色彩（即ち黒色）を有し、訳文４２１，４２２が、原文４１１，４１２の色彩よりも見難い色（例えば水色）を有する場合、文書画像４においては、原文４１１，４１２は、訳文４２１，４２２よりも見え易くなる（即ち、原文４１１，４１２の視認性が向上する）。

本実施の形態における文書画像４は、原文４１１，４１２の視認性を優先する態様（以下、原文優先モードという）と、訳文４２１，４２２の視認性を優先する態様（以下、訳文優先モードという）とを有し、ユーザが何れか一方を選択することができるようにしてある。従って、訳文優先モードが選択された場合には、図４（ａ），（ｂ）夫々に示すように、文書画像４における原文４１１，４１２及び訳文４２１，４２２は、薄い黒色及び赤色で描画される。一方、原文優先モードが選択された場合には、原文４１１，４１２及び訳文４２１，４２２は、黒色及び水色で描画される。ここで、描画とは、例えば表示部３２に表示されること、又は、画像記録部１３で記録用紙に記録されることである。

そして、原文優先モード及び訳文優先モードの何れの場合であっても、図画４１０の色彩は変更されない。従って、図画４１０の視認性は変化しない。

ここで、色彩の視認性の高低について説明する。
背景色が白色である場合、一般に、明度が低い色、彩度が高い色、又は不透明度が高い色等は見易い色であり、明度が高い色、彩度が低い色、又は透明度が高い色等は見難い色である。換言すれば、背景色との色差が大きい（又は小さい）色彩は、見易い色（又は見難い色）である。
本実施の形態では、黒色及び赤色を見易い色としている。また、薄い黒色及び水色を見難い色としている。
なお、赤色及び濃紺色等の有彩色を見易い色とし、黒色及び灰色等の無彩色を見難い色としてもよい。

以上のように、本実施の形態の文書画像４においては、原文４１１，４１２及び訳文４２１，４２２の一方が見易い色を有し、他方が見難い色を有する。ここで、見易い色と見難い色とが補色関係を有している（即ち、色相環で互いに向かい合った位置に配されている）場合には、見易い色を有している方の視認性が更に向上される。

補色関係を有している色彩の組み合わせは、例えば青紫色及び黄色、又は赤色及び青緑色等である。この場合、青紫色が見易い色であり、黄色が見難い色である。また、赤色及び青緑色は、視認性に大差がないため、濃淡によって視認性が差別化される。即ち、濃い赤色（又は濃い青緑色）が見易い色であり、淡い青緑色（又は淡い赤色）が見難い色である。
なお、文書画像４における原文４１１，４１２及び訳文４２１，４２２の両方が、互いに異なる見易い色（例えば、一方が黒色で他方が赤色）を有していてもよい。また、行間領域が広い場合には、原文４１１，４１２及び訳文４２１，４２２の両方が、同一の見易い色（例えば黒色）を有していてもよい。

図５は、文書画像生成装置１で実行される文書生成処理の手順を示すフローチャートである。文書生成処理は、画像読取部１１が原文画像を読み取った場合に、画像処理部２が実行する。このとき、画像処理部２は、図２に示す文字領域抽出部２０〜合成部２７として機能する。以下では、図２及び図５を参照しつつ、文書生成処理について説明する。
文字領域抽出部２０は、原文画像に基づいて、原文画像に含まれている文字領域を抽出する（Ｓ１１）。図３に示す原文画像４００の場合、原文４１１，４１２を含み、図画４１０を含まない領域が文字領域である。

次に、文字領域抽出部２０は、文字領域レイヤを示す文字領域レイヤデータ、及び原文画像レイヤを示す原文画像レイヤデータを夫々生成する（Ｓ１２）。
ここで、文字領域レイヤとは、Ｓ１１で抽出した文字領域を表わすレイヤである。
また、原文画像レイヤは、画像読取部１１が読み取った原文画像を用いてなる。具体的には、原文画像レイヤには、画像読取部１１が読み取った原文画像（例えばＢＭＰ形式の画像）を、所定の形式（例えばＪＰＥＧ形式）で圧縮した画像が含まれている。原文画像レイヤは、本発明の実施の形態における原文レイヤとして機能する。

図３に示す原文画像４００に基づいて生成される原文画像レイヤ４１（図４参照）は、原文４１１，４１２及び図画４１０を含んでいる。原文画像レイヤ４１における原文４１１，４１２及び図画４１０夫々の色彩、並びに背景色は、原文画像４００における原文４１１，４１２及び図画４１０夫々の色彩、並びに背景色と同一である。

なお、例えば原文画像レイヤ４１のデータ量を低減するために、原文画像レイヤ４１に含まれる色彩の内、類似色同士を代表色で置き換えるような画像処理が施される構成でもよい。この場合、原文画像４００に含まれる色彩と原文画像レイヤ４１に含まれる色彩とは、厳密には異なる。
ただし、図３に示す原文画像４００における原文４１１，４１２の色彩と、図４に示す文書画像４における原文４１１，４１２の色彩とが異なるように図示されている理由は、文書画像４に、後述する色彩変更レイヤ４３が含まれているからである。

Ｓ１２の処理を実行することによって、少なくとも文字領域レイヤデータが生成された後、画像処理部２は、後述するＳ１３の処理を実行する。Ｓ１３〜Ｓ１５の処理は、原文画像レイヤデータの生成処理と並行して実行してもよい。
文字認識部２１は、Ｓ１２で生成した文字領域レイヤデータに対し、文字認識処理を施す（Ｓ１３）。Ｓ１１及びＳ１３の処理、即ち、文字領域の抽出から文字認識までの処理を実行するためには、公知の光学式文字読み取り技術を利用することができる。

また、文字認識部２１は、原文の情報を含む原文情報を生成する（Ｓ１４）。
原文情報とは、Ｓ１３で認識した文字夫々の文字コード、文字番号、領域番号、色彩、フォント種類、文字サイズ、位置座標、行内位置、及び傾き等の情報である（後述する図９参照）。ただし、図９に示す原文情報では、文字コードの代わりに、文字そのものが「認識結果」として記載されている。
本実施の形態における文字番号は、各文字に対して発行される識別番号であり、可読方向に増加する正の整数である。
領域番号は、文字が所属する領域に対して発行される識別番号である。文字が所属する領域とは、文字が所属するパラグラフ又はカラム等が配置されている領域、又は、文字が所属する頁そのもの等である。

色彩の情報は、Ｒ値、Ｇ値、Ｂ値、及び透明度からなる。
文字サイズの単位はポイントである。
位置座標は、各文字の左端位置のＸ座標、上端位置のＹ座標、右端位置のＸ座標、及び下端位置のＹ座標である。以下では、これらを左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標という。また、Ｘ座標及びＹ座標夫々の単位は、文字サイズの単位と同様、ポイントである。また、Ｘ軸は可読方向が正方向であり、Ｙ軸は可読方向の逆方向が正方向である。即ち、本実施の形態では、Ｘ軸は右方向、Ｙ軸は上方向が正方向である。

行内位置の情報とは、各文字が行頭に位置するか、行末に位置するか、行の中途に位置するか、行頭且つ行末に位置するかを区別するものである。ここで、文字が行頭且つ行末に位置する場合とは、一行に１文字だけ存在する場合である。図９に示す原文情報では、行頭に位置する文字に識別番号“１”が与えられ、行末に位置する文字に識別番号“２”が与えられ、行の中途に位置する文字に識別番号“０”が与えられている。なお、一行に１文字だけ存在する文字には、例えば識別番号“３”が与えられる。

Ｓ１４の処理終了後、判定部２５は、Ｓ１４で生成した原文情報に基づいて、原文に係る色彩が所定の条件を満たしているか否かを判定する（Ｓ１５）。
このために、判定部２５は、原文情報に含まれている各文字のＲ値、Ｇ値、Ｂ値、及び透明度夫々の平均値又は最頻値等を演算し、演算結果を原文に係る色彩と看做す。
また、本実施の形態では、判定部２５は、原文に係る色彩が見難い色であれば、所定の条件が満たされている、と判定する。

このために、判定部２５は、原文に係るＲ値、Ｇ値、Ｂ値、及び透明度そのものを所定の基準値と比較するか、又は、原文に係るＲ値、Ｇ値、Ｂ値、及び透明度を用いて所定の演算を行ない、演算結果を所定の基準値と比較する。次いで、判定部２５は、比較結果に応じて、所定の条件の満足／不満足を判定する。
具体的には、判定部２５は、原文に係る色彩が薄い黒色又は水色であれば、所定の条件が満たされている、と判定し、原文に係る色彩が黒色又は赤色であれば、所定の条件が満たされていない、と判定する。
以上のような判定部２５は、本発明の実施の形態における判定手段として機能する。

原文に係る色彩が所定の条件を満たしている場合（Ｓ１５でＹＥＳ）、原文に係る色彩は見難い色であるため、このままの色彩を有していても、訳文優先モードで原文が目立つことはない。このため、画像処理部２は、次のＳ１６〜Ｓ１８の処理を実行せずに、後述するＳ１９以降の処理を実行する。
原文に係る色彩が所定の条件を満たしていない場合（Ｓ１５でＮＯ）、原文に係る色彩は見易い色であるため、このままの色彩を有していると、訳文優先モードで原文が目立ってしまう。このため、画像処理部２は、原文に係る色彩を見難い色に変更すべく、次のＳ１６〜Ｓ１８の処理を実行する。

原文に係る色彩を見難い色に変更するために、仮に、原文画像レイヤにおける原文の色彩を直接的に変更してしまうと、原文優先モードで原文が目立ち難くなる虞がある。
そこで、本実施の形態では、色彩変更レイヤが用いられる。ただし、本実施の形態における色彩変更レイヤは、図形レイヤである。
図６は、文書画像生成装置１にて生成される色彩変更レイヤ４３の一例を示す模式図である。
図６には、原文画像レイヤ４１、後述する訳文レイヤ４２、及び色彩変更レイヤ４３が合成されてなる文書画像４が示されている。図６では、訳文の図示は省略している。

図６に示す原文画像レイヤ４１には、２行の原文４１３，４１４と、図画４１０とが含まれている。１行目の原文４１３は、４個の英字からなる英単語「ａｐｃｄ」であり、２行目の原文４１４は、３個の英字からなる英単語「ｂｑｒ」である。原文画像レイヤ４１における原文４１３，４１４は、黒色を有する。
図６に示す色彩変更レイヤ４３には、塗り潰し図形４３０が含まれている。
塗り潰し図形４３０は、例えば多角形状であり、境界線及び内部が、同一の色彩を有する。即ち、塗り潰し図形４３０の内部は、境界線と同一の色彩で塗り潰されている。

塗り潰し図形４３０は、原文画像レイヤ４１における文字領域全体を被覆し、文字領域以外（例えば図画４１０が存在する領域）を被覆しない形状及び寸法を有している。また、色彩変更レイヤ４３における塗り潰し図形４３０の配置位置は、原文画像レイヤ４１における文字領域の配置位置（延いては原文４１３，４１４の配置位置）に対応する位置である。

ここで、透明度の下限値を“０”とし、上限値を“１００”とする場合、背景の透明度は“０”である（即ち、完全に不透明である）。そして、塗り潰し図形４３０は、“０”より大きく“１００”より小さい所定の透明度を有する白色（以下、透明な白色という）である。つまり、塗り潰し図形４３０の境界及び内部夫々のＲ値、Ｇ値、及びＢ値は、背景のＲ値、Ｇ値、及びＢ値と同じであり、塗り潰し図形４３０の境界及び内部夫々の透明度は、背景の透明度より高い。

このため、文書画像４における塗り潰し図形４３０は、ユーザの目にはほとんど見えない。
更に、文書画像４は、塗り潰し図形４３０を透過した状態の原文４１３，４１４を表わす。従って、文書画像４における原文４１３，４１４は、薄い黒色を有する。何故ならば、透明な白色を透過した状態で表わされる黒色は、薄い黒色だからである。
同様に、図４に示す原文４１１，４１２は、透明な白色を有する図示しない塗り潰し図形を透過した状態で表わされるため、薄い黒色を有する。

なお、塗り潰し図形４３０の色彩は、背景色とは無関係に設定されてもよい。この場合、塗り潰し図形４３０の色彩は、透明な白色に限定されるものではなく、例えば、透明な水色であってもよい。
また、原文画像レイヤ４１における原文４１３に係る色彩が黒色であり、原文４１４に係る色彩が水色である場合、塗り潰し図形４３０は、原文画像レイヤ４１における原文４１３が存在する領域を被覆し、原文４１３及び図画４１０が存在する領域を被覆しない形状及び寸法を有していてもよい。

塗り潰し図形は、文字領域全体毎、又は単語毎に設定される構成に限定されず、訳文を分割すべき所定単位毎（例えば文字毎、パラグラフ毎、カラム毎、又は、色彩が同一であり、且つ、可読方向に隣り合う文字群等）に設定される構成でもよい。
以上のように、色彩変更レイヤを用いる場合には、塗り潰し画像の形状、寸法、及び配置位置を適切に設定することによって、原文画像レイヤにおいて見易い色を有する原文のみを、元の色彩よりも薄い色で表わすことができる。換言すれば、このような原文以外（即ち、原文画像レイヤにおいて見難い色を有する原文、及び図形等）を、元の色彩よりも薄い色で表わしてしまう不都合を防止することができる。

図２及び図５に示すように、変更部２６は、後述するＳ１８にて色彩変更レイヤを示す色彩変更レイヤデータを生成するために、まず、Ｓ１２で生成した原文画像レイヤデータを用いて、原文の背景色を検出する（Ｓ１６）。
次に、変更部２６は、Ｓ１６で検出した背景色に基づいて、塗り潰し図形の色彩を設定し、Ｓ１４で生成した原文情報に基づいて、塗り潰し図形の形状、寸法、及び配置位置等を、所定単位毎に設定する（Ｓ１７）。図６に示す例では、所定単位とは文字領域全体である。

更に、変更部２６は、Ｓ１７で設定したような塗り潰し図形を含む色彩変更レイヤを示す色彩変更レイヤデータを生成する（Ｓ１８）。Ｓ１８の処理の結果、例えば図６に示す原文画像レイヤ４１に対応して、塗り潰し図形４３０を含む色彩変更レイヤ４３が生成される。
以上のような変更部２６は、本発明の実施の形態における変更手段として機能する。
なお、色彩変更レイヤ４３に複数個の塗り潰し図形４３０，４３０，…が含まれている場合、塗り潰し図形４３０，４３０同士は離隔配置されていてもよく、密着配置されていてもよく、部分的に重なっていてもよい。

ところで、文書画像が原文優先モードのみを有する場合、画像処理部２は、Ｓ１５〜Ｓ１８の処理を実行する必要はない。また、文書画像が訳文優先モードのみを有する場合、画像処理部２は、Ｓ１５〜Ｓ１８の処理に替えて、原文画像レイヤにおける原文の色彩を直接的に変更する処理を実行してもよい。

Ｓ１５でＹＥＳの場合、又は、Ｓ１８の処理の終了後、或いは、Ｓ１６〜Ｓ１７の処理の実行と並行して、翻訳部２２は、辞書ＤＢ１４が有するデータと、Ｓ１４で生成した原文情報とに基づき、翻訳処理を実行する（Ｓ１９）。
例えば、原文情報に含まれている１行分の文字が文字「ｇ」，「ｅ」，「ｎ」，「ｅ」，「ｒ」，「ａ」，「ｔ」，「ｅ」，「ｄ」である場合、翻訳部２２は、辞書ＤＢ１４を参照することによって、これらの文字が英単語「ｇｅｎｅｒａｔｅｄ」を形成していることを突き止め、更に、英単語「ｇｅｎｅｒａｔｅｄ」を和訳することによって、和単語「生成する」を得る。この例では、英単語「ｇｅｎｅｒａｔｅｄ」が原文であり、和単語「生成する」が訳文である。

また、翻訳部２２は、原文及び訳文の両方の情報を含む原文訳文情報を生成する（Ｓ２０）。
原文訳文情報は、原文情報と同様の情報と、原文の内容を示す情報と、訳文の内容を示す情報と、原文及び訳文の関連付けを示す情報とを有する。ここで、原文及び訳文の関連付けを示す情報とは、原文に含まれる所定単位の語句（以下、原文語句という。例えば英単語「ｇｅｎｅｒａｔｅｄ」）と、原文語句に対応する訳文（以下、訳文語句という。例えば和単語「生成する」）との関連付けを示す情報である（後述する図１１参照）。ここで、所定単位の語句とは、例えば単語、連語、又はセンテンス等である。

Ｓ２０の処理終了後、設定部２３は、Ｓ２０で生成した原文訳文情報に基づいて、訳文の書式を設定し（Ｓ２１）、訳文語句夫々に設定されている書式を表わす書式訳文書式情報を生成する（Ｓ２２）。
訳文書式情報には、訳文語句に係る色彩、フォント種類、文字サイズ、位置座標、及び傾き等の情報が含まれる（後述する図１２参照）。
例えば、和単語「生成する」の文字サイズは、英単語「ｇｅｎｅｒａｔｅｄ」の文字サイズに基づいて設定される。一般に、訳文側の文字サイズは、原文側の文字サイズ以下に設定される。更に、訳文の読み易さを向上させるために、訳文に係る文字サイズは、所定の下限文字サイズ以上に設定される。

また、和単語「生成する」の位置座標は、英単語「ｇｅｎｅｒａｔｅｄ」の下側の行間領域の内、英単語「ｇｅｎｅｒａｔｅｄ」に相対する範囲（以下、相対行間領域という）の縦長さ及び横長さに基づいて設定される。

相対行間領域の縦長さ及び横長さが、和単語「生成する」の縦長さ及び横長さ以上である場合には、和単語「生成する」は相対行間領域の内部に配される。
一方、相対行間領域の縦長さが和単語「生成する」の縦長さ未満である場合には、和単語「生成する」は、各文字の少なくとも上部が、相対行間領域の上方（即ち、英単語「ｇｅｎｅｒａｔｅｄ」が存在する領域）に位置するように、配される。このためには、訳文側の文字の上Ｙ座標が、原文側の文字の上Ｙ座標と下Ｙ座標との間に存在すればよい。

なお、訳文が原文の上側に配される場合には、訳文側の文字の下Ｙ座標が、原文側の文字の上Ｙ座標と下Ｙ座標との間に存在すればよい。
同様に、訳文が縦書きの原文の右側（又は左側）に配される場合には、訳文側の文字の左Ｘ座標（又は右Ｘ座標）が、原文側の文字の右Ｘ座標と左Ｘ座標との間に存在すればよい。

更にまた、和単語「生成する」の色彩は、英単語「ｇｅｎｅｒａｔｅｄ」の色彩に応じて、原文優先モード用の色彩と、訳文優先モード用の色彩とが、モードの切り替えに応じて切り替え可能に設定される。このために、画像処理部２は、例えば、後述するＳ２３で生成される訳文レイヤデータにおいて、文字の色彩を決定付けるパラメータを変数にしておく。更に、画像処理部２は、後述するＳ２４において、この変数に、原文優先モードが選択されたときには水色を意味する数値が代入され、訳文優先モードが選択されたときには赤色を意味する数値が代入されるような切替コマンドを文書画像に付属させる。

本実施の形態では、英単語「ｇｅｎｅｒａｔｅｄ」の色彩と英単語「ｉｍａｇｅ」の色彩とは同一であるため、和単語「生成する」の色彩と和単語「画像」の色彩とは同一である。なお、英単語「ｇｅｎｅｒａｔｅｄ」の色彩と英単語「ｉｍａｇｅ」の色彩とが同一であっても、和単語「生成する」の色彩と和単語「画像」の色彩とが異なるように各色彩が設定されてもよい。

ここで、英単語「ｇｅｎｅｒａｔｅｄ」の色彩と英単語「ｉｍａｇｅ」の色彩とが異なる場合を考える（例えば、英単語「ｇｅｎｅｒａｔｅｄ」が青色で、英単語「ｉｍａｇｅ」が緑色）。
このような場合、訳文に係る色彩が、単語毎に設定されるときには、和単語「生成する」の色彩と和単語「画像」の色彩とは互いに異なるように設定される（上述の例では、例えば、和単語「生成する」が淡い青色で、和単語「画像」が淡い緑色）。

また、訳文に係る色彩が、文字領域全体毎に設定されるときには、和単語「生成する」の色彩と和単語「画像」の色彩とは同一であるように設定される（上述の例では、例えば、和単語「生成する」及び和単語「画像」が共に黄色）。
なお、訳文に係る色彩は、文字毎、パラグラフ毎、又はカラム毎等に設定されてもよい。

訳文に係る色彩の内、原文優先モード用の色彩は、原文優先モードにおける原文に係る色彩（即ち原文の元の色彩。具体的には原文画像レイヤにおける原文が有する色彩）よりも見難い色であればよい。このため、設定部２３は、原文訳文情報に含まれている原文に係る色彩の情報そのものに基づいて、訳文に係る色彩を設定する。

一方、訳文優先モード用の色彩は、訳文優先モードにおける原文に係る色彩（即ち原文の変更後の色彩。具体的には文書画像において色彩変更レイヤを透過した状態の原文が有する色彩）よりも見易い色であればよい。このため、設定部２３は、原文訳文情報に含まれている原文に係る色彩の情報と、塗り潰し図形に係る色彩とに基づいて、原文の変更後の色彩を求め、求めた色彩に応じて、訳文に係る色彩を設定する。
以上のように、Ｓ２１における設定部２３は、本発明の実施の形態における設定手段として機能する。

Ｓ２２の処理終了後、レイヤ生成部２４は、Ｓ２２で生成した訳文書式情報に基づいて、訳文レイヤを示す訳文レイヤデータを生成する（Ｓ２３）。訳文レイヤには、Ｓ２１で設定した書式を有する訳文が含まれる。例えば図４に示す訳文レイヤ４２の場合には、訳文４２１，４２２が含まれる。訳文レイヤは、本発明の実施の形態における補足説明レイヤとして機能し、レイヤ生成部２４は、本発明の実施の形態における生成手段として機能する。

Ｓ２３の処理が終了し、且つ、Ｓ１８で実行した色彩変更レイヤデータの生成処理が終了した後、合成部２７は、Ｓ１２で生成した原文画像レイヤデータ、Ｓ１８で生成した色彩変更レイヤデータ、及びＳ２３で生成した訳文レイヤデータを含む文書画像を生成する（Ｓ２４）。つまり、合成部２７は、原文画像レイヤ、色彩変更レイヤ、及び訳文レイヤを合成する。
ただし、Ｓ１５でＹＥＳと判定された場合には、Ｓ１８の処理が実行されないため、Ｓ２４における合成部２７は、Ｓ１２で生成した原文画像レイヤデータとＳ２３で生成した訳文レイヤデータとを含む文書画像を生成する。つまり、合成部２７は、原文画像レイヤ及び訳文レイヤを合成する。

更に、Ｓ２４における合成部２７は、文書画像を生成する際に、選択コマンドと、切替コマンドとを文書画像に付属させる。
選択コマンドは、原文優先モード及び訳文優先モードの何れか一方を選択するためのものである。具体的には、選択コマンドとは、後述する図７のＳ３４及びＳ４０の処理を実行するためのコマンドである。

切替コマンドは、原文優先モードが選択された場合に、訳文に係る色彩を見難い色彩に切り替え、訳文優先モードが選択された場合に、訳文に係る色彩を見易い色彩に切り替えるためのものである。具体的には、切替コマンドとは、原文優先モードが選択された場合に、図７のＳ３６〜Ｓ３８の処理を実行するためのコマンドであり、訳文優先モードが選択された場合に、図７のＳ３２の処理を実行するためのコマンドである。
以上のような合成部２７は、本発明の実施の形態における合成手段として機能する。また、選択コマンド及び切替コマンドは、本発明の実施の形態における選択手段及び切替手段として機能する。

Ｓ２４の処理終了後、画像処理部２は、文書生成処理を終了する。
Ｓ２４の処理で生成された文書画像は、図１に示すように、ＰＣ３へ送信される。ＰＣ３は、受信した文書画像を、図示しない保存部に保存する。
ユーザは、ＰＣ３の操作部３４を操作することによって、所望の文書画像を表示部３２に表示させるための文書表示指示をＰＣ３に入力する。
本実施の形態における文書画像は、デフォルトでは訳文優先モードで表示される。

ユーザは、文書画像が訳文優先モードで表示されている場合に、原文優先モードでの表示を所望するとき、操作部３４を操作することによって、原文優先指示をＰＣ３に入力する。逆に、文書画像が原文優先モードで表示されている場合に、訳文優先モードでの表示を所望するとき、ユーザは、操作部３４を操作することによって、訳文優先指示をＰＣ３に入力する。
そして、ユーザは、文書画像の表示を終了させたい場合に、操作部３４を操作することによって、所望の文書画像を表示部３２に表示させるための表示終了指示をＰＣ３に入力する。

図７は、表示部３２に文書画像を表示させるための文書表示処理の手順を示すフローチャートである。文書表示処理は、少なくとも１個の文書画像を受信した場合に、受信した文書画像が全て削除されるまで、制御部３３によって実行される。
制御部３３は、文書表示指示が入力されたか否かを判定し（Ｓ３１）、まだ入力されていない場合には（Ｓ３１でＮＯ）、Ｓ３１の処理を繰り返し実行する。

文書表示指示が入力された場合（Ｓ３１でＹＥＳ）、制御部３３は、文書画像に含まれている訳文レイヤデータにおいて、訳文に係る色彩を見易い色に切り替え（Ｓ３２）、次いで、文書画像を表示部３２に表示させる（Ｓ３３）。
Ｓ３３の処理の結果、表示部３２には、例えば、図４に示すように、薄い黒色で描画された原文４１１，４１２及び赤色で描画された訳文４２１，４２２を含む文書画像４が表示される。即ち、文書画像４は、訳文優先モードで表示される。

次に、制御部３３は、原文優先指示が入力されたか否かを判定し（Ｓ３４）、入力されていない場合には（Ｓ３４でＮＯ）、表示終了指示が入力されたか否かを判定し（Ｓ３５）、入力されていない場合には（Ｓ３５でＮＯ）、処理をＳ３４へ戻す。この場合、表示部３２には、Ｓ３３で表示された文書画像が表示され続ける。

原文優先指示が入力された場合（Ｓ３４でＹＥＳ）、制御部３３は、文書画像に含まれている訳文レイヤデータにおいて、訳文に係る色彩を見難い色に切り替える（Ｓ３６）。次いで、制御部３３は、文書画像に色彩変更レイヤデータが含まれているか否かを判定し（Ｓ３７）、含まれている場合には（Ｓ３７でＹＥＳ）、文書画像から色彩変更レイヤデータを一時的に除去する（Ｓ３８）。

Ｓ３８の処理終了後、又は、文書画像に色彩変更レイヤデータが含まれていない場合（Ｓ３７でＮＯ）、制御部３３は、現在表示されている文書画像に替えて、新たな文書画像を表示部３２に表示させる（Ｓ３９）。
Ｓ３９の処理の結果、表示部３２には、例えば、黒色で描画された原文４１１，４１２及び水色で描画された訳文４２１，４２２を含む文書画像４（図４参照）が表示される。即ち、文書画像４は、原文優先モードで表示される。

次に、制御部３３は、訳文優先指示が入力されたか否かを判定し（Ｓ４０）、入力されていない場合には（Ｓ４０でＮＯ）、表示終了指示が入力されたか否かを判定し（Ｓ４１）、入力されていない場合には（Ｓ４１でＮＯ）、処理をＳ４０へ戻す。この場合、表示部３２には、Ｓ３９で表示された文書画像が表示され続ける。

訳文優先指示が入力された場合（Ｓ４０でＹＥＳ）、制御部３３は、処理をＳ３２へ戻す。この結果、Ｓ３３の処理が実行された場合に、例えば、図４に示すように、薄い黒色で描画された原文４１１，４１２及び赤色で描画された訳文４２１，４２２を含む文書画像４が再び表示される。
表示終了指示が入力された場合（Ｓ３５でＹＥＳ、又はＳ４１でＹＥＳ）、制御部３３は、処理をＳ３１へ戻す。

図８は、原文画像及び文書画像夫々の他の一例を示す模式図である。
図８（ａ），（ｂ）には、図３及び図４に示す原文画像４００及び文書画像４とは文書の内容が異なる原文画像５００及び文書画像５が例示されている。文書画像５は、本発明の実施の形態における補足説明付き文書画像の一例であり、文書画像５が表わす文書は、本発明の実施の形態における補足説明付き文書の一例である。

図８（ａ）に示す原文画像５００は、白地に黒字の原文５１１が横書きで記載され、更に、原文５１１の右側に、図画５１０が記載されている文書を表わす。原文５１１は、３行に亘る英文「X-ray crystallographic analysis also confirmed the molecular structure. 」である。更に詳細には、原文５１１は、１行目に語句「X-ray crystallographic」が配置され、行末で改行されてから、２行目に語句「analysis also confirmed 」が配置され、行末で改行されてから、３行目に語句「the molecular structure.」が配置されている。
本実施の形態では、このような英文に含まれている単語又は連語毎に、この単語又は連語に対応する和文の語句がルビ状に併記される場合を例示する。

図８（ｂ）に示す文書画像５は、原文画像５００に基づいて画像処理部２が生成するものであり、原文画像レイヤ５１、訳文レイヤ５２、及び色彩変更レイヤ５３が合成されてなる。ただし、色彩変更レイヤ５３に含まれている塗り潰し図形の図示は省略している。

文書画像５は、図８（ａ）に示す原文画像５００と同様に、白地に原文５１１が横書きで記載され、更に、原文５１１の右側に、図画５１０が記載されている文書を表わす。更に、文書画像５が表わす文書では、赤色を有する訳文５２１が、薄い黒色を有する原文５１１の行間領域に付加されている。
更に詳細には、原文５１１には、原文語句５１ａ，５１ｂ，５１ｃ，５１ｄが含まれており、訳文５２１には、原文語句５１ａ，５１ｂ，５１ｃ，５１ｄの翻訳結果である訳文語句５２ａ，５２ｂ，５２ｃ，５２ｄが含まれている。しかも、訳文語句５２ａ，５２ｂ，５２ｃ，５２ｄは、原文語句５１ａ，５１ｂ，５１ｃ，５１ｄの相対行間領域に配されている。

原文語句５１ａは語句「X-ray crystallographic analysis 」であり、原文語句５１ｂは語句「confirmed 」であり、原文語句５１ｃは語句「molecular 」であり、原文語句５１ｄは語句「structure 」である。
訳文語句５２ａは語句「Ｘ線結晶解析」であり、訳文語句５２ｂは語句「確認する」であり、訳文語句５２ｃは語句「分子の」であり、訳文語句５２ｄは語句「構造」である。
原文画像５００に係る原文情報は、文字領域抽出部２０がＳ１１で文字領域抽出処理を実行し、次にＳ１２で文字領域レイヤ及び原文画像レイヤ生成処理を実行し、更に、文字認識部２１がＳ１３で文字認識処理を実行し、次にＳ１４で原文情報生成処理を実行することによって得られる。

図９は、文書画像生成装置１にて生成される原文情報を説明するための概念図である。図９には、原文画像５００に係る原文情報の一部をまとめたものが示されている。

具体的には、図９には、例えば文字認識結果として得られた文字（以下、認識文字という）夫々の文字番号、左Ｘ座標、上Ｙ座標、右Ｘ座標、下Ｙ座標、領域番号、行内位置、及び文字サイズが示されており、認識文字夫々の色彩、フォント種類、及び傾き等は省略されている。
ここで、図９における位置座標及び文字サイズ夫々の単位は、ポイントである。ただし、認識文字がいわゆる半角英数字である場合、実際の文字サイズは図９に示されている値の半分である。

また、図９には、文字番号２６１７番から２６４６番までの認識文字「Ｘ」，「−」，「ｒ」，「ａ」，「ｙ」，…，「ａ」，「ｎ」，「ａ」，「ｌ」，「ｙ」，「ｓ」，「ｉ」，「ｓ」が例示されており、これは、原文５１１に含まれている１番目から３０番目までの文字である。
文字番号２６２２番の認識文字「 」は、英単語「X-ray 」と英単語「crystallographic」との間に配されているスペース記号である。

通常の英文であれば、英単語「crystallographic」と英単語「analysis」との間にも、スペース記号は存在する。しかしながら、原文５１１においては、１行目の行末に英単語「crystallographic」が配され、２行目の行頭に英単語「analysis」が配されている。このため、英単語「crystallographic」と英単語「analysis」との間に存在すべきスペース記号は省略されている。従って、図９に示すように、行末の文字である文字番号２６３８番の文字「ｃ」と、行頭の文字である文字番号２６３９番の文字「ａ」との間には、スペース記号が存在していない。

図９に示すような原文情報に基づいて、Ｓ１９における翻訳部２２は、翻訳処理を実行する。
まず、翻訳部２２は、行内位置を示す情報を参照し、行頭に位置する認識文字から行末に位置する認識文字までを並置してなる文字列を形成する。図８に示す原文５１１については、第１の文字列「X-ray crystallographic」と、第２の文字列「analysis also confirmed 」と、第３の文字列「the molecular structure.」とが形成される。
次に、翻訳部２２は、形成した文字列に対し、形態素解析、局所構文解析、及び品詞推定等の自然言語処理を行なう。この結果、文字列に含まれる単語、及び複数の単語からなる連語が特定される。

そして、翻訳部２２は、特定した単語及び連語の内、和訳すべき単語及び連語を選択する。
例えば、英単語「also」は、訳語が広く知られている単語（換言すれば、難易度が低い単語）であるため、和訳されない。また、英単語「the 」、スペース記号「 」、及びピリオド記号「．」は、特に重要な意味を有していないため、和訳されない。
次いで、翻訳部２２は、選択した単語及び連語夫々を和訳する。訳語が複数存在する場合には、翻訳部２２は、例えば、和訳すべき単語又は連語の前後に位置する単語又は連語の訳語に応じて、最適な訳語を判定する。

図１０は、文字列の整形を説明するための概念図である。また、図１１は、文書画像生成装置１にて生成される原文訳文情報を説明するための概念図である。図１１には、原文語句と訳文語句との関連付けが示されている。図１０（ａ）と図１１（ａ）とは対応しており、図１０（ｂ）と図１１（ｂ）とは対応している。
図１０（ａ）には、第１の文字列「X-ray crystallographic」と、第２の文字列「analysis also confirmed 」と、第３の文字列「the molecular structure.」とが示されている（図８参照）。

このような第１〜第３の文字列から、和訳すべき単語及び連語を選択する場合、図１１（ａ）に示す「原文語句」の欄に記載されている単語が選択される。具体的には、第１の文字列から単語「X-ray 」及び単語「crystallographic」が選択され、第２の文字列から単語「analysis」及び単語「confirmed 」が選択され、第３の文字列から単語「molecular 」及び単語「structure 」が選択される。

このように選択された単語を夫々和訳した場合、図１１（ａ）に示す「訳文語句」の欄に記載されている語句が得られる。具体的には、単語「X-ray 」を和訳した語句「Ｘ線」が得られ、単語「crystallographic」を和訳した語句「結晶学の」が得られ、単語「analysis」を和訳した語句「分析」が得られる。同様に、単語「confirmed 」，「molecular 」，「structure 」を和訳した語句「確認する」，「分子の」，「構造」が得られる。
ところが、原文５１１では、単語「X-ray 」，「crystallographic」，「analysis」は、連語「X-ray crystallographic analysis 」を形成しており、連語「X-ray crystallographic analysis 」を和訳した場合には、語句「Ｘ線結晶解析」が得られる。

つまり、図１０（ａ）に示すような第１の文字列、第２の文字列、及び第３の文字列のままでは、誤訳が生じる虞がある。
このような誤訳の発生を抑制するために、本実施の形態における翻訳部２２は、原文情報に基づいて文字列を形成する際に、以下のような改行処理を実行する。
改行処理とは、原文の改行箇所（原文５１１の場合は１行目及び２行目夫々の行末）の前後を連結する処理である。ただし、原文が英文である場合、連結後の原文の改行箇所に相当する位置には、スペース記号が挿入される。

具体的には、原文５１１の場合、翻訳部２２は、第１の文字列「X-ray crystallographic」と、スペース記号と、第２の文字列「analysis also confirmed 」と、スペース記号と、第３の文字列「the molecular structure.」と、スペース記号とをこの順に並置してなる文字列（以下、連結文字列という）を形成する。このとき、図１０（ｂ）に示すような連結文字列「X-ray crystallographic analysis also confirmed the molecular structure. 」が得られる。図１０（ｂ）では、挿入されたスペース記号を矢符で指し示している。

原文訳文情報には、原文５１１に係る連結文字列と、原文５１１の改行箇所を示す改行箇所情報とが含まれる。翻訳部２２は、改行箇所情報として、例えば、第１〜第３の文字列夫々に識別番号を発行し、発行した行番号と、連結文字列においてスペース記号が挿入された位置とを関連付けたものを生成する。連結文字列と改行箇所情報とを用いれば、後段の処理において、第１〜第３の文字列を容易に再現することができる。

ここで、第１の文字列と第２の文字列との間、及び、第２の文字列と第３の文字列との間にスペース記号が挿入される理由は、一般に、英文の改行箇所は、英単語の境界であることが多いからである。和文の場合は、スペース記号を挿入する必要はない。
なお、原文５１１に複数の文が含まれている場合、翻訳部２２は、複数の文を全て含む連結文字列を形成する。

このような連結文字列から、和訳すべき単語及び連語を選択する場合、図１１（ｂ）に示す「原文語句」の欄に記載されている単語又は連語が選択される。具体的には、連語「X-ray crystallographic analysis 」、及び単語「confirmed 」，「molecular 」，「structure 」（即ち、原文語句５１ａ，５１ｂ，５１ｃ，５１ｄ）が選択される。

このように選択された単語及び連語を夫々和訳した場合、図１１（ｂ）に示す「訳文語句」の欄に記載されている語句が得られる。具体的には、連語「X-ray crystallographic analysis 」を和訳した語句「Ｘ線結晶解析」が得られる。同様に、単語「confirmed 」，「molecular 」，「structure 」を和訳した語句「確認する」，「分子の」，「構造」が得られる。以上の結果、訳文語句５２ａ，５２ｂ，５２ｃ，５２ｄが得られる。
つまり、図１０（ｂ）に示すような連結文字列を形成することによって、誤訳が生じる可能性を低減することができる。

以上のようにして原文と訳文との組み合わせを得た後、Ｓ２０における翻訳部２２は、原文訳文情報を生成する。
次に、設定部２３が、Ｓ２１の処理で訳文の書式を設定し、Ｓ２２の処理で訳文書式情報を生成する。

図１２は、文書画像生成装置１にて生成される訳文書式情報を説明するための概念図である。
図１２には、訳文語句５２ａ，５２ｂ，５２ｃ，５２ｄ夫々に設定されている書式を表わす訳文書式情報が例示されている。このような訳文書式情報は、図１１（ｂ）に示すような原文訳文情報に基づいて生成されるものであり、生成された訳文書式情報に基づいて、Ｓ２３におけるレイヤ生成部２４は、図８（ｂ）に示す訳文レイヤ５２を生成する。

訳文書式情報は、複数行（図１２においては４行）のデータを用いて、１個の訳文語句（例えば訳文語句５２ａ）の書式を表わす。訳文書式情報の各行には、書式を示すパラメータが１個配置又は複数個並置され、末尾に、各行を区別するための行末文字が配されている。
行末文字Tzを含む行には、小数点以下６桁の実数値が１個配置される。このパラメータは、認識文字の横幅掛け率（単位は％）を意味している。ただし、行末文字Tzを含む行は省略が可能であり、省略されている場合には、認識文字の横幅掛け率は所定の数値（例えば100.000000）となる。

行末文字Tmを含む行には、先頭側に、小数点以下４桁の実数値が６個並置され、末尾側に、小数点以下２桁の実数値が２個並置される。第１のパラメータから第４のパラメータまでは、訳文語句の傾き（即ち回転）を意味している。訳文語句の回転角度が反時計回りに角度θを有している場合、第１のパラメータは“cos θ”を意味し、第２のパラメータは“sin θ”を意味し、第３のパラメータは“−sin θ”を意味し、第４のパラメータは“cos θ”を意味している。第５及び第６のパラメータは、訳文語句の左Ｘ座標及び下Ｙ座標を意味している。

行末文字Tfを含む行には、先頭側に、文字列が１個配置され、末尾側に、小数点以下１桁の実数値が１個配置される。第１のパラメータは、訳文語句のフォント種類を示すフォント名ラベルを意味している。図中の第１のパラメータ「/FJH」は、「Shift JIS ・MSゴシック・横書き」を意味している。第２のパラメータは、訳文語句の文字サイズを意味している。
訳文語句のフォント種類は、一般に、原文語句のフォント種類と同一のものである。

行末文字Rgを含む行には、小数点以下１桁の実数値が３個並置される。第１のパラメータから第３のパラメータまでは、訳文語句に係る色彩のＲ値、Ｇ値、及びＢ値を意味している。図中の第１〜第３のパラメータ「1.0 0.0 0.0 」は、赤色を意味している。
行末文字Tjを含む行には、半角記号“< ”と“> ”との間に位置する１６進数の数値が１個配置される。このパラメータは、訳文語句に含まれている文字の文字コードを意味している。例えば、パラメータ「<827790fc8c8b8fbb89f090cd>」は、訳文語句５２ａの文字列「Ｘ線結晶解析」を意味している。

ところで、図８（ｂ）に示すように、原文語句５１ａは３個の単語からなる連語である。しかしながら、原文語句５１ａは１行目及び２行目に亘って配されており、しかも、原文語句５１ａに対応する訳文語句５２ａは１行目の下側の行間領域に付加されているため、文書画像５を視認したユーザには、原文語句５１ａと訳文語句５２ａとの関連性が把握し難いかもしれない。
そこで、原文語句５１ａに下線を付与することが考えられる。このような下線は、訳文レイヤ５２に含まれる。

原文語句に下線を付与する場合には、設定部２３が下線の書式を表わす情報を生成し、生成された情報を、レイヤ生成部２４が訳文レイヤデータに含ませておけばよい。
なお、訳文語句が付加されている原文語句と、訳文語句が付加されていない単語／連語とを区別するために、全ての原文語句夫々に下線が付与される構成でもよい。

次に、相対行間領域に訳文語句を配置する手順を詳細に説明する。
以下では、ｎ（ｎは自然数）個目の原文語句を原文語句[n ]といい、原文語句[n ]の次（又は前）に位置する｛ｎ＋１｝個目（又は｛ｎ−１｝個目）の原文語句を、原文語句[n+1 ]（又は原文語句[n-1 ]）という。例えば、原文語句５１ａ（又は原文語句５１ｂ）が原文語句[n ]であれば、原文語句[n+1 ]は原文語句５１ｂ（又は原文語句５１ｃ）である。更に、原文語句[n-1 ]，[n ]，[n+1 ]に対応するものには、同様に[n-1 ]，[n ]，[n+1 ]を付加する。

設定部２３は、原文訳文情報の内、図１０（ｂ）に示すような連結文字列と、図１１（ｂ）に示すような原文語句と訳文語句との関連付けを示す情報とを用いて、まず、原文語句[n ]の先頭文字及び末尾文字夫々が、連結文字列中の何文字目であるのかを求め、同様に、原文語句[n+1 ]についても求める。
更に、設定部２３は、原文訳文情報に含まれている改行箇所情報を用いて、原文語句[n ]の先頭文字及び末尾文字夫々が、Ｌ行目のＣ文字目（Ｌ，Ｃ夫々は“０”以上の整数）であることを演算し、同様に、原文語句[n+1 ]についても演算する。

具体的には、原文語句５１ａの先頭文字及び末尾文字は、０行目の０文字目及び１行目の７文字目である。原文語句５１ｂの先頭文字及び末尾文字は、１行目の１４文字目及び２２文字目である。原文語句５１ｃの先頭文字及び末尾文字は、２行目の４文字目及び１２文字目である。
次いで、設定部２３は、原文語句[n ]の先頭文字の左Ｘ座標を、相対行間領域[n ]の左Ｘ座標（即ち、相対行間領域[n ]の始端Ｘ座標）とし、同様に、相対行間領域[n+1 ]の左Ｘ座標も求める。

更に、設定部２３は、原文語句[n ]の末尾文字と原文語句[n+1 ]の先頭文字とが同一の行に位置しているか否かを判定する。
原文語句５１ａ，５１ｂのように、原文語句[n ]の末尾文字と原文語句[n+1 ]の先頭文字とが同一の行に位置している場合、設定部２３は、相対行間領域[n ]の右Ｘ座標（即ち、相対行間領域[n ]の終端Ｘ座標）として、相対行間領域[n+1 ]の左Ｘ座標から所定値を減算したＸ座標を求める。ここで、相対行間領域[n+1 ]の左Ｘ座標から所定値を減算したＸ座標とは、相対行間領域[n+1 ]の左Ｘ座標から所定値だけ左へ寄った位置のＸ座標であり、所定値とは、例えば、原文語句[n ]の文字サイズの１／２の値である。

一方、原文語句５１ｂ，５１ｃのように、末尾文字及び先頭文字が異なる行に位置している場合、設定部２３は、原文語句[n ]の末尾文字が位置する行の行末の文字を求め、この文字の右Ｘ座標を、相対行間領域[n ]の右Ｘ座標とする。
以上のようにして相対行間領域[n ]の始端及び終端を求めた場合、原文語句５１ａであれば、０行目の０文字目から１行目の１３文字目程度までに相当する領域を相対行間領域として用いることができる。このため、相対行間領域[n ]の横長さ[n ]（後述）は十分に長い。

たとえ、訳文語句５２ａの文字数が非常に多く、訳文語句５２ａの末尾文字が、原文語句５１ａに含まれない英単語「also」の下側に配置されるようなことがあっても、上述したように、原文語句５１ａに下線が付与されていれば、ユーザが訳文語句５２ａに英単語「also」の訳語も含まれている、と勘違いする虞はない。
なお、原文語句[n ]と原文語句[n+1 ]との間に、訳文が付加されていない単語／連語（例えば原文語句５１ａと原文語句５１ｂとの間の英単語「also」）が存在する場合、設定部２３は、相対行間領域[n ]の終端Ｘ座標を、この単語／連語の左Ｘ座標から所定値を減算したＸ座標としてもよい。

相対行間領域[n ]の始端Ｘ座標は、訳文語句[n ]の始端Ｘ座標として用いられる。また、相対行間領域[n ]の終端Ｘ座標は、訳文語句[n ]の終端Ｘ座標の上限値として用いられる。
相対行間領域[n ]の始端Ｘ座標及び終端Ｘ座標を求めた後、設定部２３は、相対行間領域[n ]の横長さ[n ]を求める。
この場合、原文語句５１ｂのように、原文語句[n ]の先頭文字及び末尾文字が同一の行に位置しているときには、設定部２３は、相対行間領域[n ]の終端Ｘ座標から相対行間領域[n ]の始端Ｘ座標を減算することによって、横長さ[n ]を求める。

一方、原文語句５１ａのように、原文語句[n ]の先頭文字及び末尾文字が異なる行に位置しているときには、設定部２３は、行末の文字の右Ｘ座標から相対行間領域[n ]の始端Ｘ座標を減算した減算結果と、相対行間領域[n ]の終端Ｘ座標から行頭の文字の左Ｘ座標を減算した減算結果とを加算することによって、横長さ[n ]を求める。
以下では、原文語句[n ]の先頭文字及び末尾文字が共にＬ行目に位置している場合を例示する。

設定部２３は、訳文語句[n ]に係る文字サイズを求める。このために、まず、設定部２３は、Ｌ行目のＹ座標及び｛Ｌ＋１｝行目のＹ座標を求める。Ｌ行目（又は｛Ｌ＋１｝行目）のＹ座標とは、Ｌ行目（又は｛Ｌ＋１｝行目）に含まれている文字夫々の下Ｙ座標の平均値である。
次いで、設定部２３は、相対行間領域[n ]の縦長さ[n ]を求める。
縦長さ[n ]は、Ｌ行目のＹ座標から、｛Ｌ＋１｝行目のＹ座標を減算し、更に、｛Ｌ＋１｝行目に含まれる文字の文字サイズを減算した値である。従って、縦長さ[n ]が大きければ（又は小さければ）、相対行間領域[n ]は広い（又は狭い）。

更に、設定部２３は、原文語句[n ]に係る文字サイズに所定下限率（例えば４０％）を乗算した下限文字サイズと、原文語句[n ]に係る文字サイズに所定上限率（例えば８０％）を乗算した上限文字サイズと、相対行間領域[n ]の縦長さ[n ]とを比較する。所定下限率及び所定上限率は、訳文語句の読み易さを考慮して、予め設定されている。
縦長さ[n ]が、下限文字サイズ以上、且つ上限文字サイズ以下であれば、設定部２３は、訳文語句[n ]に係る文字サイズとして相対行間領域[n ]の縦長さ[n ]を用いる。

一方、縦長さ[n ]が、下限文字サイズ未満（又は上限文字サイズ超過）であれば、設定部２３は、訳文語句[n ]に係る文字サイズとして下限文字サイズ（又は上限文字サイズ）を用いる。
以上のように、訳文語句[n ]に係る文字サイズは、相対行間領域[n ]の縦長さ[n ]及び原文語句[n ]に係る文字サイズの両方に基づいて求められる。従って、原稿画像に歪みが存在する場合であっても、原文語句[n ]に係る文字サイズと訳文語句[n ]に係る文字サイズとが大幅に乖離する虞はない。

次に、設定部２３は、原文語句[n ]に係る横幅掛け率（図１２に示す行末文字Tzを含む行に配されるパラメータ）を求める。
このために、設定部２３は、訳文語句[n ]に係る文字サイズと、訳文語句[n ]に含まれている文字の文字数とを乗算し、乗算結果が相対行間領域[n ]の横長さ[n ]以下であるか否かを判定する。
乗算結果が横長さ[n ]以下である場合、設定部２３は、横幅掛け率を１００％とする。
乗算結果が横長さ[n ]超過である場合、設定部２３は、横長さ[n ]を乗算結果で除算してから“１００”を乗算した値を横幅掛け率とする。このとき、横幅掛け率は１００％未満となる。

１００％未満の横幅掛け率が設定されている訳文語句[n ]に含まれる各文字は、横方向に圧縮される。従って、横幅掛け率が小さければ小さいほど、訳文語句[n ]は読み難くなる。
そこで、設定部２３は、横幅掛け率が所定倍率（例えば１００％）未満であるか否かを判定し、所定倍率未満である場合には、相対行間領域[n ]を原文語句[n ]の可読方向に延長することが可能か否かを判定する。可能であれば、本実施の形態では横書きであるため、相対行間領域[n ]は左右方向に延長される。なお、縦書きの場合は上下方向に延長される。

このとき、設定部２３は、相対行間領域[n ]の終端Ｘ座標から訳文語句[n+1 ]の先頭文字の左Ｘ座標までの距離を求め、求めた距離が所定距離以上である場合には、相対行間領域[n ]の右方向への延長が可能である、と判定する。この場合、設定部２３は、相対行間領域[n ]の終端Ｘ座標を先頭文字の左Ｘ座標から所定値を減算したＸ座標まで延長する。

求めた距離が所定距離未満である場合、設定部２３は、相対行間領域[n ]の始端Ｘ座標から訳文語句[n-1 ]の末尾文字の右Ｘ座標までの距離を求め、求めた距離が所定距離以上であるときには、相対行間領域[n ]の左方向への延長が可能である、と判定する。このとき、設定部２３は、相対行間領域[n ]の始端Ｘ座標を、訳文語句[n-1 ]の末尾文字の右Ｘ座標に所定値を加算したＸ座標まで延長する。
以上のように相対行間領域[n ]を延長した後で、設定部２３は、延長後の横長さ[n ]を求め、求めた横長さ[n ]に基づいて、横幅掛け率[n ]を求める。

なお、原文語句[n-1 ]と原文語句[n ]との間に１個以上の単語が配されている場合、相対行間領域[n ]の始端Ｘ座標を、原文語句[n ]の左隣の単語の先頭文字（又は中心文字）の右Ｘ座標に所定値を加算したＸ座標まで延長してもよい。この場合、ユーザは、原文語句[n ]と訳文語句[n ]との関係性を容易に把握することができる。

最後に、訳文語句[n ]の左下端におけるＹ座標Tm_j_y[n ]を求める手順を説明する。このために、設定部２３は、原文語句[n ]の左下端におけるＹ座標を予め求めておく。原文語句[n ]の左下端におけるＹ座標としては、次のＹ座標ye_L[n ]及び後述するＹ座標ye_W[n ]が考えられる。

まず、原文の行の傾きを考慮しつつ、原文の１行単位で、原文語句[n ]の左下端におけるＹ座標ye_L[n ]を求める場合を説明する。
設定部２３は、Ｌ行目の原文の横長さlinewidth[L ] を、次の式（１）を用いて算出する。ただし、原文に係る文字サイズTf_e[L ]、文字数plainlen[L ]、文字間隔Tc_e[L ]、及び横幅掛け率Tz_e[L ]とする。
linewidth[L ]
＝{(Tf_e[L ]+Tc_e[L ])×plainlen[L ]/2-Tc_e[L ]/2}×(Tz_e[L ]/100)…（１）

次に、設定部２３は、Ｌ行目の原文の下端Ｙ座標ye_average[L ]を、Ｌ行目に含まれている文字夫々の下Ｙ座標を平均することによって求める。
更に、設定部２３は、行の傾きを考慮しつつ、Ｌ行目の原文の左下端におけるＹ座標ye_0[L ]を求める。このために、設定部２３は、Ｌ行目の原文の下端Ｙ座標ye_average[L ]を、Ｌ行目の原文の中心部における下端Ｙ座標と看做す。具体的には、設定部２３は、Ｙ座標ye_0[L ]を、次の式（２）を用いて算出する。ただし、Ｌ行目の原文の傾き係数Tm_sin_e[L ]（＝sin θ）とする。
ye_0[L ]＝ye_average[L ]-(linewidth[L ]/2)×Tm_sin_e[L ]…（２）

次に、設定部２３は、原文語句[n ]の左下端におけるＹ座標ye_L[n ]を、次の式（３）を用いて算出する。ただし、原文語句[n ]の左Ｘ座標(Tm_j_x[n ]、原文の左Ｘ座標xj_0[L ]とする。
ye_L[n ]＝ye_0[L ]+(Tm_j_x[n ]-xj_0[L ])×Tm_sin_e[L ]…（３）
ここで、(Tm_j_x[n ]-xj_0[L ]) とは、原文語句[n ]のＬ行目の原文内における相対Ｘ座標である。また、(Tm_j_x[n ]-xj_0[L ]) ×Tm_sin_e[L ]とは、Ｌ行目の原文の左下端を基点とする原文語句[n ]の左下端のＹ軸方向の変位である。

次に、原文の行の傾きを考慮しつつ、原文語句単位で、原文語句[n ]の左下端におけるＹ座標ye_W[n ]を求める場合を説明する。
設定部２３は、原文語句[n ]の横長さw_width[n ] を、次の式（４）を用いて算出する。ただし、原文語句[n ]に係る文字サイズTf_e[n ]、文字数plainlen[n ]、文字間隔Tc_e[n ]、及び横幅掛け率Tz_e[n ]とする。
w_width[n ]
＝{(Tf_e[n ]+Tc_e[n ])×plainlen[n ]/2-Tc_e[n ]/2}×(Tz_e[n ]/100)…（４）

次に、設定部２３は、原文語句[n ]の下端Ｙ座標ye_average_w[n ]を、原文語句[n ]に含まれている文字夫々の下Ｙ座標を平均することによって求める。
更に、設定部２３は、行の傾きを考慮しつつ、原文語句[n ]の左下端におけるＹ座標ye_W[n ]を求める。このために、設定部２３は、原文語句[n ]の下端Ｙ座標ye_average_w[n ]を、原文語句[n ]の中心部における下端Ｙ座標と看做す。具体的には、設定部２３は、Ｙ座標ye_W[n ]を、次の式（５）を用いて算出する。ただし、Ｌ行目の原文の傾き係数Tm_sin_e[n ]（＝sin θ）とする。
ye_W[n ]＝ye_average_w[n ]-(w_width[n ]/2)×Tm_sin_e[n ]…（５）

設定部２３は、式（３）を用いることによって求められるＹ座標ye_L[n ]と、式（５）を用いることによって求められるＹ座標ye_W[n ]との内、一方のみを求める構成でもよく、両方を求め、求めた両方を比較した結果に基づいて一方を選択する構成でもよい。以下では、後者の場合を例示する。

式（３），（５）を用いることによってＹ座標ye_L[n ]及びＹ座標ye_W[n ]を両方とも求めた後、設定部２３は、Ｙ座標ye_L[n ]とＹ座標ye_W[n ]とを比較する。両者が近似している場合（例えば、両者の差値の絶対値が、原文語句[n ]に係る文字サイズTf_e[n ]の４０％以下である場合）、設定部２３は、Ｙ座標ye_W[n ]を選択する。一方、両者が乖離している場合（例えば、両者の差値の絶対値が、文字サイズTf_e[n ]の４０％超過である場合）、設定部２３は、Ｙ座標ye_L[n ]を選択する。

そして、設定部２３は、選択したＹ座標ye_W[n ]又はＹ座標ye_L[n ]を、訳文語句[n ]の左上端におけるＹ座標yj[n ]とする。つまり、本実施の形態では、原文語句[n ]の左下端と訳文語句[n ]の左上端とが一致するように、Ｙ座標yj[n ]が求められる。
なお、設定部２３は、選択したＹ座標ye_W[n ]又はＹ座標ye_L[n ]の値に適宜の微小値（例えば１．５ポイント）を加算した値を、Ｙ座標yj[n ]に代入してもよい。この場合、訳文語句[n ]の上部が原文語句[n ]の下部に僅かに重なるため、原文語句[n ]及び訳文語句[n ]夫々の可読性を犠牲にすることなく、原文語句[n ]と訳文語句[n ]との関連付けを更にわかり易くすることができる。

訳文語句[n ]の左下端におけるＹ座標Tm_j_y[n ]と、訳文語句[n ]の左上端におけるＹ座標yj[n ]との差異は、訳文語句[n ]の文字サイズTf_j[n ]に等しい。従って、設定部２３は、Ｙ座標yj[n ]から文字サイズTf_j[n ]を減算することによって、Ｙ座標Tm_j_y[n ]を求める。
ところで、このようにして求めたＹ座標Tm_j_y[n ]が、｛Ｌ＋１｝行目の原文の上端Ｙ座標ye_average_upper[L+1 ]以下である場合とは、行間領域[n ]が狭いため、訳文語句[n ]が｛Ｌ＋１｝行目の原文に重なる場合である。また、訳文語句[n ]の下端と｛Ｌ＋１｝行目の原文の上端との間には、少なくとも所定間隔int_（例えば１．５ポイント）の空白が介在する方が好ましい。

そこで、設定部２３は、求めたＹ座標Tm_j_y[n ]と上端Ｙ座標ye_average_upper[L+1 ]とを比較する。｛Tm_j_y[n ]+int｝≧ye_average_upper[L+1 ]であれば、設定部２３は、求めたＹ座標Tm_j_y[n ]を採用し、｛Tm_j_y[n ]+int｝＜ye_average_upper[L+1 ]であれば、次の式（６）を用いてＹ座標Tm_j_y[n ]を求めなおす。
Tm_j_y[n ]＝ye_average_upper[L+1 ]+int…（６）
この結果、訳文語句[n ]の左上端におけるＹ座標yj[n ]は、式（６）で求められたＹ座標Tm_j_y[n ]に訳文語句[n ]の文字サイズTf_j[n ]を加算した値となる。換言すれば、訳文語句[n ]の左上端が上方へ移動する。

以上のような文書画像生成装置１は、例えば図３及び図４に示すように、原文画像４００に係るレイアウトを保持しつつ、原文４１１，４１２の両方の可読性が向上された文書画像４を得ることができる。
なお、文書画像４は、原文画像優先モード及び訳文優先モードに加えて、原文画像４００を閲覧するための原文画像閲覧モードを有していてもよい。原文画像閲覧モードでは、文書画像４は、訳文レイヤ４２及び色彩変更レイヤ４３が一時的に除去された状態（即ち、原文画像４００と同様の状態）で、表示部３２に表示される。

実施の形態 ２．
図１３は、本発明の実施の形態２に係る文書画像生成装置１にて文書画像が生成される手順を説明するための機能ブロック図である。
本実施の形態における文書画像生成装置１は、ハードウェア的には、実施の形態１の文書画像生成装置１と同様の構成である。その他、実施の形態１に対応する部分には同一符号を付してそれらの説明を省略する。
図１３に示す画像処理部２と及び実施の形態１の図２に示す画像処理部２とを比較すればわかるように、本実施の形態においては、変更部２６は、原文画像レイヤを示す原文画像レイヤデータを用いない。一方、変更部２６は、後述する文字配置情報を生成する。生成された文字配置情報は、設定部２３が用いる。

図１４は、文書画像生成装置１で実行される文書生成処理の手順を示すフローチャートである。図１４に示す文書生成処理のＳ１１〜Ｓ１５、Ｓ１９、Ｓ２０，Ｓ２２〜Ｓ２４は、実施の形態１の図５に示す文書生成処理のＳ１１〜Ｓ１５、Ｓ１９、Ｓ２０，Ｓ２２〜Ｓ２４と同様である。
実施の形態１の色彩変更レイヤは、所定の透明度を有する塗り潰し図形を含むが、本実施の形態の色彩変更レイヤは、所定の透明度を有する矩形記号を含む。即ち、本実施の形態における色彩変更レイヤは、文字レイヤである。

図１４に示すように、原文に係る色彩が所定の条件を満たしていない場合（Ｓ１５でＮＯ）、変更部２６は、矩形記号の色彩、文字サイズ、縦横の倍率、及び配置位置等を、所定単位毎に設定する（Ｓ５１）。本実施の形態では、次の図１５及び後述する図１６に示すように、所定単位とは単語である。

図１５は、文書画像生成装置１にて生成される色彩変更レイヤ４３の一例を示す模式図である。
図１５には、原文画像レイヤ４１、訳文レイヤ４２、及び色彩変更レイヤ４３が合成されてなる文書画像４が示されている。原文画像レイヤ４１及び訳文レイヤ４２は、図６に示す原文画像レイヤ４１及び訳文レイヤ４２と同様である。
原文４１３，４１４に含まれている英字の内、英字「ａ」，「ｃ」，「ｒ」に比べると、英字「ｐ」，「ｑ」は、下側に突き出た部分を有する縦長の文字であり、英字「ｂ」，「ｄ」は、上側に突き出た部分を有する縦長の文字である。

図１５に想像線で示されている矩形記号４３１は、いわゆる黒四角記号である。
ここで、矩形記号４３１は、英字「ａ」，「ｃ」，「ｒ」夫々を、１個の矩形記号４３１で完全に被覆することができ、原文４１３，４１４に含まれている英字「ｂ」，「ｄ」，「ｐ」，「ｑ」夫々を、縦に２個密着配置した矩形記号４３１で完全に被覆することができる文字サイズを有する（図１６参照）。従って、１個の矩形記号４３１では、夫々が複数個の文字を含む原文４１３，４１４を被覆することはできない。

図１４に示すＳ５１における変更部２６は、矩形記号４３１の色彩を、背景色とは無関係に、所定の色彩に設定する。ここで用いられる所定の色彩は、透明度が高い色（例えば半透明な水色）であることが望ましい。この場合、矩形記号４３１を用いてなる矩形記号４３２，４３３（後述）は、見難い色を有するため、目立たない。

なお、矩形記号４３１の色彩を設定するために、変更部２６は、実施の形態１の図５に示すＳ１６の処理と同様にして背景色を検出してもよい。この場合、変更部２６は、矩形記号４３１の色彩を、検出した背景色に対応した色彩に設定する。具体的には、変更部２６は、矩形記号４３１のＲ値、Ｇ値、及びＢ値を、背景のＲ値、Ｇ値、及びＢ値と同じにし、矩形記号４３１の透明度を、背景の透明度より高い透明度にする。この結果、文書画像４が表わす矩形記号４３２，４３３は、ユーザの目にはほとんど見えない。

また、図１４に示すＳ５１における変更部２６は、矩形記号４３１の文字サイズを、所定の文字サイズに設定する。
なお、変更部２６は、矩形記号４３１の文字サイズを、例えば原文に含まれている文字の文字サイズに応じて設定してもよい。

更に、Ｓ５１における変更部２６は、原文４１３，４１４夫々（即ち各単語）が配置されている矩形領域（以下、原文領域という）について演算する。このとき、変更部２６は、原文領域の左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標、並びに、原文領域の縦長さ及び横長さを求める。
ここで、例えば原文４１３（又は原文４１４）に係る原文領域の左Ｘ座標及び下Ｙ座標は、原文４１３（又は原文４１４）に含まれている文字夫々の左Ｘ座標及び下Ｙ座標の内、最小のものである。同様に、原文４１３（又は原文４１４）に係る原文領域の右Ｘ座標及び上Ｙ座標は、原文４１３（又は原文４１４）に含まれている文字夫々の右Ｘ座標及び上Ｙ座標の内、最大のものである。

次に、変更部２６は、原文４１３（又は原文４１４）に係る原文領域の縦長さ及び横長さを、矩形記号４３１の縦長さ及び横長さで除算することによって、矩形記号４３１の縦横の倍率を設定する。原文４１３（又は原文４１４）に係る原文領域の場合、矩形記号４３１の縦横の倍率は縦３倍及び横４倍（又は縦横共に３倍）である。

このように設定した倍率を矩形記号４３１に乗算した場合、原文４１３を被覆する最小面積の矩形記号４３２（又は原文４１４を被覆する最小面積の矩形記号４３３）が得られる。
更にまた、Ｓ５１における変更部２６は、矩形記号４３２，４３３夫々の配置位置を設定する。このとき、矩形記号４３２，４３３夫々の左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標は、原文４１３，４１４に係る原文領域夫々の左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標に等しい。

Ｓ５１の終了後、変更部２６は、色彩変更レイヤデータを生成する（Ｓ５２）。Ｓ５２で生成される色彩変更レイヤデータが示す色彩変更レイヤは、図１５の場合、色彩変更レイヤ４３であり、色彩変更レイヤ４３においては、原文画像レイヤ４１における原文４１３，４１４の配置位置に対応する位置に、所定の透明度を有する矩形記号４３２，４３３が配置される。矩形記号４３２，４３３は、原文４１３，４１４に係る原文領域を完全に被覆することができる。

なお、Ｓ５１及びＳ５２の処理を実行することによって生成される色彩変更レイヤ４３は、図１５に示す色彩変更レイヤ４３に限定されるものはない。
図１６（ａ），（ｂ）夫々は、文書画像生成装置１にて生成される色彩変更レイヤ４３の他の一例を示す模式図である。図１６（ａ），（ｂ）夫々に示す文書画像４は、図１５に示す文書画像４と略同様の構成である。

ただし、図１５に示す色彩変更レイヤ４３は、各１個の矩形記号４３２，４３３を含んでいるが、図１６（ａ）に示す色彩変更レイヤ４３は、合計２１個（更に詳細には、原文４１３に係る原文領域に対応して１２個、及び原文４１４に係る原文領域に対応して９個）の矩形記号４３１，４３１，…を含んでいる。また、図１６（ｂ）に示す色彩変更レイヤ４３は、合計１１個（更に詳細には、原文４１３について６個、及び原文４１３について５個）の矩形記号４３１，４３１，…を含んでいる。

まず、図１６（ａ）に示す色彩変更レイヤ４３について説明する。
矩形記号４３１は、図１５に示す矩形記号４３１と同一の色彩及び文字サイズを有し、縦横の倍率は夫々縦横共に１倍である。この色彩変更レイヤ４３においては、所定単位である単語毎に、複数個の矩形記号４３１，４３１，…が密着配置される。
このために、図１４に示すＳ５１における変更部２６は、まず、矩形記号４３１の色彩、文字サイズ、及び縦横の倍率を、所定の色彩、所定の文字サイズ、及び所定の文字倍率（この場合、１×１倍）に設定する。

また、Ｓ５１における変更部２６は、原文４１３，４１４夫々に係る原文領域について演算する。このとき、変更部２６は、原文領域の左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標、並びに、原文領域の縦長さ及び横長さを求める。
次に、変更部２６は、原文領域の縦長さ及び横長さと矩形記号４３１の縦長さ及び横長さとに基づいて、原文領域を完全に覆うための必要最小限の矩形記号４３１，４３１，…の個数を求める。原文４１３（又は原文４１４）に係る原文領域の場合、原文領域を完全に覆うための必要最小限の矩形記号４３１，４３１，…の個数は１２個（又は９個）である。

そして、変更部２６は、各矩形記号４３１の配置位置を求める。例えば、原文４１３（又は原文４１４）に係る原文領域の場合、原文領域の最も左上に位置する矩形記号４３１の左Ｘ座標及び上Ｙ座標は、原文領域の左Ｘ座標及び上Ｙ座標に等しい。

次に、図１６（ｂ）に示す色彩変更レイヤ４３について説明する。
この色彩変更レイヤ４３においては、所定単位である単語毎に、複数個の矩形記号４３１，４３１，…が、この単語に含まれている文字の形状に応じて配置される。
このために、図１４に示すＳ５１における変更部２６は、まず、矩形記号４３１の色彩、文字サイズ、及び縦横の倍率を、所定の色彩、所定の文字サイズ、及び所定の文字倍率（この場合、１×１倍）に設定する。

また、Ｓ５１における変更部２６は、原文４１３，４１４夫々について、文字が配置されている領域（以下、文字配置領域という）を求める。ここで求められる文字配置領域には、各文字の形状が反映される。具体的には、変更部２６は、原文４１３（又は原文４１４）に含まれている各文字の左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標を求める。
そして、変更部２６は、各文字配置領域が完全に被覆されるように、矩形記号４３１，４３１，…の配置位置を設定する。

なお、変更部２６は、矩形記号４３１の縦横の倍率を、各文字の形状に応じて設定してもよい。この場合、例えば、英字「ａ」，「ｃ」，「ｒ」夫々に対応する矩形記号は、矩形記号４３１を１×１倍に拡大したものであり、英字「ｂ」，「ｄ」，「ｐ」，「ｑ」夫々に対応する矩形記号は、矩形記号４３１を１×２倍に拡大したものである。

図１４に示すように、Ｓ５２の処理終了後、変更部２６は、文字配置情報を生成する（Ｓ５３）。ここで、文字配置情報とは、例えば図１５に示す矩形記号４３２，４３３夫々が配置されている領域の左Ｘ座標、上Ｙ座標、右Ｘ座標、及び下Ｙ座標である。文字配置情報は、訳文と矩形記号との重なりを制限するために用いられる。
Ｓ５３の終了後、画像処理部２は、処理をＳ１９へ移す。

図１７は、訳文４２３，４２４と矩形記号４３４との重なりの制限を説明するための模式図である。訳文４２３，４２４は、原文４１５の行間領域に付加されている。図１７（ａ）は、訳文４２３，４２４と矩形記号４３４との重なりが制限される前の状態を示し、図１７（ｂ）は、訳文４２３，４２４と矩形記号４３４との重なりが制限された後の状態を示している。
図１７に示すように、原文４１５は英字「Ａ」であり、訳文４２３は平仮名「っ」であり、訳文４２４は平仮名「し」である。平仮名「っ」に比べて、平仮名「し」は上方に突き出た部分を有する。
訳文４２３，４２４は、互いに隣り合って同一の行に配されている。

矩形記号４３４は、原文４１５に係る原文領域を被覆している。行間領域が狭い場合、訳文４２３，４２４が原文領域に重なって配置されることは回避し難い。このため、図１７（ａ）に示すように、訳文４２３は、上半分（即ち上部１／２）程度が矩形記号４３４に重なっており、訳文４２３は、上部３／４程度が矩形記号４３４に重なっている。
ここで、訳文に含まれる文字が配置される範囲と色彩変更レイヤにおける矩形記号が配置される範囲との重複を所定量以下（具体的には５０％以下）に制限することを考える。この場合、訳文４２３が配置される範囲と矩形記号４３４が配置される範囲との重複は許容されるが、訳文４２４が配置される範囲と矩形記号４３４が配置される範囲との重複は許容されない。

訳文４２４と矩形記号４３４との重複を所定量以下に制限するために、訳文４２４の配置位置を下側へずらすことが考えられるが、この場合、訳文４２４が、原文４１５の次行の原文に重なる虞がある。そこで、本実施の形態では、訳文４２４に含まれている文字の文字サイズを減少させることによって、訳文４２４と矩形記号４３４との重複を所定量以下に制限する。このとき、同一の行に配されている文字同士の文字サイズの不一致による可読性及び美観等の悪化を防止するために、訳文４２３の文字サイズを、訳文４２４の減少後の文字サイズに一致させる必要がある。

図１７（ｂ）に示すように、訳文４２３，４２４に含まれている各文字の文字サイズは、図１７（ｂ）に係る文字サイズよりも減少している。このため、訳文４２３は、矩形記号４３４に重なっておらず、訳文４２３は、上部１／２程度が矩形記号４３４に重なっている。即ち、訳文４２３，４２４と矩形記号４３４との重なりが制限されている。

図１４に示すように、Ｓ２０の処理終了後、設定部２３は、Ｓ２０で生成した原文訳文情報と、Ｓ５３で生成した文字配置情報とに基づいて、訳文の書式を設定する（Ｓ５４）。このとき、設定部２３は、実施の形態１で説明したように文字サイズを仮設定した後で、仮設定された文字サイズを有する訳文と矩形記号との重複が所定量以下であるか否かを判定する。そして、訳文と矩形記号との重複が所定量を超えている場合、設定部２３は、訳文に係る文字サイズを、仮設定された文字サイズよりも適宜に小さい文字サイズに設定する。

このような設定部２３は、本発明の実施の形態における制限手段として機能する。
Ｓ５４の終了後、画像処理部２は、処理をＳ２２へ移す。
なお、設定部２３が、訳文と矩形記号との重複が所定量を超過している、と判定した場合には、処理をＳ５１へ戻す構成でもよい。この場合、変更部２６は、訳文と矩形記号との重複が所定量以下になるよう、矩形記号の文字サイズ及び配置位置等を再設定する。
以上のような文書画像生成装置１は、実施の形態１の文書画像生成装置１と同様の効果を奏する。

実施の形態 ３．
図１８は、本発明の実施の形態３に係る文書画像生成装置６の構成を模式的に示すブロック図である。
本実施の形態１，２においては、デジタル複合機を用いてなる文書画像生成装置１を例示したが、本実施の形態においては、ＰＣを用いてなる文書画像生成装置６を例示する。
文書画像生成装置６は、制御部６１、表示部６２、操作部６３、Ｉ／Ｆ（インタフェース）部６４、ドライブ部６５、及び記憶部６６を備えている。

制御部６１は、文書画像生成装置６の制御中枢であり、図示しないＲＡＭを作業領域として用いて、装置各部を制御し、また、各種処理を実行する。
ドライブ部６５は、例えばＣＤ−ＲＯＭドライブを用いてなり、自身にセットされた記録媒体８から、各種の情報を読み取る。
記録媒体８は、例えば光ディスクであり、記録媒体８には、コンピュータプログラム８Ｐが記憶されている。コンピュータプログラム８Ｐは、本発明の実施の形態におけるコンピュータプログラムとして機能する。
記憶部６６は、不揮発性の大容量記憶装置を用いてなり、辞書ＤＢ６０を記憶している。

制御部６１は、ドライブ部６５にセットされた記録媒体８からコンピュータプログラム８Ｐを読み取り、読み取ったコンピュータプログラム８Ｐを、記憶部６６に記憶させる。また、制御部６１は、コンピュータプログラム８ＰをＲＡＭにロードし、ロードしたコンピュータプログラム８Ｐに従って、本発明の実施の形態に係る文書画像生成方法を実現する。
表示部６２は、例えば液晶ディスプレイを用いてなり、制御部６１に制御されて、文書画像に基づくカラー画像を表示する。

操作部６３は、ユーザが文書画像生成装置６を操作するためのキーボード及びマウスを用いてなる。ユーザは、操作部６３を操作することによって、各種の指示を文書画像生成装置６に入力する。入力された指示は、制御部６１に与えられる。
Ｉ／Ｆ部６４は、文書画像生成装置６と、文書画像生成装置６の外部の画像読取装置７１及び画像記録装置７２とを接続するためのものである。

画像読取装置７１は、カラースキャナ装置、又はカラースキャナ装置として機能するデジタル複合機等であり、画像読取装置７１に載置された記録用紙又は書籍等に記録されている画像を光学的にカラーで読み取る。画像読取装置７１が読み取ったカラー画像（即ち原文画像）は、文書画像生成装置６へ送信される。
文書画像生成装置６の制御部６１は、Ｉ／Ｆ部６４を介して、画像読取装置７１から送信された原文画像を受信する。

制御部６１は、受信した原文画像に基づいて、文書画像を生成する。このために、制御部６１は、実施の形態１の図５又は実施の形態２の図１４に示す文書生成処理と同様の文書生成処理を実行する。このとき、制御部６１は、本発明の実施の形態における判定手段、変更手段、設定手段、生成手段、合成手段、及び制限手段として機能する。
また、制御部６１は、少なくとも１個の文書画像を生成した場合に、生成した文書画像が全て削除されるまで、実施の形態１の図７に示す文書表示処理と同様の文書表示処理を実行する。この結果、文書画像に基づくカラー画像が表示部６２に表示される。

又は、制御部６１は、生成した文書画像を、Ｉ／Ｆ部６４を介して画像記録装置７２へ送信する。
画像記録装置７２は、カラープリンタ装置、又はカラープリンタ装置として機能するデジタル複合機等であり、受信した文書画像に基づくカラー画像を、記録用紙に記録する。

なお、原文画像は外部から受信される構成に限定されるものはない。例えば、表示部６２を視認しながら操作部６３を操作することによって、ユーザが原文画像を生成する構成でもよい。
また、訳文は原文から自動的に生成される構成に限定されるものではない。例えば、ユーザが訳文を生成して文書画像生成装置６に与える構成でもよい。
更に、文書画像生成装置６にて生成された文書画像は、例えば実施の形態１のＰＣ３で利用されてもよい。

本実施の形態１〜３においては、原文と訳文とが併記されている補足説明付き文書を例示したが、これに限定されず、原文と、原文の注釈、又は原文の読み仮名、発音記号、若しくはピンイン記号等とが併記されている補足説明付き文書であってもよい。更に、原文は英語に限定されず、訳文は日本語に限定されるものではない。
更にまた、原文画像及び文書画像夫々は、カラー画像に限定されず、モノクローム画像であってもよい。
また、文書画像生成装置１，６は、ＰＤＦ以外の形式で文書画像を生成してもよい。

ここで、従来技術と本発明の実施の形態１，２との差異について説明する。
特許文献１に記載の翻訳装置は、訳文に係る色彩を、背景色に応じて決定する。
特許文献２に記載の機械翻訳装置は、原文に含まれる単語と、この単語を訳した語句との対応関係を明示する目的で、両者の文字色を決定する。
以上のように、従来の技術は、原文に係る色彩に応じて訳文に係る色彩を決定するものではない。また、特許文献１，２には、原文画像における原文のレイアウトを保持した状態の文書画像を得ることと、行間領域が狭い場合であっても原文及び訳文夫々の可読性を確保することとを両立するための技術は記載されていない。

今回開示された実施の形態１〜３は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲と均等の意味及び特許請求の範囲内での全ての変更が含まれることが意図される。
また、本発明の効果がある限りにおいて、文書画像生成装置１，６に、実施の形態１〜３に開示されていない構成要素が含まれていてもよい。

１，６ 文書画像生成装置
２３ 設定部（設定手段，制限手段）
２４ レイヤ生成部（生成手段）
２５ 判定部（判定手段）
２６ 変更部（変更手段）
２７ 合成部（合成手段）
４，５ 文書画像（補足説明付き文書画像）
４００，５００ 原文画像
４１，５１ 原文画像レイヤ（原文レイヤ）
４１１，４１２，４１３，４１４，４１５，５１１ 原文
４２，５２ 訳文レイヤ（補足説明レイヤ）
４２１，４２２，４２３，４２４，５２１ 訳文（補足説明）
４３，５３ 色彩変更レイヤ
４３０ 塗り潰し図形
４３１，４３２，４３３，４３４ 矩形記号
６１ 制御部（設定手段，生成手段，合成手段，判定手段，変更手段，制限手段）
８Ｐ コンピュータプログラム

Claims (14)

1. 一の色彩を有する複数行の原文を表わす原文画像に基づいて、前記原文に関する補足説明が前記原文の行間領域に付加されている補足説明付き文書を表わす補足説明付き文書画像を生成する文書画像生成装置において、
   前記補足説明に係る色彩を、前記原文に係る色彩とは異なる他の色彩に設定する設定手段と、
   該設定手段が設定した他の色彩を有する補足説明を表わす補足説明レイヤを生成する生成手段と、
   前記原文画像を用いてなる原文レイヤ、及び、前記生成手段が生成した補足説明レイヤを合成することによって、前記補足説明付き文書画像を生成する合成手段と
   を備えることを特徴とする文書画像生成装置。
2. 前記原文に係る色彩が所定の条件を満たしているか否かを判定する判定手段と、
   該判定手段が否と判定した場合、前記原文に係る色彩を、前記所定の条件を満たす一の色彩に変更するための変更手段とを更に備え、
   前記設定手段は、前記補足説明に係る色彩を、前記所定の条件を満たさない他の色彩に設定するようにしてあることを特徴とする請求項１に記載の文書画像生成装置。
3. 前記設定手段は、前記補足説明に係る色彩として、前記原文に係る色彩よりも視認性が低い他の色彩及び高い他の色彩の両方を、切り替え可能に設定するようにしてあり、
   前記合成手段は、
   前記原文の視認性を優先する態様、及び、前記補足説明の視認性を優先する態様の何れか一方を選択するための選択手段と、
   前記選択手段によって前記原文（又は前記補足説明）の視認性を優先する態様が選択された場合に、前記補足説明に係る色彩を、前記低い他の色彩（又は前記高い他の色彩）に切り替える切替手段と
   を前記補足説明付き文書画像に付属させるようにしてあることを特徴とする請求項１又は２に記載の文書画像生成装置。
4. 前記設定手段は、前記補足説明に係る色彩を、前記補足説明を分割すべき所定単位毎に設定するようにしてあることを特徴とする請求項１から３の何れかひとつに記載の文書画像生成装置。
5. 前記変更手段は、前記原文に係る色彩を、前記原文画像における原文が有する一の色彩よりも視認性が低い一の色彩に変更するための色彩変更レイヤを生成するようにしてあり、
   前記設定手段は、前記補足説明に係る色彩を、前記一の色彩よりも視認性が高い他の色彩に設定するようにしてあり、
   前記合成手段は、前記変更手段が生成した色彩変更レイヤ、並びに、前記原文レイヤ及び補足説明レイヤを合成することによって、前記補足説明付き文書画像を生成するようにしてあることを特徴とする請求項２に記載の文書画像生成装置。
6. 前記変更手段は、前記色彩変更レイヤとして、前記原文レイヤにおける前記原文の配置位置に対応する位置に、所定の透明度を有する塗り潰し図形が配置されているレイヤを生成するようにしてあることを特徴とする請求項５に記載の文書画像生成装置。
7. 前記変更手段は、前記色彩変更レイヤとして、前記原文レイヤにおける前記原文の配置位置に対応する位置に、所定の透明度を有する矩形記号が配置されているレイヤを生成するようにしてあることを特徴とする請求項５に記載の文書画像生成装置。
8. 前記変更手段は、前記原文を分割すべき所定単位毎に１個の前記矩形記号を配置すべく前記矩形記号の縦横の倍率を設定するようにしてあることを特徴とする請求項７に記載の文書画像生成装置。
9. 前記変更手段は、前記原文を分割すべき所定単位毎に、夫々の文字サイズが互いに等しい複数個の前記矩形記号を密着配置すべく各矩形記号の配置位置を設定するようにしてあることを特徴とする請求項７に記載の文書画像生成装置。
10. 前記変更手段は、前記原文を分割すべき所定単位毎に１個又は複数個の前記矩形記号を前記所定単位に含まれる文字の形状に応じて配置すべく各矩形記号の縦横の倍率及び／又は配置位置を設定するようにしてあることを特徴とする請求項７に記載の文書画像生成装置。
11. 前記変更手段は、前記矩形記号の色彩を、前記原文の背景の色彩に対応した色彩に設定するようにしてあることを特徴とする請求項７から１０の何れかひとつに記載の文書画像生成装置。
12. 前記補足説明レイヤにおける前記補足説明に含まれる文字が配置される範囲と前記色彩変更レイヤにおける前記矩形記号が配置される範囲との重複を所定量以下に制限する制限手段を更に備えることを特徴とする請求項７から１１の何れかひとつに記載の文書画像生成装置。
13. 一の色彩を有する複数行の原文を表わす原文画像に基づいて、前記原文に関する補足説明が前記原文の行間領域に付加されている補足説明付き文書を表わす補足説明付き文書画像を生成する文書画像生成方法において、
    前記原文画像を用いてなる原文レイヤと、前記原文に係る色彩とは異なる他の色彩を有する補足説明を表わす補足説明レイヤとを合成することによって、前記補足説明付き文書画像を生成することを特徴とする文書画像生成方法。
14. コンピュータに、一の色彩を有する複数行の原文を表わす原文画像に基づいて、前記原文に関する補足説明が前記原文の行間領域に付加されている補足説明付き文書を表わす補足説明付き文書画像を生成させるためのコンピュータプログラムであって、
    コンピュータに、前記補足説明に係る色彩を、前記原文に係る色彩とは異なる他の色彩に設定させる設定ステップと、
    コンピュータに、前記設定ステップで設定された他の色彩を有する補足説明を表わす補足説明レイヤを生成させる生成ステップと、
    コンピュータに、前記原文画像を用いてなる原文レイヤ、及び、前記生成ステップで生成された補足説明レイヤを合成させることによって、前記補足説明付き文書画像を生成させる合成ステップと
    を実行させることを特徴とするコンピュータプログラム。

Images