JP4973765B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

紙文書をスキャナで読み込み、それを計算機により翻訳し出力するシステムがある。その結果である出力の表現方法として、従来から様々な手法が用いられている。その中で、元のレイアウトの領域毎に、翻訳済みの文字列を置換又は訳文を追加する手法がある。

これに関連する技術として、例えば、特許文献１には、原稿画像中に存在する単語に対応する訳語の位置を明確にし、また、訳語付加により出力画像の内容が大幅に変更したとしても、複写画像の内容を読みやすくレイアウトして出力することを目的とし、ＣＰＵは、原稿画像情報と該情報の対訳情報を上下位置に合成するとき、原稿画像情報の情報幅より対訳情報の情報幅が小さくなるように制御することが開示されている。

また、例えば、特許文献２には、第１の言語に基づく第１の文字及び画像を含む原稿を画像入力する原稿入力手段と、この原稿入力手段から画像入力された原稿画像データを解析して文書データ領域と画像データ領域とに領域分離する分離手段と、この分離手段により分離された前記文書データ領域から文字画像を切り出して第１の文字を認識する認識手段と、この認識手段により認識された第１の文字に対応する文字データを第２の言語に基づく第２の文字データに翻訳する翻訳手段と、前記分離手段により領域分離された文書データ領域情報及び前記第２の文字データに基づいてレイアウトされた印刷データを生成するデータ生成手段と、このデータ生成手段により生成された前記印刷データに基づいて第２の文字データと前記原稿画像データをそれぞれ記録媒体の各片面に振り分けて両面印刷する印刷手段と、を有することを特徴とする画像処理装置が開示されている。

また、例えば、特許文献３には、通信回線を介して受信した文書画像を出力する画像処理装置であって、文書画像データと当該文書画像の言語を示す言語表記コードを含む情報を受信する受信手段と、受信した言語表記コードを抽出する第１の抽出手段と、前記文書画像データ中の所定位置に位置する部分画像を抽出する第２の抽出手段と、前記受信手段で文書画像データを受信する際に、該文書画像データの送信元を示す情報を抽出する第３の抽出手段と、前記第１ないし第３の抽出手段のいずれかの抽出が行われた場合、当該抽出結果に基づいて文字認識用辞書を指定する指定手段と、前記指定手段で指定された文字認識用辞書を用いて受信した文書画像中の文字を認識する認識手段と、前記認識手段の認識結果に基づいて所定言語に翻訳する翻訳手段と、前記翻訳手段の翻訳結果に基づいて文書画像を生成する画像生成手段とを備えることを特徴とする画像処理装置が開示されている。

また、例えば、特許文献４には、簡単な指定操作で原文のみと訳文のみの文書を印刷あるいは表示できる翻訳支援装置を提供することを目的とし、ＣＰＵは、キー入力部においてファンクションキーの操作により原文印刷又は訳文印刷が指示されると、ＲＡＭ内の文書メモリに混在して格納されている原文文字列データ及び訳文文字列データを抽出し、抽出した原文文字列データのみ、あるいは訳文文字列データのみを印刷する原文印刷処理と訳文印刷処理を実行し、原文のみ、あるいは訳文のみの文字列データを印刷バッファに出力して印刷部から印刷出力させることが開示されている。

また、例えば、特許文献５には、紙に打ち出してある文書を機械翻訳機上で翻訳する手段を提供することを目的とし、原稿を読み取る画像入力部と、画像入力部で得られたイメージデータを記憶する原稿イメージ記憶部と、原稿イメージ記憶部に記憶されているイメージデータに対してレイアウト認識を行うレイアウト認識手段と、レイアウト認識で得られた文字認識領域を記憶する原文領域記憶部と、図形領域記憶部と、文字認識領域の文字に対応するコードデータを出力する文字認識実行部と、原文記憶部と、翻訳手段と、訳文記憶部と、原文領域記憶部に記載されている領域に訳文記憶部に記載されている訳文を埋め込む手段とで構成したことが開示されている。

特開平０５−３２４７２０号公報 特許第３６３６４９０号公報 特許第３２１３１９７号公報 特開平０７−０２８８２９号公報 特開平０８−００６９４８号公報

ところで、言語の組み合わせによっては翻訳前後で文字の方向が変化するような場合がある。また、翻訳時に指定された翻訳後の文字列の方向が翻訳前の言語の文字列の方向と異なる場合もある。このような場合に、翻訳前の言語の文章が存在する領域に、単に文字列の方向を変えて翻訳後の言語の文章を配置した際に、画像全体の構成によっては翻訳後の文章の存在する領域の関係が乱れる場合が生じる。本発明は、かかる課題を解決するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像内の文字領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された文字領域内の文字を認識する文字認識手段と、前記文字認識手段による認識結果を翻訳する翻訳手段と、前記領域抽出手段によって抽出された文字領域内の文字の方向及び前記翻訳手段によって翻訳された言語の文字の方向が異なる場合であって、前記文字領域内の文字の方向を回転処理又は反転処理させた場合の文字の方向と、前記翻訳された言語の文字の方向との関係に基づいて、前記領域抽出手段によって抽出された文字領域を含めて、前記画像の構成を回転の処理又は反転の処理のいずれかによって変更する変更手段を具備し、前記文字の方向は、行内の文字列の方向、行の方向、又はこれらの組み合わせであり、前記変更手段は、翻訳前の文字列の方向と行の方向を回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、該選択された処理を行った場合に、文字領域の幅と高さの比率が設定値の範囲内にあるか否か、又は１行内の文字数が設定値の範囲内にあるか否かによって歪みが生じているか否かを判断し、歪みがあると判断した場合は、翻訳前の文字列の方向と行の方向を逆転させ、回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、前者の選択された処理又は後者の選択された処理である回転又は反転のいずれかの処理を行うことを特徴とする画像処理装置である。

請求項２の発明は、請求項１に記載の発明であって、前記領域抽出手段は、前記画像から画像領域をも抽出し、前記変更手段は、前記領域抽出手段によって画像領域を抽出した場合は、反転処理を行うことを特徴とする画像処理装置である。

請求項３の発明は、請求項１又は２に記載の発明であって、前記領域抽出手段は、表領域をも抽出し、前記変更手段は、前記領域抽出手段によって抽出した表領域の行と列を入れ替えることによって、構成を変更することを特徴とする画像処理装置である。

請求項４の発明は、請求項１から３のいずれか１項に記載の発明であって、前記翻訳手段による翻訳結果を前記変更手段によって変更された画像の構成に配置する翻訳結果配置手段と、前記翻訳結果配置手段によって配置された画像を出力する画像出力手段を具備することを特徴とする画像処理装置である。

請求項５の発明は、コンピュータを、画像内の文字領域を抽出する領域抽出手段と、前記領域抽出手段によって抽出された文字領域内の文字を認識する文字認識手段と、前記文字認識手段による認識結果を翻訳する翻訳手段と、前記領域抽出手段によって抽出された文字領域内の文字の方向及び前記翻訳手段によって翻訳された言語の文字の方向が異なる場合であって、前記文字領域内の文字の方向を回転処理又は反転処理させた場合の文字の方向と、前記翻訳された言語の文字の方向との関係に基づいて、前記領域抽出手段によって抽出された文字領域を含めて、前記画像の構成を回転の処理又は反転の処理のいずれかによって変更する変更手段として機能させ、前記文字の方向は、行内の文字列の方向、行の方向、又はこれらの組み合わせであり、前記変更手段は、翻訳前の文字列の方向と行の方向を回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、該選択された処理を行った場合に、文字領域の幅と高さの比率が設定値の範囲内にあるか否か、又は１行内の文字数が設定値の範囲内にあるか否かによって歪みが生じているか否かを判断し、歪みがあると判断した場合は、翻訳前の文字列の方向と行の方向を逆転させ、回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、前者の選択された処理又は後者の選択された処理である回転又は反転のいずれかの処理を行うことを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像内の文字を認識して翻訳する場合にあって、翻訳後の文章の存在する領域の関係の乱れを抑制することができる。

請求項２の画像処理装置によれば、画像領域が含まれている場合であっても、その画像領域も含めて、翻訳後の文章の存在する領域の関係の乱れを抑制することができる。

請求項３の画像処理装置によれば、表領域が含まれている場合であっても、その表領域の構成を変更することによって、翻訳後の文章の存在する領域の関係の乱れを抑制することができる。

請求項４の画像処理装置によれば、画像内の文字を認識し翻訳した後に、翻訳後の文章の存在する領域の関係の乱れを抑制して出力することができる。

請求項５の画像処理プログラムによれば、画像内の文字を認識して翻訳する場合にあって、翻訳後の文章の存在する領域の関係の乱れを抑制することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による回転処理例を示す説明図である。 本実施の形態による反転処理例を示す説明図である。 本実施の形態による画像領域が含まれている場合の処理例を示す説明図である。 表領域を対象とした場合の処理例を示す説明図である。 １行の文字領域を対象とした場合の処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。 レイアウトを維持したまま、文字認識、翻訳を行った場合の出力の例を示す説明図である。

本実施の形態は、文書（少なくとも文字認識、翻訳の対象となる文字が含まれている文書であって、図形や表等が含まれていてもよく、具体的な例としてビジネス文書、新聞、広告等が挙げられる）を画像として受け付け、その画像に対して文字認識を行い、さらに翻訳をし、原画像に近い画像の構成（レイアウト）で翻訳文書を生成して出力するものである。翻訳後の文章の存在する領域の関係の乱れを抑制するために、翻訳前後の文字列の方向に基づいて、レイアウトを変更して翻訳文書を出力するものである。

ここで、具体的に図９を用いて、原画像とその原画像のレイアウトを変更せずに、翻訳文書を生成した場合について説明する。
図９（ａ）は原画像９１０を示している。原画像９１０内には、タイトルである原文字領域９１１があり、前文である原文字領域９１２が１段で構成されており、その下に、原文字領域９１３、原文字領域９１４、原文字領域９１５の段落が２段組で構成されている。そして、横書きである英文の構成の場合、つまり文字列の方向が左から右へ進むものであり、行は上から下へ進むような構成の場合、原文字領域９１２、９１３、９１４、９１５の順番で読まれるべきものである。

図９（ｂ）は、原画像９１０を文字認識し、翻訳した後に、その翻訳文書を元のレイアウトのままに配置したものである。翻訳後の言語が日本語であり、縦書きの構成の場合、つまり文字列の方向が上から下へ進むものであり、行は右から左へ進むような構成の場合、変換文字領域９２２、９２３、９２４、９２５の順番で読むことは不自然である。また、タイトルである変換文字領域９２１は１行の縦書きであるため、文字列の方向が右から左へ進むようにもなっている。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。

本実施の形態は、図１に示すように、レイアウト解析モジュール１０１、文字認識モジュール１０２、翻訳モジュール１０３、文字列方向判定モジュール１０４、回転／反転選択モジュール１０５、回転／反転処理モジュール１０６、全体レイアウト変更処理モジュール１０９、画像配置処理モジュール１１０、翻訳文配置処理モジュール１１１を有している。また、回転／反転処理モジュール１０６は、回転処理モジュール１０７と反転処理モジュール１０８を有している。

レイアウト解析モジュール１０１は、文字認識モジュール１０２と接続されており、受け付けた画像のレイアウトを解析して、その解析結果を文字認識モジュール１０２へ渡す。ここで、画像を受け付けるとは、例えば、スキャナ等で入力した画像を受け付けること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと、ファックスによって画像を受信すること等がある。また、画像は、２値画像であってもよいし、カラー画像を含む多値画像であってもよく、１枚の画像であってもよいし、複数枚の画像であってもよい。画像を解析するとは、画像内の領域毎にその位置（例えば、領域が矩形の場合はその領域の左上の座標、幅、縦方向の長さ等）を抽出し、その領域が主にどのような領域であるか（文字領域、図形領域、写真等の画像領域、表領域等）に分類することである。また、ここでの画像の解析は、文字・図形領域の分離技術等の既存の技術を用いることができる。さらに、抽出した表領域に対してはその表の構成（何行何列の表であるか等）を解析するようにしてもよい。
さらに、文字列の方向をレイアウト解析モジュール１０１が抽出するようにしてもよい。例えば、文字領域内の黒画素のヒストグラムを縦方向又は横方向にとり、そのヒストグラムの形状が横書き、縦書きに特有のものであるか否かによって抽出するようにしてもよい。また、文字の方向は文字列方向判定モジュール１０４へ渡す。

文字認識モジュール１０２は、レイアウト解析モジュール１０１、翻訳モジュール１０３と接続されており、レイアウト解析モジュール１０１の解析結果を受け取り、文字領域であると分類された領域を抽出して、その文字領域内の文字を認識し、その認識結果を翻訳モジュール１０３へ渡す。ここでの文字認識は、既存の技術を用いることができる。ここで、文字認識モジュール１０２が、認識した文字の言語を判別するようにしてもよい。また、文字認識モジュール１０２が、前述のレイアウト解析モジュール１０１のように文字列の方向を抽出するようにしてもよい。また、文字の方向は文字列方向判定モジュール１０４へ渡す。

翻訳モジュール１０３は、文字認識モジュール１０２、文字列方向判定モジュール１０４と接続されており、文字認識モジュール１０２によって文字認識された結果を受け取り、その言語を所定の言語に翻訳して、その翻訳結果を文字列方向判定モジュール１０４へ渡す。ここで所定の言語とは、予め定められている言語、操作者の指定操作に応じた言語等である。また、翻訳は、既存の技術を用いることができる。

文字列方向判定モジュール１０４は、翻訳モジュール１０３、回転／反転選択モジュール１０５と接続されており、レイアウト解析モジュール１０１又は文字認識モジュール１０２によって抽出された文字領域内の文字の方向を判定する。なお、「文字の方向」には、１行内の文字の方向（横書き／縦書きの区別、さらに横書きの場合は左から右へ／右から左への区別を含む）の他に行の方向（縦書きの場合は右から左へ／左から右への区別）を含めてもよい。また、それらのうちの１つ又は複数の組み合わせであってもよい。

回転／反転選択モジュール１０５は、文字列方向判定モジュール１０４、回転／反転処理モジュール１０６と接続されており、文字列方向判定モジュール１０４による判定結果を受け取り、回転／反転処理モジュール１０６内の回転処理モジュール１０７又は反転処理モジュール１０８を選択する。文字列方向判定モジュール１０４によって判定された文字領域内の文字の方向及び翻訳モジュール１０３によって翻訳された言語の文字の方向に基づいて、レイアウトを回転処理するか又は反転処理するか否かについて選択を行い、選択結果を回転／反転処理モジュール１０６へ渡す。「文字の方向に基づいて」とは、例えば、より具体的には、文字領域内の文字の方向と翻訳された言語の文字の方向とが異なる場合に、レイアウト解析モジュール１０１によって抽出された文字領域に対して行う回転又は反転の処理を選択するようにしてもよい。つまり、文字の方向が異なる場合は回転の処理を選択するようにしてもよい。
ここで、文字の方向が異なるとは、単に横書き、縦書きで相違することであってもよいし、横書き、縦書きのみならず、横書きならば左から右へなのか、右から左へなのかについての相違を判断の対象としてもよいし、さらに、行の方向（縦書きならば右から左なのか、左から右なのか等）も加えて判断の対象としてもよい。
なお、翻訳された言語の文字の方向は、言語によっては２種類以上の文字の方向があるので（例えば、日本語は左から右への横書きで行は上から下へ進む、上から下への縦書きで行は右から左へ進む）、そのような場合は所定の方向とする。ここで所定の方向とは、予め定められている方向、操作者の指定操作に応じた方向等である。

さらに、回転／反転選択モジュール１０５は、文字領域内の文字列と行の進行方向を回転処理又は反転処理させた場合の文字列と行の進行方向と、翻訳モジュール１０３によって翻訳された言語の文字列と行の進行方向との関係に基づいて、レイアウト解析モジュール１０１によって抽出された文字領域に対して、回転処理又は反転処理を行うようにしてもよい。つまり、「文字の方向に基づいて」として、文字列と行の進行方向を合わせるようになる処理を選択するようにしてもよい。また、文字列と行の進行方向を逆転させて合わせるようになる処理を選択するようにしてもよい。
また、回転／反転選択モジュール１０５は、レイアウト解析モジュール１０１によって画像領域を抽出したか否かに応じて、回転処理又は反転処理を選択するようにしてもよい。つまり、画像領域を抽出した場合は、文字の方向にかかわらず反転処理を選択するようにしてもよい。

回転／反転処理モジュール１０６は、回転／反転選択モジュール１０５、全体レイアウト変更処理モジュール１０９と接続されており、レイアウト解析モジュール１０１によって抽出された文字領域に対して、回転／反転選択モジュール１０５によって選択された回転処理モジュール１０７又は反転処理モジュール１０８による処理を行うことによってレイアウトを変更する。
回転処理モジュール１０７が行う回転処理とは、画像のレイアウトを右側又は左側に９０度回転することである。具体的な例について図３を用いて後述する。
反転処理モジュール１０８が行う反転処理とは、画像のレイアウトを鏡像反転（左右を反転）することである。具体的な例について図４を用いて後述する。

全体レイアウト変更処理モジュール１０９は、回転／反転処理モジュール１０６、画像配置処理モジュール１１０と接続されており、回転／反転処理モジュール１０６によって個々の領域に対する変更が行われた結果に対して、全体のレイアウトを変更し、その結果を画像配置処理モジュール１１０へ渡す。例えば、用紙サイズの拡大縮小を行うこと、縦置きの画像（縦長の文書画像）を横置きの画像（横長の文書画像）に変更等することが含まれる。また、操作者の操作に応じて、レイアウトを変更するようにしてもよい。
画像配置処理モジュール１１０は、全体レイアウト変更処理モジュール１０９、翻訳文配置処理モジュール１１１と接続されており、レイアウト解析モジュール１０１によって抽出された画像を全体レイアウト変更処理モジュール１０９によって変更されたレイアウトに配置し、翻訳文配置処理モジュール１１１へ渡す。そのときに、画像領域のサイズが原画像と異なったものとなっていた場合は、そのサイズに合わせた拡大縮小を行うようにしてもよい。なお、レイアウト解析モジュール１０１によって画像領域を抽出しなかった場合は、画像配置処理モジュール１１０による処理を行わない。
翻訳文配置処理モジュール１１１は、画像配置処理モジュール１１０と接続されており、画像配置処理モジュール１１０によって画像が配置された後に、翻訳モジュール１０３による翻訳結果を変更された文字領域に配置する。いわゆる流し込み処理を行う。つまり、対象領域内に、文字列の方向、文字サイズに応じて、翻訳後の文字を順次配置していく処理である。また、翻訳文配置処理モジュール１１１は、このレイアウト変更した翻訳結果を出力するようにしてもよい。ここで、出力とは、翻訳結果の画像をプリンタにて出力すること、ハードディスク等にその画像を記憶すること、ファックスにて他のファックスへ送信すること、通信回線を介して他の装置に送信すること等がある。

図２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、レイアウト解析モジュール１０１が、受け付けた画像のレイアウト解析を行い、各領域の座標情報を取得する。ここで、座標情報とは、画像内における領域を特定できる情報である。また、その領域が主にどのような領域であるかの情報も取得する。
ステップＳ２０４では、文字認識モジュール１０２がステップＳ２０２で取得された文字領域内の画像を文字認識し、翻訳モジュール１０３が、文字認識結果に対して翻訳を行う。

ステップＳ２０６では、文字列方向判定モジュール１０４が、翻訳前後で文字列の方向に違いはあるか否かの判断を行う。かかる判断で、違いがある場合（Ｙの場合）はステップＳ２０８へ進み、それ以外の場合（Ｎの場合）はステップＳ２３０へ進む。
ステップＳ２０８では、文字列方向判定モジュール１０４が、レイアウトの補正（変更）を自動で設定するか否かを判断する。かかる判断で自動で設定する場合（Ｙの場合）はステップＳ２１０へ進み、それ以外の場合（Ｎの場合）はステップＳ２２０へ進む。ここで、自動で設定する（つまり、本実施の形態がレイアウトを決定する）か否かは、予め定められていてもよいし、操作者の操作に基づいて、自動で設定するか否かを判断するようにしてもよい。

ステップＳ２１０では、回転／反転選択モジュール１０５が、文字列と行の進行方向を合わせることで「回転」又は「反転」を選択する。つまり、翻訳前の文字列の進行方向と行の進行方向を回転又は反転させた場合に、翻訳後の文字列の進行方向と行の進行方向が一致するか否かを判断して、一致する処理を選択する。例えば、翻訳前が横書き（文字列の進行方向は左から右へ進み、行の進行方向は上から下へ進む）であり、翻訳後が縦書き（文字列の進行方向は上から下へ進み、行の進行方向は右から左へ進む）である場合、翻訳前の横書きを右へ９０度回転させることによって、縦書きと一致することになる。つまり、文字列の進行方向は「左から右へ」が「上から下へ」になり、行の進行方向は「上から下へ」が「右から左へ」となるので一致する。
また、ここでは、文字の方向のみで回転と反転を選択するようにしてもよい。

ステップＳ２１２では、回転／反転選択モジュール１０５が、ステップＳ２１０で選択された処理を行った場合に、文字領域、画像領域（図形領域を含む）に予め定めた設定よりも歪みが生じているか否かを判断する。かかる判断において歪みがあると判断した場合（Ｙの場合）はステップＳ２１４へ進み、それ以外の場合（Ｎの場合）はステップＳ２１８へ進む。ここで、歪みがあるか否かの判断は、領域の幅と高さの比率が設定値の範囲内にあるか否か、１行内の文字数が設定値の範囲内にあるか否か等によって判断する。また、文字領域又は画像領域のいずれかに重みを付けて判断するようにしてもよい。その場合、各領域の数又は各領域が占める面積の割合に応じて重みを付けるようにしてもよい。また、歪みがあるか否かを判断するための条件について、それぞれの条件が有効であるか無効であるかを設定できるようにしてもよい。

ステップＳ２１４では、回転／反転選択モジュール１０５が、文字列と行の進行方向を逆転させて合わせることで「回転」又は「反転」を選択する。つまり、翻訳前の文字列の進行方向と行の進行方向を逆転させ、回転又は反転させた場合に、翻訳後の文字列の進行方向と行の進行方向が一致するか否かを判断して、一致する処理を選択する。例えば、翻訳前が横書き（文字列の進行方向は左から右へ進み、行の進行方向は上から下へ進む）であり、翻訳後が縦書き（文字列の進行方向は上から下へ進み、行の進行方向は右から左へ進む）である場合、まず翻訳前の文字列の進行方向と行の進行方向を逆転させる（入れ替える）。つまり、文字列の進行方向は上から下へ進み、行の進行方向は左から右へ進むとする。これを反転（左右反転）させると、文字列の進行方向は上から下へ進み、行の進行方向は右から左へ進むとなり、翻訳後が縦書きと一致することになる。
また、ここでは、ステップＳ２１０で選択された処理ではない処理を選択するようにしてもよい。つまり、ステップＳ２１０で「回転」が選択された場合は「反転」を選択する。

ステップＳ２１６では、回転／反転選択モジュール１０５が、ステップＳ２１０、ステップＳ２１４で選択された処理を行った場合のそれぞれの歪みを計測し、歪みが少ない処理（回転処理か反転処理のいずれか）を採用する。
ステップＳ２１８では、回転／反転選択モジュール１０５が、ステップＳ２１０で選択された処理又はステップＳ２１６で採用された処理の結果、「反転」と判断したか否かを判断する。「反転」と判断した場合（Ｙの場合）はステップＳ２２４へ進み、それ以外の場合（Ｎの場合）はステップＳ２２２へ進む。

ステップＳ２２０では、回転／反転選択モジュール１０５が、画像を重視するか文章を重視するかを操作者の操作に応じて選択する。画像を重視する場合（Ｙの場合）はステップＳ２２４へ進み、それ以外の場合（Ｎの場合）はステップＳ２２２へ進む。
ステップＳ２２２では、回転／反転選択モジュール１０５が、レイアウトの変更処理は「回転」を選択し、回転処理モジュール１０７が回転処理を行う。
ステップＳ２２４では、回転／反転選択モジュール１０５が、レイアウトの変更処理は「反転」を選択し、反転処理モジュール１０８が反転処理を行う。

ステップＳ２２６では、全体レイアウト変更処理モジュール１０９が、出力すべき文書サイズが指定されている場合、変更比率に合わせて全体のレイアウトを変更する。
ステップＳ２２８では、画像配置処理モジュール１１０が、画像を配置する。その場合に、領域のサイズの変更に合わせて、画像のサイズを指定縮小率の範囲内で縮小する。ここで指定縮小率とは、縮小する際に、縮小率の限界を示すものであり、予め定めておいてもよいし、画像に応じて定めるようにしてもよい。画像によっては指定縮小率以上に縮小しては見難くなる場合があるのでこれに対処するためである。
ステップＳ２３０では、翻訳文配置処理モジュール１１１が、翻訳を行った文章を、元の文字領域（サイズ、位置等は異なっている場合がある）内に配置する。

図３は、本実施の形態による回転処理例を示す説明図である。
図３（ａ）に示す原画像３１０は、原文字領域３１１、原文字領域３１２、原文字領域３１３、原文字領域３１４、原文字領域３１５を有している。図９（ａ）に示した構成と同様である。
図３（ｂ）に示す変換画像３２０は、原画像３１０に対して回転処理を施したものである。つまり、変換文字領域３２１は原文字領域３１１に対応し、変換文字領域３２２は原文字領域３１２に対応し、変換文字領域３２３は原文字領域３１３に対応し、変換文字領域３２４は原文字領域３１４に対応し、変換文字領域３２５は原文字領域３１５に対応している。つまり、変換画像３２０のレイアウトは、原画像３１０のレイアウトを右に９０度回転させたものであり、原画像３１０の横置きから変換画像３２０の縦置きとなっている。また、変換画像３２０の読むべき順番は、変換文字領域３２２、３２３、３２４、３２５となり、図９（ｂ）に比べて、より日本語として適切なレイアウトになっている。

図３（ｃ）に示す変換画像３３０は、変換画像３２０に対して、さらに全体レイアウト変更処理モジュール１０９による処理を施した例である。つまり、変換文字領域３３１は原文字領域３１１に対応し、変換文字領域３３２は原文字領域３１２に対応し、変換文字領域３３３は原文字領域３１３に対応し、変換文字領域３３４は原文字領域３１４に対応し、変換文字領域３３５は原文字領域３１５に対応している。そして、変換画像３３０の全体のレイアウトを横置きとするために、各文字領域の縦横比を変更している。例えば、具体的には、変換文字領域３２２は３行であるが、変換文字領域３３２は４行となっている。

図４は、本実施の形態による反転処理例を示す説明図である。
図４（ａ）に示す原画像３１０は、図３（ａ）に示した構成と同様である。
図４（ｂ）に示す変換文字領域４２１は、原画像３１０に対して反転処理を施したものである。つまり、変換文字領域４２１は原文字領域３１１に対応し、変換文字領域４２２は原文字領域３１２に対応し、変換文字領域４２３は原文字領域３１３に対応し、変換文字領域４２４は原文字領域３１４に対応し、変換文字領域４２５は原文字領域３１５に対応している。つまり、変換画像４２０のレイアウトは、原画像３１０のレイアウトを左右反転させたものであり、原画像３１０では原文字領域３１３は左側にあるが、変換画像４２０では、原文字領域３１３に対応する変換文字領域４２３は右側にある。また、原画像３１０では原文字領域３１４、原文字領域３１５は右側にあるが、原文字領域３１４、原文字領域３１５に各々対応する変換文字領域４２４、変換文字領域４２５は左側にある。また、変換画像４２０の読むべき順番は、変換文字領域４２２、４２３、４２４、４２５となり、図９（ｂ）に比べて、より日本語として適切なレイアウトになっている。

図４（ｃ）に示す変換画像４３０は、変換画像４２０に対して、さらに全体レイアウト変更処理モジュール１０９による処理を施した例である。つまり、変換文字領域４３１は１行に１文字の縦書きであるので、これを左から右への横書きに変更し、縦書き用のフォントを横書き用のフォントに変更している。また、操作者の操作に応じて、変換画像４２０では縦に並んでいた変換文字領域４２４、変換文字領域４２５を変換文字領域４３４、変換文字領域４３５のように横に並べている。

図５は、本実施の形態による画像領域が含まれている場合の処理例を示す説明図である。
図５（ａ）に示す原画像５１０は、原文字領域５１１、原文字領域５１２、原文字領域５１３、原図形領域５１４を有している。
図５（ｂ）に示す変換画像５２０は、原画像５１０に対して回転処理を施したものであり、変換文字領域５２１は原文字領域５１１に対応し、変換文字領域５２２は原文字領域５１２に対応し、変換文字領域５２３は原文字領域５１３に対応し、変換図形領域５２４は原図形領域５１４に対応している。ただし、変換画像５２０を横置きにするために、変換図形領域５２４の縦横比が原図形領域５１４とは異なったものになってしまう。
図５（ｃ）に示す変換画像５３０は、原画像５１０に対して反転処理を施したものであり、変換文字領域５３１は原文字領域５１１に対応し、変換文字領域５３２は原文字領域５１２に対応し、変換文字領域５３３は原文字領域５１３に対応し、変換図形領域５３４は原図形領域５１４に対応している。変換画像５３０は、原図形領域５１４がそのままの比率で維持されている画像である。

図３、図４、図５に示したように、回転処理、反転処理にはそれぞれメリット、デメリットがある。
回転処理は、全体レイアウトの意味的再現性能が高い場合が多い。回転処理は縦書きと横書きを入れ替える場合に使用することが多い。この際に、回転処理は文字列・行、それぞれの進行方向の両方が一致するため再現性能が高い。
ただし、デメリットとして、全体の縦横の比率が変化してしまうことが挙げられる。これは、全体の画像が回転するので、元の縦横比を維持できないためである。そのため、画像や表領域で不整合が起こりやすい。画像や表領域は、文章領域ほどの柔軟性がないため、縦横比の変化の影響が強いためである。

次に、反転処理は、全体の縦横の比率が変化しない。つまり、領域サイズが変化しないため、画像や表領域の不整合が起きない。
ただし、デメリットとして、全体レイアウトの意味的再現性能が回転処理に比べて劣る場合が多い。縦書き横書きの入れ替えの場合は、文字列と行の進行方向が入れ替わった形で一致するためである。
したがって、安定したレイアウト構成の翻訳文書を作成するために、使用用途や場合によって回転・反転処理を切り替えるようにしてもよい。例えば、回転／反転選択モジュール１０５は、原画像内に図形領域がある場合は、反転処理を選択するようにしてもよい。

図６は、表領域を対象とした場合の処理例を示す説明図である。
表領域については、レイアウト解析モジュール１０１がその表領域の構成をも解析するようにしてもよい。そして、画像配置処理モジュール１１０が表の構成を変更するようにしてもよい。例えば、図６（ａ）に示すように４行３列の表に対して、レイアウトの変更（具体的には縦横比の変更）を施す場合、単純に拡大縮小によって縦横比を変更するのではなく、図６（ｂ）に示すように、行と列を入れ替えて、３行４列の表に変更するようにしてもよい。

図７は、１行の文字領域を対象とした場合の処理例を示す説明図である。
縦書きで１行に１文字となるような場合を図４に示したが、縦書きの言語を横書きの言語に翻訳した場合に、他のレイアウトの関係で、横書きの文字領域にすることなく、縦書きの文字領域のままにするようなことを行ってもよい。例えば、図７（ａ）に示すように「回答」という縦書き１行の文字領域を、図７（ｂ）に示すように縦書きの「ａｎｓｗｅｒ」のようにしてもよい。これらの書法も許されているからである。

図８を参照して、本実施の形態のハードウェア構成例について説明する。図８に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部８１７と、プリンタなどのデータ出力部８１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１は、前述の実施の形態において説明した各種のモジュール、すなわち、レイアウト解析モジュール１０１、文字認識モジュール１０２、翻訳モジュール１０３、文字列方向判定モジュール１０４、回転／反転選択モジュール１０５、回転／反転処理モジュール１０６等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス８０４により相互に接続されている。

ホストバス８０４は、ブリッジ８０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス８０６に接続されている。

キーボード８０８、マウス等のポインティングデバイス８０９は、操作者により操作される入力デバイスである。ディスプレイ８１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）８１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ８０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、受け付けられた画像、文字認識結果、翻訳結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体８１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース８０７、外部バス８０６、ブリッジ８０５、及びホストバス８０４を介して接続されているＲＡＭ８０３に供給する。リムーバブル記録媒体８１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート８１４は、外部接続機器８１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート８１４は、インタフェース８０７、及び外部バス８０６、ブリッジ８０５、ホストバス８０４等を介してＣＰＵ８０１等に接続されている。通信部８１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部８１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部８１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図８に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図８に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

前記実施の形態においては、画像配置処理モジュール１１０の後に翻訳文配置処理モジュール１１１による処理を行うことを示したが、画像配置処理モジュール１１０と翻訳文配置処理モジュール１１１とは順番を逆にしてもよいし、並列的に処理を行うようにしてもよい。
なお、前記実施の形態においては、英語から日本語への翻訳を主に説明したが、これに限らず逆の日本語から英語、又は他の言語（例えば、仏語、中国語、アラビア語等）との翻訳であってもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１０１…レイアウト解析モジュール
１０２…文字認識モジュール
１０３…翻訳モジュール
１０４…文字列方向判定モジュール
１０５…回転／反転選択モジュール
１０６…回転／反転処理モジュール
１０７…回転処理モジュール
１０８…反転処理モジュール
１０９…全体レイアウト変更処理モジュール
１１０…画像配置処理モジュール
１１１…翻訳文配置処理モジュール

Claims (5)

1. 画像内の文字領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された文字領域内の文字を認識する文字認識手段と、
   前記文字認識手段による認識結果を翻訳する翻訳手段と、
   前記領域抽出手段によって抽出された文字領域内の文字の方向及び前記翻訳手段によって翻訳された言語の文字の方向が異なる場合であって、前記文字領域内の文字の方向を回転処理又は反転処理させた場合の文字の方向と、前記翻訳された言語の文字の方向との関係に基づいて、前記領域抽出手段によって抽出された文字領域を含めて、前記画像の構成を回転の処理又は反転の処理のいずれかによって変更する変更手段
   を具備し、
   前記文字の方向は、行内の文字列の方向、行の方向、又はこれらの組み合わせであり、
   前記変更手段は、翻訳前の文字列の方向と行の方向を回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、
   該選択された処理を行った場合に、文字領域の幅と高さの比率が設定値の範囲内にあるか否か、又は１行内の文字数が設定値の範囲内にあるか否かによって歪みが生じているか否かを判断し、
   歪みがあると判断した場合は、翻訳前の文字列の方向と行の方向を逆転させ、回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、
   前者の選択された処理又は後者の選択された処理である回転又は反転のいずれかの処理を行う
   ことを特徴とする画像処理装置。
2. 前記領域抽出手段は、前記画像から画像領域をも抽出し、
   前記変更手段は、前記領域抽出手段によって画像領域を抽出した場合は、反転処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域抽出手段は、表領域をも抽出し、
   前記変更手段は、前記領域抽出手段によって抽出した表領域の行と列を入れ替えることによって、構成を変更する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記翻訳手段による翻訳結果を前記変更手段によって変更された画像の構成に配置する翻訳結果配置手段と、
   前記翻訳結果配置手段によって配置された画像を出力する画像出力手段
   を具備することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. コンピュータを、
   画像内の文字領域を抽出する領域抽出手段と、
   前記領域抽出手段によって抽出された文字領域内の文字を認識する文字認識手段と、
   前記文字認識手段による認識結果を翻訳する翻訳手段と、
   前記領域抽出手段によって抽出された文字領域内の文字の方向及び前記翻訳手段によって翻訳された言語の文字の方向が異なる場合であって、前記文字領域内の文字の方向を回転処理又は反転処理させた場合の文字の方向と、前記翻訳された言語の文字の方向との関係に基づいて、前記領域抽出手段によって抽出された文字領域を含めて、前記画像の構成を回転の処理又は反転の処理のいずれかによって変更する変更手段
   として機能させ、
   前記文字の方向は、行内の文字列の方向、行の方向、又はこれらの組み合わせであり、
   前記変更手段は、翻訳前の文字列の方向と行の方向を回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、
   該選択された処理を行った場合に、文字領域の幅と高さの比率が設定値の範囲内にあるか否か、又は１行内の文字数が設定値の範囲内にあるか否かによって歪みが生じているか否かを判断し、
   歪みがあると判断した場合は、翻訳前の文字列の方向と行の方向を逆転させ、回転又は反転させた場合に、翻訳後の文字列の方向と行の方向が一致するか否かを判断し、一致する処理である回転又は反転のいずれかを選択し、
   前者の選択された処理又は後者の選択された処理である回転又は反転のいずれかの処理を行う
   ことを特徴とする画像処理プログラム。

Images