以下、本発明の実施の形態について、図面に基づいて説明する。
以下の実施の形態では、情報処理装置(第1の情報処理部)がタブレット端末で構成されている場合について説明する。情報処理装置は、MFP、PC(Personal Computer)、携帯電話、ファクシミリ装置、プリンター、または複写機などであってもよい。OCR装置は、OCR処理を行うものであればよく、たとえばサーバー、PCまたは携帯電話などであってもよい。
[第1の実施の形態]
(文書画像処理システムの構成)
図1は、本発明の第1の実施の形態における文書画像処理システムの構成を概念的に示すブロック図である。
図1を参照して、本実施の形態における文書画像処理システムは、MFP100およびタブレット端末200(第1の情報処理部の一例)と、OCR端末300−1および300−2(第2の情報処理部の一例)とを備えている。MFP100およびタブレット端末200は、たとえばオフィス内のイントラネット401を通じて相互に接続されている。イントラネット401はインターネット(外部ネットワーク)402に接続されている。MFP100およびタブレット端末200の各々は、イントラネット401およびインターネット402を通じてOCR端末300−1および300−2の各々と接続されている。またタブレット端末200は、ユーザーによってオフィス外に持ち出された場合などに、たとえば中継器(図示無し)などを通じてインターネット402に無線接続することも可能である。
イントラネット401は、たとえば有線または無線のLANなどの専用回線を用いたものである。イントラネット401は、TCP/IP(Transmission Control Protocol/Internet Protocol)のプロトコルを用いて各種機器を接続する。イントラネット401に接続された機器同士は、通信を行うことが可能となっている。
インターネット402は、WAN(Wide Area Network)を用いたものである。インターネット402に接続された機器同士は、通信を行うことが可能となっている。さらに、イントラネット401に接続された機器は、インターネット402に接続された機器と通信を行うことが可能となっている。
OCR端末300−1および300−2の各々はインターネット402経由でユーザーに対してOCR処理のサービスを提供する。ユーザーは、タブレット端末200などを通じてOCR端末300−1および300−2の各々が提供するサービスを受ける。
MFP100は、CPU110と、ROM(Read Only Memory)120と、RAM(Random Access Memory)130と、記憶部140と、ネットワークI/F150と、画像読取部160と、PDF作成部170と、文字領域抽出部180と、操作パネル190と、画像形成部195とを含んでいる。CPU110は、ROM120、RAM130、記憶部140、ネットワークI/F150、画像読取部160、PDF作成部170、文字領域抽出部180、操作パネル190、および画像形成部195の各々と相互に接続されている。
CPU110は、MFP100全体を制御する。ROM120は、CPU110が実行する制御プログラムを格納する。RAM130は、CPU110の作業用のメモリである。記憶部140は、各種情報を記憶(保持)している。ネットワークI/F150は、イントラネット401やインターネット402を介して外部機器との通信を行う。画像読取部160は、原稿の画像を光学的に読み取る。PDF作成部170は、画像読取部160で読み取った画像のPDFファイルを作成する。文字領域抽出部180は、読み取った画像から、文字が表示された領域である文字領域の画像を抽出する。操作パネル190は、表示部、ソフトウェアキー、およびハードウェアキーなどを含んでいる。操作パネル190は、各種情報を表示するとともに、各種操作を受け付ける。
画像形成部195は、プリントジョブを実行する。画像形成部195は、おおまかに、トナー像形成部、定着装置、および用紙搬送部などで構成される。画像形成部195は、たとえば電子写真方式で用紙に画像を形成する(プリントする)。画像形成部195は、いわゆるタンデム方式で4色の画像を合成し、用紙にカラー画像を形成可能に構成される。トナー像形成部は、C(シアン)、M(マゼンタ)、Y(イエロー)、K(ブラック)の各色について設けられた感光体と、感光体からトナー像が転写(1次転写)される中間転写ベルトと、中間転写ベルトから用紙に画像を転写(2次転写)する転写部などで構成される。定着装置は、加熱ローラーおよび加圧ローラーを有する。定着装置は、加熱ローラーと加圧ローラーとでトナー像が形成された用紙を挟みながら搬送し、その用紙に加熱及び加圧を行なう。これにより、定着装置は、用紙に付着したトナーを溶融させて用紙に定着させ、用紙に画像を形成する。用紙搬送部は、給紙ローラー、搬送ローラー、およびそれらを駆動するモーターなどで構成されている。用紙搬送部は、用紙を給紙カセットから給紙して、MFP100の筐体の内部で搬送する。また、用紙搬送部は、画像が形成された用紙をMFP100の筐体から排紙トレイなどに排出する。
タブレット端末200は、CPU210と、ROM220と、RAM230と、記憶部240と、ネットワークI/F250と、操作パネル260と、暗号化部270と、暗号解読部280と、PDF編集部290とを含んでいる。CPU210は、ROM220、RAM230、記憶部240、ネットワークI/F250、操作パネル260、暗号化部270、暗号解読部280、およびPDF編集部290の各々と相互に接続されている。
CPU210は、タブレット端末200全体を制御する。ROM220は、CPU210が実行する制御プログラムを格納する。RAM230は、CPU210の作業用のメモリである。記憶部240は、サーチャブルPDF作成のためのソフトウェアのプログラムや、後述する分割テーブル、番号テーブル、または暗号化マトリクスなどの各種情報を記憶(保持)している。ネットワークI/F250は、イントラネット401やインターネット402を介して外部機器との通信を行う。操作パネル260は、各種情報を表示するとともに、各種操作を受け付ける。暗号化部270は、OCR端末300−1または300−2に送信する文字領域の画像を暗号化する。暗号解読部280は、OCR端末300−1または300−2から受信したデータを解読してテキストデータを作成する。PDF編集部290は、画像のPDFファイルに対してテキストデータを追加する。
OCR端末300−1および300−2の各々は、OCR機能を有しており、OCR処理のサービスを提供するウェブサイトであるOCRサイトを持っている。OCR端末300−1および300−2の各々は、互いに異なる装置であり、別々のOCRサイトを持っている。OCR端末300−1および300−2の各々は、CPU310と、ROM320と、RAM330と、記憶部340と、ネットワークI/F350と、OCR処理部360と、暗号化部370と、暗号解読部380とを含んでいる。CPU310は、ROM320、RAM330、記憶部340、ネットワークI/F350、OCR処理部360、暗号化部370、および暗号解読部380の各々と相互に接続されている。
CPU310は、OCR端末全体を制御する。ROM320は、CPU310が実行する制御プログラムを格納する。RAM330は、CPU310の作業用のメモリである。記憶部340は、後述する暗号化マトリクスなどの各種情報を記憶(保持)している。また記憶部340は、OCR処理のユーザーのための記憶領域(個人フォルダ)を有している。ネットワークI/F350は、インターネット402を介して外部機器との通信を行う。OCR処理部360は、タブレット端末200から受信した文字領域の画像に対してOCR処理を行うことにより、テキストデータを作成する。暗号化部370は、OCR処理によって得られたデータを暗号化する。暗号解読部380は、タブレット端末200から受信したデータを解読して元の文字領域の画像を作成する。
なお、文字画像処理システムが備えるタブレット端末、MFP、およびOCR端末の各々の個数は任意である。MFPは画像読取機能を有する装置であればよい。
MFP100とタブレット端末200との間は、イントラネット401で接続されている。このため、MFP100とタブレット端末200との間で送受信される情報は、漏洩しにくい。一方、タブレット端末200とOCR端末300−1および300−2の各々の間は、インターネット402で接続されている。このため、タブレット端末200とOCR端末300−1および300−2の各々との間で送受信される情報は、漏洩しやすい。
(文字画像処理システムの動作の概要)
次に、文字画像処理システムが行うサーチャブルPDF化の動作の概要を説明する。
図2は、本発明の第1の実施の形態における文字画像処理システムの動作の概要を示すシーケンス図である。
図2を参照して、タブレット端末のユーザーは、予めMFPの原稿台に原稿をセットした状態で、タブレット端末を通じてサーチャブルPDFの作成指示を行う。タブレット端末は、サーチャブルPDFの作成指示を受け付ける(処理PR0)。
タブレット端末は、サーチャブルPDFの作成指示を受け付けると、MFPに対して原稿の画像の読み取りおよびPDFファイルの送信の指示を行う(処理スタートを通知する)(処理PR1)。
MFPは、タブレット端末から指示を受け付けると、CCDイメージセンサなどを用いて原稿の画像を光学的に読み取り、A/D変換によってデジタル化された読取画像データを作成する(処理PR2)。次にMFPは、読取画像データ内から文字領域の画像を抽出する(処理PR3)。続いてMFPは、読取画像データのPDFファイルを作成する(処理PR4)。次にMFPは、文字領域の画像、文字領域の座標、および読取画像データのPDFファイルをタブレット端末に送信する(処理PR5)。
タブレット端末は、文字領域の画像、文字領域の座標、および読取画像データのPDFファイルを受信すると、文字領域の画像を複数の画像ブロックに分割する(処理PR6)。複数の画像ブロックの各々は、複数の文字を含んでいる。次にタブレット端末は、複数の画像ブロックの配列順序を変更する(並び替える)。次にタブレット端末は、配列順序を変更した後の複数の画像ブロックの各々の間を、連結用画像を用いて連結する。これにより、暗号化画像が作成される(処理PR7)。暗号化画像は、暗号化された文字領域の画像である。続いてタブレット端末は、暗号化画像をOCR端末に送信する(処理PR8)。
OCR端末は、暗号化画像をタブレット端末から受信すると、暗号化画像に対してOCR処理を行うことにより、OCR後データを作成する(処理PR9)。OCR後データは、暗号化したテキストデータである。続いてOCR端末は、作成したOCR後データをタブレット端末に送信する(処理PR10)。
タブレット端末は、OCR後データをOCR端末から受信すると、受信したOCR後データを、複数の画像ブロックに対応する複数の文字列に分割する。次にタブレット端末は、複数の文字列の配列順序を、複数の画像ブロックの変更前の配列順序に並べ直し、複数の文字列を結合する。これにより、文字領域の画像のテキストデータが作成される(処理PR11)。その後タブレット端末は、文字領域の座標に基づいて、得られたテキストデータを、読取画像データのPDFファイルに貼り付ける(処理PR12)。これにより、サーチャブルPDFが作成される。
本実施の形態においては、インターネット402上での情報漏洩を、主に下記の2つの方法で抑止する。
1.OCR処理前の文字領域の画像を、複数の文字を含む複数の画像ブロックに区切り、複数の画像ブロックの配列順序を入れ替える。
2.OCR処理後のテキストデータにダミー情報が混ざるよう、OCR端末300−1および300−2の各々に送る複数の画像ブロックにダミーの画像(ダミーブロック)を混ぜる。
(サーチャブルPDFの作成指示)
続いて、サーチャブルPDFの作成指示(図2の処理PR0)について詳細に説明する。
図3は、本発明の第1の実施の形態において、タブレット端末の操作パネルに表示された画面SRを模式的に示す図である。
図3を参照して、本実施の形態では、ユーザーがタブレット端末で行う操作が、サーチャブルPDF化の動作のトリガーとなる。タブレット端末の画面SRは、サーチャブルPDFの作成指示と、セキュリティーレベルの設定とを受け付ける画面である。画面SRは、「サーチャブルPDF作成」キーKY1と、「矢印」キーKY2およびKY3とを含んでいる。
タブレット端末は、キーKY2が押下される度に、4→3→2→1という順序で、設定されているセキュリティーレベルを下げる。またタブレット端末は、キーKY3が押下される度に、1→2→3→4という順序で、設定されているセキュリティーレベルを上げる。
タブレット端末は、キーKY1が押下された場合に、設定されているセキュリティーレベルでのサーチャブルPDFの作成を開始する。タブレット端末は、MFPに対して原稿の読み取りおよびPDFの送信の指示を行う。
(文字領域の画像の抽出方法)
続いて、文字領域の画像の抽出方法(図2の処理PR3)について詳細に説明する。
図4は、本発明の第1の実施の形態において、読取画像データIMに含まれる文字領域L1、L2、およびL3を模式的に示す図である。
図4を参照して、文字領域の画像の抽出において、MFPは、読取画像データIMに対して領域判別処理を行う。これにより、読取画像データIMが、網点領域N1と、写真領域P1と、文字領域L1、L2、およびL3と、その他の領域Z1とに分類分けされる。そしてMFPは、読取画像データIM内の文字領域L1、L2、およびL3の各々の画像を特定する。なお、文字領域の形状は任意であるが、ここでは、1ページの読取画像データIMの中に矩形形状の3つの文字領域L1、L2、およびL3が特定されたものとする。
MFPは、特定した文字領域の座標を特定する。特定される座標は、文字領域の対角線の両端の頂点の座標である。具体的には、MFPは、文字領域L1の座標として、左上の頂点の座標(x1,y1)と、右下の頂点の座標(x11,y11)とを特定する。MFPは、文字領域L2の座標として、左上の頂点の座標(x2,y2)と、右下の頂点の座標(x12,y12)とを特定する。MFPは、文字領域L3の座標として、左上の頂点の座標(x3,y3)と、右下の頂点の座標(x13,y13)とを特定する。なお、特定される文字領域の座標は任意のものでよい。
MFPは、文字領域L1、L2、およびL3の各々の画像と、文字領域L1、L2、L3の各々の座標とをタブレット端末に送信する。このとき、それぞれの文字領域の座標は、文字領域の画像ファイルのヘッダ部に格納されることが好ましい。またMFPは、読取画像データIM全体のPDFファイルもタブレット端末に送信する。
タブレット端末に送信された文字領域L1、L2、およびL3の各々の画像は、以降の処理において順番に1つずつ処理される。
以降の説明では、文字領域L1の画像に関する処理を取り上げるが、文字領域L2およびL3の画像に対する処理も、文字領域L1の画像に対する処理と同様に行われる。
なおMFPは、画像データから文字領域の画像を抽出せずに、読取画像データIMの画像全体を文字領域の画像としてもよい。
(文字領域の画像の分割方法)
続いて、文字領域の画像を複数の画像ブロックに分割する方法(図2の処理PR6)について詳細に説明する。
図5は、本発明の第1の実施の形態における、文字領域L1の画像におけるx方向およびy方向の各々の白画素の分布を模式的に示す図である。図5では、矩形の文字領域L1の画像における横方向に延在する辺の方向をx方向(第1の方向の一例)としており、文字領域L1の画像における縦方向に延在する辺の方向をy方向(第2の方向の一例)としている。ここでは、文字領域に日本語の文字が含まれている場合について説明するが、文字領域に日本語以外の言語の文字が含まれている場合でも同様の方法で分割することができる。
図5を参照して、文字領域L1の画像が漏洩した場合にも、第三者によって漏洩した内容が把握されないようにするために、タブレット端末は、文字領域L1の画像を複数の画像ブロックに分割する。文字領域L1の画像は、1つの画像ブロックに含まれる文字数が、文字領域L1に記載された内容を推測することができない程度の文字数の範囲内となるように分割される。また、文字領域L1の画像は、複数の画像ブロックの各々の境界位置が文字の内部とならないように分割される。境界位置が文字の内部に決定されると、その文字が2つに途切れ、途切れた文字はOCR処理において正しく認識されないためである。
ここでは、文字領域L1の画像は、白地に対して白以外の色の文字が表示された画像であるものとする。タブレット端末は、矩形の文字領域L1の画像から、x方向に存在する白画素を積算した個数w1の分布であって、y方向に沿った分布(以降、個数w1の分布と記すことがある)を抽出する。またタブレット端末は、矩形の文字領域L1の画像から、y方向に存在する白画素を積算した個数w2の分布であって、x方向に沿った分布(以降、個数w2の分布と記すことがある)を抽出する。タブレット端末は、個数w1およびw2の各々の分布に基づいて決定した境界位置で、文字領域L1の画像を分割することにより、複数の画像ブロックを作成する。
タブレット端末は、個数w1およびw2の各々の分布に基づいて文字領域L1に描かれた文字が縦書きか横書きかを推定する。すなわち、個数w1の分布において個数w1の極大値(ピーク)が周期的に現れる場合には、タブレット端末は、文字領域L1に描かれた文字が横書きであると推定する。文字領域L1に描かれた文字が横書きである場合、行間の隙間が、個数w1の分布において周期的な極大値をもたらすためである。一方、個数w2の分布において個数w2の極大値が周期的に変動する場合には、タブレット端末は、文字領域L1に描かれた文字が縦書きであると推定する。文字領域L1に描かれた文字が縦書きである場合、列間の隙間が、個数w2の分布において周期的な極大値をもたらすためである。個数w1およびw2の各々の分布において個数w1および個数w2の各々が周期的に変動する場合には、タブレット端末は、文字領域L1に描かれた文字が縦書きであると推定してもよいし、横書きであると推定してもよい。
ここでは、個数w1の分布において個数w1の極大値が周期的に現れている。このため、タブレット端末は、文字領域L1に描かれた文字は横書きであると推定する。この場合、タブレット端末は、個数w1の分布に基づいて、個数w1が極大値(ピーク)となる位置を文字領域L1の画像の行間位置YPとして特定する。そしてタブレット端末は、行間位置YPで文字領域L1の画像を分割することにより、文字領域L1の画像を複数の行に分割する。
次にタブレット端末は、分割した複数の行の各々について個数w2の分布を抽出し、個数w2の分布に基づいて文字の隙間位置を特定する。隙間位置において個数w2は極大値(ピーク)となる。このため、タブレット端末は、個数w2の分布に基づいて、個数w2が極大値となる位置を隙間位置として特定する。隙間位置は、画像ブロックの境界位置の候補となる。
図6は、本発明の第1の実施の形態において、個数w2の分布に基づいて特定された文字の隙間位置を模式的に示す図である。図6では、文字の隙間位置を三角形の先端で示している。
図6を参照して、「い」、「り]、「こ」、「ふ」、または「川」などの文字は、互いに離れた複数の線によって構成されている。これらの文字では、文字の内部の位置で個数w2が極大値となり、文字の内部が隙間位置として特定される。文字の内部の隙間位置が画像ブロックの境界位置となると、文字が2つに途切れ、途切れた文字はOCR処理することができなくなる。加えて、文字の内部の隙間位置が画像ブロックの境界位置となると、画像ブロックの切片から、連結されるべき他の画像ブロックが判明し、セキュリティーレベルが低下するおそれもある。画像ブロックの境界位置としては、文字の内部の隙間位置ではなく、文字同士の隙間位置が決定される必要がある。
そこでタブレット端末は、特定した隙間位置のうち、隣接する他の隙間位置との間隔が閾値以上である隙間位置を、境界位置(図6における「分割OK」の位置)として決定する。閾値としては、隣接する隙間位置同士の間隔の平均値または標準値などを採用することができる。
具体的には、タブレット端末は、複数の文字の隙間位置の各々の間隔(距離)D1を計算する。次にタブレット端末は、閾値よりも短い間隔D1が2つ以上連続している場所をマークする。タブレット端末は、マークした場所を構成する隙間位置を避けて、それ以外の部分に存在する隙間位置の中から、画像ブロックの境界位置を決定する。
図7は、本発明の第1の実施の形態において、文字領域L1の画像を分割することにより得られた複数の画像ブロックBLを模式的に示す図である。
図7を参照して、タブレット端末は、決定した境界位置XPで、複数の行の各々を分割する。これにより、複数の画像ブロックBLが得られる。本実施の形態では、複数の画像ブロックBLの各々が文字を含むレベルで分割されているため、複数の画像ブロックBLの各々がOCR処理を受けた際に、画像ブロックBLに含まれる文字が正しく認識され易くなる。
図8は、タブレット端末が保持する分割テーブルを模式的に示す図である。
図8を参照して、分割テーブルは、セキュリティーレベルと、被分割文字数およびダミーブロック数との関係を示すテーブルである。タブレット端末は、分割テーブルを参照して、設定されたセキュリティーレベルに応じた被分割文字数およびダミーブロックの数を決定する。セキュリティーレベルとは、図3に示す画面を通じて設定されたセキュリティーレベルである。被分割文字数とは、画像ブロックのサイズ(1つの画像ブロックに含まれる文字数)である。ダミーブロックとは、複数の画像ブロックの配列順序を変更する際に挿入される、文字領域の画像とは無関係なブロックである。ダミーブロックについては後述する。
分割テーブルでは、セキュリティーレベルが高くなるほど被分割文字数が少なくなり、ダミーブロック数が多くなるように規定されている。たとえば、セキュリティーレベルが1の場合には、被分割文字数が9個であり、ダミーブロックの数が0個である。セキュリティーレベルが3の場合には、被分割文字数は5個であり、ダミーブロック数は1個である。
(複数の画像ブロックの配列順序の変更方法および連結方法)
続いて、複数の画像ブロックの配列順序の変更方法および連結方法(図2の処理PR7)について詳細に説明する。
図9は、本発明の第1の実施の形態においてタブレット端末が作成する番号テーブルを模式的に示す表である。
図9を参照して、番号テーブルは、第1の番号と第2の番号との関係を模式的に示すテーブルである。ここでは、説明の便宜のため、文字領域の画像を9個(分割数9)の画像ブロックに分割した場合を想定する。
タブレット端末は、複数の画像ブロックの各々に第1の番号を付与する。第1の番号は、配列順序を変更する前の複数の画像ブロックの各々の順序を示すものである。具体的には、タブレット端末は、複数の画像ブロックの配列順序に従って、複数の画像ブロックの各々に、第1の番号として「1」、「2」、「3」、「4」、「5」、「6」、「7」」、「8」、「9」という第1の番号を付与する。
次にタブレット端末は、第1の番号の配列順序をランダムに並び替える。並び替えの方法としては、たとえば、1〜9の乱数を発生させた後、前に使われていない番号に限って順次採用する方法などがある。ダミーブロックを挿入する場合、次にタブレット端末は、分割数よりも大きな数字(ここでは「10」)を任意の位置に挿入する。この数字はダミーブロックに相当するものである。ダミーブロックを示す数字は分割数よりも大きいため、複数の画像ブロックと容易に区別することができる。
タブレット端末は、得られた番号列に従って、複数の画像ブロックの各々に、第2の番号を付与する。ここでは、タブレット端末は、第1の番号が「1」である画像ブロックに「3」という第2の番号が付与され、第1の番号が「2」である画像ブロックに「5」という番号が付与され、第1の番号が「3」である画像ブロックに「8」という第2の番号が付与されている。第2の番号は、配列順序を変更した後の複数の画像ブロックの配列順序(OCR端末に送信する暗号化画像における複数の画像ブロックの配列順序)を示すものである。
タブレット端末は、複数の画像ブロックの配列順序をランダムに変更するたびに、新たな番号テーブルを作成してもよいし、予め保持していた番号テーブルを用いて、複数の画像ブロックの配列順序を変更してもよい。タブレット端末は、少なくとも文字領域の画像のテキストデータを作成するまで、番号テーブルを保持する。
図10は、本発明の第1の実施の形態において、複数の画像ブロックBLの各々に付けられた第1の番号を模式的に示す図である。図11は、図10に示す複数の画像ブロックBLの各々に含まれる文字列を表記したものである。なお以降の図では、便宜上、画像ブロックの外周に黒枠を付けていることがあるが、実際には黒枠は存在しない。
図10を参照して、ここでの分割数は54である。タブレット端末は、文字領域L1の画像を分割することにより得られた複数の画像ブロックBLの各々に1〜54の各々の第1の番号を付ける。タブレット端末は、横書きであることを想定して複数の画像ブロックBLの各々に第1の番号を付ける。複数の画像ブロックBLの各々を第1の番号に従って配列させると、図11に示すように、文字領域L1の画像が得られ、元の意味を持つ文章が得られる。
なお、図11中の「(22)」、「(23)」、「(24)」、「(36)」、「(53)」、および「(54)」と表記された画像ブロックBLは、いずれも空白(文字を含まない)のブロックである。これらの画像ブロックBLのうち、「(53)」および「(54)」と表記されたものは、文章の終わりの空白である。タブレット端末は、複数の画像ブロックBLが空白の画像ブロックを含む場合に、一部または全部の空白の画像ブロックにダミーの文字画像を挿入してもよい。
図12は、本発明の第1の実施の形態において、複数の画像ブロックBLに関する番号テーブルを模式的に示す表である。図13は、本発明の第1の実施の形態において、第2の番号に従って配列順序を変更した後の複数の画像ブロックBLの各々を模式的に示す図である。図13において、複数の画像ブロックBLの各々には、第1の番号が表示されている。
図12を参照して、複数の画像ブロックBLの各々には、第1の番号および第2の番号が付与されている。たとえば、第1の番号が「1」である画像ブロックに「26」という第2の番号が付与されており、第1の番号が「2」である画像ブロックに「36」という番号が付与されており、第1の番号が「3」である画像ブロックに「16」という第2の番号が付与されている。
図13を参照して、タブレット端末は、第1および第2の番号を付与した後で、第2の番号に従って、複数の画像ブロックBLの配列順序を変更する(この際、必要に応じてダミーブロックを挿入する)。その結果、第1の番号が「1」である画像ブロックBL1は、26番目の位置に配置される。第1の番号が「2」である画像ブロックBL2は、36番目の位置に配置される。第1の番号が「3」である画像ブロックBL3は、16番目の位置に配置される。
図14は、本発明の第1の実施の形態において、第2の番号に従って配列順序を変更した後の複数の画像ブロックBLの各々の間に、連結用画像を挿入した状態を模式的に示す図である。なお図14では、図13に示す複数の画像ブロックBLの各々に含まれる文字列が表記されている。
図14を参照して、タブレット端末は、配列順序を変更した後の複数の画像ブロックBLの各々を互いに連結することにより、暗号化画像を作成する。タブレット端末は、連結する際に、配列順序を変更した後の複数の画像ブロックBLの各々の間に、たとえば「+」などの連結用画像を挿入する。連結用画像としては、任意のものを使用することができるが、OCR端末でのOCR処理において正しく認識されるものであり、文字認識の結果が既知であるものであることが好ましい。連結用画像は、典型的には、文字ではない記号の画像である。
なお、第1の番号が「53」である空白の画像ブロックBL4および第1の番号が「54」である空白の画像ブロックBL5の各々には、「#####」というダミーの文字画像が挿入されている。ダミーの文字画像としては、任意のものを使用することができるが、OCR処理の結果が既知である記号が表示されたものが用いられることが好ましい。
作成された暗号化画像は、文字領域L1の暗号化された画像に相当する。
(暗号化画像の送信方法)
次に、暗号化画像の送信方法(図2の処理PR8)について詳細に説明する。
図15は、本発明の第1の実施の形態において、文字領域L1の画像に基づいて作成された暗号化画像の一例を模式的に示す図である。図16は、本発明の第1の実施の形態において、文字領域L1の画像に基づいて作成された暗号化画像の他の例を模式的に示す図である。図17は、本発明の第1の実施の形態において、文字領域L1の画像に基づいて作成された暗号化画像のさらに他の例を模式的に示す図である。
図15を参照して、暗号化画像は、配列順序を変更した後の複数の画像ブロックに基づいて作成されたものであればよい。本例において、タブレット端末は、連結用画像を挿入した複数の画像ブロックを含む1枚の画像として暗号化画像SD1を作成する。この場合、タブレット端末は、1つのOCR端末300−1(図1)に対して暗号化画像SD1を送信する。
図16を参照して、本例において、タブレット端末は、連結用画像を挿入した複数の画像ブロックを行毎に分割することにより、各行の暗号化画像SD1〜SD9の各々を作成する。タブレット端末は、1つのOCR端末300−1に対して暗号化画像SD1〜SD9を送信する。これにより、セキュリティーを向上することができる。
図17を参照して、本例において、タブレット端末は、連結用画像を挿入した複数の画像ブロックを行毎に分割することにより、各行の暗号化画像SD1〜SD9の各々を作成する。タブレット端末は、2つのOCR端末に対して暗号化画像SD1〜SD9を2つに分割して送信する。タブレット端末は、たとえばOCR端末300−1に対して上部(第1の部分の一例)の暗号化画像SD1〜SD5を送信し(図17(a))、OCR端末300−2(図1)に対して下部(第2の部分の一例)の暗号化画像SD6〜SD9を送信する(図17(b))。これにより、セキュリティーを一層向上することができる。すなわち、万が一、一方のOCR端末に送信した暗号化画像の配列順序が第三者によって入手され、正しい配列順序に戻されたとしても、他方のOCR端末に送信された暗号化画像が入手されない限り、第三者によって文字領域の画像が完全に再現されることはない。
なお、タブレット端末が複数の暗号化画像を作成する場合、複数の暗号化画像の各々には、文字領域の画像を特定する情報と、文字領域の画像における暗号化画像の位置とを示すファイル名が付されることが好ましい。たとえば2つめの文字領域L2(図4)の画像における3行目の暗号化画像であれば、「reg02line03.jpeg」などのファイル名が付されることが好ましい。
(OCR後データの作成方法)
次に、OCR後データの作成方法(図2の処理PR9)について説明する。
OCR端末は、暗号化画像を受信すると、受信した暗号化画像を、OCR端末内の個人フォルダに格納する。この個人フォルダは、タブレット端末のユーザーに事前に割り当てられたフォルダである。そしてOCR端末は、タブレット端末のソフトウェアからのコマンドを受信すると、OCR処理を開始する。
図18は、本発明の第1の実施の形態において、OCR端末が作成したOCR後データを模式的に示す図である。
図18を参照して、OCR端末は、テキスト形式のOCR後データODを作成し、OCR後データODを、暗号化画像が格納されているのと同じ個人フォルダに格納する。OCR後データは、文字領域L1の画像のテキストデータを暗号化したものに相当する。
OCR後データODは、暗号化画像のファイル名と同じファイル名(拡張子を除く)が付与されることが好ましい。具体的には、「reg02line03.jpeg」というファイル名の暗号化画像に対してOCR処理を行った場合には、OCR後データODには、「reg02line03.txt」というファイル名が付与されることが好ましい。これにより、データの取り違えを抑止することができる。
OCR端末は、OCR処理後、OCR処理の対象となった暗号化画像を削除する。タブレット端末は、OCR処理完了(変換完了)の通知とともにOCR後データODをタブレット端末に送信する。
なお、暗号化画像の受信、OCR処理、およびOCR後データODの送信という一連の処理を1つのOCR端末が同時に行うことがないよう、タブレット端末は管理する。これにより、データの取り違えを抑止することができる。
(文字領域の画像のテキストデータの作成方法およびテキストデータの貼り付け方法)
次に、文字領域の画像のテキストデータの作成方法(図2の処理PR11)およびテキストデータの貼り付け方法(図2の処理PR12)について説明する。
タブレット端末は、OCR後データを受信すると、番号テーブルに基づいてOCR後データODの配列順序を変更することにより、文字領域L1内のテキストデータを作成する。テキストデータの作成は、タブレット端末のソフトウェアを用いて行われる。
図19は、本発明の第1の実施の形態において、OCR後データを分割することによって得られた複数の文字列を模式的に示す図である。図20は、本発明の第1の実施の形態において作成された、文字領域L1内のテキストデータを模式的に示す図である。
図19を参照して、タブレット端末は、OCR後データに含まれる「+」という連結用画像に基づいて、OCR後データを、分割数54の複数の文字列CSに分解する。次にタブレット端末は、番号テーブルに基づいて複数の文字列CSの配列順序を元の配列順序に並べ直す。図12に示す番号テーブルによれば、第1の番号が「1」である画像ブロックは、26番目の位置に移動している(「26」という第2の番号を有している)。したがって、タブレット端末は、25番目の「+」と26番目の「+」とに挟まれた26番目の文字列CS1の配列順序を1番目に変更する。同様に、第1の番号が「2」である画像ブロックは、36番目の位置に移動している。したがって、タブレット端末は、35番目の「+」と36番目の「+」とに挟まれた36番目の文字列CS2の配列順序を2番目に変更する。
タブレット端末は、配列順序を元の配列順序に戻した後、必要に応じて連結用画像およびダミーブロックを削除し、ダミーの文字画像に相当する文字(ここでは「#####」)という文字)を消去する。その後タブレット端末は、複数の文字列を互いに連結し、1つの文字列とする。これにより、図20に示すように、文字領域L1のテキストデータTDが作成される。
図21は、本発明の第1の実施の形態におけるテキストデータの貼り付け方法を模式的に示す図である。
図21を参照して、読取画像データIMのPDFファイルは、読取画像が含まれるレイヤーであるレイヤーLR1と、レイヤーLR1上に設けられた透明レイヤーLR2とにより構成されている。タブレット端末は、得られたテキストデータTDを、透明レイヤーLR2における文字領域L1に対応する位置に貼り付ける。タブレット端末は、同様に、文字領域L2およびL3の各々の画像から得られたテキストデータを、透明レイヤーLR2における文字領域L2およびL3の各々に対応する位置に貼り付ける。これにより、サーチャブルPDFが作成される。
(文字画像処理システムの動作を示すフローチャート)
図22は、本発明の第1の実施の形態における文字画像処理システムの動作を示すフローチャートである。
図22を参照して、タブレット端末のCPUは、セキュリティーレベルの設定および実行指示を受け付けると(S1)、MFPに対してスキャンの実行指示を送信する(S3)。
MFPのCPUは、スキャンの実行指示を受信すると、原稿をスキャンし(S5)、読取画像データから文字領域の画像を抽出する(S7)。次にMFPのCPUは、読取画像のPDFファイルを作成し(S9)、タブレット端末に対して文書領域の画像および座標、ならびに読取画像のPDFファイルを送信する(S11)。
タブレット端末のCPUは、文書領域の画像などを受信すると、文字領域の画像を複数の画像ブロックに分割し(S13)、複数の画像ブロックの配列順序を変更する(S15)。続いてタブレット端末のCPUは、必要に応じて複数の画像ブロックにダミーブロックやダミーの文字画像を挿入し、複数の画像ブロックを連結用画像で連結することにより、暗号化画像を作成する(S17)。続いてタブレット端末のCPUは、OCR端末に対して暗号化画像を送信する(S19)。
OCR端末のCPUは、暗号化画像に対してOCR処理を実行し(S21)、得られたOCR後データをタブレット端末に送信する(S23)。
タブレット端末のCPUは、OCR後データを複数の文字列に分割し、複数の文字列の配列順序を元に戻す(S25)。次にタブレット端末のCPUは、複数の文字列から連結用画像を除去し、必要に応じてダミーブロックやダミーの文字画像に対応する文字を削除することにより、テキストデータを作成する(S27)。次にタブレット端末のCPUは、読取画像のPDFファイルにテキストデータを貼り付けることにより、サーチャブルPDFを作成し(S29)、処理を終了する。
[第2の実施の形態]
(文字画像処理システムの動作の概要)
本実施の形態では、始めに、文字画像処理システムが行うサーチャブルPDF化の動作の概要を説明する。
図23は、本発明の第2の実施の形態における文字画像処理システムの動作の概要を示すシーケンス図である。
図23を参照して、本実施の形態における文字画像処理システムの動作のうち、タブレット端末がサーチャブルPDFの作成指示を受け付ける処理(図2の処理PR0)から、MFPが文字領域の画像などをタブレット端末に送信する処理(図2の処理PR5)までは、第1の実施の形態における動作(図2)と同じである。したがって、その説明は繰り返さない。
タブレット端末は、文字領域の画像、文字領域の座標、および読取画像データのPDFファイルを受信すると、文字領域の画像を複数の画像ブロックに分割する。そしてタブレット端末は、暗号化マトリクス(第1の関係情報の一例)に基づいて、複数の画像ブロックの配列順序を変更する(並び替える)。これにより、暗号化画像が作成される(処理PR11)。続いてタブレット端末は、暗号化画像と、暗号化マトリクスとをOCR端末に送信する(処理PR12)。
OCR端末は、暗号化画像をタブレット端末から受信すると、タブレット端末からのコマンドに従って、暗号化マトリクスに基づいて、暗号化画像を文字領域の画像に復元する(元に戻す)(処理PR13)。次にOCR端末は、タブレット端末からのコマンドに従って、文字領域の画像に対してOCR処理を行うことにより、OCR後データを作成する(処理PR14)。続いてOCR端末は、タブレット端末からのコマンドに従って、作成したOCR後データを所定のバイト数を有する複数のデータ片に分割し、暗号化マトリクス(第2の関係情報の一例)に基づいて、複数のデータ片の配列順序を変更する(並び替える)。これにより、暗号化したテキストデータが作成される(処理PR15)。次にOCR端末は、暗号化したテキストデータをタブレット端末に送信する(処理PR16)。
タブレット端末は、暗号化したテキストデータをOCR端末から受信すると、暗号化マトリクスに基づいて、暗号化したテキストデータにおける複数のデータ片の配列順序を元に戻す。これにより、文字領域の画像のテキストデータが作成される(処理PR17)。その後タブレット端末は、文字領域の座標に基づいて、得られたテキストデータをPDFファイルに貼り付ける(処理PR18)。これにより、サーチャブルPDFが作成される。
(暗号化マトリクスの構成)
図24は、本発明の第2の実施の形態における暗号化マトリクスの構成を模式的に示す図である。図24では、暗号化マトリクス内の一部の要素が拡大されており、拡大された要素の濃度が数字で示されている。
図24を参照して、タブレット端末は、暗号化マトリクスを保持している。暗号化マトリクスは、2次元の乱数テーブルであり、暗号化マトリクスは、配列順序を変更する前の複数の画像ブロックの配列順序(第1の番号)を示す座標の各々に、配列順序を変更した後の複数の画像ブロックの配列順序(第2の番号)を示す濃度の画素の各々を配置することにより作成されたものである。
図24の暗号化マトリクスは、縦方向に128(=M、Mは自然数)個、横方向に128(=N、Nは自然数)個、合計16384個の要素を含んでいる。
暗号化マトリクスの各要素は、1つの行で見た場合に左から右に向かって1つずつ増加する座標を有している。また暗号化マトリクスの各要素は、下の行であるほど大きい座標を有している。すなわち、m行n列目の要素(m、nはm≦M、n≦Nを満たす自然数)の座標は、「(m−1)×M+n」と表される。暗号化マトリクスの各要素の座標は、第1の番号を示している。
また、各要素は、16384(=M×N)段階に区分された互いに異なる濃度で構成されている。要素の濃度は第2の番号を示しており、濃度が薄くなるに従って第2の番号が増加する。具体的には、最も濃度が濃い画素が「1」という第2の数字を示しており、2番目に濃度が濃い画素が「2」という第2の数字を示しており、最も濃度が薄い要素が「16384」という第2の数字を示している。
図25は、図24の暗号化マトリクスが示す第1の番号と第2の番号との関係を数字で示した番号テーブルである。
図24および図25を参照して、1行1列目の要素(第1の番号が「1」である要素)は、「5638」番目に濃い濃度で表されている。1行2列目の要素(第1の番号が「2」である要素)は、「1235」番目に濃い濃度で表されている。1行3列目の要素(第1の番号が「3」である要素)は、「755」番目に濃い濃度で表されている。1行4列目の要素(第1の番号が「4」である要素)は、「6171」番目に濃い濃度で表されている。
なお、暗号化マトリクスは、FM(Frequency Modulation)スクリーンのディザマトリクスを作成する技術を用いて作成することができる。
タブレット端末は、M×N=8a×8a、8a×10a、8a×12a、および8a×14a(a=1〜16程度)などの要素を持つ複数の暗号化マトリクスを予め保持しておき、文字領域の画像の大きさに従って、複数の画像ブロックの配列順序を変更する際に使用する暗号化マトリクスを選択してもよい。
タブレット端末が複数の暗号化マトリクスの中から使用する暗号化マトリクスを選択する場合、OCR端末も同様に複数の暗号化マトリクスを予め保持しており、タブレット端末は、暗号化画像を送信する際に、選択した暗号化マトリクスを特定する情報をOCR端末に通知してもよい。またタブレット端末は、選択した暗号化マトリクスを、暗号化画像とともにOCR端末に送信してもよい。
またタブレット端末は、暗号化画像を作成する際に新たな暗号化マトリクスを作成し、作成した暗号化マトリクスを、暗号化画像とともにOCR端末に送信してもよい。
(暗号化画像の作成方法)
次に、暗号化画像の作成方法(図23の処理PR11)について説明する。
図26は、本発明の第2の実施の形態における文字領域L1の画像を模式的に示す図である。図27は、本発明の第1の実施の形態において、文字領域L1の画像を分割することにより得られた複数の画像ブロックBLを模式的に示す図である。
図26および図27を参照して、タブレット端末は、複数の画像ブロックBLの各々が、文字領域中の文字よりも小さいサイズを有するように、文字領域L1の画像を複数の画像ブロックBLに分割する。ここでは、SX個×SY個の画素よりなる文字領域L1の画像が、BX(BYは自然数)個×BY(BYは自然数)個の画素を持つ複数の画像ブロックBLに分割されるものとする。
タブレット端末は、M個×N個(暗号化マトリクスの縦方向および横方向の要素の数)の画像ブロックで文字領域L1の画像全体がカバーされるように、画像ブロックのサイズ(BXおよびBYの値)を決定する。言い換えれば、タブレット端末は、SX≦M×BX、SY≦N×BYを満たす最小のBXおよびBYを決定する。
なお、画像ブロックのサイズ(BX個×BY個)は、BX=x×sf(個)、BY=y×sf(個)と表記される。この表記方法は、1つの画像ブロックが、x×y=1×1、1×2、1×3、または1×4・・・という矩形に対して、スケールファクターsf(sf=自然数)を乗じることにより得られる形状を有することを意味している。
画像ブロックのサイズは、セキュリティーレベルに応じて決定される。すなわち、セキュリティーレベルが高くなるほど、画像ブロックのサイズは小さくなる。画像ブロックのサイズが小さくなるほど、画像ブロックの絵柄に基づいて画像ブロック同士をつなぎ合わせることは困難となり、セキュリティーを向上することができる。
図27では、文字領域L1の画像が、1792個×896個の画素により構成されており、文字領域L1の画像が、14個×7個(=BX個×BY個)の画素よりなる複数の画像ブロックに分割されている。この場合には、1つの文字が、およそ3個×6個=18個の画像ブロックに分割されている。この場合には、隣接した2つの文字の部分が1つの画像ブロックに含まれる可能性が低い。したがって、1つの画像ブロックから文字同士の配列順序を推測することは不可能である。
図28は、本発明の第2の実施の形態において作成された暗号化画像を模式的に示す図である。
図28を参照して、次にタブレット端末は、暗号化マトリクスに基づいて、複数の画像ブロックBLの配列順序を変更し、配列順序を変更した後の数の画像ブロックの各々を結合する。これにより、暗号化画像SDが作成される。暗号化画像SDは、文字が含まれているか否かさえ判断することができないものになっている。タブレット端末は、暗号化画像SDをOCR端末に送信する。なお、タブレット端末は、配列順序を変更した後の数の画像ブロックの各々を結合せずに、変更後の配列順序でOCR端末に順次送信してもよい。
(暗号化したテキストデータの作成方法)
次に、暗号化したテキストデータの作成方法(図23の処理PR15)について説明する。
図29は、本発明の第2の実施の形態において生成されたOCR後データを模式的に示す図である。
図29を参照して、OCR端末は、OCR端末に予めインストールされていたソフトウェアを用いて、暗号化マトリクスに基づいて、受信した暗号化画像の複数の画像ブロックの配列順序を元に戻す。これにより、元の文字領域L1の画像が復元される。そしてOCR端末は、復元した画像に対してOCR処理を行う。これにより、OCR後データODが作成される。作成されたOCR後データは、文字領域L1の画像に含まれる文字のテキストデータである。
なお、OCR端末は、タブレット端末が保持している暗号化マトリクスと同一の暗号化マトリクスを予め保持していてもよい。またタブレット端末は、暗号化画像とともに暗号化マトリクスをOCR端末に送信してもよい。
図30は、本発明の第2の実施の形態において、OCR後データに含まれる文字を表示したバイナリエディタの画面を模式的に示す。
図30を参照して、次にOCR端末は、OCR後データを所定のデータ量を有する複数のデータ片に分割し、暗号化マトリクスに基づいて、複数のデータ片の配列順序を変更する。
具体的には、OCR端末は、OCR後データに含まれる文字をバイナリエディタの画面BSに表示させる。画面BSは、領域RG1と領域RG2とを含んでいる。領域RG1は、OCR後データに含まれる文字が表示される領域である。領域RG2は、OCR後データに含まれる文字に対応する、Shift−JIS形式の2バイトのバイナリーコードが表示される領域である。
OCR端末は、領域RG2に表示されたバイナリーコードを所定のデータ量を有する複数のデータ片に分割する。複数のデータ片の各々のデータ量は、奇数バイト(たとえば1バイトまたは3バイト)であることが好ましい。これにより、複数のデータ片の各々が文字単位で分割されたものとなることが回避され、データ片に含まれるバイナリーコードから文字が解読されることを抑止することができる。
図30では、OCR後データに含まれる「[従来技術・・・」という文字が、「81 79 8F 5D 97 88 8B 5A・・・」というバイナリーコードに対応している。「[」という文字は「8179」というバイナリーコードに対応する(なお、[は図面では隅付き括弧)。「従」という文字は「8F5D」というバイナリーコードに対応する。「来」という文字は「9788」というバイナリーコードに対応する。「技」という文字は「8B5A」というバイナリーコード対応する。「術」という文字は「8F70」というバイナリーコードに対応する。
1バイト単位のデータ片に分割する場合、OCR端末は、領域RG2に表示されたバイナリーコードを「81」、「79」、「8F」、および「5D」・・・という複数のデータ片に分割し、バイナリーコードの配列順序に従って第1の番号を付与する。
3バイト単位のデータ片に分割する場合、OCR端末は、領域RG2に表示されたバイナリーコードを「81798F」、「5D9788」、および「8B5A8F」・・・という複数のデータ片に分割し、バイナリーコードの配列順序に従って第1の番号を付与する。
次にOCR端末は、暗号化マトリクスに基づいて、複数のデータ片の配列順序を変更する。これにより、暗号化したテキストデータが作成される。OCR端末は、暗号化したテキストデータをタブレット端末に送信する。
OCR端末は、複数の暗号化マトリクスを予め保持しておき、OCR後データに含まれる文字の総数に従って、複数のデータ片の配列順序を変更する際に使用する暗号化マトリクスを選択してもよい。
OCR端末が複数の暗号化マトリクスの中から使用する暗号化マトリクスを選択する場合、タブレット端末も同様に複数の暗号化マトリクスを予め保持しており、OCR端末は、暗号化したテキストデータを送信する際に、選択した暗号化マトリクスを特定する情報をタブレット端末に通知してもよい。またOCR端末は、選択した暗号化マトリクスを、暗号化したテキストデータとともにタブレット端末に送信してもよい。
またOCR端末は、暗号化したテキストデータを作成する際に新たな暗号化マトリクスを作成し、作成した暗号化マトリクスを、暗号化したテキストデータとともにタブレット端末に送信してもよい。
さらにOCR端末は、複数のデータ片の配列順序を変更する際に用いる暗号化マトリクスとして、暗号化画像を文字領域L1の画像に復元する際に用いた暗号化マトリクスと同一のものを用いてもよいし、異なるものを用いてもよい。
なお、本実施の形態における文字画像処理システムの構成および上述以外の動作は、第1の実施の形態における文字画像処理システムの構成および動作と同様であるため、その説明は繰り返さない。
(文字画像処理システムの動作を示すフローチャート)
図31は、本発明の第2の実施の形態における文字画像処理システムの動作を示すフローチャートである。
図31を参照して、文字画像処理システムは、始めに図22に示すフローチャートにおけるステップS1〜ステップS13の処理を行う。
ステップS13の処理に続いて、タブレット端末のCPUは、暗号化マトリクスに基づいて、複数の画像ブロックの配列順序を変更することにより、暗号化画像を作成する(S101)。次にタブレット端末のCPUは、暗号化画像をOCR端末に送信する(S103)。
OCR端末のCPUは、暗号化画像を受信すると、暗号化マトリクスに基づいて、複数の画像ブロックの配列順序を元に戻すことにより、元の文字領域の画像を復元する(S105)。次にOCR端末のCPUは、文字領域の画像に対してOCR処理を実行し(S107)、得られたOCR後データを複数のデータ片に分割する(S109)。続いてOCR端末のCPUは、暗号化マトリクスに基づいて、複数のデータ片の配列順序を変更することにより、暗号化したテキストデータを作成する(S111)。次にOCR端末のCPUは、暗号化したテキストデータをタブレット端末に送信する(S113)。
タブレット端末は、暗号化したテキストデータを受信すると、暗号化マトリクスに基づいて複数のデータ片の配列順序を元に戻すことにより、テキストデータを復元(作成)する(S115)。次にタブレット端末のCPUは、読取画像のPDFファイルにテキストデータを貼り付けることにより、サーチャブルPDFを作成し(S117)、処理を終了する。
[実施の形態の効果]
上述の実施の形態によれば、OCRサイトを利用してOCR処理を行う場合に、タブレット端末は、OCR端末に対して、OCR処理の対象となる文字領域の画像の暗号化画像をOCRサイトに送信する。またOCR端末は、タブレット端末に対して、文字領域の画像の暗号化したテキストデータを送信する。これにより、機密情報の漏洩を防止することができ、外部のOCRサイトでのOCR処理のセキュリティー性を高めることができる。
また、OCRサイトを利用してサーチャブルPDFを作成する場合には、画像データ内の文字領域の座標に基づいて、テキストデータを貼り付けることにより、サーチャブルPDFを作成することができる。
特に第1の実施の形態によれば、文字同士の隙間位置で画像データを分割することにより、複数の画像ブロックが作成され、作成した複数の画像ブロックの配列順序を変更することにより、暗号化画像が作成される。また、OCR処理によって得られたテキストデータは、暗号化されてタブレット端末に送信される。これにより、万が一、暗号化画像が第三者によって不正に入手された場合であっても、第三者は元の画像データに含まれる文字列を把握することが困難になる。また、複数の画像ブロックの各々には文字が含まれているため、OCR処理の正確性が向上する。
特に第2の実施の形態によれば、画像データ中の文字よりも小さいサイズを有する複数の画像ブロックに画像データを分割することにより、複数の画像ブロックが作成され、作成した複数の画像ブロックの配列順序を変更することにより、暗号化画像が作成される。また、OCR処理によって得られたテキストデータは、暗号化されてタブレット端末に送信される。これにより、万が一、暗号化画像が第三者によって不正に入手された場合であっても、第三者は画像データに含まれる文字さえも把握することが困難になる。
[その他]
図32は、本発明の変形例における文字画像処理システムの動作の概要を示すシーケンス図である。
図32を参照して、本変形例においては、上述の第1の実施の形態におけるタブレット端末が行う各処理をMFPが行う。文字画像処理システムは、タブレット端末を備えておらず、MFP(情報処理装置の一例)とOCR端末とのみを備えている。本変形例における文字画像処理システムの動作について、以下に説明する。
MFPのユーザーは、予めMFPの原稿台に原稿をセットした状態で、MFPの操作パネルを通じてサーチャブルPDFの作成指示を行う。MFPは、サーチャブルPDFの作成指示を受け付ける(処理PR0)。
MFPは、サーチャブルPDFの作成指示を受け付けると、原稿の画像を光学的に読み取り、読取画像データを作成する(処理PR2)。次にMFPは、読取画像データから文字領域の画像を抽出する(処理PR3)。続いてMFPは、読取画像データのPDFファイルを作成する(処理PR4)。次にMFPは、文字領域の画像を複数の画像ブロックに分割する(処理PR6)。次にMFPは、複数の画像ブロックの配列順序を変更する。次にMFPは、配列順序を変更した後の複数の画像ブロックの各々の間を、連結記号を用いて連結し、暗号化画像を作成する(処理PR7)。続いてMFPは、暗号化画像をOCR端末に送信する(処理PR8)。
OCR端末は、暗号化画像をMFPから受信すると、暗号化画像に対してOCR処理を行うことにより、OCR後データを作成する(処理PR9)。続いてOCR端末は、作成したOCR後データをMFPに送信する(処理PR10)。
MFPは、OCR後データをOCR端末から受信すると、受信したOCR後データを、画像ブロックの単位の複数の文字列に分割する。次にMFPは、複数の文字列の配列順序を、複数の画像ブロックの変更前の配列順序に並べ直し、複数の文字列を結合する。これにより、文字領域の画像のテキストデータが作成される(処理PR11)。その後MFPは、文字領域の座標に基づいて、得られたテキストデータをPDFファイルに貼り付ける(処理PR12)。これにより、サーチャブルPDFが作成される。
同様に、上述の第2の実施の形態におけるタブレット端末が行う各動作をMFPが行うことにより、タブレット端末が省略されてもよい。
本発明の処理の対象となる画像データは、PDF形式のものに限られるものではない。本発明は、あらゆる形式の画像データに対してOCR処理を行う際に適用することができる。OCR処理の対象となる画像データは、原稿を読み取った読取画像データである場合の他、情報処理装置が保持している画像データであってもよい。
上述の実施の形態は互いに組み合わせることができる。たとえば、第1の実施の形態において、第2の実施の形態と同様の方法で、OCR処理によって得られたOCR後データを、第2の実施の形態と同様の方法で複数のデータ片に分割して、タブレット端末に送信してもよい。また、第1の実施の形態において、第2の実施の形態のような暗号化マトリクスを用いて第1の番号と第2の番号との関係を記録してもよいし、第2の実施の形態において、第1の実施の形態のような番号テーブルを用いて第1の番号と第2の番号との関係を記録してもよい。
上述の実施の形態における処理は、ソフトウェアにより行なっても、ハードウェア回路を用いて行なってもよい。また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをCD−ROM、フレキシブルディスク、ハードディスク、ROM、RAM、メモリカードなどの記録媒体に記録してユーザーに提供することにしてもよい。プログラムは、CPUなどのコンピューターにより実行される。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
上述の実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。