JP2014197341A - 電子書籍制作装置、電子書籍システム、電子書籍制作方法及びプログラム - Google Patents

Abstract

【課題】複雑なレイアウトのページ画像をレイアウト変更なしで表示する際に、ページ画像内で複数の文字領域間を跨った文字列を容易に検索し得るようにすること。【解決手段】ページ画像を取得する画像取得部２０２と、ページ画像から文字領域を検出する文字領域検出部２０４と、文字領域内の文字を認識する文字認識部２０６と、文字毎に文字の位置を示す文字位置情報を取得する文字位置情報取得部２０８と、文字領域の位置と文字領域間での文字と文字との連続性とに基づいて文字領域間の読み順を判定する読み順判定部２１０と、ページ画像と、文字情報と、文字位置情報と、文字又は文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成部２２２と、電子書籍データを出力する電子書籍データ出力部２２４を有する。【選択図】図４

Description

本発明は、電子書籍のビューワ装置で文字領域を含むページ画像をレイアウト変更なしで表示する際に、ページ画像内で複数の文字領域間を跨った文字列を容易に検索し得るようにすることができる電子書籍制作装置、電子書籍システム、電子書籍制作方法及びプログラムに関する。

従来、電子書籍を、ネットワークを介して配信するか或いは携帯型の記録媒体（メモリカード）を介して入手可能し、携帯端末に表示させる技術が知られている。

特許文献１には、電子書籍のページ単位の画像（ページ画像）を解析して、吹き出し情報（吹き出し領域等）、テキスト情報（吹き出し内の台詞等）、表示制御情報（ページ画像内の読み順等）を含む付帯情報を生成し、ページ画像及び付帯情報を含む電子書籍データを生成することが、開示されている。

特許文献２には、まず縦書き／横書きに対応して文字領域の読み順を仮判定し、次に文字領域間の文字の連続性を判定して、最終的な読み順に変更することが、開示されている。

特開２０１２−１３３６５９号公報 特開２００４−２４０６４３号公報

しかしながら、電子書籍のページ画像内のレイアウトが複雑な場合、ビューワ装置で文字列を全文検索することが難しいという課題がある。

電子書籍のうち文字の電子書籍と画像を主とした電子書籍との中間に位置するハイブリッドの電子書籍の取り扱いが難しい。ハイブリッドの電子書籍は、一般に、図表が多く、複雑なレイアウトで文字を含んでいる。このようなハイブリッドの電子書籍では、レイアウトの再現を実現しつつ、ページ画像内の全ての文字列の検索（全文検索）を可能にすることが求められている。特に、ページ画像内で文字領域と非文字領域とが複雑に組み合わさって配置されているような場合には、ページ画像内で複数の文字領域間を跨った文字列の検索操作を行うことが困難である。

特許文献１では、ページ画像内の読み順を示す情報を生成してページ画像に付帯させるが、具体的な読み順の判定方法までは開示しておらず、ページ画像内で複数の文字領域間を跨った文字列の検索操作についても開示していない。

特許文献２では、文字領域の読み順の判定方法を開示しているが、ページ画像内で複数の文字領域間を跨った文字列の検索を可能にすることについての開示がない。

本発明は、このような事情に鑑みてなされたもので、複雑なレイアウトを完全に再現しながらも全文検索を可能することを目的とし、特に、ビューワ装置で文字領域を含むページ画像をレイアウト変更なしで表示する際に、ページ画像内で複数の文字領域間を跨った
文字列を容易に検索し得るようにすることを目的とする。

上記の目的を達成するために、本発明は、文字領域と非文字領域とが配置されたページ単位の画像であるページ画像を取得する画像取得部と、画像取得部によって取得されたページ画像から文字領域を検出する文字領域検出部と、文字領域検出部によって検出された文字領域内の文字を認識する文字認識部と、文字領域内の認識された文字毎に、ページ画像内での認識された文字の位置を示す文字位置情報を取得する文字位置情報取得部と、ページ画像内での文字領域の位置と、ページ画像内の文字領域間での文字と文字との連続性とに基づいて、ページ画像内での文字領域間の読み順を判定する読み順判定部と、ページ画像と、認識された文字を示す文字情報と、ページ画像内での認識された文字の位置を示す文字位置情報と、ページ画像内での文字領域間の読み順に対応した文字の順序情報又は文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成部と、電子書籍データ生成部によって生成された電子書籍データを出力する電子書籍データ出力部と、を有する電子書籍制作装置を提供する。

本発明によれば、ページ画像内での文字領域間の読み順がページ画像内での文字領域の位置だけでなく文字領域間での文字と文字との連続性にも基づいて判定され、かつ、認識された文字を示す文字情報と、ページ画像内での認識された文字の位置を示す文字位置情報と、ページ画像内での文字領域間の読み順に対応した文字又は文字領域の順序情報とを含む電子書籍データが生成されるので、その電子書籍を取得したビューワ装置で複雑なレイアウトの文字領域を含むページ画像をレイアウト変更せずに表示した際に、ページ画像内で複数の文字領域間を跨った文字列を容易に検索し得るようにすることが可能になる。

本発明の一態様では、ページ画像を表示可能なビューワ装置により実行される表示制御プログラムを生成する表示制御プログラム生成部であって、電子書籍データのうちページ画像に付加された情報に基づいて、ページ画像内の文字領域間を跨ぐ文字列を検索可能な検索機能と、検索された文字領域間を跨ぐ文字列を強調表示可能なハイライト表示機能とを有する表示制御プログラムを生成する表示制御プログラム生成部を有し、電子書籍データ生成部は、表示制御プログラムを電子書籍データに組み込む。この態様によれば、ページ画像内の文字領域間を跨ぐ文字列を検索可能な検索機能と、検索された文字領域間を跨ぐ文字列を強調表示可能なハイライト表示機能とを有する表示制御プログラムが電子書籍データに組み込まれるので、ビューワ装置側で特別に検索機能を用意しなくても、ページ画像内で複数の文字領域間を跨った文字列を容易に検索し得るようにすることができる。

本発明の一態様では、表示制御プログラム生成部は、文字領域及び非文字領域の配置と文字領域内の文字の配置とを変更せずにページ画像を表示する第１の表示態様と、文字領域内の文字をリフロー表示する第２の表示態様とを、ビューワ装置で切り換え操作させる機能を有する表示制御プログラムを生成する。この態様によれば、ビューワ装置側で特別に検索機能を用意しなくても、レイアウト変更しない第１の表示態様と、レイアウトを変更してリフロー表示する第２の表示態様とを、閲覧者が選択し得るようにすることができる。

本発明の一態様では、読み順判定部は、ページ画像内での文字領域の位置に基づいて文字領域間の読み順を仮決定し、ページ画像内の文字領域間での文字と文字との連続性に基づいてページ画像内での文字領域間の読み順を補正する。この態様によれば、文字領域間の読み順を、速く且つ確実に判定することが可能になる。

本発明の一態様では、ページ画像についての１ページ又は複数ページ毎のタイトルとページ番号との対応関係を示す目次情報を生成する目次情報生成部を有し、電子書籍データ
生成部は、目次情報を電子書籍データに組み込む。この態様によれば、ビューワ装置で閲覧者が望むページ画像を目次情報に基づいて容易に表示し得るようになる。

本発明の一態様では、ページ画像の文字領域内の文字列とページ番号との対応関係を示す索引情報を生成する索引情報生成部を有し、電子書籍データ生成部は、索引情報を電子書籍データに組み込む。この態様によれば、ビューワ装置で閲覧者が望むページ画像を索引情報に基づいて容易に表示し得るようになる。

本発明の一態様では、ページ画像の文字領域内の文字のうち非文字領域内の部分画像を示す文字に、非文字領域内の部分画像への切替表示用のアンカーを設定するアンカー設定部を有する。この態様によれば、ビューワ装置で閲覧者が文字領域の文字情報と非文字領域の部分画像とを容易に対応付けて閲覧し得るようになる。

本発明の一態様では、文字認識部によって認識された文字を示す文字情報を、文字情報の言語とは異なる言語に翻訳した翻訳情報を生成する翻訳情報生成部を有し、電子書籍データ生成部は、翻訳情報を電子書籍データに組み込む。この態様によれば、ビューワ装置で閲覧者が母国語でない言語の電子書籍であっても容易に理解し得るようになる。

また、本発明は、電子書籍制作装置と、電子書籍制作装置によって出力された電子書籍データを取得して電子書籍データ内のページ画像を表示するビューワ装置と、を備えた電子書籍システムを提供する。

本発明の一態様では、ビューワ装置は、電子書籍データのうちページ画像に付加された情報に基づいて、ページ画像内の文字領域間を跨ぐ文字列を検索可能な検索機能と、検索された文字領域間を跨ぐ文字列を強調表示可能なハイライト表示機能とを有する。この態様によれば、ビューワ装置側で用意した検索機能及びハイライト表示機能によって、複数の文字領域間を跨った文字列の検索及び表示を行うことができる。

本発明の一態様では、ビューワ装置は、文字領域及び文字領域内の文字の配置を変更せずにページ画像を表示する第１の表示態様と、文字領域内の文字の配置を変更してリフロー表示する第２の表示態様とを、ビューワ装置で切り換え可能な機能を有する。この態様によれば、ビューワ装置側で用意した切換機能によって、第１の表示態様（ページ画像全体表示）と第２の表示態様（リフロー表示）とをビューワ装置で切り換え可能になる。

また、本発明は、文字領域と非文字領域とが配置されたページ単位の画像であるページ画像を取得する画像取得ステップと、画像取得ステップにて取得されたページ画像から文字領域を検出する文字領域検出ステップと、文字領域検出ステップにて検出された文字領域内の文字を認識する文字認識ステップと、文字領域内の認識された文字毎に、ページ画像内での認識された文字の位置を示す文字位置情報を取得する文字位置情報取得ステップと、ページ画像内での文字領域の位置と、ページ画像内の文字領域間での文字と文字との連続性とに基づいて、ページ画像内での文字領域間の読み順を判定する読み順判定ステップと、ページ画像と、認識された文字を示す文字情報と、ページ画像内での認識された文字の位置を示す文字位置情報と、ページ画像内での文字領域間の読み順に対応した文字又は文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成ステップと、電子書籍データ生成ステップにて生成された電子書籍データを出力する電子書籍データ出力ステップと、を有する電子書籍制作方法を提供する。

また、本発明は、文字領域と非文字領域とが配置されたページ単位の画像であるページ画像を取得する画像取得ステップと、画像取得ステップにて取得されたページ画像から文字領域を検出する文字領域検出ステップと、文字領域検出ステップにて検出された文字領
域内の文字を認識する文字認識ステップと、文字領域内の認識された文字毎に、ページ画像内での認識された文字の位置を示す文字位置情報を取得する文字位置情報取得ステップと、ページ画像内での文字領域の位置と、ページ画像内の文字領域間での文字と文字との連続性とに基づいて、ページ画像内での文字領域間の読み順を判定する読み順判定ステップと、ページ画像と、認識された文字を示す文字情報と、ページ画像内での認識された文字の位置を示す文字位置情報と、ページ画像内での文字領域間の読み順に対応した文字又は文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成ステップと、電子書籍データ生成ステップにて生成された電子書籍データを出力する電子書籍データ出力ステップと、をコンピュータに実行させるプログラムを提供する。

本発明によれば、電子書籍のビューワ装置で文字領域を含むページ画像をレイアウト変更なしで表示する際に、ページ画像内で複数の文字領域間を跨った文字列を容易に検索し得るようにすることができる。

電子書籍システムの一例の全体構成図である。 電子書籍制作装置の一例のハードウェア構成図である。 電子書籍制作プログラムと各種情報との関係の説明に用いる説明図である。 電子書籍制作装置の一例の機能ブロック図である。 ビューワ装置の一例のハードウェア構成図である。 電子書籍制作処理の一例の流れを示すフローチャートである。 取得されたページ画像の一例を示す説明図である。 図７のページ画像から検出された文字領域を示す説明図である。 図７のページ画像内で認識された文字の位置を示す文字位置情報の説明に用いる説明図である。 第１の読み順判定結果の説明に用いる説明図である。 第２の読み順判定結果の説明に用いる説明図である。 ビューワ装置でのページ画像の全体表示例を示す説明図である。 図１２のページ画像の要部を拡大して示す説明図である。 ビューワ装置でのリフロー表示例を示す説明図である。 ビューワ装置でのハイパーリンク表示例を示す説明図である。

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜システム構成＞
図１は、電子書籍システム（電子書籍データ配信システム）の一例を示す全体構成図である。

スキャナ１は、紙面の書籍原稿を読み取ることで、文字領域と非文字領域とが配置されたページ単位の画像（以下「ページ画像」という）を生成する。尚、図１には、スキャナ１により紙媒体の書籍原稿を読み取ることで１ページ又は複数ページのページ画像を取得する例を示したが、このような場合に本発明は限定されない。電子的に生成された書籍原稿（デジタル原稿）をネットワークあるいは記録媒体を介して入力することで１ページ又は複数ページのページ画像を取得してもよい。

電子書籍制作装置２は、１ページ又は複数ページのページ画像を含む電子書籍データ（単に「電子書籍」ともいう）の生成を行う装置である。電子書籍制作装置２は、例えば、コンピュータ装置によって構成される。

サーバ装置３は、電子書籍制作装置２で生成された電子書籍データを、ビューワ装置４からの配信要求に応じて、ネットワークを介してビューワ装置４に送信する。サーバ装置３は、例えば、コンピュータ装置によって構成される。

ビューワ装置４（４ａ，４ｂ，４ｃ，４ｄ）は、サーバ装置３から送信された電子書籍データを受信して、ページ画像を表示する。ビューワ装置４は、携帯電話、スマートフォン、タブレット端末等の各種の携帯端末、あるいはパーソナルコンピュータ等の各種の端末装置（コンピュータ装置）である。

ビューワ装置４の表示画面サイズは機種ごとに異なる。ビューワ装置４の表示画面サイズが電子書籍データの１ページごとのページ画像の全体の表示サイズよりも小さい場合には、１ページごとのページ画像内で、ビューワ装置４の表示画面サイズに対応した表示領域を順次移動させながら表示を行う。このようにページ画像内で表示画面サイズに対応した表示領域を移動させながら、その表示範囲内の部分画像をビューワ装置４の表示画面に順次に表示することを、以下では「トレース表示」又は「順次再生」ということもある。

＜電子書籍制作装置の構成要素＞
図２は、電子書籍制作装置２の一例のハードウェア構成図である。図２に示すように、本例の電子書籍制作装置２は、制御デバイス２１、操作デバイス２２、表示デバイス２３、通信デバイス２４、及び記憶デバイス２５を備えたコンピュータ装置によって構成される。制御デバイス２１は、例えばＣＰＵ（Central Processing Unit）によって構成される。本明細書ではＣＰＵを「マイクロ・コンピュータ」ということもある。操作デバイス２２は、例えばキーボード及びマウスによって構成される。表示デバイス２３は、例えば液晶表示デバイスによって構成される、通信デバイス２４は、ネットワークを介してサーバ装置３と通信可能なデバイスである。記憶デバイス２５は、例えばハードディスクなどの大容量のディスクによって構成される。

電子書籍制作装置２の制御デバイス２１は、図３に示すように、電子書籍制作プログラム５０を実行し、ページ画像５１に対して、文字領域情報５２、読み順情報５３、文字情報５４、文字位置情報５５、アンカー情報５６、目次情報５７、索引情報５８等の付加情報を関連付けて、国際電子出版フォーラム（ＩＤＰＦ： International Digital Publishing Forum)により公開されたＥＰＵＢ（Electronic PUBlication）フォーマットの電子書籍データ６０を生成する。また、ページ画像５１に対して、表示制御プログラム５９を付加してもよい。この場合、表示制御プログラム５９に他の付加情報（例えば文字領域情報５２、読み順情報５３、文字情報５４、文字位置情報５５、アンカー情報５６、目次情報５７、索引情報５８等）を含ませてもよい。尚、各付加情報については、後に詳細に説明する。

図４は、電子書籍制作装置２の一例の機能ブロック図である。

本例の電子書籍制作装置２は、記憶部２００、画像取得部２０２、文字領域検出部２０４、文字認識部２０６、文字位置情報取得部２０８、読み順判定部２１０、アンカー設定部２１２、目次情報生成部２１４、索引情報生成部２１６、翻訳情報生成部２１８、表示制御プログラム生成部２２０、電子書籍データ生成部２２２、電子書籍データ出力部２２４を含んで構成されている。記憶部２００は、例えば図２の記憶デバイス２５によって構成される。画像取得部２０２は、例えば図２の通信デバイス２４によって構成される。文字領域検出部２０４、文字認識部２０６、文字位置情報取得部２０８、読み順判定部２１０、アンカー設定部２１２、目次情報生成部２１４、索引情報生成部２１６、翻訳情報生成部２１８、表示制御プログラム生成部２２０、及び電子書籍データ生成部２２２は、例
えば図２の制御デバイス２１によって構成される。電子書籍出力手段１１２は、例えば図２の通信デバイス２４によって構成される。

記憶部２００は、図３のページ画像５１、文字領域情報５２、読み順情報５３、文字情報５４、文字位置情報５５、アンカー情報５６、目次情報５７、索引情報５８、表示制御プログラム５９などの各種の情報を記憶する。

画像取得部２０２は、文字領域と非文字領域とが配置されたページ単位の画像であるページ画像５１であって、電子書籍データ６０（電子書籍）に組み込むページ画像５１を取得する。ここで、ページ単位とは、１ページ単位である場合に限らず、複数ページ単位（例えば２ページ単位）でもよい。ページ画像５１は、例えば、新聞、雑誌、コミック（漫画）、オフィス文書、教科書、参考書などの紙面を読み取った画像が挙げられる。最初から電子的に生成されたページ画像であってもよい。例えば、図１のスキャナ１により紙媒体から読み取られた１ページ又は複数ページのページ画像５１を取得する。サーバ装置３から１ページ又は複数ページのページ画像５１を取得してもよい。

文字領域検出部２０４は、画像取得部２０２によって取得されたページ画像５１から文字領域を検出し、文字領域情報５２を出力する。文字領域の検出は、各種の公知技術を用いて行うことができる。

文字認識部２０６は、文字領域検出部２０４によって検出された文字領域内の文字を認識し、文字情報５４を出力する。文字認識は、各種の公知技術を用いて行うことができる。

文字位置情報取得部２０８は、文字領域内の認識された文字毎に、ページ画像５１内での認識された文字の位置を示す文字位置情報５５を取得する。文字位置情報５５の例は後述する。

読み順判定部２１０は、ページ画像５１内での文字領域の位置と、ページ画像５１内の文字領域間での文字と文字との連続性とに基づいて、ページ画像５１内での文字領域間の読み順を判定し、読み順情報５３を出力する。文字領域の位置に基づく読み順判定は、例えば、文字の言語、縦書き／横書きなどに基づいて、文字領域間の上下、左右の位置関係を判断して行う。文字と文字との連続性に基づく読み順判定は、例えば、単語辞書や、言語解析（例えば形態素解析）などの言語処理により、文字領域間で文字と文字とが言葉として連続しているかどうかに基づいて行う。

アンカー設定部２１２は、ページ画像５１の文字領域内の文字のうち非文字領域内の部分画像（例えば図や表）を示す文字（例えば図や表の番号）に、その非文字領域内の部分画像（例えば図や表）への切替表示用のアンカーを設定する。つまり、文字領域内の文字列に、非文字領域内の部分画像へ切り換えるためのアンカー情報５６（例えばハイパーリンク）を挿入する。

目次情報生成部２１４は、ページ画像５１についての１ページ又は複数ページ毎のタイトル(章タイトル)とページ番号との対応関係を示す目次情報５７を生成する。

索引情報生成部２１６は、ページ画像５１の文字領域内の文字列（キーワード候補）とページ番号との対応関係を示す索引情報５８を生成する。

翻訳情報生成部２１８は、文字認識部２０６によって認識された文字を示す文字情報を、その認識された文字情報の言語（例えば日本語）とは異なる言語（例えば英語）に翻訳
して、翻訳情報を生成する。

表示制御プログラム生成部２２０は、ページ画像５１を表示可能なビューワ装置４により実行される表示制御プログラム５９を生成する。例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語で、表示制御プログラム５９を生成する。他のどのような言語を用いてもよい。本例の表示制御プログラム５９は、電子書籍データ６０のうちページ画像５１に付加された情報（文字情報５４、文字位置情報５５、読み順情報５３など）に基づいて、ページ画像５１内の文字領域内の文字列（検索ワード）及び文字領域間を跨ぐ文字列（検索ワード）を検索可能な検索機能と、検索された文字列を強調表示可能な表示機能とを有する。また、本例の表示制御プログラム５９は、文字領域、非文字領域及び文字領域内の文字の配置を変更せずにページ画像を表示する全体表示の表示態様（第１の表示態様）と、文字領域内の文字をリフロー表示の表示態様（第２の表示態様）とを、ビューワ装置４で切り換え操作させる機能を有する。

電子書籍データ生成部２２２は、各種の情報をページ画像５１に関連付けて電子書籍データ６０を生成する。電子書籍データ生成部２２２は、少なくとも、認識された文字を示す文字情報５４と、ページ画像５１内での認識された文字の位置を示す文字位置情報５５と、ページ画像５１内での文字領域間の読み順に対応した文字の順序情報（又は文字領域の順序情報）を含む読み順情報５３とを、ページ画像５１に関連付けることにより、電子書籍データ６０を生成する。図３に示すように、文字領域情報５２、読み順情報５３、文字情報５４、文字位置情報５５、アンカー情報５６、目次情報５７、及び索引情報５８をページ画像５１に付加してもよい。さらに翻訳情報を付加してもよい。また、表示制御プログラム５９をページ画像５１に付加してもよい。

電子書籍データ出力部２２４は、電子書籍データ生成部２２２によって生成された電子書籍データ６０を出力する。

＜ビューワ装置＞
図５は、電子書籍制作装置２によって生成された電子書籍データ６０を閲覧するビューワ装置４のハードウェア構成例を示す。本例のビューワ装置４は、制御部４１、操作部４２、表示部４３、通信部４４、及び記憶部４５を備えた携帯端末によって構成される。制御部４１は、例えばＣＰＵ（Central Processing Unit）によって構成される。操作部４２及び表示部４３は、例えばタッチパネルディスプレイによって構成される、通信部４４は、ネットワークを介してサーバ装置３と通信可能なデバイスである。記憶部４５は、例えばメモリによって構成される。

通信部４４は、サーバ装置３に電子書籍データ６０の配信要求を行って、サーバ装置３から電子書籍データ６０を受信する。

制御部４１は、操作部４２に入力されたユーザの指示に従って、記憶部４５に記憶されているビューワプログラムを実行する。

また、制御部４１は、電子書籍データ６０に組み込まれている表示制御プログラム５９に従って、電子書籍データ６０に組み込まれているページ画像５１の表示制御を行い、ページ画像５１を表示部４３に表示させる。

＜電子書籍制作処理の概要＞
図６は、電子書籍制作処理の一例の流れを示すフローチャートである。本処理は、図２の制御デバイス２１（マイクロ・コンピュータ）の制御により、プログラムに従って、実行される。尚、プログラムは、電気的、磁気的、あるいは周知の他の方法で記録媒体に記
録しておき、その記録媒体から読み取るようにすることができる。

まず、画像取得部２０２により、文字領域と非文字領域とが配置されたページ単位の画像であるページ画像５１を取得する（ステップＳ１）。図７は、取得されたページ画像５１の一例を示す。

次に、文字領域検出部２０４により、取得されたページ画像５１から、文字領域を検出する（ステップＳ２）。ここで、文字領域検出部２０４によって文字領域情報５２が生成される。図８は、図７のページ画像５１から検出された文字領域Ｔ１、Ｔ２、Ｔ３、Ｔ４，Ｔ５、Ｔ６、Ｔ７を示す。

次に、文字認識部２０６により、検出された文字領域Ｔ１〜Ｔ７内の文字を認識する（ステップＳ３）。ここで、文字認識部２０６によって文字情報５４が生成される。

次に、文字位置情報取得部２０８により、文字領域Ｔ１〜Ｔ７内の認識された文字毎に、ページ画像５１内での認識された文字の位置（座標）を示す文字位置情報を取得する（ステップＳ４）。ここで、文字位置情報取得部２０８によって、文字位置情報５５が生成される。

図９は、図７のページ画像５１内での認識された文字の位置の一例を示す。図９に示す例では、文字認識部２０６によって文字領域Ｔ１内で四つの文字Ｃ１、Ｃ２、Ｃ３、Ｃ４が認識されている。また、文字位置情報取得部２０８によって、文字領域Ｔ１内の認識された文字Ｃ１、Ｃ２、Ｃ３、Ｃ４毎に、文字を囲む矩形の対角線上の２点（本例では右上端と左下端）のページ画像内における座標が、文字位置情報（例えば文字Ｃ１では（ｘ_１１，ｙ_１１）及び（ｘ_１２，ｙ_１２））として算出される。尚、本例では、ページ画像の右上端を原点（０，０）とし、図の左右方向をｘ方向、図の上下方向をｙ方向としている。文字領域Ｔ１内の文字Ｃ１〜Ｃ４と同様に、文字領域Ｔ２内の認識された文字（Ｃ５、Ｃ６、Ｃ７，Ｃ８、・・・）毎に、文字を囲む矩形の対角線上の２点のページ画像内における座標が文字位置情報として算出される。他の文字領域Ｔ３〜Ｔ７でも、同様に、文字位置情報が算出される。

次に、読み順判定部２１０により、第１の読み順判定として、ページ画像５１内での文字領域の位置に基づいて、ページ画像５１内での文字領域間の読み順を判定する（ステップＳ５）。図１０は、図７のページ画像５１での第１の読み順判定結果を示す。本例のページ画像５１は、文字が日本語かつ縦書きであるため、基本的に、右から左、上から下、という順で、読み順（円内の数字で示す）を仮判定する。即ち、Ｔ１→Ｔ２→Ｔ３→Ｔ４→Ｔ５→Ｔ６→Ｔ７という読み順を仮決定する。

次に、読み順判定部２１０により、第２の読み順判定として、ページ画像５１内での文字領域間での文字と文字との連続性に基づいて、ページ画像５１内での文字領域間の読み順を判定する（ステップＳ６）。図１１は、図７のページ画像５１での第２の読み順判定結果を示す。本例では、ステップＳ５で仮決定した読み順で、文字領域間の文字と文字との連続性が有るか否かを判定する。本例のページ画像５１では、文字領域Ｔ３の末尾の文字と文字領域Ｔ４の先頭の文字とで言葉の連続性が無く、文字領域Ｔ３の末尾の文字と文字領域Ｔ６の先頭の文字とで言葉の連続性が有り、かつ文字領域Ｔ６の末尾の文字と文字領域Ｔ７の先頭の文字とで言葉の連続性が有るため、文字領域Ｔ３の次は文字領域Ｔ６であり、かつ文字領域Ｔ６の次は文字領域Ｔ７であると判定し、読み順を、Ｔ１→Ｔ２→Ｔ３→Ｔ４→Ｔ５→Ｔ６→Ｔ７から、Ｔ１→Ｔ２→Ｔ３→Ｔ６→Ｔ７→Ｔ４→Ｔ５に、補正する。

読み順判定部２１０によって読み順情報５３が生成される。本例では、文字領域の読み順Ｔ１→Ｔ２→Ｔ３→Ｔ４→Ｔ５→Ｔ６→Ｔ７（文字領域の順序情報）だけでなく、ページ画像５１内における文字の読み順を示す情報（文字の順序情報）を生成する。文字の順序情報及び文字領域の順序情報のいずれか一方を生成してもよい。

次に、アンカー設定部２１２によって、ページ画像５１の文字領域内の文字のうちで、非文字領域内の図や表の画像（以下「図表画像」という）の番号（図表番号）を示す文字に、非文字領域の図表画像へのハイパーリンクを設定する（ステップＳ７）。ここで、アンカー設定部２１２によって、アンカー情報５６が生成される。例えば、文字領域内に、非文字領域の図表の番号「図Ａ」を示す文字“図Ａ”が存在する場合には、その非文字領域の図表画像へのハイパーリンクを“図Ａ”に設定する。

次に、ページ画像に付加する各種の付加情報を生成する（ステップＳ８）。このステップＳ８では、ステップＳ２〜Ｓ７で生成された付加情報以外の各種の付加情報を生成する。本例では、目次情報生成部２１４によって、ページ画像についての１ページ又は複数ページ毎のタイトル（章タイトル）とページ番号との対応関係を示す目次情報５７を生成する。また、索引情報生成部２１６によって、キーワードとページ番号とを関連付けた索引情報５８を生成する。また、翻訳情報生成部２１８によって、文字認識部２０６によって認識された文字を示す文字情報を、その文字情報の言語（本例では日本語）とは異なる言語（本例では英語）に翻訳した翻訳情報を生成する。また、表示制御プログラム生成部２２０によって、ビューワ装置４により実行される表示制御プログラム５９を生成する。また、文字位置情報取得部２０８で取得された文字位置情報、及び読み順判定部２１０で判定された読み順情報が要求される形式でない場合には、文字位置情報及び読み順情報を編集する。本例では、文字毎に、文字ＩＤ（文字の識別情報）と、文字位置情報（ページ画像上の座標）と、文字情報（例えば「寺」）と、文字の順序情報とを含む文字関連情報を生成している。例えば、＜char id=”1” rect=”20,20,100,100”,text=”寺”,order=”1”/＞という情報を生成する。この文字関連情報は、図３の文字情報５４、文字位置情報５５及び読み順情報５３に対応している。また、本例ではページ画像内における文字の順序情報を電子書籍データ６０に組み込んでいるが、文字領域を示す文字領域情報５２と、文字領域の順序情報とを、電子書籍データ６０に組み込む場合でもよい。

次に、電子書籍データ生成部２２２によって、ステップＳ２〜Ｓ８で生成された各種の付加情報とページ画像５１とを関連付けて、電子書籍データ６０を生成する（ステップＳ９）。例えば、文字領域検出部２０４によって生成された文字領域情報５２と、読み順判定部２１０によって生成された文字領域の順序情報及び文字の順序情報を含む読み順情報５３と、文字認識部２０６によって生成された文字情報５４と、文字位置情報取得部２０８によって生成された文字位置情報５５と、アンカー設定部２１２によって生成されたアンカー情報５６と、目次情報生成部２１４によって生成された目次情報５７と、索引情報生成部２１６によって生成された索引情報５８と、表示制御プログラム生成部２２０によって生成された表示制御プログラム５９が、付加情報として、ページ画像５１に付加されて、電子書籍データ６０が生成される。本例の場合、ステップＳ８で生成された文字関連情報が電子書籍データ６０に組み込まれる。

次に、電子書籍データ出力部２２４によって、生成された電子書籍データ６０を出力する（ステップＳ１０）。

＜ビューワ装置での閲覧処理の概要＞
図５に示すビューワ装置４で電子書籍データ６０の閲覧を行う場合について説明する。まず、ビューワ装置４の通信部４４によって、サーバ装置３から電子書籍データ６０を取得する。着脱自在の記録媒体から電子書籍データ６０を取得してもよい。ビューワ装置４
の制御部４１は、電子書籍データ６０内に表示制御プログラム５９が梱包されている場合、電子書籍データ６０から表示制御プログラム５９を抽出し、その表示制御プログラム５９に従って、ページ画像５１の表示制御を行う。

操作部４２の操作により表示制御プログラム５９が起動されると、制御部４１は、図７に示すページ画像５１の全体を表示する。

図１２は、ビューワ装置４の表示部４３に、制御部４１の制御により表示される電子書籍閲覧ウィンドウ８０を示す。本例の電子書籍閲覧ウィンドウ８０には、検索ワード入力フレーム８２が設けられている。

操作部４２の操作により検索ワード入力フレーム８２に検索ワードが入力されると、制御部４１は、電子書籍データ６０の付加情報に基づいて、ページ画像５１の文字領域内の検索ワード８４（検索ワード入力フレーム８２に対応する文字領域内の文字列である）をハイライト表示する。ここで、ハイライト表示とは、文字領域内の検索ワードを構成する文字を、他の文字とは異なる態様で強調して表示することをいう。例えば、他の文字とは異なる色で表示したり、他の文字よりも明るく表示したり、グラデーションを付けたり、周囲に枠を表示したりするなど、各種の強調態様がある。

図１２のページ画像５１のうち符号８６の部分を拡大して、図１３に示す。本例では、操作部４２により、検索ワードとして“リフーローアブル”が入力されており、制御部４１の制御により、文字領域中の“リフーローアブル”という検索ワードが、ハイライト表示される。このハイライト表示のとき、検索ワードが異なる文字領域Ｔ１と文字領域Ｔ２との間を跨いでいる場合、制御部４１は、ページ画像５１に関連付けられた付加情報（文字位置情報５５、読み順情報５３など）に基づいて、文字領域Ｔ１内にある“リフ”という文字と文字領域Ｔ２内にある“ローアブル”という文字とをハイライト表示する。つまり、ページ画像５１の付加情報に基づいて、文字領域の読み順に従い、複数の文字領域間を跨った検索ワードを、ページ画像５１内で、ハイライト表示する。

また、操作部４２により、全体表示とリフロー表示との切替指示が入力されると、制御部４１の制御により、図１２に示す全体表示から図１４に示すリフロー表示に切り替わる。尚、図１４の文字列中、“図Ａ”は非文字領域に存在する図表画像の番号であり、この“図Ａ”に図表画像（図Ａ）へのハイパーリンクが設定されている。操作部４２により、“図Ａ”をタッチ操作すると、図１５に示すように、非文字領域の図Ａの画像が表示される。

尚、前述の実施形態では、電子書籍制作装置２が表示制御プログラム生成部２２０を有し、電子書籍データ６０に表示制御プログラム５９を組み込む場合を例に説明したが、本発明は、このような場合には限定されない。ビューワ装置４が、電子書籍データ６０のうちページ画像５１に付加された情報に基づいて、ページ画像内の文字領域間を跨ぐ文字列を検索可能な検索機能と、検索された文字領域間を跨ぐ文字列を強調表示可能なハイライト表示機能とを有してもよい。また、ビューワ装置４が、文字領域、非文字領域及び文字領域内の文字の配置を変更せずにページ画像を表示する全体表示の表示態様（第１の表示態様）と、文字領域内の文字の配置を変更してリフロー表示する表示態様（第２の表示態様）とを、ビューワ装置４で切り換え可能な機能を有してもよい。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

２：電子書籍制作装置、３：サーバ装置、４：ビューワ装置、２００：記憶部、２０２：画像取得部、２０４：文字領域検出部、２０６：文字認識部、２０８：文字位置情報取得部、２１０：読み順判定部、２１２：アンカー設定部、２１４：目次情報生成部、２１６：索引情報生成部、２１８：翻訳情報生成部、２２０：表示制御プログラム生成部、２２２：電子書籍データ生成部、２２４：電子書籍データ出力部

Claims (13)

1. 文字領域と非文字領域とが配置されたページ単位の画像であるページ画像を取得する画像取得部と、
   前記画像取得部によって取得されたページ画像から文字領域を検出する文字領域検出部と、
   前記文字領域検出部によって検出された文字領域内の文字を認識する文字認識部と、
   前記文字領域内の認識された文字毎に、前記ページ画像内での前記認識された文字の位置を示す文字位置情報を取得する文字位置情報取得部と、
   前記ページ画像内での前記文字領域の位置と、前記ページ画像内の前記文字領域間での文字と文字との連続性とに基づいて、前記ページ画像内での前記文字領域間の読み順を判定する読み順判定部と、
   前記ページ画像と、前記認識された文字を示す文字情報と、前記ページ画像内での前記認識された文字の位置を示す前記文字位置情報と、前記ページ画像内での前記文字領域間の読み順に対応した前記文字又は前記文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成部と、
   前記電子書籍データ生成部によって生成された前記電子書籍データを出力する電子書籍データ出力部と、
   を有する電子書籍制作装置。
2. 前記ページ画像を表示可能なビューワ装置により実行される表示制御プログラムを生成する表示制御プログラム生成部であって、前記電子書籍データのうち前記ページ画像に付加された情報に基づいて、前記ページ画像内の前記文字領域内の文字列及び前記文字領域間を跨ぐ文字列を検索可能な検索機能と、検索された文字列を強調表示可能な表示機能とを有する表示制御プログラムを生成する表示制御プログラム生成部を有し、
   前記電子書籍データ生成部は、前記表示制御プログラムを前記電子書籍データに組み込む請求項１に記載の電子書籍制作装置。
3. 前記表示制御プログラム生成部は、前記文字領域、前記非文字領域及び前記文字領域内の文字の配置を変更せずに前記ページ画像を表示する第１の表示態様と、前記文字領域内の文字をリフロー表示する第２の表示態様とを、前記ビューワ装置で切り換え操作させる機能を有する前記表示制御プログラムを生成する請求項２に記載の電子書籍制作装置。
4. 前記読み順判定部は、前記ページ画像内での前記文字領域の位置に基づいて前記文字領域間の読み順を仮決定し、前記ページ画像内の前記文字領域間での文字と文字との連続性に基づいて前記ページ画像内での前記文字領域間の読み順を補正する請求項１から３のいずれかに記載の電子書籍制作装置。
5. 前記ページ画像についての１ページ又は複数ページ毎のタイトルとページ番号との対応関係を示す目次情報を生成する目次情報生成部を有し、
   前記電子書籍データ生成部は、前記目次情報を前記電子書籍データに組み込む請求項１から４のいずれかに記載の電子書籍制作装置。
6. 前記ページ画像の前記文字領域内の文字列とページ番号との対応関係を示す索引情報を生成する索引情報生成部を有し、
   前記電子書籍データ生成部は、前記索引情報を前記電子書籍データに組み込む請求項１から５のいずれかに記載の電子書籍制作装置。
7. 前記ページ画像の前記文字領域内の文字のうち前記非文字領域内の部分画像を示す文字に、当該非文字領域内の部分画像への切替表示用のアンカーを設定するアンカー設定部を
   有する請求項１から６のいずれかに記載の電子書籍制作装置。
8. 前記文字認識部によって認識された文字を示す文字情報を、当該文字情報の言語とは異なる言語に翻訳した翻訳情報を生成する翻訳情報生成部を有し、
   前記電子書籍データ生成部は、前記翻訳情報を前記電子書籍データに組み込む請求項１から７いずれかに記載の電子書籍制作装置。
9. 請求項１から８のうちいずれか１項に記載の電子書籍制作装置と、当該電子書籍制作装置によって出力された前記電子書籍データを取得して当該電子書籍データ内の前記ページ画像を表示するビューワ装置と、を備えた電子書籍システム。
10. 前記ビューワ装置は、前記電子書籍データのうち前記ページ画像に付加された情報に基づいて、前記ページ画像内の前記文字領域内の文字列及び前記文字領域間を跨ぐ文字列を検索可能な検索機能と、検索された文字列を強調表示可能な表示機能とを有する請求項９に記載の電子書籍システム。
11. 前記ビューワ装置は、前記文字領域、前記非文字領域及び前記文字領域内の文字の配置を変更せずに前記ページ画像を表示する第１の表示態様と、前記文字領域内の文字の配置を変更してリフロー表示する第２の表示態様とを、前記ビューワ装置で切り換え可能な機能を有する請求項９または１０に記載の電子書籍システム。
12. 文字領域と非文字領域とが配置されたページ単位の画像であるページ画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得されたページ画像から文字領域を検出する文字領域検出ステップと、
    前記文字領域検出ステップにて検出された文字領域内の文字を認識する文字認識ステップと、
    前記文字領域内の認識された文字毎に、前記ページ画像内での前記認識された文字の位置を示す文字位置情報を取得する文字位置情報取得ステップと、
    前記ページ画像内での前記文字領域の位置と、前記ページ画像内の前記文字領域間での文字と文字との連続性とに基づいて、前記ページ画像内での前記文字領域間の読み順を判定する読み順判定ステップと、
    前記ページ画像と、前記認識された文字を示す文字情報と、前記ページ画像内での前記認識された文字の位置を示す前記文字位置情報と、前記ページ画像内での前記文字領域間の読み順に対応した前記文字又は前記文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成ステップと、
    前記電子書籍データ生成ステップにて生成された前記電子書籍データを出力する電子書籍データ出力ステップと、
    を有する電子書籍制作方法。
13. 文字領域と非文字領域とが配置されたページ単位の画像であるページ画像を取得する画像取得ステップと、
    前記画像取得ステップにて取得されたページ画像から文字領域を検出する文字領域検出ステップと、
    前記文字領域検出ステップにて検出された文字領域内の文字を認識する文字認識ステップと、
    前記文字領域内の認識された文字毎に、前記ページ画像内での前記認識された文字の位置を示す文字位置情報を取得する文字位置情報取得ステップと、
    前記ページ画像内での前記文字領域の位置と、前記ページ画像内の前記文字領域間での文字と文字との連続性とに基づいて、前記ページ画像内での前記文字領域間の読み順を判
    定する読み順判定ステップと、
    前記ページ画像と、前記認識された文字を示す文字情報と、前記ページ画像内での前記認識された文字の位置を示す前記文字位置情報と、前記ページ画像内での前記文字領域間の読み順に対応した前記文字又は前記文字領域の順序情報とを含む電子書籍データを生成する電子書籍データ生成ステップと、
    前記電子書籍データ生成ステップにて生成された前記電子書籍データを出力する電子書籍データ出力ステップと、
    をコンピュータに実行させるプログラム。

Images