JP4028715B2 - 低表示機能端末に対して画像を送る方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、低表示機能端末、より詳しくはセルラー電話に対する画像または図面の伝送に関する。
【０００２】
【従来の技術】
インターネットを用いる電子データ交換は、形式を変更した条件下において複数化し、低表示機能端末を介してこれらのメッセージは表示される。たとえば、ＷＡＰ（Wireless Application プロトコル）、ＳＭＳ（ショートメッセージサービス；Short Messaging Service）、またはこれらのデータ交換のための他の手段を利用する所定の手段により、画像またはドローを含むデータを伝送することは可能である。この方法によれば、たとえば、表示スクリーンを備える携帯電話型端末を有する親および／または友人に、ユーモアのある、又は現在必要とされるテキストメッセージとともに、ユーモアのあるドロー（drawing）を送ることが可能であり、親および／または友人はこれらのドローおよびテキストメッセージを端末で受信する（たとえば、インターネットのＵＲＬ（Universal Resource Locator）http://www.wapland.com/art/375.htmlで提供されるファンメール（Fun Mail）サービスを利用する）。
【０００３】
【発明が解決しようとする課題】
しかし、多数の文字を有するテキストを含むドローまたは画像の表示は、依然として、低表示機能端末のスクリーンおよび特に携帯電話のスクリーンでは問題である。一般に用いられる端末では、ドローや画像を満足できる状態で表示することができず、また最も数の多い最小の端末、たとえばセルラー電話の場合、そのテキストをユーザが満足に読み取ることが難しい。
【０００４】
従って、ドローや画像、又はドローや画像から抽出された部分（プレート；plate）を、テキストとともに、良好な状態で、つまり良好な画質を維持しながら、かつ送信者にとって煩わしいさらなる操作を行わせることなく、表示機能の低いスクリーンを有した端末に送ることができるようにすることが求められている。
【０００５】
【課題を解決するための手段】
本発明の方法によれば、この問題を改善することができる。本発明は、低表示機能端末に対するデータの伝送を含む伝送方法に関する。データは、画像フレームと、画像フレーム内の少なくとも１つのテキストゾーンとを有した画像を含んでなる。この方法を用いることによって、個別の（isolated）ドローまたは画像、あるいは一連の（strip）ドローまたは画像（たとえば、所望のテキストを伴うことのある「コマまんが」（４コマまんがなどのコマまんが（comic strip））形式の画像）の形式によるこのデータを、これらの低表示機能端末に送ることが可能となる。
【０００６】
端末は、それ自体を、他の低表示機能端末にデータを送信するリレー（relay）として動作する。本発明による方法によれば、たとえば、携帯セルラー電話またはＰＤＡ（携帯情報端末）等の端末上においてユーザに対して良好な表示品質を維持しながら、画像を送信することが可能となる。この送信は、手作業によって画像、または画像プレートを変更または描き直す必要なしに実行され、同時に、ディスプレイ上に良好な画質が得られる。本発明による方法によれば、低表示機能スクリーン上において、図形モードのその最初の状態（initial version）では読みにくいテキストについて自動抽出を実施することによって画像から除去することが可能となる。次に、端末のリソースを用いて、画像表示およびテキストモードでのテキスト表示が生成される。
【０００７】
本発明による方法は、１つ以上の実体画像を含むデータの伝送に関する。実体画像は、２つのゾーンによって形成される。１つは画像ゾーンであり送信すべきドローまたは画像を含み、１つはテキストゾーンでありオリジナル画像の１つ以上の文字列に対応する１つ以上の英数字などの文字列を受け取ることを目的とする。本発明による方法によって、ユーザの要求に基づいて、低表示機能端末に対する、少なくとも１つのテキストゾーンを含む実体画像の自動伝送が可能となる。本発明による方法は、サーバが低表示機能端末に対して画像を送る方法であって、オリジナル画像内に形成されている文字画像表示領域を抽出するステップと、抽出された文字画像表示領域内の文字画像に対して文字認識処理を実行することによってテキストデータを抽出すると共に、当該文字画像表示領域に対して固有の識別子を割り当て、その割り当てた識別子の画像で当該文字画像表示領域内の文字画像を置換することによってオリジナル画像の変形画像を得るステップと、変形画像の表示領域と、当該文字画像表示領域の識別子と当該文字画像表示領域から抽出されたテキストデータとを関連付けして表示するテキストデータ表示領域と、を結合して構成される実体画像を生成するステップと、生成された実体画像を低表示機能端末へ送信するステップと、を含む。
【０００８】
本発明の方法を用いることによって、複数のオリジナル画像を有してなるデータであって、そのオリジナル画像の少なくとも１つはオリジナル画像フレーム内にテキストを含んでなるデータを自動的送信が可能となる。データは各画像フレームと同じ数の個別画像フレームに切り分けられ、上述のプロセスの各ステップが、オリジナル画像から得られるデータの自動伝送に関するステップとともに適用される。
【０００９】
したがって、本発明は、文字列を有する少なくとも１つのテキストゾーンを含む少なくとも１つの画像を用いて、低表示機能端末に画像を自動的に伝送する方法に関する。本方法は、オリジナル画像の画像フレーム内のテキストゾーンを検索するステップと、一つの文字列（single character string）を含む各個別テキストゾーンを認識するステップと、各個別テキストゾーンに固有の識別子を割り当てるステップと、オリジナル画像の各文字列をその関連する固有の識別子によって置換して変形画像を得るステップと、各文字列に関連して表示内にテキストゾーンを形成する固有の識別子を変形画像に結合して実体画像とするステップと、を含み、変形画像は第１の拡大係数を用いて表示され、テキストゾーンは変形画像に対して用いられる係数とは異なる少なくとも１つの第２の拡大係数を用いて、変形画像の後続のフレームの外側に配置される。
【００１０】
本発明の他の特徴および長所は、本発明を図解する図面を参照して、以下の説明を読むことによって明らかになる。
【００１１】
【発明の実施の形態】
本発明は、たとえば図５に示すように、サーバ７０の記憶装置９０に記憶されるデータを受け取ろうとする、低表示機能端末５０，８０のユーザにとって有用である。このデータは、テキストを伴うドロー（drawings）または画像（image）の形態である。端末５０は、たとえば携帯電話であり、端末８０は、たとえばＰＤＡ（携帯情報端末）またはhttp（HyperText Transform Protocol）をサポートする他の無線インターネット装置である。回線５５は、ＷＡＰプロトコル回線を示し、回線６５，７５は、http回線を示す。図５において、ＷＡＰ規格を用いる従来モードは、ＷＡＰゲートウェイ６０を介する回線５５および６５によって示される。そのことによって、データの送受信が可能となる。たとえば、ユーザは、日刊紙によって提供されるある一定の画像（単数または複数）またはドロー（単数または複数）は入手できるというＳＭＳメッセージによる通知を受けることができる。次に、ユーザは、ユーザはインターネットにおけるhttp://wap...形式でのＵＲＬ（universal resource locators）に対して要求することによって、自分の端末でドロー（単数または複数）または画像（単数または複数）を検出（find）し再生（recover）することができる。図５は、サーバ７０と他の装置、例えば低鮮明度スクリーンを有する端末８０との間における直接的交換も示す。ユーザは、日常的に、たとえば毎日、この形式のメッセージを提供する特定のサービスに加入して、加入者の一部となることができるし、インターネットを経由することなく、ＳＭＳおよび特定のアプリケーションを介して、ネットワークを通じてドロー（単数または複数）または画像（単数または複数）を直接にユーザの端末上に再生することができる。
【００１２】
具体的な観点から見ると、電子メールによるドローの再生を可能とするサービスは、現在、既に存在する。しかし、現用の端末を用いて、ユーザに対して、およびたとえばセルラー電話のような最も多数普及している最小の端末に対して、プレートのすべてのドローを、満足な状態で表示することはできず、これらのドローまたは画像に含まれるテキストは、これらのドローまたは画像が鮮明である場合においても、ほとんど判読できない。
【００１３】
本実施の形態の方法によれば、画像分析によりこれらのドローまたは画像を変形することによって、出版者、あるいはオリジナルのドロー、画像、またはドローもしくは画像のプレートの著者による余分な作業を要求することなしに、低表示機能端末において最善の状態におけるこれらのドローまたは画像の参照または表示が可能となる。オリジナルは、たとえばセルラー電話形式の携帯電話のような低表示機能端末によってアクセス可能なフォーマットに自動的に変換（transscribe）される。
【００１４】
本実施の形態の方法を、最初に図１を参照して説明する。図１は、たとえば会話文字を示す、コマまんがの一部を形成するドローまたは画像２、３、４のセットのストリップ１を示す図である。図のストリップ１は、ハードディスクや光学スキャナ出力などの記憶装置内のファイルとしてアクセスすることができる。ファイルは、画像ファイル、たとえば、ＪＰＥＧ、ＴＩＦＦ、またはＢＭＰであり、白黒画像とカラー画像の交換を可能とする、デジタル符号化および画像圧縮の規格を満足する。第１の実施形態では、ユーザの端末５０，８０（図５）は、インターネットを介して、これらのファイルを保持または格納するサーバ７０にリンクされており、データ、すなわちテキストを含む１つ以上のドローや画像、あるいはテキストを含む一連のドローまたは画像を、格納されているすべてのディジタル・ドローまたは画像ファイルから選出または選択する。別の実施形態によれば、データの選択は、たとえば、ウェブサイト上において、低表示機能端末から実行することができる。この選択は、たとえば日々の（routine daily）データ伝送に基づいて実行することもできる。日々のデータ伝送の場合、ユーザは、ＷＡＰを介して受信されるＳＭＳによって、自身の端末において、このデータの受信の通知を受けることになる。次に、ユーザは、必要により、このデータをＷＡＰを介して低表示機能携帯端末の他のユーザに送信することができる。
【００１５】
テキストを含む、１つ以上のドローまたは画像のセットは、たとえば、コマまんがのページである。このセットは、コマ漫画のページから選出される画像のサブセットであってもよい。本実施の形態の方法によれば、図１の図の３個の画像２，３，４（ｎ＝３）によって表される「ｎ」個の画像（あるコマ漫画から得られた同じ形式の画像のセットから分離される画像）のストリップを基礎として、これらの画像を低表示機能スクリーンに送るため、画像分析を用いて、ストリップ１が、個別の画像２，３，４に切断または分離される。記憶装置９０に記憶される画像またはテキストを有する画像が要求される場合、本発明による方法は、サーバ７０において実行される。この切断または分離は、用いられる端末に応じて、「ｎ」個の画像のストリップを構成する各画像２，３，４のフレーム２０，３０，４０の最適形成を可能とする画像分析アルゴリズムに従って実行され、それとともに、ストリップを構成する各個別画像の特性、特に画像背景を考慮する。たとえば、切断の場合、測地線輪郭法（geodesic outline method）を用いることができる。好適な実施形態によれば、切断後、テキストを含む各切断画像に配置されるテキスト、たとえば図２（Ａ）の画像２の９は、一方では分析される画像上の点の密度の検出を可能とする第１のアルゴリズムを用いて、他方では、テキストを囲む前記画像２（図２（Ｂ））の長方形５によって示されるゾーンを、記号（punctuation）を含め、種々の言語を示すすべての図記号を含む英数字等の文字６の列として認識するため、この長方形５の画定を可能とする光学的文字認識の第２のアルゴリズムを用いて、検索され抽出される。画像に含まれるテキストは、文字認識エンジンによって認識されるフォントスタイルによって書き込まれている必要がある。
【００１６】
他の実施形態によれば、検索、抽出、および認識のステップは、単一のアルゴリズムを用いて一斉に実行することができるが、直前に前述した好適な実施形態によれば、第１にテキストゾーンを検索して抽出、すなわち分離し、次に、分離されたテキストを、第２に認識することが好ましい。このことによって、方法の堅固さ（robustness）の改善、および全体の計算時間の改善が可能となる。当然、検索、抽出、および文字認識は、抽出された各テキストゾーン、たとえば画像２の９に適用され、これは、ストリップの「ｎ」個の各画像２，３，４について実行される。
【００１７】
割当アルゴリズムを用いることによって、各オリジナル画像の各テキストゾーンの内容を、１つ以上の識別子、たとえば単独の文字形式によって置換すること、すなわち第１の画像の第１テキストゾーンに対して“Ａ”、同じ第１の画像の第２テキストゾーンに対して“Ｂ”、第２の画像の第１の唯一のテキストゾーンに対して“Ａ”、第３の画像の第１テキストゾーンに対して“Ａ”、第３の画像の第２テキストゾーンに対して“Ｂ”、などによって置換することが可能となる。図２（Ａ）〜２（Ｄ）の図に示すように、画像２の唯一のテキストゾーン９の内容は、固有の識別子Ａ（図２（Ｃ））によって置換される。このように、割当はｎ番目の画像まで実行される。画像２にその識別子Ａを加えて形成されるセットによって、変形画像１１に対応する画像ゾーンは構成される。
【００１８】
割当アルゴリズムを用いることによって、低表示機能を有する端末５０，８０のスクリーン上に、所定の画像拡大係数を用いて変形画像１１を表示することが可能となる。この拡大係数は、画像分析アルゴリズムの関数であり、必要により、端末５０，８０のスクリーンに従って、画像フレーム２０，３０，４０を適合させることができる。拡大係数は、前記端末５０，８０のスクリーンに表示される変形画像１１のサイズと対応するオリジナル画像２，３，４のサイズとの幾何比によって定められる。類推によって、前記端末のスクリーンに表示される文字１２のサイズとオリジナル画像２，３，４のテキスト９，８，１４，１５の文字のサイズの比は、テキストゾーンの拡大係数を表す。画像およびテキストに関連するこれらの各拡大係数は、用いられる端末５０，８０によって、および前記画像および前記テキストの内容によって、等しいかまたは異なる。
【００１９】
好適な実施形態によれば、識別子Ａの背後に用いられる背景色７（図２（Ｃ））は、たとえば、画像２の背景色が濃い場合は薄い色となり、逆に、画像２の背景色が薄い場合は識別子Ａの背後に用いられる背景色７は濃くなる。これにより変形画像１１とテキストゾーン８を形成するテキストモードの文字列１２とが、画像ごとに利用できる。画像ごとに、テキストゾーン８は、画像または変形画像ゾーン１１に存在する識別子と文字列１２（図２（Ｄ））を含む。図２（Ｄ）の図の実例によれば、文字列１２は、テキストモードによって書き込まれ、初期のテキストゾーン９の識別子Ａに対応する。図３の例によれば、文字列１２は、テキストモードで書き込まれ、当初のテキスト１４および１５の識別子ＡおよびＢに対応する。分析される各画像の場合、各テキストゾーン８と対応する各画像ゾーン１１との結合によって、実体画像１０が構成される。次に、これらの事前に選択される実体画像１０は、低表示機能端末に送ることができる（フロー）。好適な実施形態によれば、文字列１２によって形成されるテキストゾーン８は、図２（Ａ）〜２（Ｄ）および図３の図に従って、画像ゾーン１１の下に配置される。しかし、テキストゾーン８を画像ゾーン１１の上、または画像ゾーン１１との関係で従来用いられていないような位置も含め、任意の他の位置に配置することも十分に可能である。
【００２０】
さらなる実施形態おいて有利なことには、端末のユーザクライアントが自身のシンセサイザを有する場合、各画像のテキストは、サーバ側またはクライアント側においてテキスト−音声シンセサイザを有することによって置換、または音声合成システムを付加することができる。シンセサイザ９５がサーバ側にある場合、アプリケーションを用いることによって、音響、画像、およびテキストファイルのセットを、低表示機能端末に送信することが可能となる。クライアントがテキスト−音声シンセサイザモジュール８５を有する場合、アプリケーションを用いることによって、画像およびテキストファイルを、低表示機能端末８０に送信し、次に、端末上において音声合成を実行することが可能となる。画像において認識され固有の識別子を割り当てられた各文字列に対して、特定の音声音質を得ることも可能となる。
【００２１】
他の実施形態によれば、テキストは、オリジナル言語の文字列を用いて、たとえば手作業によって、端末ユーザの言語に翻訳することができる。この翻訳は、たとえば、ユーザによってユーザの端末からサーバに伝送されるメッセージから行うことができる。または、ユーザの言語への再翻訳は、関連するサービスに加入する場合、自動的に可能となり、データは加入時に選択した言語によって送信されることになる。
【００２２】
つまり、本実施の形態によれば、コマまんがのように、少なくとも１つの画像からなるデータであって、その画像内に文字列を含むデータをサーバから携帯電話やＰＤＡなど、小型で解像度の低いディスプレイを有するデバイス（端末）に送信する際に、サーバ又は端末自身で上記データに含まれる各画像から文字列部分を認識し、その文字列部分に所定の識別子を付するとともに、その文字列部分を文字認識処理して文字列データへ変換し、上記所定の識別子を各画像の文字列部分に関連づけて配置する（文字列部分を所定の画像で置き換え、所定の倍率で縮小したデータ（変形画像）とする）。そして端末側で変形画像を表示するとともに、その変形画像内に含まれる識別子に関連する文字列データを別途表示ないし音声に変換して鳴動する。また、この文字列データを所定の翻訳システムを介して他言語に翻訳してもよい。
【００２３】
さらに、各画像の文字列認識の際には、まず、もとの画像から、各画像単位（例えば漫画のコマ単位）に分割してから文字列認識をすることも好適である。文字列の表示領域は通常、変形画像の枠の周辺が好ましいが、その他、「次のページ」とすることも可能である。
【００２４】
以上、本発明のある一定の好適な実施形態を特に参照して、本発明を詳細に述べたが、異なる例および変形は、本発明の思想および範囲内において実行できることを理解されたい。
【図面の簡単な説明】
【図１】 テキストを含む画像のストリップの概略を示す図である。
【図２】 図２（Ａ）〜２（Ｄ）は、初期ストリップの第１画像を変形する処理の概略を示す図である。
【図３】 同じ初期ストリップの第２の変形画像の概略を示す図である。
【図４】 テキストを含まない画像の概略を示す図である。
【図５】 電子データ交換の例の概略を示す図である。
【符号の説明】
５０，８０ 端末、５５，６５ Ｗａｐプロトコル回線、６０ Ｗａｐゲートウェイ、７０ サーバ、７５ ｈｔｔｐ回線、８５ シンセサイザーモジュール、９０ 記憶装置。

Claims (3)

1. サーバが低表示機能端末に対して画像を送る方法であって、
   オリジナル画像内に形成されている文字画像表示領域を抽出するステップと、
   抽出された文字画像表示領域内の文字画像に対して文字認識処理を実行することによってテキストデータを抽出すると共に、当該文字画像表示領域に対して固有の識別子を割り当て、その割り当てた識別子の画像で当該文字画像表示領域内の文字画像を置換することによってオリジナル画像の変形画像を得るステップと、
   変形画像の表示領域と、当該文字画像表示領域の識別子と当該文字画像表示領域から抽出されたテキストデータとを関連付けして表示するテキストデータ表示領域と、を結合して構成される実体画像を生成するステップと、
   生成された実体画像を低表示機能端末へ送信するステップと、
   を含むことを特徴とする方法。
2. 請求項１に記載の方法において、前記テキストデータ表示領域は、前記実体画像において前記変形画像の表示領域の下部に配置されることを特徴とする方法。
3. 請求項１に記載の方法において、前記テキストデータ表示領域は、前記実体画像において前記変形画像の表示領域の上部に配置されることを特徴とする方法。

Images