JP2009526458A - カメラを用いて、文書を入力し、保管し、参照し、受信器に送信する方法 - Google Patents

Abstract

本発明に関する方法は、通信端末に結合され得るカメラを用いて文書画像を捕捉しかつ記憶するステップと、端末のメモリへの画像の転送と一緒にサーバへ補完情報と関係する画像を端末から送信するステップと、画像に含まれる文書関連情報をサーバにより抽出し修正しかつ解釈し得るステップと、抽出されて修正されて場合によっては解釈された情報を用いて文書を再構成するステップと、再構成された文書に含まれる情報を考慮しつつ文書を保管するステップと、を含む。

Description

本発明は、通信端末、サーバ及び端末に組み込まれたカメラによって、文書を入力し、保管し、参照し、受信器に送信する方法に関する。

本発明による方法は、特にカメラを装備した通信端末に用いられるが、通信端末に接続可能な記憶手段を有するカメラにも適している。

この方法は、通信端末に組み込まれたカメラを用いて、紙の文書画像、または、他のサポートまたは媒体（ホワイトボードまたは黒板、「フリップチャート（flipchart）」、パネル、スクリーン）にある画像を捕捉し、サーバに画像を送信し、次に、画像に含まれたデータをサーバが抽出し、修正し、解釈し、かつ保管し、最終的に、サーバに保管されたデータを検索しかつ参照し、さらに、受信器へデータを送信するかまたは、ローカル通信ネットワークもしくはローカル以外の通信ネットワーク上でデータを共有利用するのに特に用いられるが、これらに限定されない。

アーカイブに保管するかまたはファクスもしくは電子メールで受信器に送信するために、文書をデジタル化することが所望される場合、通常、スキャナ、コピー機またはファクスなどの、文書のデジタル化専用の１つの機器を用いる必要がある。更に、スキャンを記憶して電子メールで送信するために、通常、捕捉装置に接続された端末を同時に有している必要がある。このことは、通常オフィスを離れて移動中の場合ではないデジタル化時において利用可能なこれらの２つの機器を有していることを必要とする。更に、文書をデジタル化することを可能にする１つの機器だけがある場合、しばしばそのメモリによって制約され、メモリがフルであるかまたは不良品である場合に文書を失う危険性がある。オフィス外で提供されるコピー機が用いられる場合、装置にはインクまたは紙がなくて作動しないという危険性があり、さらに、コピーは、他の興味のある人々または遠く離れた人々に同時に提供されない。

更に、ネットワークとの有線接続または無線接続が、ファクス、電子メールでまたはインターネットを介して受信器に文書を送信するために必要である。このように、文書が移動中に提供されたファクスから受信器に送信される場合、機器は、ある不確定な期間にわたって、従ってファクスが受信通知を印刷するまで移動不能にされる。

更に、固定記憶手段または可動式の記憶手段を有するカメラを用いて捕捉し、カメラの上記の固定記憶手段または可動式の記憶手段に端末を接続して端末に送信した文書画像を用いたいという要望はよくあることである。端末に画像レタッチソフトウェアがある場合、端末は、以下を改善することにより、文書に関係するテキスト情報及びグラフィック情報の読みやすさを改善することができる。即ち、ホワイトバランスを改良することにより、輝度を調整することにより、コントラストを高めることにより、コントラストを強調することにより、彩度を改善することにより、ノイズを減衰することにより、文書ピクチャを再フレーム化することにより、画像を裏返す（flipping）かまたは反転させる（reversing）ことにより、遠近感、色収差、光学的ひずみ、不鮮明さまたはぼやかした輪郭を修正することにより、改善され得る。画像リタッチについてのこれらの面倒な操作は、注意の継続及びグラフィックス分野でのかなりの専門知識を必要とするが、スキャナを用いてデジタル化した文書に近い結果を得ることを保証しない。更に、光学文字認識ソフトウェアまたはグラフィック認識ソフトウェアを用いて画像に含まれた情報が解釈されさらに該情報が再利用され得る。このことは、情報の検索を容易にし、デジタル化された情報のサイズを縮小する。

最終的に、文書を送信してイントラネットなどのローカルネットワーク上またはインターネットサイト、「ウェブログ」、ファイルもしくは画像共有サイトなどのローカル以外のネットワーク上で共有利用するか公表することが所望される場合、または、スキャナがない場合、文書のピクチャは、カメラを用いて取り込まれることができて、通信端末を用いて共有ネットワークまたは公表ネットワークに送信され得る。しかしながら、この方法で共有されるかまたは公表されるテキスト情報及び／またはグラフィック情報は、特に、コントラストの欠如またはホワイトバランスの誤った設定と関係がある文書画像の不良のため、しばしば読むことが難しい。

本発明の目的は特に、これらの不利な点を克服し、文書画像を用いて文書を再構成し、次に、それを保管し、参照し、かつ受信器へ送信することを可能にすることである。

発明の実施の形態

この場合、本発明による方法は、以下を用いることができる。即ち、
- 通信端末ＴＣ；
- 通信端末に接続可能な固定記憶手段または可動性の記憶手段を有するカメラＣ、または、より望ましくは、通信端末に接続されて一体化されているカメラ；
- 処理手段、記憶手段及び送信手段をまとめたセントラルユニットを装備しているサーバＳ；
- 処理手段、記憶手段及び送信手段、キーボード並びにディスプレイ装置をまとめたセントラルユニットを装備している端末Ｔ；
- 電子メール、ファックスの受信手段を有する端末、イントラネットなどのローカルネットワーク、または、インターネットなどのローカル以外のネットワークに接続されたサーバまたは端末を有する受信器ＤＥＳ、
を用いることができる。

このように、本発明による方法は、以下のステップを含む。即ち、
- カメラＣを用いて文書画像を捕捉して記憶するステップ；
- カメラが通信端末に接続していない場合に、カメラの固定メモリまたは可動性メモリを通信端末に接続して、通信端末のメモリに画像を転送するステップ；
- 通信端末ＴＣからサーバＳに文書画像並びにその受信器ＤＥＳ及び／またはそのタイトル及び／またはコメントを送信するステップ；
- サーバＳに一体化された処理により、画像に含まれる文書に関する情報を抽出し、修正し、解釈し、次に、抽出され、修正され、解釈された情報を用いて情報を再構成するステップ；
- 再構成された文書に含まれる情報及び文書の履歴に関する情報を考慮してサーバＳに文書を保管するステップ；
- 端末Ｔ及び／または通信端末ＴＣからサーバＳに保管された文書に関する情報を、任意に、検索し、及び／または参照し、及び／または変更し、及び／または削除し、及び／または、受信器へ送信するように命令するステップ；
- サーバＳから、受信器ＤＥＳ及び／または通信端末ＴＣ及び／または端末Ｔに、再構成された文書及び／またはその履歴に関連する情報を任意に送信するステップ、
を含む。

サーバＳが、通信端末ＴＣによって送信される文書画像を受信する場合、サーバＳは、通信端末ＴＣに画像についての受信通知メッセージを送信することができることが有利である。

文書画像のテキスト情報及び／またはグラフィック情報の抽出及び修正は、ＰＣＴ／ＦＲ０５／００６７８出願の出願人によってすでに提案されている写真画像から測定データ（raw data）を抽出する方法を用い、かつ次のステップを含んで実行され得ることが有利である。該ステップは、
- 画像の列Ｃ及び行Ｌでマークされた各々のピクセルに対して、画像色構成要素の組合せに存在する値Ｖ_０［Ｃ，Ｌ］を決定するステップ；
- 各々のピクセルに対して、背景値Ｖ_Ｆｏｎｄ［Ｃ，Ｌ］を算出するステップ；
- 各々のピクセルに対して、差分Ｄ［Ｃ，Ｌ］を算出するステップ；
- Ｄ [Ｃ，Ｌ]＝Ｖ_Ｆｏｎｄ−Ｖ_０［Ｃ，Ｌ］（暗いデータ／明るい背景）
- または、
- Ｖ_０［Ｃ，Ｌ］−Ｖ_Ｆｏｎｄ（明るいデータ／暗い背景）
- コントラスト及び／または測定データの最大領域がノイズを含む確率ｑについての少なくとも１つの棒グラフを用いて、抽出された測定データＤ [Ｃ，Ｌ]を修正するために用いられるノイズのコンテキストデータから成る閾値Ｖ_Ｓを算出するステップ；
- 抽出されたデータＤ^＊ [Ｃ，Ｌ]が得られるノイズのコンテキストデータＶ_Ｓを用いて、測定データＤ［Ｃ，Ｌ］を修正するステップ；
- 各々のピクセルに対して、修正された測定データＤ^＊ [Ｃ，Ｌ]を考慮に入れて修正値Ｉ^＊ [Ｃ，Ｌ]を算出するステップ；
- 抽出されたデータまたは所望の角度でデータを含んでいる画像を提示し得るステップ；
である。

同じ方法は、いかなる入射でもカメラで撮られる画像を用いて、画像から抽出されたデータまたは所望の画角によるそれを含んでいる画像を示す場合には、以下を含むことを特徴とする。即ち、
- コンテキストデータを画定しているカメラで撮られる画像に存在するパターンの少なくとも４つの特定可能な特徴的なピクセルを検索し、これらの特徴的なピクセルは画像のコーナーから成ることが可能であるステップ；
- 予め定められた基準に従ってデータを抽出し得るステップ；
- 参照相対位置に関して、４つのピクセルの相対位置を用いて、測定画像または抽出されたデータまたはそれを含んでいる画像に対して成された幾何学的ひずみを算出するステップ；
- 幾何学的ひずみに従って、測定画像または抽出されたデータまたはそれを含む画像に対して成されるべき修正を決定するステップ；
- このように決定された修正を考慮している修正画像を生成するステップ；
を含むことを特徴とする。

同じ方法はまた、対象と同じ割合を示している修正画像を得る目的のために、上記のピクセルによって画定される四辺形の実際の高さ／幅の比率を決定するステップ及び修正画像の生成においてこの比率ｒを考慮するステップを含むということで特徴付けられる。

このように、抽出されたテキスト情報及び／またはグラフィック情報の修正には、形状、色彩、不鮮明度、及び／またはコントラストを含んでいてもよい。限定的な方法では、ホワイトバランスの改善と、輝度及びコントラストの調整と、コントラストの強化と、コントラストの強調と、彩度の改善と、雑音の減衰と、文書のピクチャの再フレーム化と、画像を裏返すかまたは反転させることと、遠近感、色収差、光学的ひずみ、不鮮明度またはぼやかした輪郭の修正と、を含んでいてもよい。

文書のサーバＳによる保管は、以下のステップを含むことが有利である。即ち、
- 再構成された文書の縮小画像を生成するステップ；
- 保管されるべき文書に関する情報を考慮したインデックステーブルを生成するステップ；
を含むことが有利である。

再構成された文書に含まれる文書とその履歴に関係する文書とに関係する情報は、以下を含むことが有利である。即ち、
- 文書画像のファイル名；
- 通信端末または端末Ｔによって送信される可能なタイトル及び／またはコメント；
- 文書画像の補足の場所及び／または日付及び／または時間；
- サーバに文書画像を送信した日付；
- 文書の再構成の状態；
- 文書の再構成の日付；
- これらの受信器に文書を送信した受信器、日付、及び送信状態；
- 場合により光学文字認識ソフトウェアを用いて解釈されたテキスト情報；
- 場合により形状認識ソフトウェアを用いて解釈されたグラフィック情報；
を含むことが有利である。

端末Ｔまたは通信端末ＴＣから文書に関連する情報を検索し得る結果は、文書のリストを含むことができ、文書のリストの関連情報は、場合により文書の関連情報の特定の部分を伴って検索される情報であることが有利である。

文書画像の質または解像度が、読み出し可能なまたは光学文字認識ソフトウェアもしくは形状認識ソフトウェアで解釈可能なテキスト情報またはグラフィック情報を抽出することを可能にしない場合には、修正後であっても、サーバＳは、場合によっては文書を撮っているピクチャを改善することを可能にする勧告とともに、警告メッセージを端末Ｔまたは通信端末ＴＣに送信することができることが有利である。

文書画像から抽出されて次に修正されたテキスト情報及びグラフィック情報が、読み込み可能であるかまたは光学文字認識ソフトウェアまたは形状認識ソフトウェアで解釈されることが可能であるとみなされる逆の場合には、サーバＳは、通信端末ＴＣまたは端末Ｔに警告メッセージを送信することができる。

サーバＳが、受信器ＤＥＳへデジタル化した文書をファックスまたは電子メールで送信したという受信通知を受信した場合、サーバＳは、通信端末ＴＣまたは端末Ｔに受信通知メッセージを送信することができることが有利である。

画像または文書に関する情報の転送は、シリアルリンクもしくはＵＳＢリンクなどの有線接続または、８０２．１１、ＷｉｍａｘもしくはＢｌｕｅｔｏｏｔｈなどの無線接続、または有線または交換通信ネットワーク、ＡＤＳＬ、または、ＧＳＭ、ＧＰＲＳもしくはＵＭＴＳなどのセルラー電話網、またはイントラネットなどのローカルネットワークまたはインターネットなどのローカル以外のネットワークによって行われることが有利である。

Claims (13)

1. カメラ（Ｃ）、通信端末（ＴＣ）、サーバ（Ｓ）及び端末（Ｔ）を用いて文書を入力し、保管し、検索し、受信器（ＤＥＳ）に送信する方法であって、
   - 前記カメラ（Ｃ）を用いて前記文書の画像を捕捉して記憶するステップと、
   - 前記カメラ（Ｃ）が前記通信端末に接続していない場合に、前記カメラ（Ｃ）の固定メモリまたは可動性メモリを前記通信端末（ＴＣ）に接続して、前記通信端末（ＴＣ）の前記メモリに前記画像を転送するステップと、
   - 前記通信端末（ＴＣ）から前記サーバ（Ｓ）に前記文書画像並びに前記受信器（ＤＥＳ）、そのタイトル及びコメントを送信するステップと、
   - 前記サーバ（Ｓ）に一体化された処理によって、前記画像に含まれる前記文書に関する情報を抽出し、修正し、さらに解釈し、次に、前記抽出され、修正され、解釈された情報を用いて文書を再構成するステップと、
   - 前記再構成された文書に含まれる情報及び文書の履歴に関する情報を考慮して前記サーバ（Ｓ）に前記再構成された文書を保管するステップと、
   - 前記端末（Ｔ）または前記通信端末（ＴＣ）から前記サーバ（Ｓ）に保管された文書に関する情報を検索して参照するステップと、
   を含むことを特徴とする方法。
2. 前記カメラは、前記通信端末（ＴＣ）に一体化されていることを特徴とする請求項１記載の方法。
3. 前記検索するステップまたは閲覧するステップの後に、前記サーバ（Ｓ）に保管された文書に関する前記情報を変更するステップが続くことを特徴とする請求項１記載の方法。
4. 前記検索するステップまたは前記閲覧するステップの後に、受信器（ＤＥＳ）へ送信することを命令するステップが続くことを特徴とする請求項１記載の方法。
5. 前記再構成された文書に関する情報を、前記受信器（ＤＥＳ）、前記通信端末（ＴＣ）、または前記端末（ＣＴ）へサーバ（Ｓ）から送信されるステップをさらに含むことを特徴とする請求項４記載の方法。
6. 前記サーバ（Ｓ）が前記通信端末（ＴＣ）から送信された文書画像を受信する場合に、前記サーバ（Ｓ）は前記通信端末（ＴＣ）に、前記文書画像についての受信通知メッセージを送信することを特徴とする請求項１記載の方法。
7. 前記画像から抽出された前記情報の前記修正は、幾何学的、色彩、不鮮明度、コントラストなどのパラメータと、ホワイトバランスの改善と、輝度及びコントラストの調整と、コントラストの強化と、コントラストの強調と、彩度の改善と、ノイズの減衰と、文書のピクチャの再フレーム化と、画像を裏返すかまたは反転させることと、遠近感、色収差、光学的ひずみの修正と、に関係していることを特徴とする請求項１記載の方法。
8. 前記文書の前記サーバによる保管は、以下のステップ、即ち、
   - 前記再構成された文書の縮小画像を生成するステップと、
   - 保管されるべき前記文書に関する情報を考慮しているインデックステーブルを生成するステップと、
   を含むことを特徴とする請求項１記載の方法。
9. 文書と関連する情報のあり得る検索の結果は、前記文書のリストを含んでもよく、前記文書のリストの関連情報は、場合によっては前記文書の前記関連情報の特定の部分を伴って検索される関連情報を含むことを特徴とする請求項１記載の方法。
10. 前記再構成された文書に含まれる文書に関係する情報及びその履歴に関係する情報は、前記文書画像のファイル名と、前記通信端末（ＴＣ）または前記端末（Ｔ）から前記サーバ（Ｓ）に送信されるタイトル及び／またはコメントと、前記カメラ（Ｃ）による前記文書画像の補足の場所及び／または日付及び／または時間と、前記カメラ（Ｃ）のブランド及び／またはモデルと、前記サーバ（Ｓ）へ前記画像を前記通信端末（ＴＣ）から送信した日付と、前記文書の再構成の状態と、前記文書の再構成の日付と、前記文書の一連の受信器と、前記サーバ（Ｓ）からこれらの受信器へ前記文書を送信した日付及び状態と、光学文字認識ソフトウェアを用いて解釈されたテキスト情報と、形状認識ソフトウェアを用いて解釈されたグラフィック情報と、に関係することを特徴とする請求項１記載の方法。
11. 前記文書画像の質または解像度が、読み出し可能なまたは光学文字認識ソフトウェアもしくは形状認識ソフトウェアで解釈可能なテキスト情報またはグラフィック情報を抽出することができない場合、修正後であっても、前記サーバ（Ｓ）は、場合によっては前記文書を撮っているピクチャを改善することを可能にする勧告とともに、警告メッセージを前記端末（Ｔ）または前記通信端末（ＴＣ）に送信することを特徴とする請求項１乃至１０のいずれか１に記載の方法。
12. 前記文書画像から抽出されて次に修正された前記テキスト情報及びグラフィック情報が、読み出し可能であるかまたは光学文字認識ソフトウェアまたは形状認識ソフトウェアで解釈され得るとみなされる場合、前記サーバ（Ｓ）は、前記通信端末（ＴＣ）及び／または前記端末（Ｔ）に警告メッセージを送信することを特徴とする請求項１乃至１１のいずれか１に記載の方法。
13. 前記サーバ（Ｓ）が、受信器（ＤＥＳ）へデジタル化した文書をファックスまたは電子メールで送信したという受信通知を受信した場合、前記サーバ（Ｓ）は、受信通知メッセージを前記通信端末（ＴＣ）または前記端末（Ｔ）に送信することを特徴とする請求項１記載の方法。