JP6399371B1 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】書類を撮影してからテキストの読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、読み取り結果の確認を容易にする。
【解決手段】書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、書類の静止画像を取得する画像取得部と、静止画像を表示する画像表示部と、静止画像から書類画像を抽出する画像抽出部と、書類画像を正面画像に変形する画像変形部とを備え、画像表示部は、静止画像を表示した後、書類画像の部分を正面画像に次第に変化させるように表示し、正面画像を、テキストの読み取り結果を表示するための表示欄に移動させ、読み取り結果を表示欄に表示する。
【選択図】図７

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。

近年、名刺を電子的に管理するための様々な技術が開発されている。例えば、カメラ機能を備えたスマートフォンや携帯電話機、タブレットなどの情報処理端末を用いて撮影した名刺の画像をサーバに送信し、サーバに名刺の記載事項を読み取らせてデータベースに登録するような技術が開発されている（例えば特許文献１参照）。

特開２００３−２９６３５３号公報

このような技術を用いることにより、名刺の管理を容易化できると共に、例えば外出先でデータベースを検索して取引先の担当者の名刺を確認したりするようなこともできる。

また読み取った名刺情報を情報処理端末の連絡帳にも登録するようにすれば、そのままその担当者に電話を掛けるようなことも可能になる。またこの場合、ユーザは、サーバから送られてきた名刺の読み取り結果に誤りがないかを画面で確認することもできる。

しかしながらこの場合、サーバでの名刺の読み取り処理には、サーバと情報処理端末との間の通信時間も含めてある程度の時間を要するため、ユーザは、サーバから名刺の読み取り結果が送られてくるまで待っていなければならない。

特に、複数枚の名刺を一度に撮影してサーバに画像を送信した場合には、サーバへ送信するデータ量が大きくなるうえ、サーバでの名刺の読み取りに要する時間が長くなるため、ユーザの待ち時間はより長くなる。さらに、名刺を撮影した情報処理端末の画面には、サーバから受け取った名刺の複数の読み取り結果が全て表示されることになるため、どれがどの名刺の読み取り結果なのかが分かりづらく、ユーザの確認作業は煩雑となる。

本発明は上記課題を鑑みてなされたものであり、名刺などの書類に記載されているテキストを書類の静止画像から読み取る場合に、書類を撮影してからテキストの読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、ユーザによるテキストの読み取り結果の確認を容易に行うことを一つの目的とする。

一つの側面に係る情報処理装置は、書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、前記書類を撮影して前記書類の静止画像を取得する画像取得部と、前記静止画像を表示する画像表示部と、前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出する画像抽出部と、前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形する画像変形部と、を備え、前記画像表示部は、前記静止画像を表示した後、前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させるように表示し、前記正面画像を、前記テキストの読み取り結果を表示するための表示欄に移動させ、前記読み取り結果を前記表示欄に表示する。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。

書類を撮影してから、サーバによるテキストの読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、テキストの読み取り結果の確認を容易に行うことが可能となる。

本発明の一実施形態に係る名刺管理システムの全体構成図である。 本発明の一実施形態に係る名刺管理サーバのハードウェア構成を示す図である。 本発明の一実施形態に係るユーザ端末のハードウェア構成を示す図である。 本発明の一実施形態に係る名刺管理サーバの機能構成を示すである。 本発明の一実施形態に係る名刺管理データベースを示す図である。 本発明の一実施形態に係るユーザ端末の機能構成を示す図である。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。 本発明の一実施形態に係る全体の処理の流れを示すフローチャートである。 本発明の一実施形態に係るアニメーション表示処理の流れを示すフローチャートである。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。 本発明の一実施形態に係るダミー画像を示す図である。 本発明の一実施形態に係る名刺情報を示す図である。 本発明の一実施形態に係る全体の処理の流れを示すフローチャートである。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。 本発明の一実施形態に係るユーザ端末における画面表示を示す図である。

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下、本発明をその一実施形態に即して添付図面を参照しつつ説明する。
＝＝名刺管理システム＝＝
図１に、本発明の一実施形態に係る名刺管理システム１０００の構成を示す。本実施形態に係る名刺管理システム１０００は、ユーザ端末１００と、名刺管理サーバ２００と、がネットワーク３００を介して通信可能に接続されて構成され、情報処理装置の一形態として機能する。

ユーザ端末１００は、スマートフォンや携帯電話機、ノートパソコン、タブレットなどのカメラを具備した情報処理端末である。ユーザ端末１００は、名刺を撮影すると、その静止画像４００（後述）を名刺管理サーバ２００に送信する。

名刺管理サーバ２００は、ユーザ端末１００から静止画像４００が送られてくると、静止画像４００を解析し、名刺に印刷されている氏名や会社名、住所、電話番号等のテキスト（後述する名刺情報６２０）を読み取る。そして名刺管理サーバ２００は、読み取った名刺情報６２０をユーザ端末１００に送信する。

そしてユーザ端末１００は、名刺管理サーバ２００から送られてきた名刺情報６２０を画面に表示する。

そして名刺管理サーバ２００は、読み取った名刺情報６２０を名刺管理データベース２０４（後述）に登録する。なお名刺管理サーバ２００は、ユーザ端末１００から名刺情報６２０の修正指示を受信した場合には、その修正内容に従って名刺管理データベース２０４に登録した名刺情報６２０の内容を修正する。

そしてこの一連の処理の中で、ユーザ端末１００は、名刺の静止画像４００を画面に表示してから、名刺管理サーバ２００から名刺の読み取り結果（名刺情報６２０）を受信して画面に表示するまでの待ち時間をなるべく長く感じさせにくいように工夫している。またユーザ端末１００は、ユーザによる名刺情報６２０の確認が容易に行えるような工夫もしている。
＝＝名刺管理サーバの構成＝＝
まず名刺管理サーバ２００の構成について図２〜図４を参照しながら説明する。
＜ハードウェア構成＞
名刺管理サーバ２００のハードウェア構成図を図２に示す。名刺管理サーバ２００は、ＣＰＵ（Central Processing Unit）２１０、メモリ２２０、通信装置２３０、記憶装置２４０、入力装置２５０、出力装置２６０、及び記録媒体読取装置２７０を備えて構成されるコンピュータである。

記憶装置２４０は、名刺管理サーバ２００によって実行される名刺管理サーバ制御プログラム７１０や各種のデータを格納する。記憶装置２４０に記憶されている名刺管理サーバ制御プログラム７１０やデータがメモリ２２０に読み出されてＣＰＵ２１０によって実行されることにより、名刺管理サーバ２００の各種機能が実現される。ここで、記憶装置２４０は例えばハードディスクドライブやＳＳＤ（Solid State Drive）のような不揮発性の記憶装置である。

記録媒体読取装置２７０は、ＣＤ−ＲＯＭやＤＶＤ、ＵＳＢ（登録商標）メモリ等の記録媒体８００に記録された名刺管理サーバ制御プログラム７１０やデータを読み取り、記憶装置２４０に格納する。

通信装置２３０は、インターネットやＬＡＮ（Local Area Network）、電話網等のネットワーク３００を介してユーザ端末１００や不図示の他のコンピュータと各種データや名刺管理サーバ制御プログラム７１０の授受を行う。例えば他のコンピュータに上述した名刺管理サーバ制御プログラム７１０やデータを格納しておき、名刺管理サーバ２００がこのコンピュータからこれらのデータや名刺管理サーバ制御プログラム７１０をダウンロードするようにすることができる。あるいは、後述する名刺管理データベース２０４を他のコンピュータに構築するようにしても良い。

入力装置２５０は、例えばキーボードやマウスなどの入力ユーザインターフェースである。また出力装置２６０は、例えばディスプレイやプリンタなどの出力ユーザインタフェースである。
＜機能構成＞
次に名刺管理サーバ２００の機能ブロック図を図３に示す。本実施形態に係る名刺管理サーバ２００は、画像受信部２０１と、画像解析部２０２と、読み取り結果送信部２０３と、名刺管理データベース２０４とを含んで構成される。これらの各機能は、名刺管理サーバ２００のハードウェアによって本実施形態に係る名刺管理サーバ制御プログラム７１０が実行されることにより実現される。

画像受信部２０１は、ネットワーク３００を介してユーザ端末１００から静止画像４００を受信する。静止画像４００は、ユーザ端末１００によって撮影された画像である。

なお、画像受信部２０１は、後述する名刺画像（書類画像）４１０あるいは正面画像４２０をユーザ端末１００から受信するようにしても良い。

名刺画像４１０は、静止画像４００に映っている名刺の部分の画像（名刺の輪郭で囲まれた部分の画像）である。正面画像４２０は、名刺画像４１０を、名刺が正面から撮影された場合に得られるはずの画像に変形したものである。正面画像４２０は、名刺画像を透視変換することにより生成することができる。

画像解析部２０２は、画像受信部２０１がユーザ端末１００から受信した画像（本実施形態では静止画像４００）を解析し、名刺に記載されている会社名や氏名、住所、電話番号等のテキストを読み取り、名刺情報６２０として出力する。

画像解析部２０２は、静止画像４００に対して例えばＯＣＲ（Optical Character Recognition/Reader）を行うことにより、静止画像４００から名刺情報６２０を抽出する。あるいは画像解析部２０２は、人工知能や機械学習を用いて静止画像４００の画像解析を行うようにしても良い。

画像受信部２０１がユーザ端末１００から名刺画像４１０あるいは正面画像４２０を受信した場合には、画像解析部２０２は、これらの名刺画像４１０や正面画像４２０に対する画像解析を行うことで、名刺情報６２０を抽出する。

読み取り結果送信部２０３は、静止画像４００から抽出された名刺情報６２０を、ネットワーク３００を介してユーザ端末１００に送信する。

名刺管理データベース２０４は、名刺情報６２０を記憶するデータベースである。名刺管理データベース２０４の一例を図４に示す。

図４に示す名刺管理データベース２０４は、「ＩＤ」欄、「氏名」欄、「会社名」欄、「住所」欄を含む。

「ＩＤ」欄には、名刺情報６２０の識別情報が記録される。名刺情報６２０の識別情報は、例えば画像解析部２０２によって名刺情報６２０毎に一意に付番される。「氏名」欄には、名刺から読み取った氏名が記録される。「会社名」欄には、名刺から読み取った会社名が記載される。「住所」欄には、名刺から読み取った住所が記載される。また図４には示されていないが、名刺管理データベース２０４には、電話番号や電子メールアドレス、役職などの、名刺に記載される様々な情報が記録される。

さらに名刺情報６２０には、その名刺情報６２０の抽出元となった正面画像４２０も記憶される。名刺管理データベース２０４に登録される正面画像４２０は、画像解析部２０２が静止画像４００から抽出した名刺画像４１０を基に生成したものであるが、ユーザ端末１００から正面画像４２０が送られてくる場合には、このユーザ端末１００から取得した正面画像４２０であっても良い。もちろん、名刺画像４１０を名刺管理データベース２０４に登録するようにしても良い。

また上述したように、名刺管理データベース２０４は、名刺管理サーバ２００と通信可能に接続される他のコンピュータ（不図示）に構築されるようにしても良い。
＝＝ユーザ端末の構成＝＝
次に、ユーザ端末１００の構成について図５及び図６を参照しながら説明する。
＜ハードウェア構成＞
ユーザ端末１００のハードウェア構成図を図５に示す。ユーザ端末１００は、ＣＰＵ１１０、メモリ１２０、通信装置１３０、記憶装置１４０、入力装置１５０、出力装置１６０、及び記録媒体読取装置１７０を備えて構成されるコンピュータである。

記憶装置１４０は、ユーザ端末１００によって実行されるユーザ端末制御プログラム７００や各種のデータを格納する。記憶装置１４０に記憶されているユーザ端末制御プログラム７００やデータがメモリ１２０に読み出されてＣＰＵ１１０によって実行されることにより、ユーザ端末１００の各種機能が実現される。ここで、記憶装置１４０は例えばハードディスクやＳＳＤ、フラッシュメモリ等の不揮発性の記憶装置である。

記録媒体読取装置１７０は、ＳＤカード等の記録媒体８００に記録されたユーザ端末制御プログラム７００やデータを読み取り、記憶装置１４０に格納する。

通信装置１３０は、ネットワーク３００を介して、名刺管理サーバ２００や不図示の他のコンピュータと各種データやユーザ端末制御プログラム７００の授受を行う。例えば他のコンピュータに上述したユーザ端末制御プログラム７００やデータを格納しておき、ユーザ端末１００がこのコンピュータからデータやユーザ端末制御プログラム７００をダウンロードするようにすることができる。

入力装置１５０は、ユーザによるコマンドやデータの入力を受け付ける各種ボタンやスイッチ、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサ、マイクなどの入力インタフェース、加速度センサ、温度センサ、カメラ１５１などである。

また出力装置１６０は、例えばディスプレイ１６１などの表示装置、スピーカ、バイブレータ、照明などの出力ユーザインタフェースである。
＜機能構成＞
図６に、ユーザ端末１００の機能ブロック図を示す。ユーザ端末１００は、画像取得部１０１、画像表示部１０２、画像送信部１０３、画像抽出部１０４、画像変形部１０５、及び読み取り結果受信部１０６を含んで構成される。これらの各機能は、ユーザ端末１００のハードウェアによって本実施形態に係るユーザ端末制御プログラム７００が実行されることにより実現される。

画像取得部１０１は、名刺を撮影して静止画像４００を取得する。画像取得部１０１は例えばカメラ１５１を用いて実現される。

この静止画像４００には、名刺だけでなく、名刺の背景や人物などのように名刺以外のものが写っていてもよい。また１つの静止画像４００内に複数枚の名刺が写っていても良い。

さらに静止画像４００内の名刺は、正面から撮影されたものだけでなく、斜め方向から撮影されたものであっても良い。この場合静止画像４００内で名刺はいびつに変形して写るが、後述する画像変形部１０５によって、名刺が正面から撮影された場合に得られるはずの画像（正面画像４２０）に整形される。

画像表示部１０２は、画像取得部１０１が取得した名刺の静止画像４００を表示する。画像表示部１０２は例えばタッチパネル型のディスプレイ１６１を用いて実現される。

静止画像４００がユーザ端末１００のディスプレイ１６１に表示されている様子を図７（Ａ）に示す。図７（Ａ）に示す例は、３枚の名刺が同時に撮影された場合の様子を示す。図７（Ａ）に示すように、本実施形態では、複数枚の名刺を同時に撮影する場合に、それぞれの名刺の向きが揃っていなくても良い。

なお、静止画像４００内に写されている名刺の部分の画像（名刺の輪郭で囲まれた部分の画像）を名刺画像４１０と記す。

図６に戻って、画像送信部１０３は、静止画像４００を名刺管理サーバ２００に送信する。そして上述したように、名刺管理サーバ２００は、静止画像４００を解析し、名刺に記載されている会社名や氏名、住所、電話番号等のテキストを読み取り、名刺情報６２０として出力する。また、画像送信部１０３は名刺管理サーバ２００に静止画像４００を送信するではなく、名刺画像４１０あるいは正面画像４２０を送信するようにしても良い。

画像抽出部１０４は、静止画像４００から名刺画像４１０を抽出する。画像抽出部１０４は、静止画像４００に対する各種の画像処理や画像解析を行うことで名刺が写っている部分を特定し、その部分を名刺画像４１０として抽出する。画像抽出部１０４が名刺画像４１０を抽出するために用いる画像処理や画像処理は周知の技術で良い。

画像変形部１０５は、名刺画像４１０を、名刺が正面から撮影された場合に得られる正面画像４２０に変形する。画像変形部１０５は、例えば名刺画像４１０の輪郭部分である４つの辺の傾きを元に、名刺が撮影された時のカメラ１５１の向きを求め、透視変換を行うことで、名刺画像４１０を正面画像４２０に変形する。

読み取り結果受信部１０６は、名刺管理サーバ２００から名刺情報６２０を受信する。

ここで、画像表示部１０２は、上述したように、画像取得部１０１が取得した名刺の静止画像４００を画面に表示するが、名刺の静止画像４００を表示した後、名刺管理サーバ２００から名刺情報６２０が送られてくるまでの間、以下に示すようなアニメーション表示を行っている。このような態様により、本実施形態に係るユーザ端末１００は、名刺管理サーバ２００から送られてくる名刺情報６２０の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすると共に、ユーザによる名刺の読み取り結果の確認を容易に行うことを可能としている。
＝＝アニメーション表示処理＝＝
次に、画像表示部１０２が上記アニメーション表示を行う際の処理の流れについて、図７〜図１８を参照しながら詳細に説明する。
＜処理の概要＞
図７（Ａ）〜図７（Ｃ）は、アニメーション表示の大まかな流れを示す図である。

図７（Ａ）は、机上に置かれた３枚の名刺がカメラ１５１の視野に収められた状態でユーザがシャッターを押下した直後の様子を表し、ユーザ端末１００のディスプレイ１６１に静止画像４００が表示されている様子を示す。図７（Ａ）に示されているように、画像表示部１０２は、静止画像４００に写っている３枚の名刺に重ねるように、所定形状（本実施形態では円形）の枠線である名刺マーカ５００を表示する。

このような態様によって、ユーザは、撮影した名刺がユーザ端末１００によって正しく認識されていることを容易に知ることができる。

なお、名刺マーカ５００は、画像抽出部１０４による名刺画像４１０の抽出結果に基づいて画像表示部１０２によって表示されている。そして画像抽出部１０４は、ユーザがシャッターを押下する前から名刺画像４１０の抽出処理を行っている。そのため名刺マーカ５００は、ユーザがシャッターを押下する前から、ディスプレイ１６１内に写っている名刺の位置に表示されており、しかも、ユーザがカメラ１５１の視野を動かしてディスプレイ１６１内の名刺の位置を変えると、名刺マーカ５００の位置も名刺の位置に合わせて移動する。

このような態様によって、ユーザは、視野内の名刺がユーザ端末１００によって正しく認識されていることを確認してからシャッターを押すことができるため、撮影の失敗を防ぐことが可能となる。

続いて、図７（Ｂ）は、画像表示部１０２がアニメーション表示を行った結果、静止画像４００の中の名刺画像４１０の部分が正面画像４２０に変化した様子を示す。上述したように正面画像４２０は、画像変形部１０５によって名刺画像４１０から生成される画像であり、名刺が正面から撮影された場合に得られるはずの画像である。

画像表示部１０２は、正面画像４２０を表示する際には、静止画像４００の中の名刺画像４１０の部分が次第に正面画像４２０に変化するように表示する。

画像表示部１０２は、名刺画像４１０を撮影した際のカメラ１５１の向きが徐々に名刺紙面に垂直に近づくような透視変換を段階的に行い、これらの透視変換によりそれぞれ得られる複数枚の正面画像４２０を元の名刺画像４１０の位置に段階的に表示することにより、名刺画像４１０が正面画像４２０に次第に変化するように表示する。

またこのとき画像表示部１０２は、正面画像４２０の四辺が徐々にユーザ端末１００のディスプレイ１６１の四辺の向きに平行になるように正面画像４２０の向きを回転させつつ、さらに正面画像４２０の大きさを徐々に所定倍に（本実施形態では１．１倍）拡大させるようにする。このようにして正面画像４２０が表示されている様子が図７（Ｂ）に示されている。

このように、ユーザがシャッターを押して静止画像４００を得た後にこの静止画像４００が名刺管理サーバ２００に送信されて画像解析が行われている間に、静止画像４００内の名刺画像４１０の部分が正面画像４２０に次第に変化するようなアニメーション表示を行うことによって、ユーザに対して名刺の画像認識処理が正常に進行中であることを直感的に示すことができる。

また正面画像４２０の大きさを元の名刺画像４１０の大きさに対して拡大するように表示することで、元の名刺画像４１０がディスプレイ１６１の向きに対して傾いている場合であっても、元の名刺画像４１０が正面画像４２０からはみ出す部分を少なくできるため、ユーザは名刺画像４１０が正面画像４２０に変化するように違和感なく認識できる。

続いて図７（Ｃ）は、画像表示部１０２が図７（Ｂ）に示す画面表示を行った後、正面画像４２０を名刺情報表示欄６１０に移動させ、その後正面画像４２０を消去して、名刺管理サーバ２００から受信した名刺情報６２０を名刺情報表示欄６１０に表示している様子を示す図である。

名刺情報表示欄６１０は、名刺管理サーバ２００から送信されてくる名刺情報６２０を表示するために画像表示部１０２によって設定される表示欄であり、静止画像４００内に写っている名刺の枚数に応じた数が設けられる。なお名刺情報表示欄６１０に表示される名刺情報６２０のリストをリストビュー６００とも記す。図７（Ｃ）には、３枚の名刺から読み取った３つの名刺情報６２０がリストビュー６００に表示されている様子が示されている。

このような態様によって、名刺情報表示欄６１０に表示されている各名刺情報６２０が、元々静止画像４００中のどこに表示されていた名刺から読み取った情報であるのかをユーザに視覚的に示すことができる。これにより、ユーザは、複数枚の名刺を一度に撮影した場合であっても、名刺の読み取り結果の確認を容易に行うことが可能となる。
＜詳細な処理の流れ＞
次に、本実施形態に係るユーザ端末１００及び名刺管理サーバ２００による名刺の読み取り処理の流れを、図８、図９のフローチャートに沿って説明する。また合わせて、図１０〜図１５を参照しながら、図７（Ａ）〜図７（Ｃ）には示されていない、より詳細なアニメーション表示についても説明する。

まずユーザ端末１００は、本実施形態に係る名刺読み取り処理を実行するためのアプリ（ユーザ端末制御プログラム７００）を起動する（S1000）。

そうするとユーザ端末１００は、カメラ１５１を起動し、外界の様子を示す静止画像４００を所定のフレームレートで取得すると共に、ディスプレイ１６１に表示する。また同時にユーザ端末１００は各静止画像４００に対する画像解析を行うことにより、名刺画像４１０を識別する（S1010）。
ユーザ端末１００は、静止画像４００内に名刺画像４１０を検出した場合、その名刺画像４１０に重なるように、円形の名刺マーカ５００を描画する（S1020）。また一枚の静止画像４００から複数の名刺画像４１０が検出された場合には、ユーザ端末１００はそれぞれの名刺画像４１０に名刺マーカ５００を描画する。名刺画像４１０に重なるように名刺マーカ５００が表示されている様子を図１０に示す。

このような状態でユーザによってシャッターが押されると（S1030）、ユーザ端末１００は、静止画像４００を名刺管理サーバ２００に送信する（S1040）。

そして名刺管理サーバ２００は、ユーザ端末１００から送られてきた静止画像４００を解析し、名刺に記載されているテキスト情報の読み取りを行う（S1060）。

一方でユーザ端末１００はアニメーション表示処理を開始する（S1070）。ユーザ端末１００は、図９に示すようにしてアニメーション表示処理を行う。

まずユーザ端末１００は、静止画像４００内の名刺画像４１０を徐々に塗りつぶすように、名刺画像４１０に重ねた名刺マーカ５００を徐々に不透明に表示すると共に、名刺マーカ５００の外形を徐々に名刺画像４１０の外形に近づけるように変形する（S2000）。

具体的には、ユーザ端末１００は、図１１（Ａ）（Ｂ）に示すように、名刺マーカ５００の内部が徐々に濃くなるように着色すると共に、名刺マーカ５００の外形を円形から名刺の輪郭の形状に近づけていく。

その後、ユーザ端末１００は、図１２（Ａ）〜図１２（Ｃ）に示すように、名刺マーカ５００の内部を徐々に透明に変化させると共に、正面画像４２０を徐々に表示する。そして同時にユーザ端末１００は、正面画像４２０の四辺がユーザ端末１００のディスプレイ１６１の四辺に沿って平行になるように、正面画像４２０を回転させる（S2010）。

このように、ユーザがシャッターを押して静止画像４００を得た後にこの静止画像４００が名刺管理サーバ２００に送信されて画像解析が行われている間に、静止画像４００内の名刺画像４１０の部分が正面画像４２０に次第に変化するようなアニメーション表示を行うことによって、ユーザに対して名刺の画像認識処理が正常に進行中であることを直感的に示すことができる。

なお、上述した例では、ユーザ端末１００が静止画像４００内の名刺画像４１０を正面画像４２０に変化させる際に（S2000及びS2010）、一旦、名刺マーカ５００の内部を不透明に塗りつぶしつつ、名刺マーカ５００の外形を名刺画像４１０の外形に近づくように変形しているが、このように、静止画像４００内の名刺画像４１０が、一旦、所定の表示態様に次第に変化してから正面画像４２０に変化するようなアニメーションを表示することにより、ユーザの注意をアニメーションにより強く惹きつけることができるため、ユーザにより一層時間の経過を感じさせにくくすることが可能となる。

その後、ユーザ端末１００は、図１３（Ａ）〜図１３（Ｂ）に示すように、正面画像４２０を名刺情報表示欄６１０に移動させる。そしてその際に、ユーザ端末１００は、正面画像４２０が名刺情報表示欄６１０に近づくにつれて、正面画像４２０の外形が名刺情報表示欄６１０の外形に近づくように、正面画像４２０を変形させる（S2020）。

このような態様によって、ユーザに対して、名刺の画像イメージが名刺情報表示欄６１０に集約されたような印象を与えることができる。これにより、後に名刺情報表示欄６１０に名刺情報６２０が表示されて、ユーザが名刺情報６２０の内容を確認しようとした時に、ユーザは、名刺情報６２０の記載内容を、名刺の画像イメージの位置と視覚的に結び付けた状態で確認することができる。

そしてユーザ端末１００は、図１３（Ｂ）に示すように、正面画像４２０が名刺情報表示欄６１０に到着すると、正面画像４２０を消去すると共に、名刺情報表示欄６１０に所定のダミー画像４３０を所定時間の間、表示する（S2030）。ダミー画像４３０は、図１４に示すように、本実施形態では、不透明の所定色（例えば白色）の背景に、他の色（例えばグレー）で着色されたぼかし模様４３１を表示した画面である。このようなダミー画像４３０を名刺画像表示欄６１０に所定時間の間表示することによって、名刺の読み取り処理がもうじき完了する状態にあることをユーザに示すことが可能となるため、ユーザに対して待ち時間を感じにくくすることが可能となる。

その後ユーザ端末１００は、ダミー画像４３０を徐々に透明に表示すると共に、名刺管理サーバ２００から送られてきた名刺情報６２０を名刺情報表示欄６１０に表示する（S2040）。名刺情報表示欄６１０に表示される名刺情報６２０の例を図１５に示す。

このようにしてユーザ端末１００は、名刺情報表示欄６２０に名刺情報６２０を表示する際に、ダミー画像４３０が徐々に名刺情報６２０に切り替わるように表示する。このような態様によって、名刺情報６２０が表示されるタイミングを不明確にでき、これにより、ユーザに対して、名刺情報６２０がいつのまにか名刺情報表示欄５１０に表示されたかのような印象を与えることができるため、ユーザに対してさらに時間の経過を感じさせにくくすることが可能となる。

以上のようなアニメーション表示をユーザ端末１００が行うことによって、ユーザに対して、名刺を撮影してから名刺の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすることができると共に、名刺の読み取り結果の確認を容易に行うことが可能となる。

なお、ユーザ端末１００が名刺を撮影してから名刺の読み取り結果がディスプレイ１６１に表示されるまでの時間は、通信回線がよほど混雑していない限り、数秒程度しか掛からない。上述したアニメーション表示は、この数秒間に行われる。そのためユーザにとっては、シャッターを押した直後に始まるアニメーションの変化に気を取られている一瞬のうちに、いつの間にか名刺の読み取り結果が表示されるように感じられる。
＜他の実施形態＞
次に、他の実施形態として、ユーザが同時に複数枚の名刺を撮影した場合のアニメーション表示処理の流れを、図１６〜図１８を参照しながら説明する。なお、図７〜図１５と内容が重複する部分については、説明を適宜省略する。

まずユーザ端末１００は、静止画像４００内に名刺画像４１０が複数枚検出されたか否かを判定する（S3000）。検出された名刺画像４１０が１枚である場合は、ユーザ端末１００は、図９に示したS2000〜S2040の処理を実行する（S3020）。

一方、複数枚の名刺画像４１０が検出された場合は、ユーザ端末１００は、それらの名刺画像４１０の中から所定の１枚を選び、図９に示したS2000及びS2010の処理を実行する。つまり、選択した名刺画像４１０の部分が次第に正面画像４２０に変化するようにアニメーション表示する（S3010）。

例えば、本実施形態に係るユーザ端末１００は、図１７の（１）（２）（３）に示すように、ディスプレイ１６１の上端に近い名刺画像４１０から先に選ばれるような順番で名刺画像４１０を選択する。ここではユーザ端末１００は、図１７の名刺画像１（４１０）を始めに選択して正面画像４２０に変化するようなアニメーション表示を行う。

そしてユーザ端末１００は、所定時間待機した後（S3030）、残りの名刺画像４１０に対しても同様に、順次、正面画像４２０に変化するようなアニメーション表示を行う（S3010、S3030、S3040）。

全ての名刺画像４１０が正面画像４２０に変化したら（S3050）、ユーザ端末１００は、これらの正面画像４２０に対して、図９のS2020〜S2040の処理を行う（S3060）。すなわち、図１８に示すように、ユーザ端末１００は、３枚の正面画像４２０をそれぞれの名刺情報表示欄６１０に移動させた後にダミー画像４３０を表示し（図１８（Ａ）〜（Ｂ））、その後ダミー画像４３０を消去した後に名刺管理サーバ２００から送られてきた名刺情報６２０を表示する（図１８（Ｂ）〜（Ｃ））。

このように、静止画像４００内に複数枚の名刺画像４１０が含まれている場合に、これら複数枚の名刺画像４１０が１枚ずつ順番に正面画像４２０に変化するようなアニメーション表示を行うようにすることで、ダミー画像４３０が消去されるまでの全体のアニメーション表示に要する時間を長くすることができるため、ユーザ端末１００が名刺管理サーバ２００から名刺情報６２０を受信するタイミングが遅くなっても、ユーザに対して待ち時間が伸びたような感じを与えないようにすることができる。

しかもこの場合であっても、図１８の（Ａ）〜（Ｃ）に示した正面画像４２０を名刺情報表示欄６１０に移動させるアニメーションは、全ての正面画像４２０に対して同時並列に行うようにしているため、ユーザに対して、どの名刺情報６２０がどの名刺に対応しているのかを混乱させるようなこともない。

次に、さらに別の実施形態について説明する。上記実施形態では、ユーザ端末１００は名刺管理サーバ２００と接続されており、名刺管理サーバ２００が名刺情報６２０の抽出を行っていた。しかしながら、ユーザ端末１００が自ら名刺情報６２０の抽出処理を行うようにすることも可能である。

この場合、ユーザ端末１００は、画像取得部１０１と、画像表示部１０２と、画像抽出部１０４と、画像変形部１０５と、画像解析部２０２を備え、情報処理装置の一形態として機能する。

そしてユーザ端末１００によって実行されるユーザ端末制御プログラム７００が、本実施形態に係る上記各機能をコンピュータに実現させるためのプログラムとして機能する。

そしてユーザ端末１００は、名刺を撮影すると、上述したアニメーション表示を開始すると共に、自らその静止画像４００を解析して名刺情報６２０を読み取り、読み取り結果をディスプレイ１６１に表示する。

このような態様によっても、名刺を撮影してから名刺の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすることができると共に、名刺の読み取り結果の確認を容易に行うことが可能となる。

以上、本実施形態について詳細に説明したが、本実施形態によれば、ユーザに対して、名刺を撮影してから名刺の読み取り結果が表示されるまでの待ち時間を長く感じさせにくくすることができると共に、名刺の読み取り結果の確認を容易に行うことが可能となる。

なお上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。

例えば、上記実施形態では、名刺の読み取り処理を行う場合を例に説明したが、本発明は名刺以外にも広く書類の読み取り処理に適用することが可能である。

また上記実施形態では、正面画像４２０が名刺情報表示欄６１０に到着すると正面画像４２０が消去される場合について説明したが、正面画像４２０は消去されなくても良い。この場合は、ユーザ端末１００は、例えば名刺情報６２０を名刺情報表示欄６２０に表示する際に、正面画像４２０の文字の部分を名刺情報６２０に置き換えるように表示する。

また上述したように、ユーザ端末１００及び名刺管理サーバ２００を備える名刺管理システム１０００によって、上述した本実施形態に係る情報処理装置が実現されても良いし、ユーザ端末１００単独で情報処理装置が実現されても良いが、名刺管理サーバ２００単独でこの情報処理装置が実現されても良い。

この場合、名刺管理サーバ２００は、画像取得部１０１と、画像表示部１０２と、画像抽出部１０４と、画像変形部１０５と、画像解析部２０２の各機能を備え、情報処理装置の一形態として機能する。そして名刺管理サーバ２００によって実行される名刺管理サーバ制御プログラム７１０が、本実施形態に係る上記各機能をコンピュータに実現させるためのプログラムとして機能する。

また上記実施形態では、１台のユーザ端末１００は１台のコンピュータにより実現されるとしたが、複数台のコンピュータにより実現されても良い。同様に、１台の名刺管理サーバ２００が複数台のコンピュータにより実現されても良い。

さらに、上記実施形態では、ユーザ端末１００がユーザ端末制御プログラム７００を実行し、名刺管理サーバ２００が名刺管理サーバ制御プログラム７１０を実行する場合について説明したが、この場合は、ユーザ端末１００と名刺管理サーバ２００とが協働することにより名刺管理システム１０００が全体として１台のコンピュータとして機能し、ユーザ端末制御プログラム７００及び名刺管理サーバ制御プログラム７１０が、この１台のコンピュータとして機能する名刺管理システム１０００上で実行される一つのプログラムとして機能する。

１００ ユーザ端末
１０１ 画像取得部
１０２ 画像表示部
１０３ 画像送信部
１０４ 画像抽出部
１０５ 画像変形部
１０６ 読み取り結果受信部
１１０ ＣＰＵ
１２０ メモリ
１３０ 通信装置
１４０ 記憶装置
１５０ 入力装置
１５１ カメラ
１６０ 出力装置
１６１ ディスプレイ
１７０ 記録媒体読取装置
２００ 名刺管理サーバ
２０１ 画像受信部
２０２ 画像解析部
２０３ 読み取り結果送信部
２０４ 名刺管理データベース
２１０ ＣＰＵ
２２０ メモリ
２３０ 通信装置
２４０ 記憶装置
２５０ 入力装置
２６０ 出力装置
２７０ 記録媒体読取装置
３００ ネットワーク
４００ 静止画像
４１０ 名刺画像（書類画像）
４２０ 正面画像
４３０ ダミー画像
４３１ ぼかし模様
５００ 名刺マーカ
６００ リストビュー
６１０ 名刺情報表示欄
６２０ 名刺情報（書類情報）
７００ ユーザ端末制御プログラム
７１０ 名刺管理サーバ制御プログラム
８００ 記録媒体
１０００ 名刺管理システム

Claims (10)

1. 書類に記載されたテキストの読み取り結果を表示する情報処理装置であって、
   前記書類を撮影して前記書類の静止画像を取得する画像取得部と、
   前記静止画像を表示する画像表示部と、
   前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出する画像抽出部と、
   前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形する画像変形部と、
   を備え、
   前記画像表示部は、前記静止画像を表示した後、前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させるように表示し、前記正面画像を前記テキストの読み取り結果を表示するための表示欄に移動させ、前記読み取り結果を前記表示欄に表示する
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記画像表示部は、前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させる際に、前記書類画像を所定の表示態様に次第に変化させた後に、前記所定の表示態様を前記正面画像に次第に変化させる
   ことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記画像表示部は、所定形状の枠線を前記書類画像に重ねて表示した後に、前記枠線の形状を徐々に前記書類の輪郭に近づけるように変形させつつ前記枠線の内部が徐々に濃くなるように着色することにより、前記静止画像の中の前記書類画像の部分を次第に前記所定の表示態様に変化させる
   ことを特徴とする情報処理装置。
4. 請求項１〜３のいずれかに記載の情報処理装置であって、
   前記画像表示部は、前記書類画像を前記正面画像に変化させる際に、前記正面画像の四辺が前記画像表示部の四辺に沿うように前記正面画像の向きを回転させつつ、前記正面画像の大きさを拡大させる
   ことを特徴とする情報処理装置。
5. 請求項１〜４に記載の情報処理装置であって、
   前記画像表示部は、前記正面画像を前記表示欄に移動させる際に、前記正面画像が前記表示欄に近づくにつれて前記正面画像の外形が前記表示欄の外形に近づくように、前記正面画像を変形させる
   ことを特徴とする情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   前記画像表示部は、前記正面画像を前記表示欄に移動させた後、前記表示欄の外形に対応する所定のダミー画像を前記表示欄に所定時間表示した後に、前記読み取り結果を表示する
   ことを特徴とする情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記画像表示部は、前記表示欄に前記読み取り結果を表示する際に、前記ダミー画像が徐々に前記読み取り結果に切り替わるように表示する
   ことを特徴とする情報処理装置。
8. 請求項１〜７のいずれかに記載の情報処理装置であって、
   前記画像表示部は、前記静止画像の中に複数の書類画像が抽出された場合には、それぞれの前記書類画像を、所定時間ずつずらしながら、順次、対応する正面画像に変化させた後、前記各正面画像を、前記正面画像毎にそれぞれ設けられる複数の前記表示欄にそれぞれ移動させ、その後前記各表示欄に、前記各書類画像からそれぞれ抽出されたテキストの読み取り結果を表示する
   ことを特徴とする情報処理装置。
9. 書類に記載されたテキストの読み取り結果を表示する情報処理装置の制御方法であって、
   前記情報処理装置は、前記書類を撮影して前記書類の静止画像を取得し、
   前記情報処理装置は、前記静止画像を表示装置に表示し、
   前記情報処理装置は、前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出し、
   前記情報処理装置は、前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形し、
   前記情報処理装置は、前記表示装置に表示されている前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させた後に、前記正面画像を所定の表示欄に移動させ、前記表示欄に前記テキストの読み取り結果を表示する
   ことを特徴とする情報処理装置の制御方法。
10. 書類に記載されたテキストの読み取り結果を表示するためのプログラムであって、コンピュータに、
    前記書類を撮影して前記書類の静止画像を取得する手順と、
    前記静止画像を表示装置に表示する手順と、
    前記静止画像から前記書類の輪郭で囲まれた部分である書類画像を抽出する手順と、
    前記書類画像を、前記書類が正面から撮影された場合に得られる正面画像に変形する手順と、
    前記表示装置に表示されている前記静止画像の中の前記書類画像の部分を前記正面画像に次第に変化させた後に、前記正面画像を所定の表示欄に移動させ、前記表示欄に前記テキストの読み取り結果を表示する手順と、
    を実行させるためのプログラム。