はじめに、本発明の課題と効果の詳細について説明する。
例えば、撮影した画像を左右に分割することで、被写体となる調査票の見開き2ページが撮影された画像を、ページごとの画像とすることができると考えられる。画像の分割は、例えば既存の画像分割用の専用アプリケーションで対象の画像を選択し、分割処理を実行することで実現できる。
一方、撮影した全ての画像について分割が必要とは限らない。例えば、表紙を撮影する場合は、最初から調査票の画像は表紙1ページ分しかないため分割は不要である。また、見開き2ページの片面(片側のページ)が白紙の場合、白紙ではないもう一方のページのみを撮影することが考えられる。この場合も、撮影されている調査票のページは最初から1ページ分のため画像の分割は不要である。
特に撮影した画像が多い場合等、撮影した画像の中から複数枚に分割したい画像を探し出すのは手間である。
よって、例えば撮影を実行する端末(本発明では携帯端末)において、撮影した画像をそのまま1枚の画像として記憶するモードと、例えば左右に分割して2枚の画像として記憶するモードを設け、撮影時に設定されていたモードが撮影した画像をそのまま1枚の画像として記憶するモードであれば、撮影した画像を1枚の画像として記憶し、撮影時に設定されていたモードが画像を左右に分割して2枚の画像として記憶するモードであれば画像を分割して記憶することが考えられる。
しかし、これらのモードを手動で切り替える(変更する)のは手間である。
また、手動での切り替えの場合、モードの切り替えを忘れてしまうことが考えられる。モードの切り替えを忘れて撮影してしまった場合、本当は分割したかった画像が1枚の画像として記憶されてしまったり、反対に、本当は1枚の画像として記憶したかった画像が分割されてしまったりするという問題が生じる可能性がある。
これに対し本発明においては、ユーザの、被写体をできるだけはっきりと、又は/及び、大きく撮影しようとする習慣を想定・加味した仕組みを提供する。
例えば見開き2ページの画像、つまり横長の被写体の画像を撮影する際は、携帯端末を横向きに構えて撮影し、例えば表紙等1ページの画像、つまり縦長の被写体の画像を撮影する際は、携帯端末を縦向きに構えて撮影すると想定される。
本発明においては、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。
つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。
また、一般的には、撮影した画像は永続記憶領域であるハードディスク等の外部メモリに自動で記憶される。撮影ミスをした場合は、同じ被写体を再撮影することがあるが、本発発明において一例として挙げている調査票の画像のように後に何かしらの業務に用いる画像の場合、同じページの画像の重複は、後の報告業務における業務進行の妨げ・遅れにつながることがある。
例えば同じ被写体(調査票のページ)の画像を重複して送信対象として選択してしまい、報告先へ送信してしまうというミスの原因となる可能性がある。
そのため、撮影した画像を自動で外部メモリに記憶するのではなく、撮影後に撮影した画像をプレビュー表示する等してユーザに確認させ、報告業務において報告先に送信する画像として外部メモリに記憶するか確認・選択させ、送信対象として適切な画像を記憶装置に記憶させることが望ましい。
しかし、一般に提供されている撮影画像のプレビュー表示機能では撮影直後に撮影した画像をそのまま(1枚だけ)表示画面に表示するため、画像を分割するモードで撮影された画像が本当に複数枚の画像として分割されて記憶されたのか確認することができない。
また、一般に提供されている撮影画像のプレビュー表示機能を使って、分割した画像のうち1枚(例えば左側のページの画像)を画面に表示した場合、ユーザは右側のページの画像を撮影されているか確認することができず、再撮影を行ってしまうことが考えられる。
つまり、撮影された画像が適切な画像の枚数となっているか確認することができない。
本発明においては、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。
また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。
これにより、ユーザは画面に表示された画像を、その後利用する画像として記憶すべきか否かを容易に判断できるようになる。
つまり、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。
以下、図面を参照して、本発明の実施の形態の一例について説明する。
<第1の実施形態>
まず図1を参照して、本発明の第1の実施形態における、情報処理システムの構成の一例について説明する。
本発明の情報処理システムは、携帯端末100と、サーバ200が、ネットワーク101(例えばWAN=ワイドエリアネットワーク)を介して通信可能に接続され構成されている。
携帯端末100は、調査票をカメラで撮影して記憶し、ネットワーク101を介してサーバ200に送信する情報処理装置である。また、携帯端末100はタッチパネルディスプレイを備える。
サーバ200は、携帯端末100から送信された複数の画像を受信し、1つのPDFファイルに変換して保存する。以上が図1の説明である。
次に図2を参照して、本発明の第1の実施形態における各種装置のハードウェア構成の一例について説明する。図2は、携帯端末100、サーバ200のハードウェア構成の一例を示す図である。
図2に示すように、情報処理装置では、システムバス204を介してCPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、入力コントローラ205、ビデオコントローラ206、メモリコントローラ207、および通信I/Fコントローラ208が接続される。
CPU201は、システムバス204に接続される各デバイスやコントローラを統括的に制御する。
ROM202あるいは外部メモリ211は、CPU201が実行する制御プログラムであるBIOS(Basic Input/Output System)やOS(Operating System)や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ(データテーブルを含む)を保持している。
RAM203は、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードし、ロードしたプログラムを実行することで各種動作を実現する。
入力コントローラ205は、キーボードや不図示のマウス等のポインティングデバイス、カメラ等の入力装置209からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下(指等でタッチ)することにより、各種の指示を行うことができることとする。
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
ビデオコントローラ206は、ディスプレイ装置210などの外部出力装置への表示を制御する。ディスプレイ装置は本体と一体になったノート型パソコンのディスプレイ装置も含まれるものとする。
なお、外部出力装置はディスプレイ装置に限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。例えば携帯端末100は、タッチパネルディスプレイ装置を備える。
なおビデオコントローラ206は、表示制御を行うためのビデオメモリ(VRAM)を制御することが可能で、ビデオメモリ領域としてRAM203の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
メモリコントローラ207は、外部メモリ211へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置(ハードディスク)、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等を利用可能である。
通信I/Fコントローラ208は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信やISDNなどの電話回線、および携帯電話の3G回線を用いた通信が可能である。
尚、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ上での表示を可能としている。また、CPU201は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。
212は加速度センサであり、例えば携帯端末100の加速度を検出する。尚、加速度センサが外部装置として携帯端末100等の装置に取り付けられている場合、例えば、加速度センサ212は入力コントローラと205通信することで検出した加速度の情報を携帯端末100に伝達する
213は撮影装置であり、被写体の画像を撮影する。尚、撮影装置が外部装置として携帯端末100等の装置に取り付けられている場合、例えば、撮影装置213は入力コントローラ205と通信することで検出した撮影した画像を携帯端末100に出力する。以上が図2の説明である。
次に図3を参照して、本発明の第1の実施形態における、各種装置の機能構成の一例について説明する。
携帯端末100には、311〜317に示す機能を備える、画像記憶アプリケーションがインストールされている。
撮影部311は、被写体を撮影することにより撮影画像を生成して取得する機能部である。向き判定部312は、携帯端末100の向き(画面の向き)を判定数判定して特定する機能部である。
モード設定部313は、向き判定部312により判定され、特定された向きに応じて、撮影された被写体の画像を1枚の画像として記憶・プレビュー表示するモードと、複数枚の画像として記憶・プレビュー表示するモードとを切り替えて設定する機能部である。
画面表示部314は、撮影画面やプレビュー表示画面を表示する機能部である。画像処理部315は、撮影した画像の形状補正や分割処理による分割後の画像の生成を行う機能部である。
記憶部316は、撮影された画像、補正後の画像を一時記憶領域に記憶したり、永続記憶領域に記憶したりする機能部である(記憶制御手段に該当)。送信部317は、送信対象とされた画像を送信先であるサーバ200に送信する機能部である。
受信部321は、送信部317により送信された画像を受信する機能部である。文書ファイル生成部322は、受信した複数の画像ファイルを1つの文書にまとめる処理を行う機能部である。具体的には、1回の調査票の報告として送信されてきた複数の画像を、複数ページのPDF帳票(1つの文書ファイル)に変換する。
記憶部323は、受信した画像を記憶し、前述した文書ファイルを調査結果のデータとして記憶する機能部である。以上が図3の説明である。
次に図4を参照して、本発明の第1の実施形態における、情報処理装置の向きに応じたモード設定処理の流れについて説明する。図4の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
ステップS401で、携帯端末100は、携帯端末100に記憶されている撮影アプリケーションをユーザ操作に応じて起動し、撮影画面を表示する。
具体的には、画像記憶アプリケーションの起動後に表示される不図示のメニュー画面から、撮影画面の表示操作を受け付けたことに応じて撮影画面を表示する。また、画像記憶アプリケーションを終了するか、撮影画面の終了操作を受け付けることで、撮影画面の表示を終了する。
撮影画面の一例を図8の800、図9の900に示す。800及び900の詳細については後述する。
以降、画像記憶アプリケーションは、ステップS403〜S405の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、画面の向き(携帯端末100の向き)を取得する都度実行する。
携帯端末100の向きの情報は、携帯端末100の向きが変わる都度取得される。具体機には、画像記憶アプリケーションがOSに対して、携帯端末100の向きが変化した場合には変化後(変更後)の向きを画像記憶アプリケーションに通知するよう指示・要求する。
当該指示を受け付けたOSは、自機の向きが変化したと判定される都度、変化後の向きの情報を画像記憶アプリケーションに送信する。これを携帯端末100が受信してステップS402で取得する。
OSは図12の1200に示すような加速度の値から自機がどの向きを向いているかを特定する機能を有している。
1210は、加速度と携帯端末100の向きの関係の一例である。X,Y,Zの値は加速度センサにより計測され取得した加速度の値を示す。OSは、例えば現在加速度センサによって計測されて取得されている値(X,Y,Z)と最も近い値の状態を現在の端末の向き(状態)と判断する。
実際の携帯端末100の向き(状態)と加速度の値の関係の一例を図13に示す。
OSは、画像記憶アプリケーションからの指示に従って、携帯端末100の画面の向きが変化する都度、変化後の向きを示す値を送信する。向きの値は図7の710に示す。具体的には、画面の向きが図12の1210の縦状態に最も近い状態の場合に「Portrait」という値を返す。画面の向きが逆さ状態に最も近い状態の場合に「Upsidedown」という値を返す。画面の向きが左横状態に最も近い状態の場合に「Landscapeleft」という値を返す。画面の向きが右横状態に最も近い状態の場合に「Landscaperight」という値を返す。画像記憶アプリケーションは、OSから送信された値を取得する。
ステップS403で、画像記憶アプリケーションは、取得した値に基づいて、画面が縦向きかと横向きか(縦長か横長か)を判定する。
具体的には、OSから取得した値が「Portrait」又は「Upsidedown」の場合に、画面が縦向きであると判定する。また、取得した値が「Landscapeleft」又は「Landscaperight」の場合に、画面が横向きであると判定する。
画面が縦向きの場合、処理をステップS404に移行し、撮影モードを「A4モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定700(図7)の値を、A4モードに設定変更する。モードの種類は図7に示すように「A4モード」と「A3モード」の2つがある。
本実施形態の説明におけるA4モードとは、撮影した画像をそのままRAM203に記憶し、プレビュー表示するモードである。
画面が横向きの場合、処理をステップS405に移行し、撮影モードを「A3モード」に設定する。具体的には、画像記憶アプリケーションにおいて現在有効な設定となっているモード設定700(図7)の値を、A3モードに設定変更する。
本実施形態の説明におけるA3モードとは、撮影した画像をRAM203に記憶した後、左右に分割して複数枚の画像として再記憶し、複数枚の画像を1画面でプレビュー表示するモードである。以上が図4の説明である。
次に図5を参照して、本発明の第1の実施形態における、モードに応じたガイド画像の表示処理の流れについて説明する。図5の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
画像記憶アプリケーションは、ステップS501からステップS505の処理を、画像記憶アプリケーションの撮影画面が表示されてから、撮影画面の表示が終了するまでの間、撮影モードが変更される都度(画面の向きを取得する都度)実行する。
ステップS501で、画像記憶アプリケーションは、図4のステップS404またはS405で設定、変更されたモード設定700を参照する。
ステップS502で、現在設定中のモードがA4モードかA3モードか判定する。A4モードが設定されている場合は処理をステップS505に移行し、A3モードが設定されている場合は、処理をステップS503に移行する。
ステップS505で、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きなA4用紙の縦横比(縦:横=√2:1)の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にA4縦の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する(ライブビューに重畳表示する)。
ライブビュー表示の機能は、一般的にコンパクトデジタルカメラやスマートフォン等に搭載されている機能である。具体的には、ディスプレイ装置に対して、例えば自機の備える撮影装置(カメラ/撮像装置)の撮影素子からの出力を、映像としてリアルタイムに映し出す機能である。
A4モードにおける撮影画面の一例を図8の800に示す。805はライブビューの表示領域である。804はシャッターボタンである。
801は、被写体である調査票である。802は、携帯端末100において現在A4モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン802は、現在設定されているモードがA3モードになれば、A3モードを示す表示に切り替えて表示する(図9のアイコン902)。
803はガイド枠である。ガイド枠803の画像は予め携帯端末100の外部メモリ211に記憶されている。例えば図7のガイド画像720における「guide_frame.jpg」がガイド枠803の画像である。
ステップS503では、画像記憶アプリケーションは、撮影画面のライブビューの表示領域に対し、ライブビューの表示領域内に配置できる最も大きな横向きA3用紙の縦横比(縦:横=1:√2)の矩形サイズを算出し、ライブビューの表示領域内の配置位置を決定して、仮に当該位置にA3横の矩形を配置した場合の四隅の位置を特定して、特定された四隅の位置にガイド枠を表示する(ライブビューに重畳表示する)。ガイド枠は、例えばガイド枠903である。
さらに、ステップS504で、ライブビューの表示領域の中央に、撮影後のA3見開きの補正画像を左右に分割する基準となるガイド線(区切り線)を重畳表示する。具体的には図9の900に示すように、ガイド線906を表示する。
A4の冊子を開いた際の(A3見開きの)ノドの部分を当該ガイド線に合わせて調査票を撮影することで、適切に左右のページを分割できる画像を撮影することができる。以上が図5の説明である。
A3モードにおける撮影画面の一例を図9の900に示す。905はライブビューの表示領域である。904はシャッターボタンである。
901Lは、被写体である調査票のA3見開きの左側のページである。901Rは、被写体である調査票のA3見開きの右側のページである。
902は、携帯端末100において現在A3モードが設定されていることが識別可能なようにユーザに通知するためのアイコンである。アイコン902は、現在設定されているモードがA4モードになれば、A4モードを示す表示に切り替えて表示する(図8のアイコン802)。
また、A3モードのアイコン902の押下を受け付けた場合は、携帯端末100の向きに関わらず、設定中のモードをA4モードに切り替える。
903はガイド枠である。ガイド枠903の画像は予め携帯端末100の外部メモリ211に記憶されている。例えば図7のガイド画像720における「guide_frame.jpg」であり、ガイド枠803の画像と同じである。
906はガイド線である。ガイド線906の画像は予め携帯端末100の外部メモリ211に記憶されている。例えば図7のガイド画像720における「guide_line.jpg」がガイド線906の画像である。
次に図6を参照して、本発明の第1の実施形態における、モードに応じた撮影画像の表示及び記憶処理の流れについて説明する。図6の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。
ステップS601で、画像記憶アプリケーションは撮影操作を受け付ける。例えばシャッターボタンの押下操作を受ける。撮影操作を受け付けると、ステップS602で撮影を実行する。具体的には、画像記憶アプリケーションが、携帯端末100が備える撮影装置に撮影実行を指示し、撮影装置が撮影を実行する。
ステップS603で、画像記憶アプリケーションは撮影装置から撮影された画像(撮影画像)を取得すると、一時記憶領域に保存する。
具体的には、RAM203の上に撮影画像の一時記憶テーブルを生成し、当該テーブルに記憶する。例えば、ステップS603で画像を記憶した一時記憶テーブルの一例を図7の撮影画像記憶テーブル730に示す。
ステップS604で、画像記憶アプリケーションは、現在設定中のモードを参照する。具体的には、図7のモード設定700の値を参照する。
ステップS605で、画像記憶アプリケーションは、現在設定中のモードがA4モードかA3モードか判定する。A4モードが設定されている場合は処理をステップS612に移行し、A3モードが設定されている場合は、処理をステップS606に移行する。
ステップS612で、画像記憶アプリケーションは、ステップS604で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、A4縦の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。変形の様子を図11の1120に示す。
例えば図11の1102に示す被写体の頂点(補正対象の点)を、A4縦のサイズの矩形(予め携帯端末100の外部メモリに記憶されている矩形)の頂点に一致させるように、矢印1103に示すように画像を変形させ、当該被写体の画像を縦向きのA4用紙のサイズ・形状とする補正を行う。図11の1100では説明のため、ガイド枠の頂点1101を用いて図示している。補正の途中の例を1110に示す。
実査には、外部メモリに記憶されているA4縦のサイズの矩形の各頂点に左上、右上、左下、右下を示す識別情報をそれぞれ付与する。また、トリミングした被写体の画像の各頂点にも左上、右上、左下、右下を示す識別情報をそれぞれ付与し、左上の頂点同士、右上の頂点同士、左下の頂点同士、右下の頂点同士が一致するように、被写体の画像を変形させることで、当該被写体の画像をA4用紙の縦横比(縦:横=√2:1)に合うように形状変更する補正を行う。
その後、RAM203等の一時記憶領域に、補正後の画像であって、プレビュー表示する画像を記憶する補正画像記憶テーブルを生成して、補正後の画像(補正画像)をそのまま(1枚の画像として)記憶する。補正後の画像をそのまま記憶した補正画像記憶テーブルの一例を図7の740Aに示す。
ステップS613で、画像記憶アプリケーションは、ステップS612で補正画像記憶テーブル740Aに記憶された補正後の画像を、表示画面に1枚の画像としてプレビュー表示する。プレビュー表示の一例を図8の810に示す。
810は、A4モードが設定されている状態で撮影された画像のプレビュー表示画面の一例である。811は補正後の画像である。
「決定」ボタン812は、画像811を永続記憶領域、例えば外部メモリ211に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ200に送信する画像の候補として選択可能とする画像である。
「取り消し」ボタン813は、画像811を破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。
ステップS606では、画像記憶アプリケーションは、ステップS604で一時記憶した画像を取得して補正する。具体的には、取得した画像の中の被写体の頂点を認識し、認識された頂点を、A3横の用紙の形状を示す矩形の頂点に一致させるように、画像の形状を変形させる補正を行う。補正の内容はA4縦の補正時と同じである。
例えば図11の1122に示す被写体の頂点(補正対象の点)を、A3横のサイズの矩形(予め携帯端末100の外部メモリに記憶されている矩形)の頂点に一致させるように、矢印1123に示すように画像を変形させ、当該被写体の画像を横向きのA3用紙のサイズ・形状とする補正を行う。図11の1120では説明のため、ガイド枠の頂点1121を用いて図示している。
その後、ステップS607で、画像記憶アプリケーションは、ステップS606で補正した画像を、左右に2等分に分割することで2枚の画像データを生成し、複数枚の画像として一時記憶領域に記憶する。
具体的には、補正画像記憶テーブルをRAM203に生成し、補正後のA3横向きの画像を、縦向きのA4画像2枚として分割して、2枚の画像を当該補正画像記憶テーブルに記憶する。
分割された複数枚の画像を記憶した補正画像記憶テーブルの一例を図7の補正画像記憶テーブル740Bに示す。「picture001A_left」が、補正後の調査票の画像の左側ページの画像として分割され生成、記憶された画像である。「picture001A_right」が、補正後の調査票の画像の右側ページの画像として分割され生成、記憶された画像である。
ステップS608で、画像記憶アプリケーションは、ステップS607で分割し、補正画像記憶テーブル740Bに記憶された複数枚の補正後の画像を、表示画面に、分離させた状態で左右に並べてプレビュー表示する。プレビュー表示の一例を図9の910に示す。
補正画像記憶テーブル740Bから取得した複数の画像の表示位置を、複数の画像が離れて(分離して)表示される位置(例えば図9の910における914L、914Rの位置)にそれぞれ決定し、決定した位置のそれぞれに表示対象の画像を配置して表示する。
具体的には、基準線915L(破線)の中心点の位置914Lに左側の画像の左辺の中心点を合わせ、当該画像を、基準線916L(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Lはライブビュー表示領域の左端から所定距離の位置に設定し、基準線916Lはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
また、基準線915R(破線)の中心点の位置914Rに右側の画像の右辺の中心点を合わせ、当該画像を、基準線916R(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Rはライブビュー表示領域の右端から所定距離の位置に設定し、基準線916Rはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
910は、A3モードが設定されている状態で撮影された画像を分割して表示しているプレビュー表示画面の一例である。911Lは、901Lに示す左ページの画像が補正された画像である。911Rは、901Rに示す右ページの画像が補正された画像である。
「決定」ボタン912は、画像911L及び911Rを永続記憶領域、例えば外部メモリ211に記憶するためのボタンである。永続記憶領域に記憶された画像は、後にサーバ200に送信する画像の候補として選択可能とする画像である。
「取り消し」ボタン913は、画像911L及び911Rを破棄し、プレビュー表示を終了して撮影画面に戻るためのボタンである。
ステップS609で、画像記憶アプリケーションはユーザ操作を受け付け、ステップS610で、受け付けた操作がプレビュー表示されている画像(ステップS607又はS612で記憶された補正画像記憶テーブルの画像)の、外部メモリ211への記憶を確定する操作か、当該画像を破棄する操作か判定する(操作判定手段に該当)。
例えば、プレビュー表示画面における「決定」ボタンの押下を受け付けた場合に、プレビュー表示されている画像の、外部メモリ211への記憶を確定する操作を受け付けたと判定する。
また、プレビュー表示画面における「取り消し」ボタンの押下を受け付けた場合に、プレビュー表示されている画像を破棄する操作を受け付けたと判定する。
ステップS609で受け付けた操作が、プレビュー表示されている画像の、外部メモリ211への記憶を確定する操作であると判定された場合は、処理をステップS611に移行する。
ステップS609で受け付けた操作が、プレビュー表示されている画像の破棄の操作であると判定された場合に、プレビュー表示画面を終了して撮影画面を表示する。
ステップS611では、記憶を確定する操作がされた画像(「決定」ボタンの押下を受け付けた時点でプレビュー表示されていた画像)を、外部メモリ211に記憶する。具体的には、外部メモリ211に記憶されている画像記憶テーブル750(図7)に、当該画像を追加記憶する処理を行う。
その後、プレビュー表示画面を終了して撮影画面を表示する。以上が図6の説明である。
図10を参照して、サーバ200へ送信する画像の選択及び送信処理について説明する。
画像一覧表示画面1000は、画像記憶テーブル750に記憶されている画像を1枚ずつ、一覧にして表示する画像一覧の表示画面である。
画像記憶アプリケーションは、不図示のメニュー画面において、画像一覧表示画面1000を表示する操作を受け付けることで、画像一覧表示画面1000を表示画面に表示する。
画像記憶アプリケーションは、1001に示す一覧表示部に、1000に示すように画像一覧を、個別に選択可能に表示する。1002は各画像の撮影日時である。
画像の選択操作を受け付けると、画像を選択状態にする。選択状態の画像は選択枠1003を表示して識別可能とする。(選択受付手段に該当)
画像記憶アプリケーションは、「報告フォームへ移動」ボタン1004の押下を受け付けると、選択状態の画像をサーバ200への送信する対象画像として決定し、表示画面を報告フォーム画面1010に表示遷移させる。
ページ数表示部1011には、送信する対象画像の枚数を表示する。
画像記憶アプリケーションは、報告する(サーバ200に画像を送信する)調査票の調査対象の薬剤名と、情報源(例えば調査票を回収した病院名)と、当該報告を識別するための任意の管理番号の入力を受け付ける。
そして、「送信」ボタン1012の押下を受け付けることで、送信対象の画像と、報告フォーム画面1010で入力を受け付けた各情報を、報告情報として、サーバ200に送信する。
サーバ200のCPU201は、当該報告情報を受信し、そのなかの画像データを取得して、1つの文書ファイルに変換する。例えば、10枚の画像を受信した場合、当該10枚の画像を10ページのPDFファイルに変換して外部メモリに記憶する。以上が図10の説明である。
以上説明したように、本発明によれば、撮影に応じて記憶する画像の数を容易に調整可能な仕組みを提供することができる。
例えば、装置の向きに応じて、撮影した画像をそのまま記憶するモードと、撮影した画像を分割するモードを自動で切り替えることが可能となる。
また、画像の撮影後に、画像を分割するモードで撮影がされたことの確認を容易に行わせる仕組みを提供することが可能となる。
また、画像の撮影後に、画像の撮影後に、画像が分割されたことの確認を容易に行わせる仕組みを提供することが可能となる。
これにより、ユーザは画面に表示された画像を、その後利用する(報告対象の画像としてサーバに送信すべき)画像として記憶すべきか否かを容易に判断できるようになる。
なお、例えば外出中に、カフェのバーカウンター等のように横のスペースは十分だが奥行きが浅くA4用紙を縦におけない場所において、A4用紙(調査票)が横向きに置かれて撮影されることが想定される。この場合ユーザは携帯端末100を横向きに構えてA4の画像1ページ分の画像を撮影したいと想定される。よって、上述した実施形態では、携帯端末100が横向きの状態であっても、A3モードのアイコン902の押下を受け付けた場合には、モードをA4モードに設定変更することができるものとした。
一方で、縦方向のスペースは十分にあり、横幅はA4用紙を横向きにおけるだけのスペースがある場所で、A3見開きの調査票を、開いた状態でA3縦の向きで置いて撮影したいこともあると考えられる。この場合ユーザは携帯端末100を縦向きに構えて撮影したいと想定される。つまり、端末が縦向きの場合であってもA3モードで撮影したいことがある可能性がある。よって、例えば、携帯端末100が縦向きの状態であっても、A4モードのアイコン802の押下を受け付けた場合には、モードをA3モードに設定変更するようにしてもよい。
<第2の実施形態>
次に図14を参照して、本発明の第2の実施形態における、処理の流れについて説明する。
第1の実施形態においては、携帯端末の向きに応じて撮影した画像をそのまま記憶して表示するモードと、撮影された画像を複数枚の画像に分割して、分割されたことが分かるように表示するモードを切り替えるものとした。しかし、必ずしも端末の向きが変わる都度モードを変更したくないことがある。
例えばA3モードのアイコン902が押下されてモードをA4モードに変更した場合、それ以降は端末が横向きであっても、A4モードで撮影・画像の記憶を継続したいことが考えられる。
A4縦の調査票をわざわざ横向きに置いて撮影するということは、当該調査票を横向きにしか置けない場所で撮影していると考えられるためである。
一方、第1の実施形態によれば、携帯端末100の向きが変わる都度、向きに応じたモードに設定中のモードが変更される。そのため、携帯端末100を手の中で持ち直したり、調査票の裏面も撮影しようと調査票を裏返したりするタイミング等で、携帯端末100を横向きの状態から縦向きに傾けてしまい、その後撮影を継続しようと、再び携帯端末100を横向きにした場合、モードがA3モードに切り替わってしまう。
第2の実施形態においては、モードを変更のタイミングを適切に決定する仕組みを提供する。
図14の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第1の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
図14の処理は、図4のステップS402の直後に開始する。
ステップS1401で、画像記憶アプリケーションは、携帯端末100が縦向きか横向きか判定する。当該判定処理は図4のステップS403の処理と同じである。
携帯端末100が縦向きであると判定された場合は処理をステップS1402に移行し、横向きであると判定された場合は処理をステップS1403に移行する。
ステップS1402では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にA3モードで撮影及び外部メモリ211への分割された画像の記憶がされているか判定する。
例えば、図6のステップS611で、補正後の画像を外部メモリ211に記憶した後、記憶した画像がA4モードで撮影された画像であればフラグ=1を、A3モードで撮影された画像であればフラグ=2をRAM203に記憶し、撮影画面が終了してメニュー画面に戻った場合に当該フラグの値を0にするものとする。また、一度設定されたフラグは、メニュー画面に戻るまで変更しないものとする。
画像記憶アプリケーションは、当該フラグが1の場合はA4モードで撮影済(A3モードで撮影済ではない)と判定し、当該フラグが2の場合はA3モードで撮影済と判定する。また、フラグが0の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。
A3モードで撮影済と判定された場合は、設定中のモードをA3モードからA4モードに変更せずに、A3モードで撮影済でないと判定された場合は、処理を図4のステップS404に移行してモードをA4モードに変更する。
ステップS1403では、画像記憶アプリケーションは、不図示のメニュー画面より撮影画面が表示されてから、既にA4モードで撮影及び外部メモリ211への分割された画像の記憶がされているか判定する。
例えば、前記フラグが1の場合はA4モードで撮影済と判定し、当該フラグが2の場合はA3モードで撮影済(A4モードで撮影済ではない)と判定する。また、フラグが0の場合には、メニュー画面から撮影画面に日表示遷移してからまだ画像が撮影されていないと判定される。
A4モードで撮影済と判定された場合は、設定中のモードをA4モードからA3モードに変更しないことを決定し、モードを変更せずに、A4モードで撮影済でないと判定された場合は、処理を図4のステップS405に移行してモードをA3モードに変更することを決定し、A3モードに変更する。以上が第2の実施形態の説明である。
第2の実施形態の発明によれば、モードを変更のタイミングを適切に決定する仕組みを提供することができる。
<第3の実施形態>
次に図15を参照して、本発明の第3の実施形態における、処理の流れについて説明する。
第3の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか1枚記憶するかを適切に決定することができる仕組みを提供する。
図15の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第1の実施形態及び第2の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
図15の処理は、図6のステップS605でA3モードであると判定された直後に開始する。
ステップS1501で、画像記憶アプリケーションは、撮影画像記憶テーブル730に記憶されている被写体の画像を読みだして被写体認識の処理を行い、被写体の頂点4点のライブビュー表示領域上の位置を特定する。そして、当該4点が、ライブビュー表示領域の左半分、又は右半分の領域内に収まるか判定する。つまり、画面の左右50%以内の領域に被写体が収まっているか判定する。(被写体判定手段に該当)
収まっていない場合は処理を図6のステップS607に移行する。収まっている場合には処理をステップS1502に移行する。
ステップS1502で、画像記憶アプリケーションは、当該被写体を検出した側(4つの頂点を検出した側)の画像を切り出して取得し、RAM203等の一時記憶領域に記憶する。
ステップS1503で、画像記憶アプリケーションは、画像補正の補正先のサイズをA4縦のサイズ・形状の矩形に設定する。
そして、ステップS1504で、被写体を検出した側の画像(実際に撮影した画像の右半分又は左半分の画像)の中から認識した被写体(調査票)の画像を切り出し、当該被写体の画像の各頂点を、A4縦の矩形の頂点に合わせるように変形させて台形補正を行う。
ステップS1505で、画像記憶アプリケーションは、補正後の画像を一時記憶領域(補正画像記憶テーブル)に記憶し、当該記憶した1枚の画像の、プレビュー画面における表示位置を決定する。
本実施形態においては、撮影された画像の被写体がライブビュー画面の左側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定して表示する。
具体的には、基準線915L(破線)の中心点の位置914Lに画像の左辺の中心点を合わせ、当該画像を、基準線916L(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定している。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Lはライブビュー表示領域の左端から所定距離の位置に設定し、基準線916Lはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
撮影された画像の被写体がライブビュー画面の右側半分に収まっていた場合には、当該被写体の画像であって補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。
具体的には、基準線915R(破線)の中心点の位置914Rに画像の右辺の中心点を合わせ、当該画像を、基準線916R(破線)のいずれかに達するまで、アスペクト比を維持したまま拡大又は縮小することで、画像のサイズと位置を決定して表示する。なお、実際のプレビュー表示画面には各基準線は表示しない。また、基準線915Rはライブビュー表示領域の右端から所定距離の位置に設定し、基準線916Rはそれぞれライブビュー表示領域の上端、下端、中央から線から所定距離の位置に設定する。
ステップS1506で、画像記憶アプリケーションは、ステップS1505で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。
なお、ステップS1505で決定された位置が画面左側の位置914Lを基準として基準線915Lと基準線916Lとの間の位置となる場合、画面右側の基準線915Rと基準線916Rとの間の位置には画像を表示しない。また、ステップS1505で決定された位置が画面右側の位置914Rを基準として基準線915LRと基準線916Rとの間の位置となる場合、画面左側の基準線915Lと基準線916Lとの間の位置には画像を表示しない。以上が第3の実施形態の説明である。
以上説明したように、本発明の第3の実施形態によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の位置と分割の基準位置にとの関係に応じて、被写体の画像を分割して両方記憶するか1枚記憶するかを適切に決定することができる。
例えば、調査票の表紙等A4縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。
また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか1枚記憶しているか/記憶するかを強調してユーザに提示し、確認させることができる。
<第4の実施形態>
次に図16を参照して、本発明の第4の実施形態における、処理の流れについて説明する。
第4の実施形態においては、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、1枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供する。
図16の各処理は、携帯端末100のCPU201が、携帯端末100に記憶されている画像記憶アプリケーションの備える各種機能部の機能を用いて実行する。なお、第1の実施形態、第2の実施形態、第3の実施形態と共通の装置、構成、処理、画面、データ等の説明は割愛する。
また、第4の実施形態においては、撮影操作は、シャッターボタンの押下と、ライブビュー表示領域の押下(タッチ)の2種類あるものとする。
画像記憶アプリケーションは、ステップS601で撮影操作を受け付けた場合に、当該撮影操作がシャッターボタンの押下操作か、ライブビュー表示領域の押下操作かを識別する識別情報をRAM203に記憶する。また、受け付けた操作がライブビュー表示領域の押下操作の場合には、押下された位置(ライブビュー表示領域上の位置)を記憶する。
図16の処理は、図6のステップS603の直後に開始する。
ステップS1601で、画像記憶アプリケーションは、ステップS601で受け付けた撮影のための操作が、シャッターボタンの押下か、ライブビュー表示領域の押下か判定する。
シャッターボタンの押下である場合は、処理を図6のステップS604に移行する。ライブビュー表示領域の押下である場合には、処理をステップS1602に移行する。
ステップS1602で、画像記憶アプリケーションは、撮影操作を受け付けた位置が、ライブビュー表示領域のガイド線上か、ガイド線上を除いた左半分の領域内か、ガイド線上を除いた右半分の領域内かを判定する。
ガイド線上、つまり、ライブビュー表示領域の中央線上に対する撮影操作の場合は、処理をステップS604に移行する。
撮影操作を受け付けた位置が、ガイド線上を除いた左半分の領域内の場合には処理をステップS1607に、ガイド線上を除いた右半分の領域内の場合には処理をステップS1603に移行する。
ステップS1603で、画像記憶アプリケーションは、撮影画像記憶テーブル730に記憶されている画像を取得して左右に二等分し、右半分の画像を取得する。
ステップS1604で、ステップS1603で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、A4縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。
一方、ステップS1607では、画像記憶アプリケーションは、撮影画像記憶テーブル730に記憶されている画像を取得して左右に二等分し、左半分の画像を取得する。
ステップS1608で、ステップS1607で取得した画像から被写体の画像を切り出して、当該被写体の画像の各頂点を、A4縦形状の矩形の頂点に一致させるように画像を変形させて補正を行う。そして補正後の画像を補正画像記憶テーブルに記憶する。
ステップS1605で、画像記憶アプリケーションは、補正後の画像のプレビュー画面における表示位置を決定する。
本実施形態においては、撮影操作の位置がライブビュー表示領域の左側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の左側の位置に決定する。
撮影操作の位置がライブビュー表示領域の右側の領域内の場合には、補正後の画像の表示位置を、プレビュー表示画面の右側の位置に決定する。
ステップS1606で、画像記憶アプリケーションは、ステップS1505で決定された位置に補正画像記憶テーブルに記憶されている補正後の被写体画像を配置、表示する。
なお、ステップS1605で決定された位置が画面左側の位置の場合、画面右側の位置には画像を表示しない。また、ステップS1605で決定された位置が画面右側の位置の場合、画面左側の位置には画像を表示しない。以上が第3の実施形態の説明である。以上が第4の実施形態の説明である。
第4の実施形態の発明によれば、撮影された画像を複数枚に分割するモードで撮影された画像であっても、撮影の操作に応じて、1枚の画像として記憶するか複数枚の画像として記憶するかを容易に決定可能な仕組みを提供することができる。
例えば、調査票の表紙等A4縦の用紙を撮影する際に、都度端末を縦にして撮影する手間を軽減できる。
また、画面の片側にのみ被写体の画像を表示することで、撮影された画像を複数枚に分割するモードで撮影された画像であっても、被写体の画像を分割して両方記憶するか1枚記憶しているか/記憶するかを強調してユーザに提示し、確認させることができる。
以上説明したように、本発明によれば、携帯端末において撮影された画像を適切に記憶するための仕組みを提供することができる。
上述した実施形態の説明においては、画像を受信したサーバ200側で画像を文書ファイルに変換するものとしたが、例えばサーバ200への送信対象の画像を1つの文書ファイルに変換する処理を携帯端末100で行ってから、サーバ200に送信するようにしてもよい。
また、上述した実施形態の説明においては、端末が縦向きの場合に撮影した画像をそのまま記憶するモードとし、端末が横向きの場合に撮影した画像を複数枚の画像として記憶するモードとし、当該モードに沿って画像を分割、記憶するものとしたが、モードの設定を設けずに、端末が横向きの場合に撮影した画像はそのまま記憶し、端末が横向きの場合に撮影した画像は複数枚の画像に分割して記憶、プレビュー表示するようにしてもよい。
具体的には、図6のステップS603において、画像と撮影時の携帯端末100の向き(例えば縦向き又は横向き)を記憶しておき、ステップS604で当該撮影時の携帯端末100の向きの情報を参照して、ステップS605で撮影時の携帯端末100の向きが縦向きだったか横向きだったかを判定する。縦向きだった場合には処理をステップS612に移行し、横向きだった場合には処理をステップS606に移行する。
また、上述した実施形態においては、画像が分割されて複数枚記憶されたことをユーザに確認させるために、プレビュー表示画面910において複数枚の画像を最初から離して位置決定・表示するものとしたが、例えば最初は複数の画像が接している状態で表示し、その後複数枚の画像が離れるようにプレビュー表示画面910の各画像の位置まで移動させるようアニメーション表示をすることで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。また、複数枚の画像が接している状態で表示し、それぞれの画像の辺を赤線等の線で識別表示する(それぞれの画像の辺の位置に赤線の画像を重畳表示する)ことで、画像が複数枚記憶されたことをユーザに通知し、確認させてもよい。
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。また、上述した各実施形態は自由に組み合わせ可能である。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。
即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。