JP2013222424A - サーバシステム及びプログラム - Google Patents

Abstract

【課題】 第２出力サイズの第２の出力画像が表示される前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像をユーザーが確認できるサーバシステム及びプログラム等の提供。
【解決手段】 サーバシステム１００は、ネットワークを介し入力画像の情報を受信する処理を行う受信処理部１１０と、入力画像に対し画像処理を行う処理部１２０と、ネットワークを介し出力画像の情報を送信する送信処理部１３０を含む。処理部１２０は、入力画像に対し第１の画像処理を行い、第１出力サイズの第１の出力画像を生成する。送信処理部１３０は、ネットワークを介し第１の出力画像の情報の送信処理を行う。処理部１２０は、入力画像に対し第２の画像処理を行い、第１出力サイズよりも大きい第２出力サイズの第２の出力画像を生成する。送信処理部１３０は、ネットワークを介し第２の出力画像の情報の送信処理を行う。
【選択図】 図２

Description

本発明は、サーバシステム及びプログラム等に関係する。

ユーザーの要求に応じて、複数の画像出力を表示する装置として、以下の特許文献１及び特許文献２に開示される装置がある。

特許文献１には、異なる条件（例えば明度や顔サイズ等）で画像処理した画像を比較・判別できるように、一定の時間間隔、あるいは、ボタンなどによるユーザーの指定タイミングで、順次画像を表示する装置が開示されている。

また、特許文献２には、医療用の診断画像において、手動または自動で指定した注目領域を抽出し、最大サイズ（最高解像度）で表示部に送信した後、周辺領域を低解像度で撮像した画像を先に送信し、段階的に解像度を上げて撮像した画像を逐次送信していくことで、注目領域に優先的に情報量を持たせながら、ユーザーが画像全体との関係性を把握しつつ、画像を閲覧することができる装置などが開示されている。

そして、出力装置の表示解像度に最適な入力又は処理を行う装置として、以下の特許文献３及び特許文献４に開示される装置がある。

特許文献３には、表示装置の画面解像度に基づいて画質改善処理を行う装置などが開示されている。例えば、画面解像度が高ければ、画像のシャープネスを下げ、画面解像度が低ければ、シャープネスを上げるなどの処理により、ユーザーがより見やすい画像を提供する。

また、特許文献４には、表示解像度に合わせて、撮影解像度を調整する装置などが開示されている。表示解像度が最大撮影解像度を超える場合には、最大撮影解像度で撮影する。

特開２００８−１８７４９８号公報 特開２００９−１２２５９９号公報 特開２０１１−２４４１６０号公報 特開２０１０−０１６５５２号公報

ある画像に対して種々の画像処理を行う場合、出力画像のサイズ（解像度）によっては、画像処理を完了するまでに非常に長い時間がかかる場合がある。一般的な画像処理では、入力画像又は出力画像のサイズが大きければ大きい程、画像処理に要する時間が長くなる。

しかし、長時間かけて画像処理を行ったとしても、画像処理の結果得られる画像の内容がユーザーの望み通りであるとは限らない。すなわち、ユーザーが思い描いた画像と、実際の画像処理後の出力画像とが異なってしまうこともままある。

このような場合には、画像処理をもう一度やり直さなければならず、先に画像処理にかけた時間や出力画像の送受信時間を無駄にすることになってしまう。

本発明の幾つかの態様によれば、第２出力サイズの第２の出力画像が表示される前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像をユーザーが確認できるサーバシステム及びプログラム等を提供することができる。

本発明の一態様は、ネットワークを介して入力画像の情報を受信する処理を行う受信処理部と、前記入力画像に対して画像処理を行う処理部と、前記ネットワークを介して前記画像処理後の出力画像の情報を送信する送信処理部と、を含み、前記処理部は、前記入力画像に対して第１の画像処理を行うことで、第１出力サイズの第１の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記処理部は、前記入力画像に対して第２の画像処理を行うことで、前記第１出力サイズよりも大きい第２出力サイズの第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行うサーバシステムに関係する。

本発明の一態様では、サーバシステムは、第２出力サイズの第２の出力画像を生成する前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像を生成し、第１の出力画像を端末装置に送信する。

これにより、第２の出力画像が生成又は端末装置に表示される前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像をユーザーが確認することが可能となる。

また、本発明の一態様では、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信した後に、前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、第１の出力画像を第２の出力画像よりも先にユーザーが確認すること等が可能になる。

また、本発明の一態様では、前記送信処理部は、第１の表示部を有する第１の端末装置に対して、前記第１の出力画像の情報を送信する処理を行い、前記第１の表示部よりも画面サイズが大きい第２の表示部を有する第２の端末装置に対して、前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、ユーザーは第１の端末装置で第１の出力画像を確認し、第２の端末装置で第２の出力画像を確認すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記入力画像に対して前記第１の画像処理を行うことで、前記第１出力サイズの前記第１の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記処理部は、前記入力画像に対して第３の画像処理を行うことで、前記第１出力サイズよりも大きく、前記第２出力サイズよりも小さい第３出力サイズの第３の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第３の出力画像の情報を送信する処理を行い、前記処理部は、前記入力画像に対して前記第２の画像処理を行うことで、前記第２出力サイズの前記第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、ユーザーは第１の出力画像を確認した後に、第２の出力画像を確認する前に、第３の出力画像を確認すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第１出力サイズと前記第２出力サイズとの差が所定の閾値以上であると判断する場合に、前記入力画像に対して第３の画像処理を行い、前記第３出力サイズの第３の出力画像を生成してもよい。

これにより、第１出力サイズと第２出力サイズとの差が所定の閾値よりも大きい場合に、第１の出力画像が送信されてから、第２の出力画像が送信されるまでの間に、第３の出力画像をユーザーが確認すること等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記ネットワークを介して、前記第２出力サイズを特定するために用いる出力サイズ特定情報を受信する処理を行い、前記処理部は、前記サイズ特定情報に基づいて、前記第２出力サイズを表す第２出力サイズ情報を特定し、前記第２出力サイズ情報に基づいて前記第２の画像処理を行ってもよい。

これにより、例えば出力サイズ特定情報に基づいて、第２の表示部の画面サイズ以下になる第２出力サイズを表す第２出力サイズ情報を特定すること等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記ネットワークを介して、端末装置の表示部に表示可能な画像の上限サイズ情報を前記出力サイズ特定情報として受信する処理を行い、前記処理部は、前記上限サイズ情報に基づいて、前記第２出力サイズ情報を特定し、前記第２出力サイズ情報に基づいて前記第２の画像処理を行ってもよい。

これにより、例えば上限サイズ情報に基づいて、第２の表示部の画面サイズ以下になる第２出力サイズを表す第２出力サイズ情報を特定すること等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記ネットワークを介して、第２の端末装置の第２の表示部の第２の画面サイズ情報を受信する処理を行い、前記処理部は、前記第２出力サイズ情報に基づいて前記第２の画像処理を行ってもよい。

これにより、例えば第２出力サイズを第２の表示部の画面サイズと一致させること等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記ネットワークを介して、前記第１出力サイズを特定するために用いる出力サイズ特定情報を受信する処理を行い、前記処理部は、前記出力サイズ特定情報に基づいて、前記第１出力サイズを表す第１出力サイズ情報を特定し、前記第１出力サイズ情報に基づいて前記第１の画像処理を行ってもよい。

これにより、例えば出力サイズ特定情報に基づいて、第１の表示部の画面サイズ以下になる第１出力サイズを表す第１出力サイズ情報を特定すること等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記ネットワークを介して、第１の端末装置の第１の表示部の第１の画面サイズ情報を受信する処理を行い、前記処理部は、前記第１出力サイズ情報に基づいて前記第１の画像処理を行ってもよい。

これにより、例えば第１出力サイズを第１の表示部の画面サイズと一致させること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第１の画像処理を行うことで、前記第１の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記処理部は、前記第１出力サイズ情報に基づいて、前記第２出力サイズを表す第２出力サイズ情報を特定し、前記第２出力サイズ情報に基づいて、前記第２の画像処理を行うことで、前記第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えば、画像処理部で行う画像処理が、パノラマ画像生成処理などであり、画像処理後でなければ出力サイズがわからない処理である場合でも、より小さいサイズの画像（第１の出力画像）に基づいて第２の出力画像のおおよそのサイズを予測し、表示部の表示サイズに合うように入力サイズを調整すること等が可能になる。

また、本発明の一態様では、前記処理部は、第１のスケーリング処理を前記入力画像に対して行い、前記第１の出力画像を生成し、前記第１のスケーリング処理よりもスケーリング率の小さい第２のスケーリング処理を前記入力画像に対して行い、前記第２の出力画像を生成してもよい。

これにより、同一の入力画像からサイズの異なる画像を生成し、生成した画像に基づいて画像処理を行うこと等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記入力画像として、第１入力サイズの第１の入力画像と、前記第１入力サイズよりも大きい第２入力サイズの第２の入力画像とを受信する処理を行い、前記処理部は、前記第１の入力画像に対して前記第１の画像処理を行うことで、前記第１出力サイズの第１の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記処理部は、前記第２の入力画像に対して前記第２の画像処理を行うことで、前記第２出力サイズの前記第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えば第２の入力画像の情報を受信する処理の完了を待たずに、第１の入力画像に対して第１の画像処理を開始すること等が可能になり、より早いタイミングでユーザーに第１の出力画像を提示すること等が可能になる。

また、本発明の一態様では、前記受信処理部は、前記第１入力サイズの前記第１の入力画像と、前記第２入力サイズの前記第２の入力画像とを受信する処理を行い、前記処理部は、第１のスケーリング処理を前記第１の入力画像に対して行い、前記第１出力サイズの前記第１の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記処理部は、前記第１のスケーリング処理とスケーリング率の等しい第２のスケーリング処理を前記第２の入力画像に対して行い、前記第２出力サイズの前記第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、サイズの異なる２種類の画像に対して、同じスケーリング率でスケーリング処理を行い、サイズの異なる出力画像を取得すること等が可能になる。

また、本発明の一態様では、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記受信処理部は、前記ネットワークを介して、前記第１の出力画像に対するユーザーの承認の有無情報を受信する処理を行い、前記処理部は、前記受信処理部により受信された前記有無情報が前記ユーザーの前記承認が有ることを示す場合には、前記第２の画像処理を開始し、前記第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えばユーザーが第１の出力画像を確認して、現在の画像処理パラメータに従って、第２の画像処理を開始するか否かを決定し、サーバシステムに指示を送信すること等が可能になる。

また、本発明の一態様では、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記受信処理部は、前記ネットワークを介して、前記第１の出力画像に対するユーザーの承認の有無情報を受信する処理を行い、前記処理部は、前記受信処理部により受信された前記有無情報が前記ユーザーの前記承認が無いことを示す場合には、前記第２の画像処理を中止又は中断し、前記受信処理部により受信された前記有無情報が前記ユーザーの前記承認が有ることを示す場合には、前記処理部は、前記第２の画像処理を続行して、前記第２の出力画像を生成し、前記送信処理部は、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えばユーザーが第１の出力画像を確認して、現在の実行中の第２の画像処理を中止又は中断するか否かを決定し、サーバシステムに指示を送信すること等が可能になる。

また、本発明の一態様では、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、前記受信処理部は、前記ネットワークを介して、前記第１の出力画像に対するユーザーの承認の有無情報を受信する処理を行い、前記送信処理部は、前記受信処理部により受信された前記有無情報が前記ユーザーの前記承認が有ることを示す場合には、前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えばユーザーが第１の出力画像を確認し、生成した第２の出力画像を端末装置に送信するか否かを決定し、サーバシステムに指示を送信すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第１の画像処理及び前記第２の画像処理として、パノラマ画像生成処理を行ってもよい。

これにより、第１の出力画像及び第２の出力画像として、パノラマ画像を生成すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第１の画像処理を行い、前記第１の出力画像を生成する第１の処理部と、前記第２の画像処理を行い、前記第２の出力画像を生成する第２の処理部と、を有し、前記第２の処理部は、前記第１の処理部が前記第１の画像処理を行う間に並列して、前記第２の画像処理を行い、前記送信処理部は、前記ネットワークを介して前記第１の出力画像の情報を送信し、前記第１の出力画像の情報の送信後に前記第２の出力画像の情報を送信する処理を行ってもよい。

これにより、処理が効率化し、ユーザーはより早いタイミングで各出力画像を確認すること等が可能になる。

また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。

第１の実施形態〜第３の実施形態のシステム構成例。 第１の実施形態〜第３の実施形態の詳細なシステム構成例。 第１の実施形態の処理の流れを説明するシーケンス図。 図４（Ａ）〜図４（Ｃ）は、第１の実施形態の処理結果の説明図。 第２の実施形態の処理の流れを説明するシーケンス図。 合成画像の位置関係の第１の説明図。 合成画像の位置関係の第２の説明図。 図８（Ａ）、図８（Ｂ）は、第２の実施形態の処理結果の説明図。 図９（Ａ）〜図９（Ｃ）は、第３の実施形態の処理の流れを説明するシーケンス図。 第３の実施形態の処理結果の説明図。

以下、第１の実施形態〜第３の実施形態について説明する。まず、各実施形態の手法の概要を説明し、次にシステム構成例について説明する。そして、フローチャート等を用いて第１の実施形態〜第３の実施形態で行う処理の流れについてそれぞれ説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．概要
ある画像に対して種々の画像処理を行う場合、出力画像のサイズ（解像度）によっては、画像処理を完了するまでに非常に長い時間がかかる場合がある。例えば、複数の画像からパノラマ画像を生成する処理を行う場合などには、生成するパノラマ画像のサイズが大きければ大きい程、画像処理を完了するまでにかかる時間が長くなる。

しかし、長時間かけて画像処理を行ったとしても、画像処理の結果得られる画像がユーザーの望み通りであるとは限らない。例えば、前述したパノラマ画像を生成する場合には、被写体がスムーズに繋がっていれば良いが、中には、誤って入力画像を繋げてしまい、映し出された像が実際の被写体と全く異なるパノラマ画像を生成してしまうこともある。

このような場合には、画像処理をもう一度やり直さなければならず、先に画像処理にかけた時間を無駄にすることになってしまう。

そこで、画像処理が完了する前に、出力画像のプレビュー画像をユーザーが確認できれば、画像処理が完了するまでの長時間待たずに、画像処理の結果の可否をユーザーが判断することができる。

また、画像処理の結果を確認する際には、必ずしもプレビュー画像が最大サイズ（最高解像度）である必要はなく、まずは画像全体から受ける印象（例えば、ある被写体が映っているかいないか等）を確認し、その後にユーザーが気になった細部（例えば、パノラマ画像がスムーズに繋がっているか等）を拡大して確認するといった使い方が一般的であると考えられる。すなわち、画像全体から受ける印象を確認する場合には、プレビュー画像は出力装置の表示サイズ（表示解像度）以下であっても問題はない。むしろ、サイズよりも、できるだけ早いタイミングで確認を行うことができる方がユーザーにとっては重要である。

ここで、前述したように、ユーザーの要求に応じて、複数の画像出力を表示する装置として、特許文献１及び特許文献２に開示される装置がある。

前述した特許文献１には、異なる条件（例えば明度や顔サイズ等）で画像処理した画像を比較・判別できるように、一定の時間間隔、あるいは、ボタンなどによるユーザーの指定タイミングで、順次画像を表示する装置が開示されている。

しかし、特許文献１では、送信する画像のサイズ（解像度）が異なる場合については言及されていない。

また、前述した特許文献２には、医療用の診断画像において、手動または自動で指定した注目領域を抽出し、最大サイズ（最高解像度）で表示部に送信した後、周辺領域を低解像度で撮像した画像を先に送信し、段階的に解像度を上げて撮像した画像を逐次送信していくことで、注目領域に優先的に情報量を持たせながら、ユーザーが画像全体との関係性を把握しつつ、画像を閲覧することができる装置などが開示されている。

しかし、前述した例のパノラマ画像を生成する場合等の日常的（一般的）な場面では、前述したように、全体が映った画像を確認した後、細部を確認することが一般的であるため、特許文献２に示されている手法とは手順が逆になる。また、特許文献２に示される手法における処理途中の画像は、領域ごとにサイズ（解像度）が異なることになり、全ての領域が最高解像度で表示された画像と処理途中の画像では、画像の印象が異なることも考えられる。そのため、先の例のような一般的な用途には適していない。

また、前述したように、出力装置の表示解像度に最適な入力又は処理を行う装置として、特許文献３及び特許文献４に開示される装置がある。

前述した特許文献３には、表示装置の画面解像度に基づいて画質改善処理を行う装置などが開示されている。例えば、画面解像度が高ければ、画像のシャープネスを下げ、画面解像度が低ければ、シャープネスを上げるなどの処理により、ユーザーがより見やすい画像を提供する。

また、前述した特許文献４には、表示解像度に合わせて、撮影解像度を調整する装置などが開示されている。表示解像度が最大撮影解像度を超える場合には、最大撮影解像度で撮影する。

しかし、特許文献３及び特許文献４において開示される手法では、どちらも表示サイズに最適な画像を提供することができるが、最適な画像を提供するまでの間、ユーザーが待たされることになり、ユーザーが要求する画像が得られるのかどうかを早いタイミングで確認することができない。

そこで、後述する第１の実施形態のサーバシステムは、第１出力サイズよりも大きい第２出力サイズの第２の出力画像が生成される前又は端末装置の表示部に表示される前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像を端末装置に送信する。すなわち、前述したプレビュー画像として第１の出力画像を生成し、高解像度画像である第２の出力画像よりも先に端末装置に送信する。これにより、ユーザーはサイズの大きい画像（高解像度画像）が生成される前にプレビュー画像を確認できる。

また、画像処理の中には、実際に画像処理を行った後でなければ、第２の出力画像のサイズ（解像度）を決定できない処理もある。パノラマ画像生成処理などはその一つである。

そこで、後述する第２の実施形態のサーバシステムは、第１出力サイズに基づいて、第２出力サイズを算出し、第２の出力画像を生成する処理を行う。

また、第１出力サイズと第２出力サイズの差が所定の値よりも大きい場合には、第１の出力画像を確認しただけでは、第２の出力画像が、ユーザーが取得したい画像であるか否かを判断できないことがある。

そこで、後述する第３の実施形態のサーバシステムは、第１出力サイズよりも大きく、第２出力サイズよりも小さい第３出力サイズの第３の出力画像を、第１の出力画像の送信後で、第２の出力画像の送信前に端末装置に送信する。

２．システム構成例
次に、図１を用いて、後述する第１の実施形態〜第３の実施形態のサーバシステムの構成例を説明する。

サーバシステム１００は、ネットワーク５００を介して、端末装置と通信を行う。また、サーバシステム１００と通信を行う端末装置は、一つであってもよいし、複数であってもよい。例えば、図１では、サーバシステム１００と通信を行う端末装置として、第１の端末装置２００と、第２の端末装置３００と、第３の端末装置４００の３つの端末装置を図示している。

さらに具体的に言えば、図１に図示する第１の端末装置２００はスマートフォンであり、第２の端末装置３００はタブレット端末（多機能携帯端末）であり、第３の端末装置４００はパーソナルコンピュータである。ただし、これらはあくまでも一例であり、サーバシステム１００はここで挙げた例以外の端末装置と通信を行っても良い。

また、ネットワーク５００は、インターネットであってもよいし、イントラネットであってもよい。

次に、図２を用いて、後述する第１の実施形態〜第３の実施形態のサーバシステム１００の詳細な構成例を説明する。図２は、サーバシステム１００が第１の端末装置２００と第２の端末装置３００と通信する例を示している。

サーバシステム１００は、受信処理部１１０と、処理部１２０と、送信処理部１３０と、を含む。なお、サーバシステム１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

次に各部の接続について説明する。受信処理部１１０は、処理部１２０に接続されている。処理部１２０は、受信処理部１１０と送信処理部１３０とに接続されている。送信処理部１３０は、処理部１２０に接続されている。

次に各部で行われる処理について説明する。

まず、受信処理部１１０は、ネットワークを介して入力画像の情報を受信する処理を行う。例えば、受信処理部１１０は、第１の端末装置２００の処理部２２０や第２の端末装置３００の処理部３２０から、ネットワークを介して入力画像の情報を受信する処理を行う。なお、図２では省略しているが、サーバシステム１００は、アンテナ部を有していてもよく、受信処理部１１０や送信処理部１３０がアンテナ部を制御して、アンテナ部が各端末装置と無線通信を行ってもよい。また、サーバシステム１００は、各端末装置と無線で通信するものには限定されず、有線により各端末装置と通信するものであってもよい。

次に、処理部１２０は、入力画像に対して画像処理を行う。さらに、処理部１２０は、画像処理部１２１と、制御部１２２と、を含むことができる。画像処理部１２１は、実際に入力画像に対して画像処理を行う。制御部１２２は、画像処理部１２１が画像処理を行う際に用いる各種パラメータを特定する処理を行う。なお、入力画像は静止画像であってもよいし、動画像であってもよい。

さらに、送信処理部１３０は、ネットワークを介して画像処理後の出力画像の情報を送信する処理を行う。例えば、送信処理部１３０は、第１の端末装置２００の処理部２２０や第２の端末装置３００の処理部３２０へ、ネットワークを介して出力画像の情報を送信する処理を行う。

なお、受信処理部１１０と、処理部１２０と、送信処理部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

また、第１の端末装置２００は、第１の表示部２１０と、処理部２２０とを有している。同様に、第２の端末装置３００は、第２の表示部３１０と、処理部３２０とを有している。

処理部２２０と処理部３２０は、サーバシステム１００の受信処理部１１０及び送信処理部１３０と通信する処理を行う。また、第１の表示部２１０と第２の表示部３１０は、取得した画像を表示する。あるいは、第１の端末装置２００又は第２の端末装置３００は、サーバシステム１００の画像処理部１２１から画像処理結果を受信し、電子媒体へ画像データを保存してもよい。

さらに、第１の端末装置２００又は第２の端末装置３００は、撮像が可能な構成でもよいし、電子媒体から映像データを読み込む構成であってもよい。

サーバシステム１００の各部及び第１の端末装置、第２の端末装置は、固定配線で接続されていてもよいし、ネットワークで接続されてもよい。また、各部の機能は、プロセッサー上で動作するソフトウェアとして実現してもよい。

３．第１の実施形態
本実施形態のシステム構成例は、図１及び図２に示した通りである。始めに、本実施形態において各部が行う処理の概要について説明する。

まず、本実施形態では、第１の端末装置２００が、入力画像を撮像し、ネットワークを介して、サーバシステム１００へ入力画像の情報を送信する。そして、第２の端末装置３００が、ネットワークを介して、サーバシステム１００の画像処理結果である出力画像の情報を受信し、第２の表示部３１０に出力画像を表示する。なお、第２の表示部３１０は、図４（Ａ）に示す幅Ｗピクセル、高さＨピクセルのピクセルサイズを持つ液晶ディスプレイとする。

そして、本実施形態では、画像処理部１２１は、入力画像に対して、チルトシフトレンズで撮影したような効果を施すフィルタ処理を画像処理として行う。チルトシフトレンズとは、レンズを水平方向および垂直方向に移動させることで、レンズ光軸と撮像面に対し、意図的に傾けたり、平行移動させたりすることで、像の歪みを補正することを主たる目的としたレンズである。このレンズによる、いわゆる「あおり撮影」によりピントやパースを調整して、被写体をあたかもジオラマのように撮影することができる。画像処理部１２１は、ぼかしの位置や範囲、ぼかし効果の強度や勾配などを与える処理等を行い、出力画像に対してこのようなジオラマ効果を施す。なお、本実施形態において画像処理部１２１が行う画像処理では、入力画像サイズ（解像度）と出力画像サイズ（解像度）は変化しない。

また、制御部１２２は、画像処理部１２１の処理機能と入力画像のサイズと出力画像のサイズの関係性についてあらかじめ知っているものとする。

次に、図３のシーケンス図を用いて、本実施形態の処理の流れを示す。なお、図３では説明を簡潔にするため、サーバシステム１００の受信処理部１１０と送信処理部１３０を省略して記載しているが、実際にはこれらの処理部が送受信処理を行っている。また、第１の端末装置２００の各部及び第２の端末装置の各部についても、同様の理由で省略して記載している。

まず、制御部１２２が、第２の端末装置３００から、上限サイズを取得する（Ｔ１０１）。ここで、上限サイズとは、第２の端末装置３００が第２の表示部３１０を有していれば、表示パネルのピクセルサイズを指す。また、表示可能な上限サイズとして、表示パネルより大きいピクセルサイズを取得してもよい。ここでは、ディスプレイのサイズである幅Ｗピクセル、高さＨピクセルを上限サイズとして取得する。あるいは、第２の端末装置３００が、保存機能を有していれば、保存可能なピクセルサイズの上限値でもよい。さらに、第２の端末装置３００が、印刷機能を有していれば、ＤＰＩ（dots per inch）の情報を取得し、カラー設定や出力用紙サイズなどの情報に従って、上限となる画像のピクセルサイズを算出してもよい。

そして、制御部１２２は上限サイズを取得すると、２回目の出力サイズ（第２の出力画像のサイズ）を上限サイズ以下の値になるように、画像処理用のパラメータ（以下では、画像処理パラメータと呼ぶ）を設定する。ここでは、２回目の出力サイズを、上限サイズである幅Ｗピクセル、高さＨピクセルと同じ値に設定する。また、１回目の出力サイズ（第１の出力画像のサイズ）が、２回目の出力サイズを超えないように、画像処理パラメータを決定する。ここでは、１回目の出力サイズを２回目の出力サイズの縦・横それぞれ１／２となるように決定する。すなわち、１回目の出力サイズを幅Ｗ／２ピクセル、高さＨ／２ピクセルとする。その他にも、１回目の出力サイズが２回目の出力サイズより小さくなるように、あらかじめ定めたサイズから各出力サイズを選択してもよいし、ユーザーが指定してもよい。

次に、制御部１２２は画像処理部１２１に１回目と２回目の出力に関して、処理対象となる画像のサイズを含む画像処理パラメータを伝達（通知）する（Ｔ１０２）。ここでは、処理対象となる画像のサイズと出力サイズは等しくなるが、他の画像処理を行う場合には異なることもある。なお、ここでは、画像処理の対象となる画像のサイズのことを、処理対象となる画像のサイズと呼び、受信処理部１１０が受信処理した画像のサイズのことを、入力画像のサイズと区別して呼んでいる。本実施形態では、受信処理部１１０が受信処理した入力画像に対してリサイズ処理等を行い、画像のサイズを変えた後に画像処理を行う等してもよいため、厳密には、両者のサイズが異なることがあるためである。

そして、第１の端末装置２００は、画像処理部１２１に入力画像のデータを送信する（Ｔ１０３）。なお、第１の端末装置２００は、入力画像のデータとして、複数の入力画像のデータを送信してもよい。例えば、第１の出力画像の生成用データとして、第１の入力画像のデータを先に送信し、第２の出力画像の生成用データとして、第２の入力画像のデータを後から送信する等してもよい。この際に、第１の端末装置２００は、元画像に対して縮小処理又は拡大処理を行った画像を第１の入力画像とし、元の画像を第２の入力画像とする等してもよい。

次に、画像処理部１２１は、入力画像を画像処理パラメータにしたがい、必要に応じて拡大または縮小し（リサイズ処理、サイジング処理）、ジオラマ効果のフィルタをかける（Ｔ１０４）。なお、画像処理部１２１のフィルタのパラメータは、図２等に図示しないユーザーインタフェースを介してユーザーが選択できるようにしてもよいし、あらかじめ定められた他のパラメータを使用してもよい。

その後、図４（Ｂ）に示すように、画像処理部１２１は、第２の端末装置３００にフィルタ処理の結果を１回目の処理結果（第１の出力画像）として出力する（Ｔ１０５）。すなわち、第２の端末装置３００は２回目の出力サイズより小さい処理結果を、２回目の出力サイズの処理結果に先行して出力する。

さらに、画像処理部１２１は、画像処理パラメータに従い、入力画像を必要に応じて拡大または縮小し、ジオラマ効果のフィルタをかけ（Ｔ１０６）、図４（Ｃ）に示すように、第２の端末装置３００に再度フィルタ処理の結果を２回目の処理結果（第２の出力画像）として出力する（Ｔ１０７）。

これにより、最終的な結果を得る前に、より小さいサイズの画像（第１の出力画像）を中間結果として、より早いタイミングで確認でき、ユーザーは処理結果待ちのストレスを減らすことができる。さらに、自分の意図に沿った処理結果であるかどうかを早いタイミングで判断することができる。

なお、Ｔ１０６で行う画像処理は、後述するパラメータの変更指示等がない場合には、第１の出力画像を生成した時に行った画像処理と同様の処理である。そのため、第１の出力画像と第２の出力画像は、サイズは違うものの、画像に映っている内容自体は同じになる。つまり、第２の出力画像のプレビュー画像として第１の出力画像を利用できる。

ただし、第１の出力画像をユーザーが確認し、ユーザーの意図に沿わない画像であると判断した場合には、図示しないユーザーインタフェースを介して、ユーザーが２回目の画像処理を中断できるようにしてもよいし、フィルタのパラメータを変えて再処理を要求することができるようにしてもよい。例えば、１回目の処理結果を確認した後、ユーザーが取得したい画像のイメージと異なる場合には、ぼかしの範囲や、ぼかしの位置を設定するパラメータを変更して再処理を要求できるようにしてもよい。

４．第２の実施形態
本実施形態のシステム構成例は、図１及び図２に示した通りである。始めに、前述した第１の実施形態と異なる点について説明する。

まず、本実施形態の画像処理部１２１は、パノラマ画像生成処理（パノラマ合成処理）を行う。パノラマ画像生成処理では、複数の入力画像を特徴点などによって対応付け、幾何変換して一枚の画像に合成する。まず、特徴点の抽出と対応付けには、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Feature）などの手法を用いる。ただし、これらに限定されず、任意の手法で行ってよい。他にも、テンプレートによるマッチング処理を行ってもよい。そして、ＳＩＦＴ等により対応付けられた特徴点のペアから、ＲＡＮＳＡＣ（RANdom SAmple Consensus）などの手法を用いて、幾何変換行列を推定する。

ここでは、２枚の同一サイズの入力画像をパノラマ合成するものとし、入力画像のサイズ（入力サイズ）を高さＨ’、幅Ｗ’とする。なお、ここで入力サイズとは、パノラマ画像生成処理に直接入力する画像のサイズのことをいう。

また、説明を簡略化するため、２枚の入力画像は図６に示すように、幅方向にＷ’／２以上、高さ方向にＨ’／２以上の重複した領域を必ず持つものとする。このような条件を満たす場合の出力サイズとの入力サイズの関係を図７に示す。第２の端末装置３００の第２の表示部３１０の表示サイズを幅Ｗ、高さＨとすると、合成画像の最大サイズも幅Ｗ、高さＨであるため、上記の条件を満たすためには、Ｗ’＋１／２Ｗ’≦Ｗ、Ｈ’＋１／２Ｈ’≦Ｈを満たさなければならない。すなわち、Ｈ’≦２／３Ｈ、Ｗ’≦２／３Ｗを満たす必要がある。したがって、第２の表示部３１０の表示サイズより小さい合成結果を得るために、入力サイズを高さ２／３Ｈ、幅２／３Ｗより小さくすることを目安とする。ただしこれは、パノラマ合成結果が高さＨ、幅Ｗに必ず収まることを保証するものではない。

また、パノラマ画像生成処理では、第１の実施形態のフィルタ処理と異なり、入力画像のサイズから出力画像のサイズを知ることができない。したがって、表示部の出力サイズに適したサイズの画像を得るための画像処理パラメータを直接求めることはできない。

そのため、本実施形態では、制御部１２２が、画像処理部１２１から中間結果として１回目の出力サイズ（第１の出力画像のサイズ）を取得し、第１の出力画像のサイズに基づいて、第２の出力画像のサイズを算出する。その他は、第１の実施形態と同様である。

以上を踏まえて、図５のシーケンス図を用いて本実施形態の処理の流れを説明する。

まず、制御部１２２は、第２の端末装置３００から上限サイズを取得する（Ｔ２０１）。第１の実施形態と同様に、２回目の出力サイズは上限サイズと同じ値とする。そして、上述したように、入力画像のサイズが高さ２／３Ｈ、幅２／３Ｗよりも小さくなるように、１回目の出力を得るための処理対象となる画像サイズ（第１入力サイズ）を決定する。ここでは、幅、高さとも上限サイズの１／４となるように設定する。すなわち、第１入力サイズを幅Ｗ／４、高さＨ／４に設定する。

そして、制御部１２２は、第１入力サイズを画像処理部１２１に通知する（Ｔ２０２）。

次に、第１の端末装置２００が、画像処理部１２１に画像データとして合成の元となる２枚の画像を送信すると（Ｔ２０３）、画像処理部１２１は入力画像を第１入力サイズへと必要に応じてリサイズ（拡大または縮小）して、合成処理を行う（Ｔ２０４）。

その後、１回目の処理結果を第２の端末装置３００に送信すると、図８（Ａ）に示すように、第２の端末装置３００は結果を表示する（Ｔ２０５）。すなわち、第２の端末装置３００は、２回目の処理結果に先行し、かつ２回目の出力サイズより小さいサイズで１回目の処理結果を出力する。なお、本例では、１回目の出力サイズの方が２回目の出力サイズよりも小さい場合について説明しているが、場合によっては、１回目の出力サイズが２回目の出力サイズ以上であってもよい。

さらに、１回目の出力サイズ（第１出力サイズ）を制御部１２２に通知する（Ｔ２０６）。ここでは、第１出力サイズは合成画像の外接矩形のサイズで定義し、ここでは例えば、高さＨ／３、幅Ｗ／３になったとする。また、制御部１２２は、第１出力サイズから２回目の出力サイズが３倍程度になれば、第２の端末装置３００の出力サイズに適した画像を合成できると判断し、２回目の出力を得るための処理対象となる画像サイズ（第２入力サイズ）を第１入力サイズの３倍とする。すなわち、第２入力サイズを幅３Ｗ／４、高さ３Ｈ／４と推定する。なお、２回目の合成処理で算出される幾何変換行列は、１回目と異なる可能性が高いため、出力サイズの誤差を考慮して、第２入力サイズにスケーリングのための係数を掛けるもよい。例えば、幅、高さそれぞれに０．９５を掛ける等してもよい。

そして、制御部１２２は、特定した第２入力サイズとなるような画像処理パラメータを、画像処理部１２１に通知し（Ｔ２０７）、画像処理部１２１は入力画像を第２入力サイズへと必要に応じてリサイズ（拡大または縮小）して、合成処理を行う（Ｔ２０８）。なお、２回目の合成処理には、１回目の合成で用いた幾何変換行列を用いてもよい。また、第２入力サイズの画像に対して新たに特徴点抽出や対応付けを行ない、幾何変換行列を推定してもよい。さらに、新たに幾何変換行列を推定する際には、１回目の合成に用いた幾何変換行列と異なる可能性が高いため、第２入力サイズを拡大・縮小するなどの調整を行なってもよい。

その後、２回目の処理結果を第２の端末装置３００に出力すると（Ｔ２０９）、図８（Ｂ）に示すように、第２の端末装置３００は出力サイズに適した結果を表示できる。

以上のように画像処理部１２１で行う画像処理が、パノラマ画像生成処理などであり、画像処理後でなければ出力サイズがわからない処理である場合でも、より小さいサイズの画像（第１の出力画像）に基づいて第２の出力画像のおおよそのサイズを予測し、表示部の表示サイズに合うように入力サイズを調整することができる。

このように、本実施形態によれば、出力サイズに対して、過剰なサイズを持つ画像を処理・通信することを回避すること等可能になる。

５．第３の実施形態
第３の実施形態のサーバシステム１００は、第２の実施形態と同様に図２に示すシステム構成で実現できる。

次に、図１０のシーケンス図を用いて本実施形態の処理の流れを説明する。まず、図１０のＴ３０１〜Ｔ３０５では、図５のＴ２０１〜Ｔ２０５と同様の処理を行うため、説明を省略する。Ｔ３０１〜Ｔ３０５の処理後には、図９（Ａ）に示すような第１の出力画像が第２の表示部３１０に表示される。

次に、画像処理部１２１は、１回目の処理結果となる合成画像（第１の出力画像）のサイズ（第１出力サイズ）を制御部１２２に通知する。そして、制御部１２２は、最終的な出力画像（第２の出力画像）のサイズ（第２出力サイズ）を決定し、決定した第２出力サイズとなるような画像処理パラメータを特定する（Ｔ３０６）。

ここで、制御部１２２は、最終的に出力する合成画像のサイズと、１回目の合成画像のサイズとの差が、所定の閾値以上であると判断した場合には、新たに２回目の合成画像のサイズ（第３出力サイズ）を定め、２回目の画像処理対象となる画像のサイズ（第３入力サイズ）を含む画像処理パラメータを決定する。例えば、順番に出力する画像のサイズはピクセル比で４倍以内にしなければならないとする。この場合には例えば、第３出力サイズが幅２Ｗ／３、高さ２Ｈ／３となるように、第３入力サイズを含む画像処理パラメータを決定する。

そして、制御部１２２は、第３入力サイズを含む画像処理パラメータと、第２入力サイズを含む画像処理パラメータをそれぞれ画像処理部１２１に通知する（Ｔ３０７）。

次に、画像処理部１２１は、第３入力サイズに応じて入力画像をリサイズ（拡大または縮小）し、２回目の合成処理を行い（Ｔ３０８）、２回目の合成結果を第２の端末装置３００に出力する。そして、図９（Ｂ）に示すように、第２の端末装置３００は第３の出力画像を表示する（Ｔ３０９）。

さらに、画像処理部１２１は、第２入力サイズに応じて入力画像をリサイズ（拡大または縮小）し、３回目の合成処理を行い（Ｔ３１０）、３回目の合成結果を第２の端末装置３００に出力する。そして、図９（Ｃ）に示すように、第２の端末装置３００は第２の出力画像を表示する（Ｔ３１１）。

このように、１回目と２回目の出力画像のサイズが異なるなど、出力する時刻が大きく開いてしまう可能性がある場合には、１回目と２回目の出力の中間に１回以上の出力が得られるように画像処理パラメータを新たに設定することができる。サイズだけでなく、処理時間との間にある一定の相関が見られる画像処理パラメータに関して、出力間隔が閾値を超えないように、新たにパラメータを設定することができる。

これにより、一定の間隔で出力を得ることができ、ユーザーの出力待ちのストレスを緩和すること等が可能となる。

６．第１の実施形態〜第３の実施形態の手法
以上の第１の実施形態〜第３の実施形態のサーバシステム１００は、ネットワーク５００を介して入力画像の情報を受信する処理を行う受信処理部１１０と、入力画像に対して画像処理を行う処理部１２０と、ネットワーク５００を介して画像処理後の出力画像の情報を送信する送信処理部１３０と、を含む。まず、処理部１２０は、入力画像に対して第１の画像処理を行うことで、第１出力サイズの第１の出力画像を生成する。そして、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行う。次に、処理部１２０は、入力画像に対して第２の画像処理を行うことで、第１出力サイズよりも大きい第２出力サイズの第２の出力画像を生成する。そして、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行う。

すなわち、サーバシステム１００は、第２出力サイズの第２の出力画像を生成する前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像を生成し、第１の出力画像を端末装置に送信する。

ここで、第２の画像処理は、第１の画像処理と異なる画像処理であってもよいし、同一の画像処理であってもよい。

これにより、第２の出力画像が生成又は端末装置に表示される前に、第２出力サイズよりも小さい第１出力サイズの第１の出力画像をユーザーが確認することが可能となる。言い換えれば、情報量を圧縮した処理結果を先行して送信することで、より早いタイミングでユーザーが画像処理結果を確認することができる。

そのため、最高サイズの出力を得る前に、より小さいサイズの画像をより早いタイミングで確認でき、ユーザーは処理結果待ちのストレスを減らすことができる。さらに、自分の意図に沿った処理結果かどうかを早いタイミングで判断できる。

また、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信した後に、第２の出力画像の情報を送信する処理を行ってもよい。

これにより、第１の出力画像を第２の出力画像よりも先にユーザーが確認すること等が可能になる。

また、例えば、外出先で撮影した画像からパノラマ画像を生成したい場合には、その場で出来上がりを確認できることが望ましい。生成したパノラマ画像に映し出された被写体がスムーズに繋がっていない場合などには、再度その場でパノラマ画像の元となる画像を撮像する必要があるためである。この場合には、手持ちの携帯機器でパノラマ画像の出来上がりイメージを直ちに確認できればより良い。ただし、出来上がりイメージを確認するだけであれば、確認用の画像はサイズが大きく（解像度が高く）なくてもよい。つまり、確認用の画像は、画質は求められないが、直ぐにその場で確認できることが求められる。

一方で、最終的に生成されるパノラマ画像は、サイズが大きく、画質が良ければ良い程良い。そのため、画像の生成に時間がかかるが、確認用の画像で画像のおおまかな内容さえ確認できれば、最終的に生成されるパノラマ画像をすぐに確認する必要性は乏しい。また、その場で確認する必要もなく、例えば、帰宅してから自宅のパーソナルコンピュータ等で確認できればよい。

そこで、送信処理部１３０は、第１の表示部２１０を有する第１の端末装置２００に対して、第１の出力画像の情報を送信する処理を行い、第１の表示部２１０よりも画面サイズが大きい第２の表示部３１０を有する第２の端末装置３００に対して、第２の出力画像の情報を送信する処理を行ってもよい。

これにより、ユーザーは第１の端末装置２００で第１の出力画像を確認し、第２の端末装置３００で第２の出力画像を確認すること等が可能になる。つまり、確認用のサムネイル画像である第１の出力画像を、スマートフォン等である第１の端末装置に送信し、ユーザーがその場で確認し、一方で、高解像度画像である第２の出力画像を、自宅のパーソナルコンピュータ等である第２の端末装置に送信し、ユーザーが後から確認すること等が可能となる。

また、第１出力サイズと第２出力サイズとの差が大きい場合には、第１の出力画像が送信されてから、第２の出力画像が出力されるまでの期間が長くなってしまうことがある。また、第１出力サイズと第２出力サイズとの差が大きい場合には、第１の出力画像を確認しても、第２の出力画像の内容がよく判別することができず、第２の出力画像の内容を確認しきれないこともある。

そこで、処理部１２０は、入力画像に対して第１の画像処理を行うことで、第１出力サイズの第１の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。次に、処理部１２０は、入力画像に対して第３の画像処理を行うことで、第１出力サイズよりも大きく、第２出力サイズよりも小さい第３出力サイズの第３の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第３の出力画像の情報を送信する処理を行ってもよい。さらに、処理部１２０は、入力画像に対して第２の画像処理を行うことで、第２出力サイズの第２の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、ユーザーは第１の出力画像を確認した後に、第２の出力画像を確認する前に、第３の出力画像を確認すること等が可能になる。

また、処理部１２０は、第１出力サイズと第２出力サイズとの差が所定の閾値以上であると判断する場合に、入力画像に対して第３の画像処理を行い、第３出力サイズの第３の出力画像を生成してもよい。

これにより、第１出力サイズと第２出力サイズとの差が所定の閾値よりも大きい場合に、第１の出力画像が送信されてから、第２の出力画像が送信されるまでの間に、第３の出力画像をユーザーが確認すること等が可能になる。

従って、第１の出力画像、第３の出力画像、第２の出力画像の順番で、画像のサイズ（解像度）を大きくすれば、ユーザーが自然にサイズの大きい画像へ確認作業を移行すること等が可能となる。さらに、最大サイズの画像（第２の出力画像）が表示される前に、小さいサイズの画像（第１の出力画像）では判別することができなかった画像の詳細部分を、中間のサイズの画像（第３の出力画像）により確認すること等が可能となる。

また、第１の出力画像は、前述したように、主に第２の出力画像の内容の確認用として使用されるため、第２の出力画像よりもサイズが小さい必要がある。そのため、無闇に第２出力サイズを決定するのは好ましくない。

そこで、受信処理部１１０は、ネットワーク５００を介して、第２出力サイズを特定するために用いる出力サイズ特定情報を受信する処理を行ってもよい。そして、処理部１２０は、サイズ特定情報に基づいて、第２出力サイズを表す第２出力サイズ情報を特定し、第２出力サイズ情報に基づいて第２の画像処理を行ってもよい。

ここで、出力サイズ特定情報とは、後述する上限サイズ情報や、第１の出力画像と第２の出力画像とのサイズ比等を表す情報のことをいう。また、出力サイズ特定情報は、入力画像そのものであってもよく、この場合には、入力画像から第１出力サイズや、第２出力サイズ等を算出してもよい。

また、出力サイズ情報とは、例えば、出力画像の縦の画素数と横の画素数を表した情報等をいう。

これにより、例えば出力サイズ特定情報に基づいて、第２の表示部３１０の画面サイズ以下になる第２出力サイズを表す第２出力サイズ情報を特定すること等が可能になる。また、例えば第１出力サイズよりも第２出力サイズを大きくすること等が可能になる。

なお、出力サイズ特定情報を送信する端末装置は、例えば図１に示した第１の端末装置２００〜第３の端末装置４００のどの端末装置でも良い。例えば、実際に出力画像を表示するのは、第２の端末装置３００であるが、第２の端末装置３００の画面サイズ等を出力サイズ特定情報として第１の端末装置２００から送信する等してもよい。

また、前述した理由から、第１出力サイズは、端末装置の表示部の画面サイズより大きい必要もない。

そこで、受信処理部１１０は、ネットワーク５００を介して、端末装置の表示部に表示可能な画像の上限サイズ情報を出力サイズ特定情報として受信する処理を行ってもよい。そして、処理部１２０は、上限サイズ情報に基づいて、第２出力サイズ情報を特定し、第２出力サイズ情報に基づいて第２の画像処理を行ってもよい。

ここで、上限サイズ情報は、前述した出力サイズ特定情報の一つであり、表示部に表示可能な画像のサイズ（上限サイズ）を表す情報のことをいう。また、上限サイズは、多くは画面サイズと同じであるが、これに限定されず、画面サイズ以上であってもよいし、以下であってもよい。

これにより、例えば上限サイズ情報に基づいて、第２の表示部３１０の画面サイズ以下になる第２出力サイズを表す第２出力サイズ情報を特定すること等が可能になる。

また、第１の出力画像は、前述したように、主に第２の出力画像の内容の確認用として使用されるため、第２の出力画像よりもサイズが小さい必要がある。そのため、無闇に第１出力サイズを決定するのも好ましくない。

そこで、受信処理部１１０は、ネットワーク５００を介して、第１出力サイズを特定するために用いる出力サイズ特定情報を受信する処理を行ってもよい。そして、処理部１２０は、出力サイズ特定情報に基づいて、第１出力サイズを表す第１出力サイズ情報を特定し、第１出力サイズ情報に基づいて第１の画像処理を行ってもよい。

例えば、受信処理部１１０は、出力サイズ特定情報として上限サイズ情報を受信する処理を行っても良い。

これにより、例えば出力サイズ特定情報に基づいて、第１の表示部２１０の画面サイズ以下になる第１出力サイズを表す第１出力サイズ情報を特定すること等が可能になる。従って、例えば、第２の出力画像の内容を表すサムネイル画像として、第１の出力画像を生成すること等が可能になる。

また、第１の出力画像又は第２の出力画像の少なくともどちらか一方は、第１の端末装置又は第２の端末装置の画面サイズと同じサイズの画像であってもよい。

そこで、受信処理部１１０は、ネットワーク５００を介して、第１の端末装置２００の第１の表示部２１０の第１の画面サイズ情報を受信する処理を行ってもよい。そして、処理部１２０は、第１出力サイズ情報に基づいて第１の画像処理を行ってもよい。

これにより、例えば第１出力サイズを第１の表示部の画面サイズと一致させること等が可能になる。

また、受信処理部１１０は、ネットワーク５００を介して、第２の端末装置３００の第２の表示部３１０の第２の画面サイズ情報を受信する処理を行ってもよい。そして、処理部１２０は、第２出力サイズ情報に基づいて第２の画像処理を行ってもよい。

これにより、例えば第２出力サイズを第２の表示部の画面サイズと一致させること等が可能になる。

すなわち、制御部１２２は、第１の表示部２１０又は第２の表示部３１０の画面サイズ情報を取得する。そして、サーバシステム１００は、複数回画像を送信するうちの少なくとも１回は、画面サイズと同じサイズの出力画像をいずれかの端末装置に送信する。その結果、ユーザーは少なくとも一回は、表示部のサイズに最適化された画像を確認すること等が可能になる。

また、画像処理部１２１で行う画像処理が、パノラマ画像生成処理などであり、画像処理後でなければ第２出力サイズがわからない場合もある。

そこで、処理部１２０は、第１の画像処理を行うことで、第１の出力画像を生成してもよい。次に、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。さらに、処理部１２０は、第１出力サイズ情報に基づいて、第２出力サイズを表す第２出力サイズ情報を特定し、第２出力サイズ情報に基づいて、第２の画像処理を行うことで、第２の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えば、画像処理部１２１で行う画像処理が、パノラマ画像生成処理などであり、画像処理後でなければ出力サイズがわからない処理である場合でも、より小さいサイズの画像（第１の出力画像）に基づいて第２の出力画像のおおよそのサイズを予測し、表示部の表示サイズに合うように入力サイズを調整すること等が可能になる。

従って、出力サイズに対して、過剰なサイズを持つ画像を処理又は通信することを回避すること等可能になる。

また、処理部１２０は、第１のスケーリング処理を入力画像に対して行い、第１の出力画像を生成し、第１のスケーリング処理よりもスケーリング率の小さい第２のスケーリング処理を入力画像に対して行い、第２の出力画像を生成してもよい。

ここで、第１のスケーリング処理及び第２のスケーリング処理は、拡大処理であってもよいし、縮小処理であってもよい。

これにより、同一の入力画像からサイズの異なる画像を生成し、生成した画像に基づいて画像処理を行うこと等が可能になる。

また、画像のサイズ（解像度）が大きければ大きい程、画像のデータサイズも大きくなるため、端末装置からサーバシステムへ画像を送信する時間も長くなる。しかし、前述したような確認用に用いるサムネイル画像は、サイズ（解像度）が大きい必要はなく、サムネイル画像の元となる画像自体もサイズが大きい必要はない。

そこで、サムネイル画像（第１の出力画像）を生成するために用いる別の入力画像（第１の入力画像）を先にサーバシステム１００に送信しておき、高解像度の出力画像（第２の出力画像）を生成するために用いる入力画像（第２の入力画像）を後から送信する手法が考えられる。ただし、第１の入力画像は、例えば端末装置により第２の入力画像がスケーリング処理（拡大処理又は縮小処理）された画像であり、第１の入力画像と第２の入力画像に映る内容は同じである必要がある。これは、あくまで第１の入力画像から生成される第１の出力画像が、第２の出力画像の確認用であるためである。

すなわち、受信処理部１１０は、入力画像として、第１入力サイズの第１の入力画像と、第１入力サイズよりも大きい第２入力サイズの第２の入力画像とを受信する処理を行ってもよい。次に、処理部１２０は、第１の入力画像に対して第１の画像処理を行うことで、第１出力サイズの第１の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。さらに、処理部１２０は、第２の入力画像に対して第２の画像処理を行うことで、第２出力サイズの第２の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、入力画像の送信時間が長くなり、ユーザーが第１の出力画像を確認するまでの時間が長くなってしまう問題を解消すること等が可能になる。すなわち、第２の入力画像の情報を受信する処理の完了を待たずに、第１の入力画像の情報を受信する処理を完了し、第１の入力画像に対して第１の画像処理を開始すること等が可能になり、より早いタイミングでユーザーに第１の出力画像を提示すること等が可能になる。そのため、例えば第２の入力画像の情報を送受信している間に、第１の入力画像に対して第１の画像処理を行うこと等も可能になる。

また、受信処理部１１０は、前記第１入力サイズの前記第１の入力画像と、前記第２入力サイズの前記第２の入力画像とを受信する処理を行ってもよい。次に、処理部１２０は、第１のスケーリング処理を第１の入力画像に対して行い、第１出力サイズの第１の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。次に、処理部１２０は、第１のスケーリング処理とスケーリング率の等しい第２のスケーリング処理を第２の入力画像に対して行い、第２出力サイズの第２の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、サイズの異なる２種類の画像に対して、同じスケーリング率でスケーリング処理を行うこと等が可能になる。この場合には、スケーリング率が同じであっても、元々の入力画像のサイズが異なるため、異なるサイズの出力画像を得ること等が可能になる。

また、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。そして、受信処理部１１０は、ネットワーク５００を介して、第１の出力画像に対するユーザーの承認の有無情報を受信する処理を行ってもよい。さらに、処理部１２０は、受信処理部１１０により受信された有無情報がユーザーの承認が有ることを示す場合には、第２の画像処理を開始し、第２の出力画像を生成してもよい。そして、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えばユーザーが第１の出力画像を確認して、現在の画像処理パラメータに従って、第２の画像処理を開始するか否かを決定し、サーバシステムに指示を送信すること等が可能になる。

また、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。そして、受信処理部１１０は、ネットワーク５００を介して、第１の出力画像に対するユーザーの承認の有無情報を受信する処理を行ってもよい。さらに、処理部１２０は、受信処理部１１０により受信された有無情報がユーザーの承認が無いことを示す場合には、第２の画像処理を中止又は中断してもよい。一方、受信処理部１１０により受信された有無情報がユーザーの承認が有ることを示す場合には、処理部１２０は、第２の画像処理を続行して、第２の出力画像を生成し、送信処理部１３０は、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えばユーザーが第１の出力画像を確認して、現在の実行中の第２の画像処理を中止又は中断するか否かを決定し、サーバシステムに指示を送信すること等が可能になる。

また、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信する処理を行ってもよい。そして、受信処理部１１０は、ネットワーク５００を介して、第１の出力画像に対するユーザーの承認の有無情報を受信する処理を行ってもよい。さらに、送信処理部１３０は、受信処理部１１０により受信された有無情報がユーザーの承認が有ることを示す場合には、ネットワーク５００を介して第２の出力画像の情報を送信する処理を行ってもよい。

これにより、例えばユーザーが第１の出力画像を確認し、生成した第２の出力画像を端末装置に送信するか否かを決定し、サーバシステムに指示を送信すること等が可能になる。

また、処理部１２０は、第１の画像処理及び第２の画像処理として、パノラマ画像生成処理を行ってもよい。

これにより、第１の出力画像及び第２の出力画像として、パノラマ画像を生成すること等が可能になる。

また、処理部１２０は、第１の画像処理を行い、第１の出力画像を生成する第１の処理部と、第２の画像処理を行い、第２の出力画像を生成する第２の処理部と、を有してもよい。そして、第２の処理部は、第１の処理部が第１の画像処理を行う間に並列して、第２の画像処理を行ってもよい。さらに、送信処理部１３０は、ネットワーク５００を介して第１の出力画像の情報を送信し、第１の出力画像の情報の送信後に第２の出力画像の情報を送信する処理を行ってもよい。

これにより、処理が効率化し、ユーザーはより早いタイミングで各出力画像を確認すること等が可能になる。

なお、第１の実施形態〜第３の実施形態のサーバシステム等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、第１の実施形態〜第３の実施形態のサーバシステム等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて第１の実施形態〜第３の実施形態の種々の処理を行う。即ち、情報記憶媒体には、第１の実施形態〜第３の実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

以上のように第１の実施形態〜第３の実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、サーバシステム及びプログラムの構成、動作も第１の実施形態〜第３の実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ サーバシステム、１１０ 受信処理部、１２０ 処理部、
１２１ 画像処理部、１２２ 制御部、１３０ 送信処理部、
２００ 第１の端末装置、２１０ 第１の表示部、２２０ 処理部、
３００ 第２の端末装置、３１０ 第２の表示部、３２０ 処理部、
４００ 第３の端末装置、５００ ネットワーク

Claims (16)

1. ネットワークを介して入力画像の情報を受信する処理を行う受信処理部と、
   前記入力画像に対して画像処理を行う処理部と、
   前記ネットワークを介して前記画像処理後の出力画像の情報を送信する送信処理部と、
   を含み、
   前記処理部は、
   前記入力画像に対して第１の画像処理を行うことで、第１出力サイズの第１の出力画像を生成し、
   前記送信処理部は、
   前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、
   前記処理部は、
   前記入力画像に対して第２の画像処理を行うことで、前記第１出力サイズよりも大きい第２出力サイズの第２の出力画像を生成し、
   前記送信処理部は、
   前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
2. 請求項１において、
   前記送信処理部は、
   前記ネットワークを介して前記第１の出力画像の情報を送信した後に、前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
3. 請求項１又は２において、
   前記送信処理部は、
   第１の表示部を有する第１の端末装置に対して、前記第１の出力画像の情報を送信する処理を行い、前記第１の表示部よりも画面サイズが大きい第２の表示部を有する第２の端末装置に対して、前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
4. 請求項１乃至３のいずれかにおいて、
   前記処理部は、
   前記入力画像に対して前記第１の画像処理を行うことで、前記第１出力サイズの前記第１の出力画像を生成し、
   前記送信処理部は、
   前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、
   前記処理部は、
   前記入力画像に対して第３の画像処理を行うことで、前記第１出力サイズよりも大きく、前記第２出力サイズよりも小さい第３出力サイズの第３の出力画像を生成し、
   前記送信処理部は、
   前記ネットワークを介して前記第３の出力画像の情報を送信する処理を行い、
   前記処理部は、
   前記入力画像に対して前記第２の画像処理を行うことで、前記第２出力サイズの前記第２の出力画像を生成し、
   前記送信処理部は、
   前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
5. 請求項４において、
   前記処理部は、
   前記第１出力サイズと前記第２出力サイズとの差が所定の閾値以上であると判断する場合に、前記入力画像に対して第３の画像処理を行い、前記第３出力サイズの第３の出力画像を生成することを特徴とするサーバシステム。
6. 請求項１乃至５のいずれかにおいて、
   前記受信処理部は、
   前記ネットワークを介して、前記第２出力サイズを特定するために用いる出力サイズ特定情報を受信する処理を行い、
   前記処理部は、
   前記出力サイズ特定情報に基づいて、前記第２出力サイズを表す第２出力サイズ情報を特定し、前記第２出力サイズ情報に基づいて前記第２の画像処理を行うことを特徴とするサーバシステム。
7. 請求項６において、
   前記受信処理部は、
   前記ネットワークを介して、端末装置の表示部に表示可能な画像の上限サイズ情報を前記出力サイズ特定情報として受信する処理を行い、
   前記処理部は、
   前記上限サイズ情報に基づいて、前記第２出力サイズ情報を特定し、前記第２出力サイズ情報に基づいて前記第２の画像処理を行うことを特徴とするサーバシステム。
8. 請求項６又は７において、
   前記受信処理部は、
   前記ネットワークを介して、第２の端末装置の第２の表示部の第２の画面サイズ情報を受信する処理を行い、
   前記処理部は、
   前記第２出力サイズ情報に基づいて前記第２の画像処理を行うことを特徴とするサーバシステム。
9. 請求項１乃至５のいずれかにおいて、
   前記受信処理部は、
   前記ネットワークを介して、前記第１出力サイズを特定するために用いる出力サイズ特定情報を受信する処理を行い、
   前記処理部は、
   前記出力サイズ特定情報に基づいて、前記第１出力サイズを表す第１出力サイズ情報を特定し、前記第１出力サイズ情報に基づいて前記第１の画像処理を行うことを特徴とするサーバシステム。
10. 請求項９において、
    前記受信処理部は、
    前記ネットワークを介して、第１の端末装置の第１の表示部の第１の画面サイズ情報を受信する処理を行い、
    前記処理部は、
    前記第１出力サイズ情報に基づいて前記第１の画像処理を行うことを特徴とするサーバシステム。
11. 請求項１乃至５のいずれかにおいて、
    前記処理部は、
    前記第１の画像処理を行うことで、前記第１の出力画像を生成し、
    前記送信処理部は、
    前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、
    前記処理部は、
    前記第１出力サイズ情報に基づいて、前記第２出力サイズを表す第２出力サイズ情報を特定し、前記第２出力サイズ情報に基づいて、前記第２の画像処理を行うことで、前記第２の出力画像を生成し、
    前記送信処理部は、
    前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
12. 請求項１乃至１１のいずれかにおいて、
    前記処理部は、
    第１のスケーリング処理を前記入力画像に対して行い、前記第１の出力画像を生成し、前記第１のスケーリング処理とスケーリング率の異なる第２のスケーリング処理を前記入力画像に対して行い、前記第２の出力画像を生成することを特徴とするサーバシステム。
13. 請求項１において、
    前記受信処理部は、
    前記入力画像として、第１入力サイズの第１の入力画像と、前記第１入力サイズよりも大きい第２入力サイズの第２の入力画像とを受信する処理を行い、
    前記処理部は、
    前記第１の入力画像に対して前記第１の画像処理を行うことで、前記第１出力サイズの第１の出力画像を生成し、
    前記送信処理部は、
    前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、
    前記処理部は、
    前記第２の入力画像に対して前記第２の画像処理を行うことで、前記第２出力サイズの前記第２の出力画像を生成し、
    前記送信処理部は、
    前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
14. 請求項１乃至１３のいずれかにおいて、
    前記処理部は、
    前記第１の画像処理及び前記第２の画像処理として、パノラマ画像生成処理を行うことを特徴とするサーバシステム。
15. 請求項１乃至１４のいずれかにおいて、
    前記処理部は、
    前記第１の画像処理を行い、前記第１の出力画像を生成する第１の処理部と、
    前記第２の画像処理を行い、前記第２の出力画像を生成する第２の処理部と、
    を有し、
    前記第２の処理部は、
    前記第１の処理部が前記第１の画像処理を行う間に並列して、前記第２の画像処理を行い、
    前記送信処理部は、
    前記ネットワークを介して前記第１の出力画像の情報を送信し、前記第１の出力画像の情報の送信後に前記第２の出力画像の情報を送信する処理を行うことを特徴とするサーバシステム。
16. ネットワークを介して入力画像の情報を受信する処理を行う受信処理部と、
    前記入力画像に対して画像処理を行う処理部と、
    前記ネットワークを介して前記画像処理後の出力画像の情報を送信する送信処理部として、
    コンピューターを機能させ、
    前記処理部は、
    前記入力画像に対して第１の画像処理を行うことで、第１出力サイズの第１の出力画像を生成し、
    前記送信処理部は、
    前記ネットワークを介して前記第１の出力画像の情報を送信する処理を行い、
    前記処理部は、
    前記入力画像に対して第２の画像処理を行うことで、前記第１出力サイズよりも大きい第２出力サイズの第２の出力画像を生成し、
    前記送信処理部は、
    前記ネットワークを介して前記第２の出力画像の情報を送信する処理を行うことを特徴とするプログラム。

Images