JP2013255171A - 画像配信装置及び画像表示装置 - Google Patents

Abstract

【課題】ユーザーがリフォーカス処理を指示して得られた画像データがその撮像シーンに適していない画像データである場合、再度のリフォーカス処理が必要になる。
【解決手段】ユーザー評価値が付与された、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを画像配信装置から画像表示装置に送信する。
【選択図】図３

Description

本発明は、複数の視点位置から取得された情報に基づき画像データを処理する画像配信装置及び画像表示装置に関するものである。

従来、撮像装置を用いて撮像した情報に基づき、撮像後に撮像画像を確認する場合、いわゆる再生モードにおいて撮像画像を表示させ、確認する方法が知られている。

また、近年、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている（たとえば非特許文献１、特許文献１）。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部と、から構成され、撮像素子から得られる撮像画像データが、受光面における光の強度分布に加えてその光の進行方向の情報も含むようになっている。そして画像処理部において、複数の視点や方向からの観察画像を再構築できるようになっている。

複数の視点から撮像された画像から、画像位置合わせ及び画像合成処理により、仮想フォーカス距離に撮像後のピント調整処理（以降、リフォーカスと呼ぶ）を行う技術がある（たとえば特許文献２）。また、撮像後にリフォーカスが可能な撮像装置（以降、ライトフィールドカメラと呼ぶ）が開発されている。

従来のライトフィールドカメラは再生モード時にタッチパネル式のディスプレイ表示画面においてピントを合わせたい場所をタップすることでリフォーカスを行い、ピントを変更した合成画像をディスプレイ表示するものである。

特開２０１０−１８３３１６号公報 特開２０１１−２２７９６号公報

R. Ng, M. Levoy, M.Bredif, G. Duval, M. Horowitz, P. Hanrahan: "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02（2005）

リフォーカスされた合成画像を示す画像データの生成する際、例えば特許文献２の方法では、中間視点画像を推定処理によって生成する必要があり膨大な計算コストがかかる。そのため、ユーザーがリフォーカス処理を指示して得られた画像データがその撮像シーンに適していない画像データである場合、再度のリフォーカス処理が必要になり、さらに計算コストが生じることになる。

本発明にかかる画像配信装置は、ユーザー評価値が付与された、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを取得する取得手段と、前記取得した合成画像データを送信する送信手段とを備えることを特徴とする。

本発明によれば、ネットワーク上の視聴者からのフィードバックにより、撮像シーンに適したリフォーカス画像を表示することができ、ユーザーの利便性を高めることができる。

本発明の実施例１に係るシステム構成の一例を示す図である。 本発明の実施例１に係る多眼カメラ全体のハードウェア構成の一例を示すブロック図である。 本発明の実施例１に係るクラウドサーバーの構成の一例を示す図である。 本発明の実施例１に係る動作の一例を示すフローチャートである。 本発明の実施例１に係る視聴者からのフィードバックがない時の画像とＧＵＩとの表示例を示す図である。 本発明の実施例１に係る視聴者からのフィードバックが有る時の画像とＧＵＩとの表示例を示す図である。 本発明の実施例１に係る表示端末のハードウェア構成の一例を示すブロック図。 本発明の実施例１における表示端末の動作の一例を示すフローチャートである。 本発明の実施例２に係る動作の一例を示すフローチャートである。 本発明の実施例２に係る視聴者からのフィードバックが有る時の画像とＧＵＩとの表示例を示す図である。 本発明の実施例１および２に係る表示端末側の表示画像の一例を示す図である。 本発明の実施例３に係る動作の一例を示すフローチャートである。

以下、図面を用いて本発明の実施例について詳細に説明する。

図１は、画像再生システムのシステム接続構成例を示すブロック図である。

多眼カメラ１０１は、複数の視点位置から取得された情報に基づく画像データを撮像して多視点画像データを得る撮像装置（システム）である。

無線ルータ１０２は、多眼カメラ１０１と無線通信にて接続しネットワークとの間を中継通信する為の装置である。ここでは、無線ルータとして説明するが、有線接続でのルータを接続する構成でもよい。

ネットワーク１０３は、無線ルータ１０２とクラウドサーバー１０４や、別の機器と通信接続する為のネットワークである。

クラウドサーバー１０４は、多眼カメラ１０１で撮像された多視点画像データの保存と、その多視点画像データに対応した各種パラメータの保存と、ネットワーク１０３越しに接続された各種機器と連携して画像処理を実行する装置である。クラウドサーバーの処理動作の詳細は別途後述する。

表示端末Ａ１０５は、クラウドサーバー１０４上に保存された画像データを閲覧表示する為の表示端末である。本実施例上は、パーソナルコンピュータである（以下ＰＣとして説明する）。また、ディスプレイの表示解像度はＷＸＧＡサイズ（１２８０×８００）とする。

表示端末Ｂ１０６は、表示端末Ａ１０５と同様に、クラウドサーバー１０４上に保存された画像データを閲覧表示する為の表示端末である。本実施例上は、高解像度の大画面テレビ等を示しており、フルハイビジョンサイズ（１９２０×１０８０）（以下このサイズをＦＵＬＬ＿ＨＤとして説明する）の解像度のディスプレイを有する表示端末とする。

表示端末Ｃ１０７は、表示端末Ａ１０５及び表示端末Ｂ１０６と同様に、クラウドサーバー１０４上に保存された画像データを閲覧表示する為の表示端末である。本実施例上この表示端末は、高解像度ではない携帯表示端末とする。ここでは、解像度をＷＶＧＡサイズ（８５４×４８０）として説明する。

なお、各表示端末は１例であり、また、各表示端末の解像度についてもここで記載している解像度以外の解像度に対応した表示の解像度でもよい。

図２は、多眼カメラ１０１内部のハード構成ブロックの一例を示す図である。多眼カメラ撮像部２０１は、相互に独立した光学系と撮像素子とを持つ相互に独立した複数のカメラの集合体である。多眼カメラ撮像部２０１は、撮像素子の制御部等を含み、複数の撮像素子からの出力データの集合を多視点画像データとして出力する。

ＲＡＭ２０２は、多眼カメラ撮像部２０１で撮像した多視点画像データの一時記憶や生成したリフォーカス画像データの一時記憶、およびその他演算途中のデータなどの一時記憶に使用する為のメモリである。ＦｌａｓｈＲＯＭ２０７は、不揮発メモリであり、過去にユーザーが選択した画像（種別と位置）や操作に関する履歴を累積、記憶する。外部メモリ２０９は、ＳＤカードなどの外部メモリである。また、外部メモリ２０９は不揮発メモリであり、電源を切っても画像データは保存される。外部メモリ２０９には、多眼カメラ撮像部２０１で撮像した多視点画像データが、画像ファイルとして保存される。また外部メモリ２０９は、処理中の画像データを一時画像ファイルとして一時的に保存する領域としても利用される。

メモリ制御部２１０は、いわゆるバスシステムと、バスシステムに接続されるメモリやデバイスの制御部から構成され、例えば、ＲＡＭ２０２、ＦｌａｓｈＲＯＭ２０７、外部メモリ２０９の各メモリに対するデータの読み書きを制御する。

ユーザーＩ／Ｆ（インターフェース）２０６は、機器の操作や、ユーザーがリフォーカス表示を希望する画像又は領域を選択したり、又は撮像済み画像の表示に係わるモード選択を行う為のＩ／Ｆ（インターフェース）である。具体的には、ディスプレイ２０５上に設置されるタッチパネルや、レリーズボタン、操作ダイアルなどユーザーI／Ｆに対応する。

全体制御部（ＣＰＵ）２０８は、機器全体の制御や、ＦｌａｓｈＲＯＭ２０７に記憶されている履歴情報から最も頻度の高い領域を選択し、リフォーカス演算部２０３へ指示するなどの演算制御を行う。

リフォーカス演算部２０３は、全体制御部２０８の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、所定の対象に合焦した合成画像データであるリフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。生成されたリフォーカス画像データは、ＲＡＭ２０２や、外部メモリ２０９などへ格納される。

グラフィックプロセッサ２０４は、リフォーカス演算部２０３で生成されたリフォーカス画像データをディスプレイ２０５に表示する機能を具備している。

ネットワークＩ／Ｆ２１１は、機器外とネットワーク接続を行い、ネットワーク上の外部機器との間でデータ転送を行う。本実施例では、ネットワークＩ／Ｆ２１１は外部のクラウドサーバーに対して多視点画像データを含む画像ファイルを送信する。また、多眼カメラにおいてリフォーカス済の画像データを生成済みである場合にはそのデータをクラウドサーバー１０４に対して送信してもよい。

画像解析部２１２は、画像データ中の被写体の領域を検出し、領域毎に識別コードを割り当てる。画像解析部２１２は、検出した被写体の領域情報と識別コードとをＲＡＭ２０２に記憶する。本実施例の被写体とは、前景にあたる人や動物だけでなく、背景に含まれる風景部分も含むものとする。被写体の検出は、例えば、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用することで実施できる。あるいは、被写体の検出は、顔の対称的特徴、顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによっても実施できる。背景の検出は、例えば前述の方法で画像内の人物や動物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分することができる。例えば、被写体領域を矩形と仮定すると、領域情報の形式は、左上と右下の座標で示される。また、被写体の識別対象は、人（又は顔）、動物、風景の三種類としているが、これに限定されず、さらに細かい分類をすることも可能である。なお、被写体の検出および識別方法は、本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。画像解析部２１２での被写体検出および識別機能は、画像撮像後、直ちに実施され、その結果をクラウドサーバーに送信してもよい。
なお、多視点画像データは、撮像素子から得られたＲＡＷ画像データであってもよいし、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などの現像処理が施された現像後画像データであってもよい。また、本実施例では多眼カメラ撮像部２０１を用いる例を説明したが、多視点画像データは複数の視点位置からのデータであればよく、例えばマイクロレンズアレイを用いて得られる撮像データを用いてもよい。

次に、クラウドサーバー１０４内の構成例を示すブロック図である図３について説明する。

図３は、クラウドサーバー装置内の構成例を示すブロック図である。本実施例において、クラウドサーバーは画像配信装置ということができる。

ネットワーク通信部３０１は、ネットワーク１０３に接続された機器とクラウドサーバーとを通信する。またネットワーク通信部３０１は、ネットワークを介して閲覧可能なように画像データを公開する。ネットワーク通信部３０１は、物理的な接続形態に限定はなく、有線接続、無線接続の場合もあるため、プロトコル的に接続可能であれば、接続形態にこだわるものではない。

データ記憶部３０２は、ネットワーク通信部３０１経由で、多眼カメラ１０１で撮像された多視点画像データを記憶する。また、クラウドサーバー内で処理された結果の画像データと各種情報を記憶する。クラウドサーバー内での処理する内容及び、各種情報については、別途後述する。

リフォーカス演算部３０３は、データ記憶部３０２に蓄積された多視点画像データからリフォーカス演算処理を行い、リフォーカス画像データを生成する。リフォーカス演算部３０３はリフォーカス演算部２０３と同様の処理を行う。

ＵＩ制御部３０４は、ネットワークを介して接続されている画像表示端末に対して、ＵＩ（ユーザーインターフェースであり以下ＵＩとして説明する）操作を出来るよう制御する。また、ユーザーからの操作指示に応じてクラウドサーバー機器内を制御する。

ユーザー評価値蓄積部３０５は、ＵＩ制御部３０４の結果に応じて、ユーザーの操作を評価値として蓄積する。ユーザー評価値については後述する。

解像度変換部３０６は、ネットワークを介して接続されている各種画像表示端末及び、カメラに搭載されているディスプレイの解像度に合わせて、データ記憶部３０２に記憶されている画像データの解像度を変換処理する。

全体制御部（ＣＰＵ）３０７は、クラウドサーバー機器内の全体を制御する。バスインターフェース３０８は、クラウドサーバー機器内の各ブロックを排他的に切り替えながら動作させる為のバスインターフェースである。表示部３０９は、クラウドサーバーを直接操作する際の操作表示用の表示部である。

上記構成において、多眼カメラ１０１で撮像された多視点画像データが、クラウドサーバー１０４上のデータ記憶部３０２に記憶されている。また、この多視点画像データを表示端末に閲覧表示させるにあたって、所定のＩＤコード情報及び多視点画像データのサムネイル画像もデータ記憶部３０２に記憶されている状態である。ＩＤコードとは、例えばユーザーＩＤのことであり、画像再生を要求するユーザーが管理者であるか否かを判定するために用いられる。詳細については後述する。なお、多眼カメラ１０１で撮像された多視点画像データのクラウドサーバーへのアップロード方法については公知技術である為、ここでは特に言及しない。

次に本実施例の特徴を、図４のフローチャートを用いて説明する。図４は、クラウドサーバー１０４のフローチャートである。図４に示す処理は、例えば全体制御部３０７がデータ記憶部３０２に記憶されているプログラムを実行することによって実施される。

シーケンスをスタート後、ステップＳ４０１では、図１の各表示端末Ａ１０５，Ｂ１０６，Ｃ１０７のいずれかより、多眼カメラ１０１で撮像された多視点画像データを再生表示する為の要求コマンドの受信の有無を判定する。ネットワーク通信部３０１を介して、画像再生の為の要求コマンドが無い場合は、そのまま、このルーチンで待機状態となる。ネットワーク通信部３０１を介して、画像再生の為の要求コマンドを受信した場合は、ステップＳ４０２へ進む。

ステップＳ４０２では、ネットワーク１０３を介して、ユーザーのＩＤコードを受信する。ステップＳ４０３では、ステップＳ４０２で受信したＩＤコードが、ステップＳ４０１で再生要求があった画像データを撮像した管理者のＩＤコードと一致するか否かを判定する。先に説明したように、管理者のＩＤコードは、例えば予めデータ記憶部３０２に保存されている。判定した結果、画像の管理者である場合は、ステップＳ４０４へ進む。画像の管理者ではないと判定した場合は、ステップＳ４１０へ進む。

ステップＳ４０４では、画像管理者用の所望のリフォーカス演算済の推奨画像データが存在するか否かを判定する。推奨画像データとは、ユーザー評価値が関連付けられたリフォーカス演算済み画像データのことである。詳細は後述する。リフォーカス演算済の推奨画像データが存在する場合は、ステップＳ４０６へ進む。リフォーカス演算済の推奨画像データが存在しない場合は、ステップＳ４０５へ進む。ステップＳ４０５では、表示すべき推奨画像データが存在しないことを通知して、処理を終了する。

ステップＳ４０６では、全体制御部３０７がリフォーカス演算済の推奨画像データを選択し、データ記憶部３０２に記憶されている推奨画像データを読み出す。ステップＳ４０７では、ステップＳ４０６で読み出されたリフォーカス演算済の推奨画像データを、ネットワーク通信部３０１を介して要求元に通信する。

一方、ステップＳ４１０では、画像の管理者ではないと判定された場合、データ記憶部３０２よりサムネイル画像データを読み出し、要求元の表示端末に送信する。ステップＳ４１０では、複数のシーンに対応する複数のサムネイル画像データを送信することができる。

ステップＳ４１１では、全体制御部３０７は、サムネイル表示された画像に関して、以前に他のユーザーにより、すでに任意の画像位置に対してリフォーカス演算された画像データが保存されているか否かを判定する。この判定は、例えばサムネイル表示された画像データに関連付けられたリフォーカス画像データがデータ記憶部３０２にあるか否かに基づいて行われる。すでにリフォーカス済の画像データが保存されている場合は、ステップＳ４１２へ進む。まだリフォーカス済の画像データが保存されていない場合（すなわち、初めて操作される場合）は、ステップＳ４２０へ進む。

ステップＳ４２０では、全体制御部３０７は、表示端末に対してサムネイル画像を表示させている状態から、ユーザー操作により視聴したい撮像シーンの選択操作がなされたか否かを判定する。撮像シーンは、任意の時点において多眼カメラ１０１で撮像された多視点画像データが示す画像のシーンのことである。例えば、時間または地点を変更して多眼カメラ１０１で撮像された多視点画像データは、それぞれ異なる撮像シーンを有することになる。撮像シーン選択操作がされた場合、ステップＳ４２１へ進む。撮像シーン選択操作がされていない場合、ステップＳ４１１へ戻る。

ステップＳ４２１では、データ記憶部３０２から選択された撮像シーンの多視点画像データを読み出す。次にステップＳ４２２で、ステップＳ４２１で読み出された多視点画像データを使って、予め設定されているデフォルトの位置のフォーカスを合わせたリフォーカス画像データを生成する。

次に、ステップＳ４１１でリフォーカス演算された画像データが保存されていると判定された場合の処理を説明する。ステップＳ４１２では、全体制御部３０７はサムネイル画像の内、どのリフォーカス位置に対応したリフォーカス済画像を表示させるかに関するユーザーからの操作が有ったか否かを判定する。この判定は例えば、ネットワーク通信部３０１が、ステップＳ４０１で画像の再生要求をした表示端末からの操作コマンドの受信に応じて判定する。ステップＳ４１１は、サムネイル画像がユーザーから選択された場合、その選択されたサムネイル画像に対応するリフォーカス済の画像データを表示させる操作があったと判定する。既にサムネイル画像が選択されているとき、当該サムネイル画像に関連するリフォーカス済の画像データをユーザーが選択した場合に、ユーザーからの操作があったと判定する。操作が有った場合、ステップＳ４１３へ進む。操作が無い場合、ステップＳ４２０へ進む。

ステップＳ４１３では、全体制御部３０７はステップＳ４１２で選択操作された、サムネイル画像に対応するリフォーカス済の画像データを、データ記憶部３０２から読み出す。なお、ステップＳ４１１でサムネイル画像が選択された場合には、次のように処理を行っても良い。すなわち、選択されたサムネイル画像（撮像シーン）に対応する複数のリフォーカス済の画像データがある場合、後述するように評価値の高いリフォーカス済の画像データをメインウィンドウに表示するために読み出すことができる。

ステップＳ４１４では、全体制御部３０７は、ステップＳ４１３で読み出したリフォーカス済の画像データがロックされたリフォーカス済画像であるか否かを判定する。すなわち、当該リフォーカス済の画像データが、すでにステップＳ４０２で受信したユーザーＩＤで識別される視聴者による評価が終了し、再度の評価のためのＵＩ操作をさせない為にロックされた画像データであるか否かを判定する。例えば、画像ＩＤとユーザーＩＤと評価の有無とを関連付けたテーブルを参照するなどにより、係る判定が行われる。まだＵＩ操作をロックされていない画像の場合は、ステップＳ４１５へ進む。すでにＵＩ操作をロックされた画像の場合は、ステップＳ４４４へ進む。

ステップＳ４１５では、このステップに遷移するまでに生成されているリフォーカス画像データに、ＵＩ制御部３０４がＵＩとして操作ボタンの表示を重畳する。この重畳される操作ボタンは、ユーザー評価値を付与するためのボタンである。ステップＳ４１６では、全体制御部３０７は、ステップＳ４１５で操作ボタンが重畳された画像データをステップＳ４０１で画像再生を要求した表示端末に対して送信する。

ステップＳ４１７では、ステップＳ４１６で送信したＵＩ操作ボタンを重畳された画像をユーザーが閲覧している状態で、現状表示端末上に表示されているリフォーカス位置とは異なる任意の位置をユーザーがリフォーカス位置として設定したか否かを判定する。例えば、ネットワーク通信部３０１が、ステップＳ４０１で画像の再生要求をした表示端末からのリフォーカス位置の変更要求を受信した場合、リフォーカス位置の任意設定がされたと判定する。現在の表示画像に対応したリフォーカス位置以外をリフォーカス位置として任意に設定された場合、ステップＳ４３０へ進む。そのままリフォーカス位置の任意の設定がされない場合は、ステップＳ４４０へ進む。

ステップＳ４３０では、全体制御部３０７は過去に現在視聴しているユーザーとは異なる、不特定多数のユーザーから操作された位置と同じ位置に対応するリフォーカス済の画像データがデータ記憶部３０２に保存されているか否かを判定する。過去にリフォーカス位置として操作された画像データが保存されている場合は、ステップＳ４１３へ戻る。保存されていない場合は、ステップＳ４３１へ進む。

ステップＳ４３１では、全体制御部３０７は、データ記憶部３０２から同じ撮像シーンの多視点画像データを読み出す。ステップＳ４３２では、リフォーカス演算部３０３がステップＳ４３１で読み出された多視点画像データのリフォーカス演算処理を行う。ステップＳ４３２では、ステップＳ４１７で設定された位置にフォーカスを合わせる処理が行われる。ステップＳ４３３では、全体制御部３０７は、ステップＳ４３２で得られたリフォーカス演算処理結果に基づいてリフォーカス位置の異なる画像データを生成する。そして、上述のステップＳ４１５へ処理を移行する。

一方、ステップＳ４１７でリフォーカス位置の任意設定がされていないと判定した場合、ステップＳ４４０では、ステップＳ４１５にて重畳したＵＩボタンに対して、画像再生を要求した表示端末からアクション操作がなされたか否かを判定する。例えば、ネットワーク通信部３０１が、ステップＳ４０１で画像の再生要求をした表示端末からのＵＩボタンに対する入力コマンドを受信した場合、アクション操作がなされたと判定する。アクション操作は、例えばステップＳ４０１で画像の再生要求をした表示端末からのユーザー評価値の更新要求のことである。アクション操作がなされた場合は、ステップＳ４４１へ進む。アクション操作が無かった場合は、ステップＳ４４４へ進む。

ステップＳ４４１では、全体制御部３０７は、ステップＳ４４０で操作されたリフォーカス済み画像に対してユーザー評価値を１ポイント足す。ユーザー評価値は、現在閲覧されている撮像シーンの中での推奨度合を表すものである。ステップＳ４４２では、全体制御部３０７は現在表示している画像の画像データをデータ記憶部３０２に保存する。なお、過去に同じ位置でリフォーカスされ、同一のリフォーカス済み画像データがデータ記憶部３０２に存在する場合は、保存処理はしない。これは、ステップＳ４１３のステップでリフォーカス済の画像データが読み出されたか否かで処理を変更することができる。

ステップＳ４４３では、全体制御部３０７は、画像データに重畳していたＵＩボタンを操作出来ないようロックする。また、ＵＩボタンの表示をコントラストが薄くなるように重畳画像データを更新する。すなわち、全体制御部３０７は、ユーザー評価値が更新された画像データに対する再度の更新を禁止したロック画像データを生成して、送信する。ステップＳ４４４では、全体制御部３０７はユーザーが視聴を終了したか否かを判定する。視聴終了時は、処理を終了する。視聴を継続する時は、ステップＳ４１２へ戻る。

図４のシステム制御フローチャートの順に処理を実行した際に、各表示端末から視聴表示される画像及び、操作内容の例を以下に説明する。

まず、画像閲覧希望の不特定多数の人の内、図１の表示端末Ａ１０５であるところのＰＣがクラウドサーバー１０４にアクセスする。この時の表示端末Ａ１０５上の画面表示内容を図５と図６を使って説明する。

＜不特定多数からのユーザー操作がまだなされていない初期状態の表示例＞
図５は、不特定多数からのユーザー操作がまだなされていない初期状態の表示例である。まず、表示端末Ａ１０５には、図５（ａ）の画面表示がなされ、ユーザーＩＤ入力画面が出てくる。表示端末Ａ１０５からユーザーＩＤが入力されると、次の画面へ移行する。ここまでの流れが、図４のステップＳ４０１〜ステップＳ４０３のＮＯのフローに遷移するまでを示している。

次に、図５（ｂ）表示として、複数の撮像シーン５０２，５０３，５０４の内容が一目でわかるように、サムネイル画像を表示する。これは、図４のステップＳ４１０に相当する。

次に、ユーザーが撮像シーン５０２の画像を見たい場合、撮像シーン５０２のサムネイル画像を表示端末ＡＸ１６０５でクリック操作することで、図５（ｃ）の画面に移行する。ここでは、表示端末をＰＣとして説明しているので、クリック操作と記載しているが、この限りではない。表示端末に対する操作は、タッチパネル式でのタップ操作や赤外線リモコン等による選択操作でも構わない。以降の説明中でのクリック操作についても同様である。

図５（ｃ）は、予め設定しているリフォーカス用のパラメータにより決定されたリフォーカス位置に合わせたリフォーカス済み画像データを生成し、ＵＩ操作ボタン５０５を重畳し表示端末Ａ１０５に表示している画面である。ここでのデフォルト画像は、様々な方法を使用し最初の画像を表示させることができる。例えば、ステップＳ４０２で受信したＩＤによって特定されるユーザーの過去の操作履歴を参照して、その操作履歴に適したリフォーカス画像データを表示することができる。具体的には、そのユーザーが過去に人物にフォーカスを合わせた画像を多く視聴している場合には、多視点画像データの中で人物と特定される領域にフォーカスを合わせたリフォーカス済の画像データを生成して表示させることができる。また、人物モード、背景モードなど、再生時のモード設定がユーザーによってされている場合には、そのモードに応じた領域にフォーカスを合わせたリフォーカス済の画像データを生成して表示させることができる。また、他の手法でフォーカス位置を決定した画像データを生成して表示させてもよい。ここまでの流れが、図４のステップＳ４２０（ＹＥＳ）〜ステップＳ４１６までの処理フローに対応している。

次に、図５（ｃ）とは別のリフォーカス位置を任意に指定したい場合、例として５０６の丸のポイントをクリックすると、初めて他の条件でリフォーカス処理をすることになる。全体制御部３０７とリフォーカス演算部３０３は、このシーンに対応した多視点画像データから、５０６の丸のポイントに対応するリフォーカス演算を行い、再度リフォーカス画像データを生成する。図５（ｃ）の場合には、図５（ｄ）に示す画像のように、人に焦点が合った画像を示すリフォーカス済み画像データを生成する。ここまでの流れが、図４のステップＳ４３０（ＮＯ）〜ステップＳ４３３を経由してステップＳ４１６までの処理フローに対応している。

画像を視聴しているユーザーが、この画像を良いと感じた時に、図５（ｄ）の画像上の５０５のＵＩ操作ボタンをクリックする。全体制御部３０７は、ＵＩ操作ボタンをクリックを検知することで、この撮像シーンのユーザー評価値蓄積部３０５に蓄積されるユーザー評価値のポイントを１加算し、この画像データが保存される。そして、図５（ｅ）の画面が表示され、ＵＩボタンを非表示とする。本例では、同一の撮像シーンに対して、同一のユーザーＩＤでログインした人は、同一のリフォーカス済み画像及び異なる位置にフォーカスを合わせた別のリフォーカス画像に対しても、再度のＵＩ操作による画像保存と評価ポイント加算は出来なくなる。ここまでの流れがステップＳ４４０（ＹＥＳ）〜ステップＳ４４３の処理フローに対応している。

＜不特定多数のユーザー操作によるリフォーカス済み画像データが、すでに存在している時の表示例＞
図６は、不特定多数のユーザー操作によるリフォーカス済み画像データが、すでに存在している時の表示例である。まず、図６（ａ）の画面表示に係る内容は、図５（ａ）の説明と同一である。

次に、図６（ｂ）表示として、複数の撮像シーン５０２，５０３，５０４の内容が一目でわかるように、サムネイル画像を表示する。ここでは、すでに推奨画像としてのリフォーカス済の画像データが存在するので、撮像シーン５０２のサムネイル画像の下に、６０１に示すように、「推奨画像有り」と表示する。次に、撮像シーン５０２の画像が見たい場合、撮像シーン５０２のサムネイル画像をクリック操作することで、図６（ｆ）の画面に移行する。

本例では、以前にリフォーカス生成操作がなされユーザー評価値ポイントの蓄積結果による推奨画像の順位が決定されている。図６（ｆ）では、その推奨画像の内、一番ユーザー評価値ポイントの多いリフォーカス済の画像データを読み出し、ＵＩ操作ボタン５０５を重畳して表示する。これは、図６の画面６１０に相当する。また、画面６１０の右横に表示しているサムネイル画像は、ポイントの多い順に並べて表示している。サムネイル画像５０７は、ポイント１００でＴＯＰ画像の６１０と同一のリフォーカス済画像のサムネイル画像である。サムネイル画像６０２は、ポイント７０で２番目に多いサムネイル画像である。サムネイル画像６０３は、ポイント３０で３番名に多いサムネイル画像である。ここの流れが、ステップＳ４１１（ＹＥＳ）→ステップＳ４１２（ＹＥＳ）〜ステップＳ４１４（ＮＯ）〜ステップＳ４１６までの処理フローに対応している。

ここで、視聴しているユーザーが２番目にポイントが多いサムネイル画像６０２を選択した場合を示したものが図６（ｇ）である。また、視聴しているユーザーが図６（ｆ）の画面を触ることによって、すでに評価値ポイントが有るリフォーカス済み画像ではない、新たなリフォーカス済み画像を表示している時の例は、図６（ｈ）である。この画像に対して良い画像と感じ、ＵＩ操作ボタン５０５をＵＩ操作ボタンをクリックすることで、新たな撮像シーンのポイントを１つ加算したユーザー評価値と、図６（ｉ）に表している画像６０５とが保存される。そして図６（ｉ）の画面が表示され、ＵＩボタンを非表示とすると同時に保存した画像６０５のサムネイル画像６０４が追加表示される。この流れが、ステップＳ４１７（ＹＥＳ）〜ステップＳ４３０（ＹＥＳ）〜ステップＳ４１７（ＹＥＳ）〜ステップＳ４４３である。

なお、一度、ＵＩ操作ボタン５０５をクリックされた画像は、同じ視聴者からは、再度ＵＩ操作ボタンがクリック出来ないようになる。但し、別のリフォーカス済画像を表示させ、まだＵＩ操作ボタンをクリックされていない画像に対しても、良いと感じた画像であれば、ＵＩ操作ボタンの表示を重畳表示することができる。そして、ＵＩ操作ボタンにクリック操作をされた際に、別のリフォーカス済画像に対してもユーザー評価値のポイントを１加算するように動作することができる。

＜画像管理者が推奨画像を表示する場合の例＞
図１の表示端末Ｃ１０７のように、解像度があまり高くない表示端末から画像管理者が画像を見る際は、閲覧する為のＩＤコードを受信した直後からすぐに、対象の撮像シーンに対応した画像データを全画面表示する。全体制御部３０７は具体的には、不特定多数の閲覧者が良い画像と感じたユーザー評価値ポイントの一番多い画像を推奨画像として表示するよう画像データを送信する。これは図４のステップＳ４０３（ＹＥＳ）〜ステップＳ４０４（ＹＥＳ）〜ステップＳ４０７の処理フローである。例えば図１１（ｊ）の画像を全画面表示の画像データとしてデータ送信する。又、図１１（ｋ）に示す評価ポイントの２番目の画像、図１１（ｌ）に示す３番目の画像、図１１（ｍ）に示す４番目の画像を、これらの順番で表示端末側へ順次送信する。表示端末側では受信した順序で画像が表示される。

表示形態として、図１のＰＣ１０５やＦＵＬＬ＿ＨＤ表示端末１０６等の高解像度の表示で閲覧する際は、図５や図６を使って説明したような推奨画像とサムネイル画像をユーザー評価値の順に同時に表示させることができる。なお、ユーザー評価値順に対応した推奨画像を表示させる方法については、この限りではない。

次に、表示端末側の処理を説明する。図７は、表示端末側のブロックの一例を示す図である。全体制御部７０８が表示端末を制御する。全体制御部７０８は、ユーザーＩ／Ｆ７０６からの操作指示を受けると、ネットワークＩ／Ｆ７１１を介してクラウドサーバーに情報を送信する。また、ネットワークＩ／Ｆ７１１を介してクラウドサーバーからの画像データを受信する。全体制御部７０８はグラフィックプロセッサ７０４を介して受信した画像データをディスプレイ７０５に表示する。

図８は表示端末側のフローチャートの一例を示す図である。図８に示す処理は、例えばＲＡＭ７０２などに記憶されたプログラムを全体制御部７０８が実行することによって実現される。

ステップＳ８０１では、全体制御部７０８は再生モードに移行する。次に、ステップＳ８０２で全体制御部７０８は画像の再生要求と共にユーザーのＩＤコードをクラウドサーバーに送信する（第１の送信処理）。次に、全体制御部７０８はクラウドサーバーからサムネイル画像を示す画像データを受信する。

ステップＳ８０４では、全体制御部７０８は、操作コマンドをクラウドサーバーに
送信する。この操作コマンドには、例えば撮像シーンを選択するコマンドや、任意のリフォーカス済の画像データを選択するコマンドなどが含まれる。

ステップＳ８０５では、全体制御部７０８はリフォーカス済の画像データを受信し、ディスプレイに表示する。ステップＳ８０６では、全体制御部７０８はユーザーからユーザーＩ／Ｆ７０６を介したリフォーカス位置の変更指示が入力されたかを判定する。リフォーカス位置の変更指示が入力されたと判定した場合には、その変更指示をクラウドサーバーに送信し、ステップＳ８０５に戻る。リフォーカス位置の変更指示が入力されないと判定した場合、ステップＳ８０７に進む。

ステップＳ８０８では、全体制御部７０８はユーザーからユーザーＩ／Ｆ７０６を介したＵＩボタン操作があったかを判定する。すなわち、ユーザーがステップＳ８０５で受信したリフォーカス済の画像データに対する評価に関する操作入力があったかを判定する。ＵＩボタン操作があった場合、当該操作指示をクラウドサーバーに送信する（第２の送信処理）。そして、ステップＳ８０８でＵＩロック済の画像データを受信する。ＵＩボタン操作がなかった場合、ステップＳ８０８はスキップする。

ステップＳ８０９では、全体制御部７０８は再生モードでの視聴が終了したかを判定する。終了していない場合、ステップＳ８０４に戻って処理が行われる。

以上、述べた様な構成により、本実施例においては表示機器内に特別な機能を設けることなく、世の中の写真好きな人の意見を取り入れた、その撮像シーンに適したリフォーカス済み画像データを生成することが可能となる。このため、不必要なリフォーカス演算処理を省略することができ、ユーザーの利便性を高める効果がある。

また、他人の意見を取り入れた画像を視聴することができるため、撮像者の意図とは異なる予想外の画像データを得ることも可能となる。

なお、本実施例ではリフォーカス処理を例に挙げて説明したが、画像処理は、リフォーカスに限定されない。例えば、選択した領域にハイパスフィルタを施すための、領域選択処理に用いていてもよい。

また、本例では評価値を加算する例のみについて説明したが、リフォーカス済の画像データが悪い画像であるとユーザーが判断した場合には、評価値を減らすことができるように構成してもよい。すなわち、図５で「ＧＯＯＤ」と記載している図形に「ＢＡＤ」という図形を併記し、「ＢＡＤ」が選択された場合には評価値を減らしてもよい。このように、評価値を更新する処理を採用してもよい。

また、本実施例ではクラウドサーバーを単体の装置として扱ったが、クラウドサーバーで行われる各処理が複数のサーバーで分散処理される構成であってもよい。

実施例１では、不特定多数の視聴者から良い画像と感じた時の画像に対する評価値が同一の値で構成されていた。実施例２では、特定の視聴者に対しては、評価値の重み付けを変更することで、気に入った視聴者に対しては、評価値を高く設定するように構成する例を説明する。逆にあまり気に入らない視聴者に対しては、評価値を低く設定するように構成することができる。

本実施例の処理について、図９のフローチャートにて以下に、説明する。図９は、図４のフローチャートに対して、ステップＳ９０１とステップＳ９０２を追加したのみで、他のステップの処理内容については、実施例１にて説明した内容と同様である。

ステップＳ９０１では、全体制御部３０７は、ステップＳ４０１で再生画像を要求しているユーザーが特定ユーザーであるか否かをステップＳ４０２で入力されたＩＤコードから判定する。ステップＳ４０２で特定ＩＤコードでログインされたと判定された場合は、ステップＳ９０２へ進む。特定ＩＤコードではないと判定された場合は、ステップＳ４４１へ進む。

ステップＳ９０２では、図３の全体制御部３０７が、ユーザー評価値蓄積部３０５を制御することで、ステップＳ４０２で入力されたＩＤコードに対応した評価値の重み付けを変更可能し、評価値を決定する。例えば、１クリックあたりのポイントが、
ユーザーＡ：２００ポイント
ユーザーＢ：１００ポイント
ユーザーＣ：０．５ポイント
不特定多数一般ユーザー：１ポイント
と設定することができる。

＜不特定多数のユーザー操作によるリフォーカス画像が、すでに存在している時の表示例＞
次に、図１０を用いて特定のユーザーに対して評価値の重み付けを変更した場合の表示例を説明する。まず、図１０（ａ）の画面表示に係る内容は、図５（ａ）の説明と同一である。次に、図１０（ｂ）表示として、複数の撮像シーン５０２，５０３，５０４のの内容が一目でわかるように、サムネイル画像を表示する。ここでは、すでに推奨画像としてのリフォーカス生成画像が存在するので、サムネイル画像５０２の下に６０１に示すように、「推奨画像有り」と表示する。次に、５０２の画像が見たい場合、サムネイル画像５０２をクリック操作することで、図１０（ｆ）の画面に移行する。

図１０（ｆ）の画面は、以前にリフォーカス生成操作がなされユーザー評価値ポイントの蓄積結果による推奨画像の順位が決定され、決定された順位に従った表示がされている。すなわち、ユーザー評価値ポイントの多い順位が一番のリフォーカス画像を読み出し、ＵＩ操作ボタン５０５を重畳し表示する。その右横に表示しているサムネイル画像は、ポイントの多い順に並べて表示している。サムネイル画像５０７は、ポイント１００でＴＯＰ画像のサムネイル画像である。サムネイル画像６０２は、ポイント７０で２番目に多いサムネイル画像である。サムネイル画像６０３は、ポイント３０で３番目に多いサムネイル画像である。ここの流れが、ステップＳ４１１（ＹＥＳ）→ステップＳ４１２（ＹＥＳ）〜ステップＳ４１６までの処理フローに対応している。

ここで、特定視聴者で視聴しているユーザーＡが図１０（ｆ）の領域１００１の丸を表示している画面を触った時、すでに評価値ポイントが有るリフォーカス画像ではない、新たなリフォーカス画像を表示している時の例は、図１０（ｎ）である。この画像に対して良い画像と感じ、ＵＩ操作ボタン５０５をクリックされた時は、新たな撮像シーンのユーザー評価値のポイントを２００加算し、図１０（ｉ）に表している画像１００３が保存される。

次に、図１０（ｉ）の画面が表示され、ＵＩボタンを非表示とすると同時に１００２のサムネイル画像が一番先頭に追加表示される。

同様にユーザーＢからの操作時は、ポイントを１００加算し、ユーザーＣからの操作の時は、ポイントを０．５加算する。ポイント加算した結果の評価値の内、ポイントの高い順にサムネイル画像を並べて表示する。

＜画像管理者が推奨画像を表示する場合の例＞
画像管理者が画像を見る際は、閲覧する為のＩＤコードを受信した直後からすぐに、対象の撮像シーンに対応した画像を全画面表示する。表示させる画像は、先に説明したように、不特定多数の閲覧者が良い画像と感じたユーザー評価値ポイントの一番多い画像を推奨画像として即表示するよう画像データを送信する。

本実施例では、図１１（ｍ）が１番目の推奨画像となり、全画面表示としてデータ送信する。又、評価ポイントの２番目の画像が図１１（ｊ）、３番目の画像が図１１（ｋ）、４番目の画像が図１１（ｌ）の順番に対応して画像を表示端末側へ送信する。

以上、述べた様な構成により、表示機器内に特別な機能を必要とせず、特定の視聴者（例えばプロカメラマン等）の意見を最重要として取り入れた、そのシーンに最適な画像を生成することが可能となる為、簡易な構成でユーザーの利便性を高める効果がある。

実施例３は、画像管理者が画像再生要求をした場合に、送信先の端末の解像度情報を取得し、送信先の解像度に適合するように解像度変換を行う例を説明する。

図１２は、実施例３のクラウドサーバー装置のシステムフローチャートである。図１２は、実施例２で説明した図９のシステムフローチャートに対して、ステップＳ１２０１とステップＳ１２０２とを追加したのみである。他のステップの処理内容については、特記事項が無い限り、実施例１及び、実施例２にて説明した内容と同様とすることができる。

ステップＳ１２０１では、図１の各表示端末１０５、１０６、１０７からのアクセスにより、表示端末から要求された解像度情報を取得する。表示端末Ａ１０５からのアクセスの場合は、ＷＸＧＡサイズ（１２８０×８００）である。表示端末Ｂ１０６からのアクセスの場合は、ＦＵＬＬ＿ＨＤサイズ（１９２０×１０８０）である。表示端末Ｃ１０７からのアクセスの場合は、ＷＶＧＡサイズ（８５４×４８０）である。これらの解像度情報は、予めクラウドサーバーのデータ記憶部３０２に記憶されているものとする。

ステップＳ１２０２では、ステップＳ１２０１で取得した解像度情報に合わせて、図３の解像度変換部３０６にて、推奨画像データを解像度変換する。図１２のステップＳ４０７では、ステップＳ１２０２にて解像度変換後の推奨画像データを送信する。

以上、述べた様な構成により、画像管理者が、どの表示端末からそのシーンに最適な推奨画像を閲覧表示させても、表示機器内に特別な機能を必要とせず、簡易な構成でユーザーの利便性を高める効果がある。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. ユーザー評価値が付与された、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを取得する取得手段と、
   前記取得した合成画像データを送信する送信手段と
   を備えることを特徴とする画像配信装置。
2. 前記送信した合成画像データに対する前記ユーザー評価値の更新要求を受信する受信手段と、
   前記送信した合成画像データに関連付けて記憶されているユーザー評価値を前記更新要求に応じて更新する更新手段と
   をさらに備えることを特徴とする請求項１に記載の画像配信装置。
3. 前記更新手段は、前記更新要求をしたユーザーに応じて更新する値を変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記送信手段は、前記更新手段による更新があった場合、当該合成画像データに対する再度の更新を禁止したロック画像データを前記更新要求の要求元に送信することを特徴とする請求項２または３に記載の画像配信装置。
5. 前記送信した合成画像データの任意の領域が指定された場合、当該指定された領域に合焦している合成画像データが記憶されているか判定する判定手段と、
   前記判定手段で合成画像データが記憶されていると判定された場合、該記憶されている合成画像データを前記送信手段で送信させ、
   前記判定手段で合成画像データが記憶されていないと判定された場合、該指定された領域に合焦している合成画像データを生成させて前記送信手段に送信させる、制御手段と
   をさらに備えることを特徴とする請求項１から４のいずれかに記載の画像配信装置。
6. 前記取得手段で同じ撮像シーンに関連付けられた複数の合成画像データを取得した場合、前記送信手段は、高いユーザー評価値が付与された合成画像データから順次送信することを特徴とする請求項１から５のいずれかに記載の画像配信装置。
7. 送信先の解像度に適合するように前記合成画像データを変換する変換手段をさらに備え、
   前記送信手段は、前記変換後の合成画像データを送信することを特徴とする請求項１から６のいずれかに記載の画像配信装置。
8. 画像データの再生要求を送信する第１の送信手段と、
   前記再生要求に応じて、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを受信する受信手段と、
   前記受信した合成画像データにユーザー評価値を付与する要求を送信する第２の送信手段と
   を備えることを特徴とする画像表示装置。
9. ユーザー評価値が付与された、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを取得する取得ステップと、
   前記取得した合成画像データを送信する送信ステップと
   を備えることを特徴とする画像配信方法。
10. 画像データの再生要求を送信する第１の送信ステップと、
    前記再生要求に応じて、複数の視点位置から撮像された多視点画像データから生成され所定の領域に合焦している合成画像データを受信する受信ステップと、
    前記受信した合成画像データにユーザー評価値を付与する要求を送信する第２の送信ステップと
    を備えることを特徴とする画像表示方法。
11. コンピュータを請求項１から７のいずれかに記載の画像配信装置として機能させるためのプログラム。
12. コンピュータを請求項８に記載の画像表示装置として機能させるためのプログラム。

Images