JP2019212202A - 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】ユーザの嗜好に沿った出力形態で出力する画像処理装置，画像処理方法，画像処理プログラムおよびその記録媒体を提供する。【解決手段】複数の画像を読み取り，それらの画像の解析中にユーザの嗜好についての質問51を報知する。ユーザは質問51に対して回答する。画像の解析結果と質問に対して受け付けられた回答とにもとづいて，画像をレイアウトするアルバムの出力形態を決定する。決定した出力形態のアルバムをプレビュー表示し，必要であればユーザは修正する。ユーザからの注文コマンドに応じて，レイアウトされたアルバムが作成される。【選択図】図５

Description

この発明は，画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体に関する。

フォトブックのように多数の画像からユーザの好みに合ったアルバムを作成することが行われている。ユーザの好みに応じたアルバムを作成する場合，ユーザの嗜好を把握する必要がある。ユーザがマウスを用いて写真の位置を決定するもの(特許文献１)，画像解析の結果にもとづいてユーザの好みを推測するもの(特許文献２)，画像群のテーマにもとづいてユーザの嗜好を分析するもの(特許文献３)などがある。また，ユーザに質問をして商品知識を表示するものなどもある(特許文献４)。

特開平9-305784号公報 特開2014-199641号公報 特開2016-62122号公報 特開2000-29961号公報

ユーザの好みを把握するために，ユーザに新たな手間をかけさせるのでは煩雑な印象を受けてしまう。特許文献１では，ユーザが写真の配置を決定しているにすぎない。特許文献２では，画像解析の結果のみにもとづいてユーザの好みを推測するから，アルバム等の作成時のユーザの好みを正確に推測できているかどうか定かではない。測したユーザの好みが正しいかどうかわからない。特許文献３でも，画像群のテーマにもとづいてユーザの嗜好を分析するから，アルバム等の作成時のユーザの好みを分析できているか定かではない。特許文献４においては，ユーザが要望に一致する商品を選択しやすくなるとしても，ユーザの好みを把握することはできない。

この発明は，ユーザが手間をかけているという印象をもつことなく，画像の出力形態にユーザの嗜好を反映することを目的とする。

この発明による画像処理装置は，複数の画像を解析する画像解析手段，画像解析手段における画像の解析中に，ユーザの嗜好についての質問を報知する質問報知手段，質問報知手段によって報知された質問に対する回答を受け付ける回答受付手段，および画像解析手段における画像の解析結果と回答受付手段において受け付けられた回答とにもとづいて出力形態を決定する(複数の画像の中から出力する画像を決定することも出力形態を決定することに含まれる。) 出力形態決定手段を備えていることを特徴とする。

この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，画像解析手段が，複数の画像を解析し，質問報知手段が，画像解析手段における画像の解析中に，ユーザの嗜好についての質問を報知し，回答受付手段が，質問報知手段によって報知された質問に対する回答を受け付け，出力形態決定手段が，画像解析手段における画像の解析結果と回答受付手段において受け付けられた回答とにもとづいて出力形態を決定する。

この発明は，画像処理装置がプロセッサを備え，そのプロセッサが，複数の画像を解析し，画像解析手段における画像の解析中に，ユーザの嗜好についての質問を報知し，質問報知手段によって報知された質問に対する回答を受け付け，画像の解析結果と受け付けられた回答とにもとづいて出力形態を決定するようにしてもよい。

この発明は，画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムおよびそのプログラムを格納した記録媒体も提供している。

出力形態決定手段において決定した出力形態によって，複数の画像のうち少なくとも一部を出力するように出力装置を制御する出力制御手段をさらに備えてもよい。

質問報知手段は，たとえば，出力形態のユーザの嗜好についての質問について報知してもよいし，出力形態を除くユーザの嗜好についての質問について報知してもよい。

質問報知手段は，複数の画像のサンプル画像を複数表示することにより質問を報知し，回答受付手段は，表示された複数のサンプル画像の中からサンプル画像の選択を受け付けるようにしてもよい。

複数のサンプル画像は，たとえば，画像解析手段において既に行われている画像解析の結果にもとづいて決定される。

回答受付手段において受け付けられたサンプル画像にもとづいて，複数の画像の中から画像を選択する第１の画像選択手段をさらに備えてもよい。

質問報知手段は，複数の画像を表示することにより質問を報知し，回答受付手段は，表示された複数の画像の中から画像の選択を受け付けてもよい。

回答受付手段において受け付けられた画像の選択にもとづいて，複数の画像の中から画像を選択する第２の画像選択手段をさらに備えてもよい。

質問報知手段における質問の報知から回答受付手段における回答の受付までに必要な予想時間が質問ごとにあらかじめ定められている場合には，質問報知手段は，たとえば，画像解析手段における画像の解析に必要な時間と予想時間とにもとづいて報知する質問を決定する。

画像解析手段は，たとえば，複数の画像の一部の画像を用いて一の画像を作成するものであり，質問報知手段は，たとえば，質問として，一の画像を編集可能な状態においてユーザに報知するものであり，回答受付手段は，たとえば，回答として，一の画像の編集を受け付けるものであり，出力形態決定手段は，たとえば，画像解析手段における画像の解析結果と回答受付手段において受け付けられた編集とにもとづいて，出力形態を決定する。

一の画像は，たとえば，複数ページから構成されるアルバムの一のページであり，質問報知手段は，たとえば，質問として，一のページを編集可能な状態においてユーザに報知するものであり，回答受付手段は，たとえば，回答として，一のページの編集を受け付ける。

一の画像は，たとえば，複数枚の画像商材のうちの一の画像商材であり，質問報知手段は，たとえば，質問として，一の画像商材を編集可能な状態においてユーザに報知するものであり，回答受付手段は，たとえば，回答として，一の画像商材の編集を受け付けるものである。

出力制御手段は，たとえば，画像解析手段における画像の解析結果，回答受付手段において受け付けられた回答，およびユーザの過去の画像編集情報にもとづいて決定される出力形態によって，複数の画像のうち少なくとも一部を出力するように出力装置を制御する。

出力制御手段の制御のもとに出力装置から出力された画像についてのユーザ満足度を入力するユーザ満足度入力手段，およびユーザ満足度入力手段において入力されたユーザ満足度を表すデータをサーバに送信するユーザ満足度送信手段をさらに備えてもよい。

この発明によると，画像の解析中にユーザの嗜好についての質問が報知されるので，ユーザは新たな手間をかけている印象がないにも関わらず，ユーザの嗜好にもとづいて出力形態を決定できる。

画像処理装置の電気的構成を示すブロック図である。 画像処理装置の処理手順を示すフローチャートである。 画像処理装置の処理手順を示すフローチャートである。 保存場所指定ウインドウの一例である。 第１の質問ウインドウの一例である。 第２の質問ウインドウの一例である。 第３の質問ウインドウの一例である。 第４の質問ウインドウの一例である。 第５の質問ウインドウの一例である。 プレビュー表示ウインドウの一例である。 注文確認ウインドウの一例である。 満足度入力ウインドウの一例である。 質問の報知の処理手順を示すフローチャートである。 画像処理装置の処理手順の一部を示すフローチャートである。 プレビュー表示ウインドウの一例である。

［第１実施例］
図１は，この発明の実施例を示すもので，画像処理装置１の電気的構成を示すブロック図である。

画像処理装置１の全体の動作は，ＣＰＵ(Central Processing Unit)２によって統括される。

画像処理装置１には，画像その他の情報を表示画面に表示する表示装置３およびインターネットその他のネットワークに接続して画像処理装置１以外の装置等と通信する通信装置４が含まれている。また，画像処理装置１には，ハードディスク５，ハードディスク５にアクセスするハードディスク・ドライブ６，データ等を記憶するメモリ７，コマンド等を入力するキーボード８およびマウス９も含まれている。さらに，画像処理装置１には，コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10ならびにメモリ・カード13へのデータの書き込みおよびメモリ・カード13に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ12も含まれている。画像処理装置１には，USB(Universal Serial Bus)メモリ15にアクセスするUSB端子14も形成されている。

後述する画像処理装置１の動作プログラムは，インターネットを介して通信装置４において受信される。受信された動作プログラムが画像処理装置１にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像処理装置１に受信されて画像処理装置１にインストールされずに，コンパクト・ディスク11などの可搬型記録媒体に記録され，その可搬型記録媒体から読み取られてもよい。その場合には，可搬型記録媒体から読み取られた動作プログラムが画像処理装置１にインストールされる。動作プログラムは，画像処理装置１のコンピュータ(ＣＰＵ２)が読み取り可能であることは言うまでもない。

図２および図３は，画像処理装置１の処理手順を示すフローチャートである。図４は，表示装置３の表示画面に表示される保存場所指定ウインドウ40の一例である。

この実施例では，多数の画像から複数の画像を選択し，選択された画像を用いてアルバムを作成する。

画像処理装置１の動作プログラムがユーザによって起動させられると，アルバムの作成のテーマ，アルバムに使用する画像の撮影期間などを指定するウインドウが表示装置３の表示画面に表示された後に，図４に示す保存場所指定ウインドウ40が表示される。

図４を参照して，保存場所指定ウインドウ40には，アルバムに使用される画像が保存されている場所を指定するための第１の領域41から第５の領域45が形成されている。これらの第１の領域41から第５の領域45のそれぞれの左上にはユーザがチェック可能なチェック・ボックス41Ａから45Ａが形成されている。

第１の領域41には「パーソナル・コンピュータ」の文字列が表示されている。画像処理装置１のハードディスク５に保存されている画像ファイルによって表される画像を用いてアルバムを作成する場合には，第１の領域41に形成されているチェック・ボックス41Ａがユーザによってチェックされる。第２の領域42には「メモリ・カード」の文字列が表示されている。メモリ・カード13に保存されている画像ファイルによって表される画像を用いてアルバムを作成する場合には，第２の領域42に形成されているチェック・ボックス42Ａがユーザによってチェックされる。第３の領域43には「USBメモリ」の文字列が表示されている。USBメモリ15に保存されている画像ファイルによって表される画像を用いてアルバムを作成する場合には，第３の領域43に形成されているチェック・ボックス43Ａがユーザによってチェックされる。第４の領域44には「ＣＤ」の文字列が表示されている。ＣＤ11に保存されている画像ファイルによって表される画像を用いてアルバムを作成する場合には，第４の領域44に形成されているチェック・ボックス44Ａがユーザによってチェックされる。第５の領域45には「スマートフォン」の文字列が表示されている。画像処理装置１にスマートフォンが接続され，スマートフォン(図示略)に保存されている画像ファイルによって表される画像を用いてアルバムを作成する場合には，第５の領域45に形成されているチェック・ボックス45Ａがユーザによってチェックされる。

保存場所指定ウインドウ40の右下には「詳細設定」の文字列が表示されている詳細設定ボタン46が形成されている。詳細設定ボタン46が押されると，表示装置３の表示画面には，フォルダを指定するウインドウが現われ，アルバムに使用する画像ファイルが格納されているフォルダをユーザが指定できる。

保存場所指定ウインドウ40の下部には，「最初に戻る」の文字列が表示されている最初に戻るボタン47，「戻る」の文字列が表示されている戻るボタン48および「次へ」の文字列が表示されている次へボタン49が形成されている。最初に戻るボタン47が押されると，画像処理装置１の動作プログラムが起動させられて表示装置３の表示画面に最初に表示されたウインドウが表示装置３の表示画面に表示される。戻るボタン48が押されると，表示装置３の表示画面に表示されているウインドウの前に表示されていたウインドウが表示される。次へボタン49が押されると，表示装置３の表示画面に表示されているウインドウの次に表示されるウインドウが表示される。

チェック・ボックス41Ａから45Ａのうち，いずれかのチェック・ボックスがチェックされる，あるいは詳細設定ボタン46が押され所望のフォルダが指定されると，チェックされたチェック・ボックスに対応する保存場所または指定されたフォルダに保存されている複数の画像ファイルが読み取られる（図２ステップ21）。読み取られた複数の画像ファイル(画像)の画像解析がＣＰＵ２(画像解析手段)によって開始される（図２ステップ22）。画像解析とは，アルバムなどのように画像を使用する対象物に使用される画像として適しているかについて分析する処理のことで，たとえば，ピンボケの程度，主要被写体の位置，画像全体に対する主要被写体の相対的な大きさ，色味，解像度を分析する処理である。図４に示す保存場所指定ウインドウ40が表示されている場合において次へボタン47が押されて画像の解析が開始されると，表示装置３(質問報知手段)の表示画面には図５に示す第１の質問ウインドウ50が表示され，ユーザの嗜好についての質問が報知される（図２ステップ23）。画像の解析中にユーザの嗜好についての質問が報知されればよく，少なくとも画像解析中の時間と質問を報知する時間とが重なっていればよい。ユーザの嗜好とは，ユーザの好み，性格などのことをいう。質問とは，ユーザの意思表示を促すものであればよく，文章としての質問だけでなく，画像の選択，色の選択，形状の選択なども含む。また，本発明の質問は，ディスプレイ上で「質問」と表示されている必要はない。

また，質問には，ゲームを表示することも含む。ゲームにおけるユーザの操作内容から，ユーザの嗜好を推測してよい。操作までに長時間をかけるユーザに対しては，落ち着いた雰囲気を好むと推測し，操作までに短時間しかかけないユーザに対しては，ダイナミックな雰囲気を好むと推測してよい。

図５に示す第１の質問ウインドウ50においては，「画像を解析中です。次の質問にお答え下さい。」という文字列の下に，第１の質問51が表示されている。

第１の質問51は，「アルバムに使用する画像数はどのくらいがよいですか？」という質問である。この第１の質問51の下にはスライダ53が横方向にスライドするスライド・バー52が形成されている。スライダ53の位置によってユーザが好む画像の数の程度が分かる。スライダ53が左側に位置決めされるほど画像の使用枚数は少ないことがユーザの好みであり，スライダ53が右側に位置決めされるほど画像の使用枚数は多いことがユーザの好みとなる。スライド・バー52(回答受付手段)を用いたスライダ53の位置決めが質問に対する回答となる（図２ステップ24）。

第１の質問51は，アルバムの出力形態についてのユーザの嗜好についてのものである。このようにアルバムの出力形態について直接的な質問をユーザにしてもよい。直接的な質問とは，その質問に対する回答からアルバムの出力形態が一義的に決められる質問である。出力形態とはユーザへの質問にもとづいて複数の画像が変化した様子をいい，複数の画像の中から選択される画像そのもの，画像のレイアウト，画像が貼り付けられる台紙などが含まれる。

画像の解析が終了していなければ（図２ステップ25でＮＯ），図５に示す第１の質問ウインドウ50の次へボタン49が押されると，表示装置３の表示画面には図６に示す第２の質問ウインドウ60が表示される。

第２の質問ウインドウ60にも「画像を解析中です。次の質問にお答え下さい。」という文字列の下に，第２の質問61が表示されている。

第２の質問61は，「週末は何をして過ごしていますか？」という質問である。この第２の質問61の下にはユーザの行動内容を選択させる文字列として「スポーツ」，「読書」，「インターネット」，「ドライブ」，「食べ歩き」および「映画」が表示されている。「スポーツ」，「読書」，「インターネット」，「ドライブ」，「食べ歩き」および「映画」のそれぞれの文字列の左側には，チェック・ボックス62，63，64，65，66および67が形成されている。ユーザは，チェック・ボックス62，63，64，65，66および67(回答受付手段)のうちの一または複数のチェック・ボックスをチェックすることにより質問に対する回答を行う。

ユーザがチェックした内容によりユーザの性格などが分かり，その性格に応じた内容の出力形態が決定される。ユーザの性格がおとなしいと判断された場合には，おとなしめの柄のテンプレートを用いてアルバムを作成したり，多くのユーザが好むようなレイアウトでアルバムを作成したりする。ユーザの性格が荒々しいと判断された場合には，派手めな柄のテンプレートを用いてアルバムを作成したり，インパクトのあるレイアウトでアルバムを作成したりする。また，ユーザの性格に応じたレイアウト，テンプレートなどがあらかじめ定められている。

第２の質問61は，アルバムの出力形態を除くユーザの嗜好についてのものである。このようにアルバムの出力形態について間接的な質問をユーザにしてもよい。間接的な質問とは，その質問に対する回答からはアルバムの出力形態が一義的には決めることができない質問である。

画像の解析が終了していなければ（図２ステップ25でＮＯ），図６に示す第２の質問ウインドウ60の次へボタン49が押されると，表示装置３の表示画面には図７に示す第３の質問ウインドウ70が表示される。

第３の質問ウインドウ70にも「画像を解析中です。次の質問にお答え下さい。」という文字列の下に，第３の質問71が表示されている。

第３の質問71は，「どの画像が好みですか？」という質問である。この第３の質問71の下にはサンプル画像(サンプル画像とは，ユーザから与えられる画像とは関係なく，あらかじめ用意されている画像である)72から79が表示されている。これらの白猫のサンプル画像72，黒猫のサンプル画像73，白犬のサンプル画像74，ブルドックのサンプル画像75，ばらのサンプル画像76，カーネーションのサンプル画像77，眠っている赤ん坊のサンプル画像78および泣いている赤ん坊のサンプル画像79のそれぞれの左側にはチェック・ボックス72Ａ，73Ａ，74Ａ，75Ａ，76Ａ，77Ａ，78Ａおよび79Ａが形成されている。ユーザは，チェック・ボックス72Ａ，73Ａ，74Ａ，75Ａ，76Ａ，77Ａ，78Ａおよび79Ａ(回答受付手段)のうちの一または複数のチェック・ボックスをマウス９を用いてチェックすることによりサンプル画像を選択して質問に対する回答を行う。

図７に示す第３の質問ウインドウ70においても，ユーザがチェックした内容によりユーザの性格などが分かり，その性格に応じた内容の出力形態が決定される。たとえば，眠っている赤ん坊のサンプル画像78を選択したユーザは優しい性格と考えられ，優しい色のテンプレートを用いたアルバムが作成される。また，ばらのサンプル画像76を選択したユーザはきれいなものが好きな性格と考えられ，いろどりのきれいなテンプレートを用いたアルバムが作成される。他のサンプル画像についても選択されたサンプル画像からユーザの性格などが判断され，判断されたユーザの性格などにもとづいてアルバムの出力形態が決定される。たとえば，複数の画像の中からアルバムに使用する画像がＣＰＵ２（第１の画像選択手段，第２の画像選択手段）によって選択される。サンプル画像が用いられるので，迅速にユーザに質問できる。

また，表示されるサンプル画像は，すでに行われている画像解析の結果にもとづいて決定されることが好ましい。ユーザの嗜好をより把握できるようなサンプル画像を表示できる。たとえば，すでに行われている画像解析からは，ユーザがかわいいアルバムを好むのか，きれいなアルバムを好むのか，ユーザの嗜好が分からない場合には，どちらのアルバムを好むのかが分かるようなサンプル画像が表示される。

画像の解析が終了していなければ（図２ステップ25でＮＯ），図７に示す第３の質問ウインドウ70の次へボタン49が押されると，表示装置３の表示画面には図８に示す第４の質問ウインドウ80が表示される。

第４の質問ウインドウ80にも「画像を解析中です。次の質問にお答え下さい。」という文字列の下に，第４の質問81が表示されている。

第４の質問81は，「どのレイアウトが好みですか？」という質問である。この第４の質問81の下にはサンプル・レイアウト（サンプル画像の一例である）を表示する第１のサンプル・レイアウト・ウインドウ82，第２のサンプル・レイアウト・ウインドウ83，および第３のサンプル・レイアウト・ウインドウ84が表示されている。第１のサンプル・レイアウト・ウインドウ82，第２のサンプル・レイアウト・ウインドウ83，および第３のサンプル・レイアウト・ウインドウ84の左側には，第１のチェック・ボックス82Ａ，第２のチェック・ボックス83Ａおよび第３のチェック・ボックス84Ａが形成されている。第１のチェック・ボックス82Ａ，第２のチェック・ボックス83Ａおよび第３のチェック・ボックス84Ａのそれぞれの右側には「おすすめ１」，「おすすめ２」および「デフォルト」の文字列が表示されている。

第１のサンプル・レイアウト・ウインドウ82には，第４の質問ウインドウ80が表示されるまでにすでに解析された画像ならびに第１の質問51，第２の質問61および第３の質問71についてのユーザの回答にもとづいて，ユーザの嗜好にもっとも合致していると考えられるサンプル・レイアウトが表示される。第２のサンプル・レイアウト・ウインドウ83には，第１のサンプル・レイアウト・ウインドウ82に表示されたサンプル・レイアウトの次にユーザの嗜好に合致していると考えられるサンプル・レイアウトが表示される。第３のサンプル・レイアウト・ウインドウ84には，あらかじめ定められているサンプル・レイアウトが表示される。

第４の質問ウインドウ80の右端には上ボタン85および下ボタン86ならびにノブ87が形成されている。上ボタン85もしくは下ボタン86またはノブ87を操作することによりスクロール指令が与えられ，第４の質問ウインドウ80に表示されていないサンプル・ウインドウが第４の質問ウインドウ80に表示される。

ユーザは，第４の質問ウインドウ80に表示されている第１のチェック・ボックス82Ａ，第２のチェック・ボックス83Ａ，第３のチェック・ボックス84Ａなど(回答受付手段)の中から，いずれかのチェック・ボックスをチェックすることによりユーザの嗜好にあったサンプル・レイアウトを指定する。指定されたサンプル・レイアウトにもとづいてアルバムの出力形態が決定される。

画像の解析が終了していなければ（図２ステップ25でＮＯ），図８に示す第４の質問ウインドウ80の次へボタン49が押されると，表示装置３の表示画面には図９に示す第５の質問ウインドウ90が表示される。

第５の質問ウインドウ90にも「画像を解析中です。次の質問にお答え下さい。」という文字列の下に，第５の質問91が表示されている。

第５の質問91は，「アルバムに使用したい画像を選んでください」という質問である。この第５の質問91の下にはユーザが指定した保存場所に保存されている画像のサムネイル画像ＩＭが表示されている。これらのサムネイル画像ＩＭは，画像が使用される候補としてのアルバムのページ数に対応する領域に表示されている(すでに行われている画像解析の結果にもとづいて分類されよう)。たとえば，アルバムの第１ページ目から第２ページ目に使用される候補としてのサムネイル画像ＩＭは第１のサムネイル画像表示領域92に表示され，アルバムの第３ページ目から第４ページ目に使用される候補としてのサムネイル画像ＩＭは第２のサムネイル画像表示領域93に表示される。第５の質問ウインドウ90の右端に形成されている上ボタン85もしくは下ボタン86またはノブ87を操作することにより，第５の質問ウインドウ90に表示されていないサムネイル画像が，対応するページのサムネイル画像表示領域に表示されて第５の質問ウインドウ90内に現れる。

ユーザは，ページごとに使用したい画像に対応するサムネイル画像ＩＭを，マウス９を用いて選択する。すると，選択されたサムネイル画像ＩＭの星印94が表示される。ユーザが選択したサムネイル画像ＩＭからユーザの嗜好が分かり，アルバムの出力形態が決定される。たとえば，かわいらしいサムネイル画像ＩＭが選択されるとかわいらしいアルバムが作成される。また，選択されたサムネイル画像ＩＭにもとづいて，アルバムに使用される画像もＣＰＵ２（第２の画像選択手段）によって決定される。たとえばユーザが選択したサムネイル画像ＩＭがかわいらしい画像であるとアルバムに使用される画像もかわいらしいものとなる。どのような画像がかわいらしい画像かどうかは，画像の特徴量を利用して決定できる。画像の特徴量が，ある範囲にある画像をかわいらしい画像とみなすことができる。たとえば，画像の明るさ，コントラスト，彩度，色相などのそれぞれの特徴量が，ある範囲にあるような画像が一般的にかわいらしい印象をもつ場合，そのような画像をかわいらしい画像とみなすことができる（例えば、特許第6027581号公報参照）。

図９においては，ページごとにサムネイル画像ＩＭが分けられているが必ずしもページごとにサムネイル画像が分けられていなくともよい。サムネイル画像ＩＭをページに関係なく表示し，ユーザに選択させてもよい。

また，ユーザによって選択されたサムネイル画像にもとづいてアルバムに使用する画像として推奨する画像のサムネイル画像をユーザに知らせるようにしてもよい。たとえば，ユーザが選択したサムネイル画像ＩＭには星印を付け，ユーザが選択したサムネイル画像ＩＭからユーザに推奨する画像のサムネイル画像ＩＭについては枠95を用いて囲むようにしてもよい。

画像の解析が終了すると（図２ステップ25でＹＥＳ），解析結果と質問に対するユーザからの回答とからアルバムの出力形態がＣＰＵ２(出力形態決定手段)によって決定される（図３ステップ26）。

決定される出力形態は，たとえば，解析結果と図５に示す第１の質問ウインドウ50における第１の質問51に対するユーザの回答とから決定されるアルバムに使用される画像の数も含まれる。画像の数は，アルバムのページ数との関係から相対的に決定されるもので，ページ数に対する平均的な画像の数，１ページ当たり3.5個の画像の数が平均としたら，アルバムの総ページ数に，その平均の画像の数を乗じた数がアルバムに使用される平均的な画像の数とされ，第１の質問51についての回答にもとづいて，そのような画像の数と相対的に少なくしたり多くしたりする。また，たとえば，図６に示す第２の質問61，図７に示す第３の質問71などに対するユーザの回答から分かるユーザの性格からアルバムのテンプレートの種類，アルバムに使用される画像が出力形態の一例として決定される。さらに，図８に示す第４の質問ウインドウ80における第４の質問81に対するユーザの回答から得られる好みのレイアウトが参考にされ，アルバムのレイアウトが出力形態として決定され，図９に示す第５の質問ウインドウ90における第５の質問91に対するユーザの回答から得られる，使用したい画像からアルバムに使用する画像が出力形態の一例として決定される。

このように解析結果とユーザからの回答とにもとづいて決定された出力形態によって作成されたアルバムがＣＰＵ２(出力制御手段)の制御のもとに表示装置３の表示画面にプレビュー表示される（図３ステップ27）。プレビュー表示により保存場所から読み取られた複数の画像の少なくとも一部が出力されることとなる。

図10は，プレビュー表示ウインドウ100の一例である。

プレビュー表示ウインドウ100には，アルバムのプレビュー表示領域102が形成されている。このプレビュー表示領域102にレイアウトされたアルバムのページの画像が表示される。プレビュー表示領域102の左側には左ボタン103，右側には右ボタン104が形成されている。左ボタン103が押されるとプレビュー表示領域102に表示されているページの画像の前のページの画像がプレビュー表示領域102に表示され，右ボタン104が押されるとプレビュー表示領域102に表示されているページの画像の後のページの画像がプレビュー表示領域102に表示される。

プレビュー表示領域102の下には，読み取られた複数の画像のうちアルバムに使用されていない画像が表示される画像表示領域101が形成されている。プレビュー表示ウインドウ100の右下には「進む」の文字列が表示されている進むボタン105が形成されている。

ユーザは，プレビュー表示領域102に表示されている画像と画像表示領域101に表示されている画像と取り替えたい場合には，画像表示領域101に表示されている画像のうち使用したい画像を，プレビュー表示領域102に表示されている画像のうち取り替えたい画像上にドラッグ・アンド・ドロップする。すると，画像が取り換えられる。画像の取替だけでなく，レイアウトの修正等もユーザが行うことができる。

ユーザによってアルバムが修正されると（図３ステップ28でＹＥＳ），修正後の内容がプレビュー表示される（図３ステップ27）。ユーザによって進むボタン105が押されると注文の意思表示と解され（図３ステップ29でＹＥＳ），表示装置３の表示画面には図11に示す注文確認ウインドウ110が表示される。

図11に示す注文確認ウインドウ110には注文内容確認テーブル111が表示され，注文確認ウインドウ110の右下には「注文する」の文字列が表示されている注文ボタン112が形成されている。

ユーザは，注文内容確認テーブル111の表示内容を確認して，注文するのであれば注文ボタン112を押す。注文内容を修正するのであれば，最初に戻るボタン47または戻るボタン48が押される。

注文ボタン112が押されると（図３ステップ29でＹＥＳ），注文コマンドおよび出力形態を表すデータが受注サーバに送信される（図３ステップ30）。出力形態を表すデータは，たとえば，どのような特徴をもつ画像がアルバムに使用されたか，レイアウトを表すレイアウト・データ，テンプレートを識別するテンプレート・データなどである。

表１は，出力形態を表すデータの一部から得られるレイアウト情報テーブルの一例である。

レイアウト情報テーブルには，保存場所から読み取られた画像の画像ＩＤに対応して画像の特徴量，アルバムに使用されたか否かのデータ(Ｙが使用されたことを示し，Ｎが使用されていないことを示している)，アルバムに使用されたページのデータ，使用された画像の位置，画像のサイズなどが含まれている。特徴量は，画像の解像度，データ量，ピンボケの程度，主要被写体の種類，主要被写体の画像に対する相対的な大きさ，主要被写体の位置，色味などであってよい。また，特徴量は，上記の複数を組み合わせて生成されるものであってもよい。さらには，特徴量は，教師あり学習または教師なし学習により予め学習された学習済みモデルが，画像の入力を受けて出力する，複数のパラメタから構成されるものであってもよい。ここで，学習済みモデルから出力される特徴量は人間には意味解釈できない場合もあるが，少なくとも，１の画像を入力したときに一意に出力されるような数値群であれば，本発明の特徴量として用いることができる。特徴量は，アルバムに使用する画像(複数の画像から抽出する画像)として適するか，アルバムの配置位置などを決定するために必要な情報である。

表２は，出力形態を表すデータの一部から得られるテンプレート情報テーブルの一例である。

テンプレート情報テーブルには，アルバムの各ページに使用されたテンプレートＩＤが格納されている。

表１に示すレイアウト情報テーブル，表２に示すテンプレート情報テーブルなどからアルバムに使用される傾向の高いレイアウト，テンプレート，画像などが分かるので，画像処理装置１の動作プログラムを，ユーザの好みに応じて更新できるようになる。

また，注文コマンドおよび出力形態を表すデータとともにユーザＩＤを受注サーバに送信することにより，ユーザＩＤによって特定されるユーザの好みが分かる。そのユーザが次に注文する場合に，まず，ユーザＩＤを受注サーバに送信することにより，受注サーバから，そのユーザＩＤによって特定されるユーザの画像処理装置１に，そのユーザのレイアウト情報テーブル，テンプレート情報テーブルなど(画像編集情報)を送信し，それらのテーブルを利用してアルバムに使用する画像，レイアウトなどの出力形態を決定してもよい。もっとも，出力形態を表すデータを受注サーバに送信せずに画像処理装置１のメモリ７に記憶しておき，ユーザが次に画像処理装置１を利用する場合に，画像の解析結果，質問についてのユーザの回答のほかに以前の出力形態を表すデータを利用して出力形態を決定して出力するようにしてもよい。

つづいて，表示装置３の表示画面には，図12に示す満足度入力ウインドウ120が表示される。

満足度入力ウインドウ120には，横方向に伸びているスライド・バー121が形成されており，このスライド・バー121上の任意の位置に位置決めされるスライダ122が形成されている。スライド・バー121には，「満足」，「やや満足」，「少し不満」および「不満」の文字列が表示されている。満足度入力ウインドウ120の左下には「キャンセル」の文字列が表示されているキャンセル・ボタン123が形成されており，満足度入力ウインドウ120の右下には「送信する」の文字列が表示されている送信ボタン124が形成されている。

ユーザは，満足度を表すデータを受注サーバに送信する場合には，マウス９を用いて満足度の度合いに応じた位置にスライダ122(満足度入力手段)を位置決めすることにより満足度を入力する（図３ステップ30）。送信ボタン124が押されると，スライダ122の位置に応じた満足度を表すデータが通信装置４(満足度送信手段)によって受注サーバに送信される（図３ステップ31）。満足度を表すデータを受注サーバに送信しない場合にはキャンセル・ボタンが押される。満足度を表すデータは受注サーバには送信されない。

第１実施例によれば，ユーザの嗜好を反映したアルバムを得ることができる。

［第２実施例］
図13は，質問の報知の処理手順(図２ステップ23の処理手順)を示すフローチャートである。

保存場所から読み取られた複数の画像の解析に必要な時間がＣＰＵ２によって算出される（ステップ131）。上述したように，質問の報知から質問の回答の受け付けまでに必要な予想時間が質問ごとにあらかじめメモリ７に記憶されており，それらの予想時間がＣＰＵ２によって読み取られる（ステップ132）。

複数の画像の解析に必要な時間内に回答できるような質問が，ＣＰＵ２によって複数の質問の中から決定される（ステップ133）。決定される質問の数は一つでも複数でもよい。決定された質問が図５から図９に示すように報知される（ステップ134）。

質問に対する回答が終了しても画像解析が終了していない場合には画像解析が終了するまでユーザが待たなければならないし，画像解析が終了しても質問が続けられている場合にはアルバムが作成されるまでに必要以上に時間がかかってしまうが，本実施例によれば，ユーザを必要以上に待たせることなくユーザの嗜好にあったアルバムを比較的早く作成できる。

図14は，図２に示す画像処理装置１の処理手順の一部を示すフローチャートである。

質問の報知（図２ステップ23）および質問への回答（図２ステップ24）につづいて，図14ステップ141の処理に移行する。

上述したように質問に対してユーザが回答していき，その間に行われた画像解析の結果および質問の回答結果にもとづいて，アルバムのページごとに順次レイアウトが決定していく。第ｎ(ｎは自然数，初期値は１)ページと第ｎ＋１ページとのレイアウトが終了すると（ステップ141），終了したページのレイアウトが表示装置３の表示画面にプレビュー表示される（ステップ142）。

図15は，表示装置３の表示画面に表示されるプレビュー表示ウインドウ150の一例である。

プレビュー表示ウインドウ150においてプレビュー表示ウインドウ100と同一物については同一符号を付して説明を省略する。

プレビュー表示領域102には，レイアウトが終了した第ｎページと第ｎ＋１ページとのレイアウト(複数の画像の一部の画像を用いて作成された一の画像，複数ページから構成されるアルバムの一のページ)が，ユーザに編集可能な状態で表示(報知)されている。プレビュー表示ウインドウ150には，「次のレイアウトは気に入りましたか？」という質問151が表示されている。また，プレビュー表示ウインドウ150の右下には「修正する」の文字列が表示されている修正するボタン152，「修正しない」の文字列が表示されている修正しないボタン153が形成されている。

ユーザは，プレビュー表示領域102に表示されているレイアウトを見て修正する必要がある場合には修正するボタン152(回答受付手段)を押し，修正する必要が無い場合には修正しないボタン153(回答受付手段)を押す。

修正するボタン152が押されてマウス９(回答受付手段)を用いてレイアウトが修正されると（ステップ143でＹＥＳ），変数ｎが２つプラスされ（ステップ144），修正されたレイアウトを考慮して次ページ以降のレイアウトが作成される（ステップ145）。修正しないボタン153が押されてレイアウトが修正されないと（ステップ143でＮＯ），変数ｎが２つプラスされ（ステップ146），次のページのレイアウトが作成される（ステップ147）。

このように，第２実施例においては，レイアウトができる都度にそのレイアウトの内容でいいかどうかをユーザに質問し，随時レイアウトを修正しながらアルバムを完成していく。したがって，画像解析の結果と受け付けられた編集とにもとづいてレイアウト（本発明の出力形態の一種）が決定され，随時表示されるレイアウトは，よりユーザの好みに近いものとなる。

上述の実施例においては，アルバムを作成する場合について説明したが，アルバムに限らず，他の画像商材，たとえば，一または複数の画像を使用したポストカード，シャッフルプリントなどにも適用できる。複数のポストカード，シャッフルプリントなどのような画像商材においても，画像の解析結果とユーザからの質問の回答とにもとづいて１枚のポストカード，シャッフルプリントなどのレイアウトが終了した時点で編集可能な状態でプレビュー表示し，ユーザからの編集指示にもとづいて編集し，編集結果を利用してレイアウトが終了していない次のポストカード，シャッフルプリントのレイアウトを行うようにしてもよい。

さらに，すでに行われた複数の画像の一部の画像解析の結果に応じて，ユーザへの質問の内容を変えるようにしてもよい。たとえば，すでに行われた画像解析からユーザの性格が分かるようであれば，ユーザの性格を把握するような質問は省略してもよい。

上述した画像処理装置１は専用の装置として構成するだけでなく，パーソナル・
コンピュータ，タブレット端末，スマートフォンを利用して構成することもできる。

また，上述の実施例においては，画像処理装置１において処理が行われているが，画像処理装置１と通信可能な受注サーバにおいて上述した処理を行うようにしてもよい。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能するＣＰＵ２のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

１：画像処理装置，２：ＣＰＵ，３：表示装置，４：通信装置，５：ハードディスク，６：ハードディスク・ドライブ，７：メモリ，８：キーボード，９：マウス，10：コンパクト・ディスク・ドライブ，11：コンパクト・ディスク，12：メモリ・カード・リーダ・ライタ，13：メモリ・カード，14：USB端子，15：USBメモリ，40：保存場所指定ウインドウ，41：第１の領域，41Ａ：チェック・ボックス，42：第２の領域，42Ａ：チェック・ボックス，43：第３の領域，43Ａ：チェック・ボックス，44：第４の領域，44Ａ：チェック・ボックス，45：第５の領域，45Ａ：チェック・ボックス，46：詳細設定ボタン，47：最初に戻るボタン，48：戻るボタン，49：次へボタン，50：第１の質問ウインドウ，51：第１の質問，52：スライド・バー，53：スライダ。60：第２の質問ウインドウ，61：第２の質問，62-67：チェック・ボックス，70：第３の質問ウインドウ，71：第３の質問，72-79：サンプル画像，72Ａ-79Ａ：チェック・ボックス，80：第４の質問ウインドウ，81：第４の質問，82-84：サンプル・ウインドウ，82Ａ-84Ａ：チェック・ボックス，85：上ボタン，86：下ボタン，87：ノブ，90：第５の質問ウインドウ，91：第５の質問，92：第１のサムネイル画像表示領域，93：第２のサムネイル画像表示領域，94：星印，95：枠，100 ：プレビュー表示ウインドウ，101：画像表示領域，102：プレビュー表示領域，103：左ボタン，104：右ボタン，105：進むボタン，110：注文確認ウインドウ，111：注文内容確認テーブル，112：注文ボタン，120：満足度入力ウインドウ，121：スライド・バー，122：スライダ，123：キャンセル・ボタン，124：送信ボタン，150：プレビュー表示ウインドウ，151：質問，152：修正するボタン，153：修正しないボタン，ＩＭ：サムネイル画像，ｎ：変数

Claims (18)

1. 複数の画像を解析する画像解析手段，
   上記画像解析手段における画像の解析中に，ユーザの嗜好についての質問を報知する質問報知手段，
   上記質問報知手段によって報知された質問に対する回答を受け付ける回答受付手段，および
   上記画像解析手段における画像の解析結果と上記回答受付手段において受け付けられた回答とにもとづいて出力形態を決定する出力形態決定手段，
   を備えた画像処理装置。
2. 上記出力形態決定手段において決定した出力形態によって，上記複数の画像のうち少なくとも一部を出力するように出力装置を制御する出力制御手段，
   をさらに備えた請求項１に記載の画像処理装置。
3. 上記質問報知手段は，
   出力形態のユーザの嗜好についての質問について報知する，
   請求項１または２に記載の画像処理装置。
4. 上記質問報知手段は，
   出力形態を除くユーザの嗜好についての質問について報知する，
   請求項１または２に記載の画像処理装置。
5. 上記質問報知手段は，
   上記複数の画像のサンプル画像を複数表示することにより質問を報知し，
   上記回答受付手段は，
   表示された複数のサンプル画像の中からサンプル画像の選択を受け付ける，
   請求項１から４のうち，いずれか一項に記載の画像処理装置。
6. 上記複数のサンプル画像は，上記画像解析手段において既に行われている画像解析の結果にもとづいて決定される，
   請求項５に記載の画像処理装置。
7. 上記回答受付手段において受け付けられたサンプル画像にもとづいて，上記複数の画像の中から画像を選択する第１の画像選択手段，
   をさらに備えた請求項５または６に記載の画像処理装置。
8. 上記質問報知手段は，
   上記複数の画像を表示することにより質問を報知し，
   上記回答受付手段は，
   表示された上記複数の画像の中から画像の選択を受け付ける，
   請求項１から４のうち，いずれか一項に記載の画像処理装置。
9. 上記回答受付手段において受け付けられた画像の選択にもとづいて，上記複数の画像の中から画像を選択する第２の画像選択手段，
   をさらに備えた請求項８に記載の画像処理装置。
10. 上記質問報知手段における質問の報知から上記回答受付手段における回答の受付までに必要な予想時間が質問ごとにあらかじめ定められており，
    上記質問報知手段は，
    上記画像解析手段における画像の解析に必要な時間と上記予想時間とにもとづいて報知する質問を決定する，
    請求項１から９のうち，いずれか一項に記載の画像処理装置。
11. 上記画像解析手段は，上記複数の画像の一部の画像を用いて一の画像を作成するものであり，
    上記質問報知手段は，上記質問として，上記一の画像を編集可能な状態においてユーザに報知するものであり，
    上記回答受付手段は，上記回答として，上記一の画像の編集を受け付けるものであり，
    上記出力形態決定手段は，上記画像解析手段における画像の解析結果と上記回答受付手段において受け付けられた編集とにもとづいて，出力形態を決定するものである，
    請求項１から10のうち，いずれか一項に記載の画像処理装置。
12. 上記一の画像は，複数ページから構成されるアルバムの一のページであり，
    上記質問報知手段は，上記質問として，上記一のページを編集可能な状態においてユーザに報知するものであり，
    上記回答受付手段は，上記回答として，上記一のページの編集を受け付けるものである，
    請求項11に記載の画像処理装置。
13. 上記一の画像は，複数の画像商材のうちの一の画像商材であり，
    上記質問報知手段は，上記質問として，上記一の画像商材を編集可能な状態においてユーザに報知するものであり，
    上記回答受付手段は，上記回答として，上記一の画像商材の編集を受け付けるものである，
    請求項11に記載の画像処理装置。
14. 上記出力制御手段は，
    上記画像解析手段における画像の解析結果，上記回答受付手段において受け付けられた回答，およびユーザの過去の画像編集情報にもとづいて決定される出力形態によって，上記複数の画像のうち少なくとも一部を出力するように出力装置を制御する，
    請求項２に記載の画像処理装置。
15. 上記出力制御手段の制御のもとに出力装置から出力された画像についてのユーザ満足度を入力するユーザ満足度入力手段，および
    上記ユーザ満足度入力手段において入力されたユーザ満足度を表すデータをサーバに送信するユーザ満足度送信手段，
    をさらに備えた請求項２に記載の画像処理装置。
16. 画像解析手段が，複数の画像を解析し，
    質問報知手段が，上記画像解析手段における画像の解析中に，ユーザの嗜好についての質問を報知し，
    回答受付手段が，上記質問報知手段によって報知された質問に対する回答を受け付け，
    出力形態決定手段が，上記画像解析手段における画像の解析結果と上記回答受付手段において受け付けられた回答とにもとづいて出力形態を決定する，
    画像処理方法。
17. 画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    複数の画像を解析させ，
    画像の解析中に，ユーザの嗜好についての質問を報知させ，
    報知された質問に対する回答を受け付けさせ，
    画像の解析結果と受け付けられた回答とにもとづいて出力形態を決定するように画像処理装置のコンピュータを制御するプログラム。
18. 請求項17に記載のプログラムを格納した記録媒体。

Images