JP7106822B2

JP7106822B2 - 画像検索方法、サーバ、及びプログラム

Info

Publication number: JP7106822B2
Application number: JP2017145649A
Authority: JP
Inventors: 大輔宮本
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2017-07-27
Filing date: 2017-07-27
Publication date: 2022-07-27
Anticipated expiration: 2037-07-27
Also published as: JP2019028612A

Description

本発明は、画像検索方法、サーバ、及びプログラムに関する。

顧客がデジタルカメラやスマートフォン等で撮影した画像をプリント受注システムにアップロードし、写真プリントの注文が行えるサービスが提供されている（例えば特許文献１参照）。

また、コンサートやスポーツ大会等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている（例えば特許文献２参照）。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの写真を選択して購入することができる。購入した画像は印刷所で印刷され、印刷物が顧客へ配送される。

顧客は、写真販売システムに掲載されている大量の画像の中から、好みの歌手や選手が写っている画像、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。

タグ（キーワード）を使った画像検索により画像を絞り込むことで、目的の画像が探しやすくなるため、写真販売システムに登録される販売画像にはタグが付与されている。従来、画像解析により、画像内の文字を認識したり、画像内の物体を検知したり、画像内の人物の表情を分析したりして、抽出した情報をタグとして販売画像に付与していた。しかし、画像解析から得られる情報だけでは、検索のためのタグとして不十分であった。

特開２０１４－１４２７１１号公報特開２００１－３２５０８２号公報

本発明は、上記従来の実状に鑑みてなされたものであり、画像に写っている物の解析からは得られないタグを画像に付与する画像検索方法、サーバ、及びプログラムを提供することを課題とする。

本発明による画像検索方法は、複数のイベント及び各イベントの日時の登録を受け付けるステップと、撮影処理により生成された複数の画像の登録を受け付けるステップと、前記複数の画像の各々に対し、撮影日時に対応するイベントをタグとして付与するステップと、前記複数の画像、及び前記タグを含む画像閲覧ページのデータをユーザ端末へ送信するステップと、前記画像閲覧ページ内のタグが選択された場合、選択されたタグが付与されている画像を検索するステップと、をサーバが実行することを特徴とする。

本発明の一態様による画像検索方法では、前記画像閲覧ページを介してキーワードが入力された場合、入力キーワードと一致するタグが付与されている画像を検索する。

本発明の一態様による画像検索方法では、前記画像閲覧ページは、画像を撮影日時順に表示すると共に、表示画像の撮影日時を変更するスクロールバーを含む。

本発明によるサーバは、複数のイベント及び各イベントの日時の登録と、撮影処理により生成された複数の画像の登録を受け付ける通信部と、前記複数の画像の各々に対し、撮影日時に対応するイベントをタグとして付与するタグ付与部と、前記複数の画像及び前記タグを含む画像閲覧ページを生成する生成部と、を備え、前記生成部は、前記画像閲覧ページ内の前記タグが選択された場合、前記タグが付与されている画像を検索し、抽出した画像を含む画像閲覧ページを生成するものである。

本発明によるプログラムは、複数のイベント及び各イベントの日時の登録を受け付けるステップと、撮影処理により生成された複数の画像の登録を受け付けるステップと、前記複数の画像の各々に対し、撮影日時に対応するイベントをタグとして付与するステップと、前記複数の画像、及び前記タグを含む画像閲覧ページのデータをユーザ端末へ送信するステップと、前記画像閲覧ページ内のタグが選択された場合、選択されたタグが付与されている画像を検索するステップと、をコンピュータに実行させるものである。

本発明によれば、画像に写っている物の解析からは得られないタグを画像に付与することができる。

本発明の実施形態による画像販売システムの概略図である。同実施形態に係るサーバの概略構成図である。画像処理プログラムを実行することで実現される機能ブロック図である。時間割の一例を示す図である。画像に付与されるタグの例を示す図である。同実施形態による画像検索方法を説明するフローチャートである。別の実施形態による画像プリント装置の外観図である。

図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページを顧客のユーザ端末４へ配信するサーバ１、権利者が販売画像を登録するために使用する登録端末２、販売画像の解析を行い、キーワードを付与する解析端末３などを有する。販売する画像は、プロカメラマン等が、スポーツの試合やコンサート等を撮影した画像である。

顧客は、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。サーバ１は、プリント物の注文を受け付けると、画像データを工場５へ送信する。工場５で製造されたプリント物６は顧客の元へ配送される。プリント物６は、例えば、写真、ポスター、フォトブック、マグカップ等である。

図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。サーバ１は、液晶ディスプレイ等の表示部１３や、キーボード、マウス等の操作部１４をさらに有していてもよい。

通信部１２は、登録端末２、解析端末３、ユーザ端末４等との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。また、通信部１２は、登録端末２から、販売する画像に関連するイベント、及びイベントが行われた時刻（日時）の登録を受け付ける。イベントについては後述する。

通信部１２は、販売画像の画像データを解析端末３へ送信し、解析端末３から画像毎に関連するタグ情報（キーワード情報）を受信し、記憶部１１に格納する。解析端末３は、公知の手法で画像認識を行い、画像に関連するタグを付与する。例えば、解析端末３は、画像に含まれる物体を検知し、花、動物、乗り物などの多数のカテゴリの中から分類し、タグとして付与する。また、解析端末３は、ＯＣＲ（光学的文字認識）により、画像に含まれるテキストを認識して抽出し、タグとして付与する。

通信部１２は、販売画像の閲覧ページをユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から購入画像の選択を受け付けたり、決済情報を受信したりする。

記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ－ｏｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ハードディスク等の組み合わせであり、販売画像の画像データ、各画像に付与されたタグ情報、後述する時間割情報、及び画像処理プログラム等を記憶する。

ＣＰＵ１０が画像処理プログラムを実行することで、図３に示すように、時間割作成部１６、タグ付与部１７、及び閲覧ページ生成部１８が実現される。

時間割作成部１６は、登録端末２によって登録されたイベント及びイベント時刻を用いて時間割（タイムスケジュール）を作成する。例えば、権利者が、野球の試合で撮影した画像を販売する場合、イベントとして、試合前練習、１回表、１回裏、２回表、２回裏、・・・、９回表、９回裏、ヒーローインタビュー等が登録され、各イニングの開始時刻、終了時刻等を用いて時間割が作成される。

ホームラン等の印象に残るイベントは、時刻以外に打者の名前が登録端末２によって登録される。また、時刻は一定の範囲を持たせて登録される。時間割作成部１６は、ホームランの発生時刻及び選手名を組み込んで時間割を作成する。これにより、時間割作成部１６は、図４に示すような時間割を作成する。時間割は、「練習」「１回表」「ヒーローインタビュー」「ホームラン」等のタグと、時刻とを関連付けたものとなる。図４に示す例では、＃１が予定されているイベント、＃２が予定されていない突発的に発生したイベントとなっている。

競馬の画像を販売する場合、イベントとして、第１レース、第２レース、・・・が登録され、各レースの出走時刻等を用いて時間割が作成される。登録端末２が各レースの勝利馬の名前を登録した場合、時間割作成部１６は、勝利馬の名前を組み込んで時間割を作成する。

大相撲の画像を販売する場合、イベントとして、序の口取組、序二段取組、・・・、幕内土俵入り、横綱土俵入り、・・・幕内取組、弓取式等が登録され、各取組の開始時刻等を用いて時間割が作成される。登録端末２が、珍しい決まり手、勝利力士の四股名及びその発生時刻を登録した場合、時間割作成部１６は、決まり手の名前や四股名を組み込んで時間割を作成する。

アーティストのコンサートの画像を販売する場合、イベントとして、挨拶、１曲目の曲名、２曲目の曲名、・・・、アンコール等が登録され、各曲の開始時刻等を用いて時間割が作成される。

タグ付与部１７は、登録端末２から画像が登録されると、画像データに記録されている撮影日時を抽出する。タグ付与部１７は、時間割を参照し、撮影日時に対応するイベントをタグとして付与する。

例えば、図５に示す画像５０に対し、画像解析を行う解析端末３が付与するタグは、「野球」「バッター」程度である。これに対し、タグ付与部１７は、図４に示すような時間割を参照し、画像５０の撮影日時から、「４回表」「ホームラン」等の画像解析からは判別できないタグを付与する。

閲覧ページ生成部１８は、タグを用いて、販売画像の閲覧ページを生成する。閲覧ページは、登録された販売画像を表示すると共に、画像に付与されているタグを表示する。販売画像が多数ある場合は、ページを切り替えるようにしてもよい。

次に、本実施形態による画像検索方法を図６に示すフローチャートに沿って説明する。

画像の権利者が、登録端末２を用いて、画像販売を行う催しの中の複数のイベント（内容）や各イベントの日時を登録する（ステップＳ１）。予定されているイベントを事前に登録し、進行に伴い各イベントの時刻や突発的に生じたイベントの時刻を登録してもよいし、催しが終わった後に全イベントの日時を登録してもよい。

サーバ１の時間割作成部１６が、登録されたイベント及び日時を用いて時間割を作成する（ステップＳ２）。

画像の権利者が、登録端末２を用いて、販売画像をサーバ１に登録する（ステップＳ３）。販売画像のデータはサーバ１の記憶部１１に保存される。

サーバ１のタグ付与部１７が、販売画像を選択し（ステップＳ４）、画像の撮影時刻を抽出し（ステップＳ５）、時間割を参照して撮影日時に対応するイベントをタグとして付与する（ステップＳ６）。全ての販売画像について、このタグ付与処理を行う（ステップＳ４～Ｓ７）。

サーバ１は、タグ付与部１７によるタグ付与処理の前又は後に、販売画像の画像データを解析端末３へ送信し、解析端末３が画像解析を行い検出した情報をタグとして付与してもよい。

閲覧ページ生成部１８は、タグを用いて、画像を販売するための閲覧ページを生成する（ステップＳ８）。閲覧ページは、販売画像を個別に表示すると共に、画像に付与されている代表的なタグを表示する。また、閲覧ページには、キーワード入力欄が設けられている。顧客が、ユーザ端末４を操作してタグを選択すると、閲覧ページ生成部１８は、選択されたタグが付与されている画像を検索・抽出し、抽出した画像を含む閲覧ページを生成する。また、顧客が、ユーザ端末４を操作してキーワードを入力すると、閲覧ページ生成部１８は、入力キーワードをタグとして持つ画像を検索・抽出して表示する。

顧客は、キーワード検索等を用いて好みの画像を探し、購入画像を選択する（ステップＳ９）。解析端末３による画像解析から得られる情報のみをタグとして付与する場合、図５に示すような、打者Ａがホームランを打った画像５０をキーワード検索で探し出すことは困難である。しかし、本実施形態では、時間割に基づくタグを付与しているため、「４回表」や「ホームラン」等のキーワードを入力して検索することで、画像５０を容易に探し出すことができる。

閲覧ページ生成部１８は、販売画像を撮影時間順に並べて表示すると共に、撮影時間スクロールバーを含む閲覧ページを生成してもよい。スクロールバーをスライドして時間を変えると、その時間に撮影された画像が表示される。撮影時間から写真を検索することで、タグが付与されていない、又は付与されているタグの数が少ない画像を探し出すことができる。

顧客が画像の選択を終えると、決済処理を行う（ステップＳ１０）。決済処理後、サーバ１は、ユーザ端末４へ画像データを送信したり、プリント注文内容を工場５へ転送したりする。

このように、本実施形態によれば、イベント及びその日時から作成される時間割を参照し、画像の撮影時刻に応じたイベントをタグとして付与する。このようなタグは、画像に写っている物の解析からは得られないタグであり、画像を探し出し易くすることができる。そのため、顧客が大量の画像の中から所望の画像を探し出す手間を軽減することができる。

上記実施形態において、タグ付与部１７は、記念日に関連したタグを画像に付与してもよい。例えば、８月９日は野球の日であるため、タグ付与部１７は、登録された販売画像のうち、撮影日が８月９日である画像に対し「野球の日」というタグを付与する。

例えば、以下の表１のような記念日タグ一覧を準備し、サーバ１に登録しておく。販売画像を登録する際に、記念日毎に使用の有無を設定することができる。例えば、販売画像が野球の場合は、野球関連の記念日を使用し、野球に関係ない記念日は使用しない。タグ付与部１７は、“使用する”と設定された記念日（月日）と撮影日が同じ画像に対して、記念日タグを付与する。

上記実施形態では、ユーザ端末４へ閲覧ページを送信し、プリント注文を受け付けた場合は、工場５で製造したプリント物を配送する例について説明したが、図７に示すようなキオスク端末としての画像プリント装置７に販売画像を登録し、プリント物を販売してもよい。

画像プリント装置７の筐体７１の天板７１Ａ部分及び上部にそれぞれタッチパネル７０Ａ、７０Ｂが設けられている。筐体７１内には昇華型又はインクジェット型などの高解像度カラープリンタが収容されている。筐体７１の前面側には、透明な開閉扉７３が開閉自在に設けられている。開閉扉７３の裏面側には、プリンタがプリント出力したプリント物が集積される集積部（図示せず）が設けられており、開閉扉７３を開けると集積部に集積されたプリント物を取り出せるようになっている。

また、画像プリント装置７は、筐体７１の前面側に設けられた硬貨投入口７２Ａ、紙幣投入口７２Ｂ、釣銭返却口７２Ｃを含む課金部を備え、硬貨投入口７２Ａ及び紙幣投入口７２Ｂから投入された貨幣を識別計数し、釣銭を釣銭返却口７２Ｃから放出する。

画像プリント装置７は、サーバ１と通信可能に接続されており、タグ付与部１７によりタグが付与された画像データをサーバ１から受信する。画像プリント装置７は、閲覧ページを生成し、タッチパネル１０Ａ（又は１０Ｂ）に表示する。

顧客は、タッチパネル１０Ａを操作して、キーワードを入力したりタグを選択したりして検索を行い、好みの画像を選択する。画像プリント装置７は、購入画像が選択されると、課金処理を行う。課金処理後、画像プリント装置７は、選択された画像を印画紙にプリントして、出力する。顧客は、プリント物をその場で受け取ることができる。

上述した実施形態で説明した画像処理プログラムをＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、画像処理プログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１サーバ
２登録端末
３解析端末
４ユーザ端末
５工場
６プリント物
７画像プリント装置

Claims

複数のイベント及び各イベントの日時の登録を受け付けるステップと、
撮影処理により生成された複数の画像の登録を受け付けるステップと、
前記複数の画像の各々に対し、撮影日時に対応するイベントをタグとして付与するステップと、
前記複数の画像、及び前記タグを含む画像閲覧ページのデータをユーザ端末へ送信するステップと、
前記画像閲覧ページ内のタグが選択された場合、選択されたタグが付与されている画像を検索するステップと、
をサーバが実行する画像検索方法であって、
画像販売を行う催しで予定されている第１イベントの登録を事前に受け付け、前記催しの中で突発的に発生した予定されていない第２イベントの登録と、前記第１イベント及び前記第２イベントの日時の登録とを前記催しの進行中に受け付け、
前記複数の画像の各々に対し、前記画像の撮影日時に対応する前記第１イベント及び前記第２イベントを前記タグとして付与することを特徴とする画像検索方法。
前記画像閲覧ページを介してキーワードが入力された場合、入力キーワードと一致するタグが付与されている画像を検索することを特徴とする請求項１に記載の画像検索方法。
前記画像閲覧ページは、画像を撮影日時順に表示すると共に、表示画像の撮影日時を変更するスクロールバーを含むことを特徴とする請求項１又は２に記載の画像検索方法。
複数のイベント及び各イベントの日時の登録と、撮影処理により生成された複数の画像の登録とを受け付ける通信部と、
前記複数の画像の各々に対し、撮影日時に対応するイベントをタグとして付与するタグ付与部と、
前記複数の画像及び前記タグを含む画像閲覧ページを生成する生成部と、
を備え、
前記通信部は、画像販売を行う催しで予定されている第１イベントの登録を事前に受け付け、前記催しの中で突発的に発生した予定されていない第２イベントの登録と、前記第１イベント及び前記第２イベントの日時の登録とを前記催しの進行中に受け付け、
前記タグ付与部は、前記複数の画像の各々に対し、前記画像の撮影日時に対応する前記第１イベント及び前記第２イベントを前記タグとして付与し、
前記生成部は、前記画像閲覧ページ内の前記タグが選択された場合、前記タグが付与されている画像を検索し、抽出した画像を含む画像閲覧ページを生成することを特徴とするサーバ。
複数のイベント及び各イベントの日時の登録を受け付けるステップと、
撮影処理により生成された複数の画像の登録を受け付けるステップと、
前記複数の画像の各々に対し、撮影日時に対応するイベントをタグとして付与するステップと、
前記複数の画像、及び前記タグを含む画像閲覧ページのデータをユーザ端末へ送信するステップと、
前記画像閲覧ページ内のタグが選択された場合、選択されたタグが付与されている画像を検索するステップと、
をコンピュータに実行させるプログラムであって、
画像販売を行う催しで予定されている第１イベントの登録を事前に受け付け、前記催しの中で突発的に発生した予定されていない第２イベントの登録と、前記第１イベント及び前記第２イベントの日時の登録とを前記催しの進行中に受け付け、前記複数の画像の各々に対し、前記画像の撮影日時に対応する前記第１イベント及び前記第２イベントを前記タグとして付与するように前記コンピュータを制御するプログラム。