JP2011138263A - Management system and printer utilizing the same - Google Patents
Management system and printer utilizing the same Download PDFInfo
- Publication number
- JP2011138263A JP2011138263A JP2009297044A JP2009297044A JP2011138263A JP 2011138263 A JP2011138263 A JP 2011138263A JP 2009297044 A JP2009297044 A JP 2009297044A JP 2009297044 A JP2009297044 A JP 2009297044A JP 2011138263 A JP2011138263 A JP 2011138263A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- unit
- management server
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、画像管理システムおよび該画像管理システムを利用した印刷装置に関する。 The present invention relates to an image management system and a printing apparatus using the image management system.
従来、各種データをサーバー上に保存し、ネットワークを介してサーバーにアクセスして必要な情報を検索により抽出する技術が知られている(例えば特許文献1など)。 Conventionally, a technique for storing various data on a server, accessing the server via a network, and extracting necessary information by searching is known (for example, Patent Document 1).
しかしながら、上述した特許文献1に記載のサーバーは、個人・団体・業者によって個別管理されるのが一般的である。このような状況は、写真を外部ストレージに電子データとして保存し、必要に応じて入出力可能なシステムにおいても同様であり、写真・電子データのほとんどが、個人・団体・業者によって個別管理されている。そのため、写真管理・保守における手間、多様な入出力やサービス提供にかかるインフラ整備が必要になる。また入力から出力までのフローも煩雑になりやすい。またデータが埋もれやすい。 However, the servers described in Patent Document 1 described above are generally managed individually by individuals, groups, and traders. This situation is the same for systems that store photos as electronic data in an external storage and can input and output as necessary. Most of the photos and electronic data are individually managed by individuals, organizations, and vendors. Yes. For this reason, it is necessary to take care of photo management / maintenance and infrastructure for various input / output and service provision. Also, the flow from input to output tends to be complicated. In addition, data is easily buried.
本発明は、サーバー上に画像を蓄積しつつ、サーバー上でアウトプットまでを意識した処理を行うことが可能な画像管理システムおよび該画像管理システムを利用した印刷装置の提供を目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image management system capable of performing processing in consideration of up to output on a server while accumulating images on the server, and a printing apparatus using the image management system.
上記課題を解決するために、本発明にかかる画像管理システムは、複数の画像を記憶する記憶媒体を備えた画像管理サーバーと、ネットワークを介して上記画像管理サーバーにアクセス可能なクライアントとを備えた画像管理システムにおいて、上記クライアントは、上記画像管理サーバーに検索条件を入力する入力部を備え、上記画像管理サーバーは、上記複数の画像の中から上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量とに基づいて上記検索条件に合致する画像を検索する検索部を備える構成としてある。なお、クライアントの数は1台であってもよいし、2台以上の複数であってもよい。 In order to solve the above problems, an image management system according to the present invention includes an image management server including a storage medium that stores a plurality of images, and a client that can access the image management server via a network. In the image management system, the client includes an input unit for inputting a search condition to the image management server, and the image management server stores the image in association with the image from the plurality of images. The image processing apparatus includes a search unit that searches for an image that matches the search condition based on the output condition and the feature amount of the image. The number of clients may be one or two or more.
上記構成において、上記クライアントの入力部は上記ネットワークを介して上記管理サーバーにアクセスして検索条件を入力することができる。そして、上記入力部から検索条件が入力されると、上記管理サーバーの検索部が上記検索条件に基づいて上記記憶媒体に記憶された複数の画像から検索条件に一致する画像を検索する。上記記憶媒体には上記画像に対応付けて出力条件と画像の特徴量とが記憶されており、上記検索部は出力条件と画像の特徴量とに基づいて検索を行うことになる。出力条件とは、上記管理サーバーにおいて行われた検索や画像処理の履歴、該出力条件と対応付けられている画像に対してユーザーが付与した情報などである。なお、履歴は、該出力条件と対応付けられている画像に対応付けられているものだけでなく、上記管理サーバー上で行われた検索や画像処理全ての履歴を利用することが可能である。画像の特徴量は、該出力条件と対応付けられている画像に付与されているメタデータや画像データそのものを解析することにより得られる情報である。このように、出力条件や画像の特徴量を利用して検索を行うことにより、画像管理システムに蓄積された多数の画像の中からユーザー所望の画像をクライアントから容易に検索することが出来るようになる。 In the above configuration, the input unit of the client can access the management server via the network and input search conditions. When a search condition is input from the input unit, the search unit of the management server searches for an image that matches the search condition from a plurality of images stored in the storage medium based on the search condition. The storage medium stores an output condition and an image feature amount in association with the image, and the search unit performs a search based on the output condition and the image feature amount. The output condition is a history of searches and image processing performed in the management server, information provided by the user for an image associated with the output condition, and the like. The history can use not only the history associated with the image associated with the output condition but also the history of all searches and image processing performed on the management server. The feature amount of the image is information obtained by analyzing metadata attached to the image associated with the output condition or the image data itself. As described above, by performing a search using the output condition and the feature amount of the image, the client can easily search for a desired image from a large number of images stored in the image management system. Become.
また、本発明にかかる画像管理システムの他の態様として、複数の画像を記憶する記憶媒体を備えた画像管理サーバーと、ネットワークを介して上記画像管理サーバーにアクセス可能なクライアントとを備えた画像管理システムにおいて、上記クライアントは、上記記憶媒体の画像を選択する第1選択部を備え、上記画像管理サーバーは、上記第1選択部の選択した画像に対し、上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量および、出力装置と画像の特徴量とを関連付けた情報に基づいて画像処理を実行する画像処理部を備える構成としてもよい。なお、クライアントの数は1台であってもよいし、2台以上の複数であってもよい。 As another aspect of the image management system according to the present invention, an image management server comprising an image management server comprising a storage medium for storing a plurality of images, and a client accessible to the image management server via a network. In the system, the client includes a first selection unit that selects an image on the storage medium, and the image management server stores the image selected by the first selection unit in the storage medium in association with the image. The image processing unit may be configured to perform image processing based on the stored output condition, the feature amount of the image, and information that associates the output device with the feature amount of the image. The number of clients may be one or two or more.
この構成において、上記クライアントの第1選択部は上記ネットワークを介して上記管理サーバーにアクセスして上記複数の画像の中から画像を選択することができる。第1選択部からは1以上の任意の数の画像を選択可能である。上記第1選択部によって画像が選択されると、上記管理サーバーの画像処理部が、選択された画像に対して画像処理を行う。ここで実行される画像処理は、上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量および、出力装置と画像の特徴量とを関連付けた情報に基づいて行われる。出力条件や画像の特徴量は、上述したものと同様である。出力装置と画像の特徴量とを関連付けた情報は、例えば、ICCプロファイル等のように画像データの表色系と出力装置の表色系との色対応関係を規定した色変換テーブルなどである。このように、出力条件や画像の特徴量や出力装置と画像の特徴量とを関連付けた情報を利用して画像処理を行うことにより、画像処理に不慣れなユーザーであっても画像に適切な画像処理が施すことが出来るようになる。 In this configuration, the first selection unit of the client can access the management server via the network and select an image from the plurality of images. One or more arbitrary numbers of images can be selected from the first selection unit. When an image is selected by the first selection unit, the image processing unit of the management server performs image processing on the selected image. The image processing executed here is performed on the basis of information relating the output condition and the image feature amount stored in the storage medium in association with the image, and the output device and the image feature amount. The output condition and the feature amount of the image are the same as those described above. The information that associates the output device with the image feature amount is, for example, a color conversion table that defines the color correspondence between the color system of the image data and the color system of the output device, such as an ICC profile. In this way, by performing image processing using information that associates output conditions, image feature amounts, and output devices with image feature amounts, even a user unfamiliar with image processing can obtain an image appropriate for the image. Processing can be performed.
また、本発明の選択的な一態様として、上記画像管理サーバーは、上記複数の画像の中から上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量と上記検索条件とに基づいて画像を検索する検索部と、鍵情報を受付ける受付部と、を備え、上記検索部は、上記鍵情報に基づいて作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を上記記憶媒体に記憶された複数の画像の中から検索するようにしてもよい。
この構成では、上記検索部は、上記鍵情報に基づいて作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を上記画像データベースから検索する。この所定距離は、ユーザーの指定を受付けてもよいし、予め設定された値を用いてもよい。画像特徴量空間とは、画像を特徴付ける各種の画像特徴量を次元(変数)として構成される仮想空間である。上記鍵情報は、キーワードとして指定することも可能であるし、画像で指定することも可能である。キーワードで指定した場合は、予めキーワードにより想起される画像特徴量とキーワードとの対応関係を作成しておくことにより、この対応関係に基づいて画像特徴量に変換することができる。一方、上記鍵情報を画像で指定した場合は、公知の様々な手法により、画像から画像特徴量を算出することができる。
上記検索部によって検索された画像は、上記鍵情報に類似しているのはもちろんであるが、上記検索対象画像にも類似しており、検索結果の中に上記検索対象画像を含む可能性は高い。また検索結果の中に上記検索対象画像そのものを含んでいなくても、上記検索対象画像に類似した画像を含んでいる可能性が高い。
よって、ユーザーは、上記検索部の検索結果の中から、ユーザー所望の検索対象画像に近い画像を発見することができる可能性が極めて高い。ユーザーは検索結果の中に検索対象画像に対する類似度合の高い画像を発見した場合は、この画像を新たな鍵情報として検索を行うことができる。むろん、検索結果以外の画像を鍵情報として受付けて検索を行ってもよい。このように構成することにより、大量の画像の中から容易に目的の画像を探すための手段をクライアントの利用者に提供することができる。
Further, as a selective aspect of the present invention, the image management server includes an output condition, an image feature amount, and the search condition stored in the storage medium in association with the image from the plurality of images. A search unit that searches for an image based on the key, and a reception unit that receives key information. The search unit has a predetermined distance in the image feature amount space between the image feature amount created based on the key information. The images within the range may be searched from a plurality of images stored in the storage medium.
In this configuration, the search unit searches the image database for an image whose distance from the image feature amount created based on the key information is within a predetermined distance in the image feature amount space. As this predetermined distance, a user's designation may be accepted, or a preset value may be used. The image feature amount space is a virtual space configured with various image feature amounts characterizing an image as dimensions (variables). The key information can be specified as a keyword or can be specified as an image. In the case of designating with a keyword, it is possible to convert into an image feature amount based on this correspondence relationship by creating a correspondence relationship between the image feature amount recalled by the keyword and the keyword in advance. On the other hand, when the key information is designated by an image, the image feature amount can be calculated from the image by various known methods.
The image searched by the search unit is similar to the key information, but is similar to the search target image, and there is a possibility that the search result includes the search target image. high. Further, even if the search result does not include the search target image itself, there is a high possibility that the search result includes an image similar to the search target image.
Therefore, it is highly likely that the user can find an image close to the user-desired search target image from the search results of the search unit. When the user finds an image with a high degree of similarity to the search target image in the search result, the user can perform a search using this image as new key information. Of course, the search may be performed by accepting an image other than the search result as key information. With this configuration, it is possible to provide a client user with a means for easily searching for a target image from a large number of images.
また、本発明の選択的な一態様として、上記画像管理サーバーは、上記検索部の検索回数を計数する計数部を更に備え、上記検索部は、上記検索回数が増加するに従って検索に使用する上記画像特徴量の情報量を増加する。画像特徴量は画像を特徴付ける情報であり、画像特徴量の情報量が多ければ多いほど、具体的な画像を精度よく特定可能になり、情報量が少ないと画像を大まかにしか特定できない。この画像特徴量の情報量に関する特性を、ユーザーのイメージにおける検索対象画像が明確化するプロセスに連動させた検索を実現すると、ユーザービリティが向上する。すなわち、検索回数が増加して次第にユーザーのイメージが明確化するのに合わせて、上記画像特徴量作成部は上記鍵情報を精度よく特定可能な情報量で画像特徴量を作成するため、上記検索部の検索結果も鍵情報との類似度の高い画像が多く含まれるように遷移していく。よって、検索者が画像を特定するための特徴量に精通していなかったり、検索に熟練していなかったりしても、検索者のイメージしている画像を画像データベースから検索できるようになる。 Further, as a selective aspect of the present invention, the image management server further includes a counting unit that counts the number of searches of the search unit, and the search unit is used for the search as the number of searches increases. Increase the amount of image feature information. The image feature amount is information that characterizes the image. The greater the information amount of the image feature amount, the more accurately the specific image can be specified. When the information amount is small, the image can be specified only roughly. When a search that links the characteristics of the image feature amount related to the information amount with the process of clarifying the search target image in the user's image is realized, usability is improved. That is, as the number of searches increases and the image of the user gradually becomes clear, the image feature quantity creation unit creates an image feature quantity with an information quantity that can accurately identify the key information. The search result of the copy also transitions so that many images with high similarity to the key information are included. Therefore, even if the searcher is not familiar with the feature amount for specifying the image or is not skilled in the search, it is possible to search the image database for the image of the searcher.
また、本発明の選択的な一態様として、上記クライアントは、上記検索部の検索結果から画像を選択する第2選択部を備え、上記画像管理サーバーは、上記鍵情報と上記第2選択部によって選択された画像との相関を検索履歴として記憶する検索履歴記憶部を備え、上記検索部は、上記検索履歴における上記相関の度合の高い画像を検索するようにしてもよい。上記第2選択部で選択された画像は、ユーザーが検索結果の中から選択した画像であり、ユーザーのイメージの中で上記鍵情報との間に強い相関があると考えられる。すなわち、キーワードや画像などの上記鍵情報と、上記第2選択部によって選択された画像との相関こそがユーザーにとって有用な情報であったことが推測される。そこで、以後の検索においてこの相関する情報をクローズアップした検索を行えるように、上記相関を検索履歴として上記検索履歴記憶部に記憶する。そして、その後の検索においては、上記相関の度合の高いものほど上位の検索結果にとなるようにする。このようにすることで、ユーザーは多数の画像から自身のイメージに合わせた鍵情報を用いて所望の画像を容易且つ迅速に検索できるようになる。これは、未知の画像であっても同様である。 As a selective aspect of the present invention, the client includes a second selection unit that selects an image from the search result of the search unit, and the image management server includes the key information and the second selection unit. A search history storage unit that stores a correlation with the selected image as a search history may be provided, and the search unit may search for an image having a high degree of correlation in the search history. The image selected by the second selection unit is an image selected by the user from the search results, and it is considered that there is a strong correlation with the key information in the user image. That is, it is presumed that the correlation between the key information such as a keyword and an image and the image selected by the second selection unit was useful information for the user. Therefore, the correlation is stored in the search history storage unit as a search history so that the correlated information can be searched in the subsequent search. In subsequent searches, the higher the degree of correlation, the higher the search result. In this way, the user can easily and quickly search for a desired image from a large number of images using key information adapted to the user's own image. The same applies to an unknown image.
また、本発明の選択的な一態様として、上記画像管理サーバーは、上記第1選択部の選択した画像に対し、上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量および、出力装置と画像の特徴量とを関連付けた情報とに基づいた画像処理を実行する画像処理部と、特定のクライアントにより選択された画像に対して上記画像処理部の実行した画像処理の履歴を記憶する画像処理履歴記憶部とを備え、上記画像処理部は、上記画像処理の履歴に基づいて他のクライアントの画像処理を実行するようにしてもよい。
ユーザーの画像処理技術は各人の経験に応じて優劣があり、経験の浅いユーザーにとって、不満足な状態の画像を満足できる状態に補正するためにどのような画像処理を行えばよいか、よく分からないことがおおい。そこで、該構成では、特定の出力装置を利用している特定のユーザーの行った画像処理の履歴を記憶しておき、他のユーザーが上記特定の出力装置を用いて出力しようとしたときに、この履歴を利用した画像処理を利用可能にする。特定のユーザーとしては画像処理技術に長けた人が好ましく、例えばカメラの利用年数が長い人であったり、画像処理を行った回数の多い人などを選定することができる。このようにすれば、画像処理に不慣れなユーザーであっても適切な上記管理サーバー上の画像に適切な画像処理を行うことができるようになる。
Further, as a selective aspect of the present invention, the image management server outputs an output condition and an image feature amount stored in the storage medium in association with the image with respect to the image selected by the first selection unit. And an image processing unit that performs image processing based on information that associates the output device with the feature amount of the image, and a history of image processing performed by the image processing unit on an image selected by a specific client An image processing history storage unit for storing the image processing unit, and the image processing unit may execute image processing of another client based on the history of the image processing.
The user's image processing technology is superior or inferior depending on the experience of each person, and for inexperienced users, it is well understood what image processing should be performed to correct an unsatisfactory image to a satisfactory state. There's nothing to do. Therefore, in this configuration, the history of image processing performed by a specific user who uses a specific output device is stored, and when other users try to output using the specific output device, Image processing using this history is made available. The specific user is preferably a person skilled in image processing technology. For example, a person who has used the camera for a long time or a person who has frequently performed image processing can be selected. In this way, even a user unfamiliar with image processing can perform appropriate image processing on an appropriate image on the management server.
また、本発明の選択的な一態様として、上記画像管理サーバーは、上記クライアントのユーザーのプロフィールを記憶するプロフィール記憶部を備え、上記画像処理部は、上記プロフィールに基づいて画像処理の強度を決定するようにしてもよい。プロフィールには、ユーザーの嗜好を表す情報(年齢や性別など)が含まれており、プロフィールの表す多数の嗜好に組合せに対して適切な画像処理の組合せをそれぞれ用意しておくことにより、ユーザーが画像処理を行おうとしたときにユーザーの嗜好に合致した補正結果を得られるような画像処理の組合せを行って出力することができるようになる。 As an optional aspect of the present invention, the image management server includes a profile storage unit that stores a profile of the user of the client, and the image processing unit determines the intensity of image processing based on the profile. You may make it do. The profile contains information (such as age and gender) that represents the user's preferences, and the user can prepare appropriate combinations of image processing for each of the preferences expressed by the profile. A combination of image processing that can obtain a correction result that matches the user's preference when trying to perform image processing can be output.
また、本発明の選択的な一態様として、上記クライアントが印刷装置であり、該印刷装置が上記検索部の検索した画像を印刷するようにしてもよい。上記クライアントとして印刷装置を備えることにより、上記管理サーバーに備わった検索機能を利用しつつ蓄積された画像を印刷することが出来るようになる。 As another optional aspect of the present invention, the client may be a printing device, and the printing device may print the image searched by the search unit. By providing a printing device as the client, the stored image can be printed using the search function provided in the management server.
また、本発明の選択的な一態様として、上記クライアントが印刷装置であり、該印刷装置が上記画像処理部が画像処理を行った画像を印刷するように構成してもよい。上記クライアントとして印刷装置を備えることにより、上記管理サーバーに備わった画像処理機能を利用しつつ蓄積された画像を印刷することが出来るようになる。 Further, as a selective aspect of the present invention, the client may be a printing device, and the printing device may be configured to print an image that has been subjected to image processing by the image processing unit. By providing a printing apparatus as the client, it is possible to print the stored image using the image processing function provided in the management server.
上述した画像管理システムは、他の機器やシステムに組み込まれた状態で実施されたり他の方法とともに実施されたりする等の各種の態様を含む。また、出力機器を変更することにより、写真発注システム、展示システム、画像処理システム、画像整理システム、画像検索システム、としても機能することになる。また、本発明は上記画像管理システムの構成に対応した工程を有する制御方法、上記画像管理システムの構成に対応した機能をコンピューターに実現させるプログラム、該プログラムを記録したコンピューター読取り可能な記録媒体、等としても実現可能である。これら画像管理方法、画像管理プログラム、画像管理プログラムを記録した媒体、の発明も、上述した作用、効果を奏する。むろん、請求項2〜9に記載した構成も、上記方法や上記プログラムや上記記録媒体に適用可能である。
The image management system described above includes various modes such as being implemented in a state of being incorporated in another device or system, or being implemented together with another method. Further, by changing the output device, it also functions as a photo ordering system, an exhibition system, an image processing system, an image organization system, and an image search system. Further, the present invention provides a control method having steps corresponding to the configuration of the image management system, a program for causing a computer to realize a function corresponding to the configuration of the image management system, a computer-readable recording medium storing the program, and the like Can also be realized. The invention of the image management method, the image management program, and the medium on which the image management program is recorded also has the above-described operations and effects. Of course, the configurations described in
以下、下記の順序に従って本発明の実施形態を説明する。
(1)本実施形態の構成:
(2)画像管理処理:
(3)画像解析処理:
(4)データ活用処理:
(5)各種変形例:
(6)まとめ:
Hereinafter, embodiments of the present invention will be described in the following order.
(1) Configuration of the present embodiment:
(2) Image management processing:
(3) Image analysis processing:
(4) Data utilization processing:
(5) Various modifications:
(6) Summary:
(1)本実施形態の構成:
図1は本実施形態にかかる画像管理システムの構成を示すブロック図である。同図において、画像管理システム100は、入力装置としてのパーソナルコンピューター10(PC10)と、出力装置としてのプリンター20と、管理サーバー30とを備えている。PC10やプリンター20はネットワークNTで接続されており、管理サーバー30と通信するクライアントとなっている。なお、同図には、入力装置や出力装置を1つだけ記載してあるが、管理サーバー30に対するユーザー登録数や機器登録数、もしくは入力装置や出力装置のネットワークNTへの接続状況に応じて、入力装置や出力装置の数は様々に変更される。
(1) Configuration of the present embodiment:
FIG. 1 is a block diagram showing a configuration of an image management system according to the present embodiment. In FIG. 1, an
なお、本実施形態では、入力装置とPC10とし、出力装置をプリンター20として説明するが、これに限るものではない。例えば、入力装置としては、外部記憶媒体(メモリーカードやUSBメモリー等)から画像データを読取るためのリーダー機能を備えたプリンター(印刷装置)や携帯電話、静止画や動画を撮影するためのカメラ機能を備えたデジタルカメラや携帯電話、媒体表面のイメージデータを取得するスキャナー装置、等を採用可能である。すなわち、入力装置には画像データをネットワークNTを経由して管理サーバー30にアップロード可能な機器であれば様々なものを採用可能である。また例えば、出力装置としては、携帯電話、フォトイメージビューワ、パーソナルコンピューター、プロジェクター装置、プリンター、等を採用可能である。すなわち、出力装置には画像データに基づいた画像を出力(表示、印刷)可能な機器であれば様々なものを採用可能である。
In the present embodiment, the input device and the
図1において、管理サーバー30は、管理サーバー30の全体を制御する制御部31と、管理者が操作入力を行うための操作入力部32と、管理者が管理サーバー30にかかる各種情報を表示するための表示部33と、ハードディスク(HD)等の大容量記憶媒体で構成されるストレージ部34と、ネットワークNTとのインターフェースとして機能するI/F35と、画像管理プログラムを記憶しているハードディスク(HD)等の記憶媒体36と、を備えている。なお、ストレージ部34と記憶媒体36は一体であってもよい。制御部31は、例えば、CPUとRAMとROMにより構成されるプログラム実行環境で構成することができる。むろん、ASIC(Application Specific Integrated Circuit)などのカスタムICで制御部31を構成しても構わない。
In FIG. 1, the management server 30 displays a
管理サーバー30は、制御部31で画像管理プログラムを実行することにより、図2に示す設定登録部M1と画像アップロード部M2と画像解析部M3とデータ活用部M4に相当する機能を実現する。設定登録部M1はユーザー登録/解除や機器登録/解除や各種設定を受付ける。画像アップロード部M2はPC10から画像のアップロードを受付ける。画像解析部M3はアップロードされた画像を解析して画像の特徴量を抽出し、特徴量データベースDBを作成する。データ活用部M4は特徴量データベースDBなどを利用しつつ各種サービスをユーザーに提供する。
The management server 30 implements functions corresponding to the setting registration unit M1, the image upload unit M2, the image analysis unit M3, and the data utilization unit M4 shown in FIG. The setting registration unit M1 accepts user registration / cancellation, device registration / cancellation, and various settings. The image upload unit M2 accepts image upload from the
(2)画像管理処理:
図2は、画像管理プログラムによって実行される画像管理処理の全体的な流れを示すフローチャートであり、図3は画像管理処理の中でPC10に表示されるユーザーインターフェースの画面の例を示す図である。図2に示す処理はユーザーごと(もしくは出力装置ごと)におのおの独立して実行されるものであり、同時に複数の画像管理処理を実行することもできる。画像管理処理は、管理サーバー30に対してユーザー登録や出力機器の登録を行うことにより開始される。
(2) Image management processing:
FIG. 2 is a flowchart showing an overall flow of image management processing executed by the image management program, and FIG. 3 is a diagram showing an example of a user interface screen displayed on the
なお、以下の説明では、ステップS100〜S160の順に処理が実行される場合について説明を行うが、これらの処理はステップS100のユーザー登録を除いて順不同で実行することができる。ユーザー登録は必ず最初に行わなければならないが、その他のユーザー登録が完了した後に実行する処理(新たな機器の追加登録や登録削除、画像のアップロード、アップロードした画像を活用する処理、ユーザー登録の解除、など)は、他の処理が行われていなくても実行することが出来るからである。 In the following description, the case where the processes are executed in the order of steps S100 to S160 will be described. However, these processes can be executed in any order except for user registration in step S100. User registration must be performed first, but processing to be performed after other user registration is completed (additional registration and deletion of new devices, uploading of images, processing of using uploaded images, cancellation of user registration) This is because it can be executed even if no other processing is performed.
また、アップロードされた画像を解析して特徴量を抽出する画像解析処理も、アップロードした画像を活用する処理が行われるまでであれば管理サーバー30で適宜のタイミングで実行することができる。画像の特徴量の抽出は、ユーザーが画像を活用する処理を実行するまでに完了していればよく、複数のユーザーからの画像のアップロードを受付けている場合にはリアルタイムで実行するよりも、優先順位を決めて他の処理の合間に実行する方が演算効率がよいからである。 In addition, the image analysis processing for analyzing the uploaded image and extracting the feature amount can be executed at an appropriate timing by the management server 30 until the processing for using the uploaded image is performed. Extraction of image feature values only needs to be completed by the time when the user executes processing that uses the image, and when image uploads from multiple users are accepted, priority is given over execution in real time. This is because it is more efficient to determine the order and execute it between other processes.
処理が開始されると、ステップS100で、設定登録部M1が新規ユーザーの登録を受付ける。ユーザー登録は、例えば、PC10を介してオンラインで行ったり、申込み用紙やメールを所定の提出先に提出することにより行うことができる。前者であれば、例えば図3のように、ユーザーがPC10を介して設定登録部M1にアクセスしたときにPC10の表示部11に表示される「ログイン画面」で「新規ユーザー登録」を選択し、このとき表示される「新規ユーザー登録画面」において各種のユーザー情報(希望ユーザーID、希望パスワード、画像管理システムの使用料の支払い方法(クレジット払い、銀行振込み、現金等)に関する情報など)を入力することにより行うことができる。後者であれば、前者と同様の情報を申込み用紙などに記入して提出し、管理サーバー30を運営する団体の作業者が管理サーバー30に各種ユーザー情報を登録することにより行うことができる。
When the process is started, in step S100, the setting registration unit M1 accepts registration of a new user. User registration can be performed, for example, online via the
ステップS110では、設定登録部M1が新規の機器登録を受付ける。ここで登録する機器は、上述した出力装置である。機器登録も、ユーザー登録と同様にPC10を介してオンラインで行ってもよいし、申込み用紙やメールを提出して行ってもよい。図3に示す例であれば、「ログイン画面」からログインし、「使用目的選択画面」から「登録/解除画面」に進み、「機器の新規登録」で機器特定情報(プリンター20の機種やメーカ名等)を入力することにより行うことができる。むろん、機器特定情報を申込み用紙などに記入して提出し、管理サーバー30を運営する団体の作業者が機器特定情報を管理サーバー30に登録することもできる。なお、ユーザーは、複数の機器を出力装置として登録することも可能であり、既にユーザー登録済みであれば、ステップS100を行うことなくステップS110を行うことができる。なお、以上のステップS100,S110は、ユーザーがプリンター20などの出力機器を購入したとき行うと、スムーズに行える点で好ましい。
In step S110, the setting registration unit M1 accepts a new device registration. The device to be registered here is the output device described above. Device registration may be performed online via the
図4は、以上のステップS100,S110で入力されたデータを管理するユーザー管理テーブルUTの一例を示す図である。ユーザー管理テーブルUTは、ユーザー情報と出力装置の機器特定情報と利用可能なサービス種類との対応関係を示すデータである。利用可能なサービス種類は、ユーザーの利用可能なサービス種類や各出力装置で利用可能なサービス種類であり、出力装置の機器特性(プリンターであれば「印刷」可能であるが「表示」できない、など)とユーザーの契約したサービスの種類とに応じて設定される。例えばユーザーAの登録したプリンターAでは印刷とダウンロードとが可能であるが、ユーザーCの登録したプリンターAでは印刷しか出来ないようになっている。このように、同一の出力装置を利用していても、ユーザーが契約していないサービスは受けることができない。ユーザー管理テーブルUTは、管理サーバー30の記憶媒体36に記憶されている。
FIG. 4 is a diagram showing an example of the user management table UT that manages the data input in the above steps S100 and S110. The user management table UT is data indicating a correspondence relationship between user information, device identification information of the output device, and available service types. The service types that can be used are the service types that can be used by the user and the service types that can be used by each output device, and the device characteristics of the output device (such as being able to “print” but not “display” with a printer) ) And the type of service contracted by the user. For example, the printer A registered by the user A can print and download, but the printer A registered by the user C can only print. In this way, even if the same output device is used, services that the user has not contracted cannot be received. The user management table UT is stored in the
ステップS120では、ユーザーが使用環境設定を行う。図3の例では、使用環境の設定は「設定変更画面」で行われることになり、「設定変更画面」では「セキュリティ設定」と「画像処理設定」と「印刷条件設定」とを行うことができる。「セキュリティ設定」では、後述のアップロード処理でアップロードしたデータの公開範囲を設定することができる。公開範囲には、例えば、「制限無し」、「閲覧のみ可能」、「特定のユーザーにのみ公開」、「非公開」などがあり、アップロードした画像のアクセス制限に関する設定である。公開範囲は、アップロードした画像全てに一律に設定してもよいし、画像ごとに設定してもよい。また、「セキュリティ設定」で設定した公開範囲をデフォルトの公開範囲とし、特に指定せずにアップロードした場合にはデフォルトの公開範囲が適用されるようにしてもよい。「画像処理設定」では、出力装置に画像を出力する際に画像に適用する画像処理の種類と度合とを設定することができる。この設定では、例えば小顔補正や記憶色補正(肌の色、空の色、芝生の色などを人間の好ましい色に修正する処理)を行うか否かや補正の度合などを設定することができる。「印刷条件設定」では、用紙サイズや印刷品質や割付印刷などのプリンター20に画像を出力する際の印刷設定を行うことができる。むろん、出力装置を複数登録しているばあいには、出力装置ごとに印刷条件や出力条件の設定を行うことができる。また、出力装置がプリンター以外の場合には、解像度や1画面に表示する画像の数を設定したり、複数の画像をプロジェクターやフォトフレームに出力する場合には1画像あたりの表示時間を設定したりすることができる。 In step S120, the user performs use environment setting. In the example of FIG. 3, the setting of the use environment is performed on the “setting change screen”, and “security setting”, “image processing setting”, and “printing condition setting” can be performed on the “setting change screen”. it can. In the “security setting”, it is possible to set the disclosure range of the data uploaded in the upload process described later. The disclosure range includes, for example, “no restriction”, “only browsing is possible”, “public to a specific user”, “private”, and the like, and is a setting related to access restriction of an uploaded image. The disclosure range may be set uniformly for all uploaded images, or may be set for each image. Further, the disclosure range set in the “security setting” may be set as a default disclosure range, and the default disclosure range may be applied when uploading without specifying. In “image processing setting”, the type and degree of image processing to be applied to an image when the image is output to the output device can be set. In this setting, for example, it is possible to set whether or not to perform small face correction and memory color correction (processing for correcting skin color, sky color, lawn color, etc. to a human preferred color) and the degree of correction. it can. In “print condition setting”, print settings for outputting an image to the printer 20 such as paper size, print quality, and layout printing can be performed. Of course, when a plurality of output devices are registered, printing conditions and output conditions can be set for each output device. When the output device is not a printer, set the resolution and the number of images to be displayed on one screen, or set the display time per image when outputting multiple images to a projector or photo frame. Can be.
ステップS130では、ユーザーはプロフィールの登録を行う。図3の例では、プロフィールの入力は「プロフィール入力画面」で行い、「プロフィール入力画面」では、性別、年齢、カメラ使用レベル、を設定することができる。年齢や性別は、後述の画像処理において利用することができる。カメラ使用レベルは、画像処理に関する熟練度を判別する指標として利用可能であり、後述の検索履歴や画像処理履歴を有効活用する際に熟練度の高いユーザーの履歴を優先的に活用することにより、画像の扱いに熟達していないユーザーでも設定が容易になる。なお、プロフィールは、ステップS100で行うユーザー登録の際に登録できるようにしてもよい。 In step S130, the user registers a profile. In the example of FIG. 3, the profile is input on the “profile input screen”, and the sex, age, and camera use level can be set on the “profile input screen”. Age and gender can be used in image processing to be described later. The camera usage level can be used as an index for discriminating the skill level of image processing, and by using the history of users with high skill levels preferentially when effectively using the search history and image processing history described below, Setting is easy even for users who are not proficient in handling images. The profile may be registered at the time of user registration performed in step S100.
ステップS140では、ユーザーが画像を管理サーバー30にアップロードする。画像のアップロードは、例えば図3の「アップロード画面」で管理サーバー30に保存したい画像のファイル名や記憶場所を特定する情報を指定することにより行う。情報の指定が完了してユーザーがアップロードを指示すると、指定された画像はネットワークNTを介して管理サーバー30に送信され、管理サーバー30は送信された画像をストレージ部34の各ユーザーの領域に格納される。画像がアップロードされると、ステップS150の画像解析やステップS160のデータの活用が行えるようになる。
In step S140, the user uploads an image to the management server 30. For example, the image is uploaded by specifying information specifying the file name and storage location of the image to be stored in the management server 30 on the “upload screen” in FIG. When the designation of information is completed and the user instructs uploading, the designated image is transmitted to the management server 30 via the network NT, and the management server 30 stores the transmitted image in the area of each user in the
ステップS150では、画像解析部M3が画像から特徴量を抽出し、抽出した特徴量を画像に関連付けてストレージ部34に記憶する。この画像解析処理の詳細については(3)節で説明する。なお、画像解析部M3は、画像がアップロードされた順番に画像から特徴量を抽出してもよいし、後述のデータ活用処理において検索対象として選択されたときに画像から特徴量を抽出してもよい。
In step S150, the image analysis unit M3 extracts a feature amount from the image, and stores the extracted feature amount in the
ステップS160では、ユーザーは、アップロードされた画像を利用してデータ活用部M4によって提供される各種のサービス(検索処理、画像処理、出力処理(印刷処理、表示処理、保存処理)等)を受ける。データ活用部M4は、画像解析部M3の抽出した特徴量と、ユーザーの設定した画像処理設定と、印刷条件設定(出力条件設定)とを利用して印刷、写真印刷、展示、画像処理、整理・検索、などの各種のサービスを提供する。また、後述するように、各ユーザーが自分で行った画像処理設定や検索条件設定等の利用履歴や、他のユーザーがサービスを利用した際の画像処理設定や検索条件設定等の利用履歴も利用してサービスが提供される。これら各種の処理の詳細については(4)節で説明する。 In step S160, the user receives various services (search process, image process, output process (print process, display process, save process, etc.)) provided by the data utilization unit M4 using the uploaded image. The data utilization unit M4 uses the feature amount extracted by the image analysis unit M3, the image processing setting set by the user, and the printing condition setting (output condition setting) to perform printing, photo printing, exhibition, image processing, and organization.・ Provide various services such as search. Also, as will be described later, use history such as image processing settings and search condition settings made by each user, and use history such as image processing settings and search condition settings when other users use the service are also used. Service is provided. Details of these various processes will be described in section (4).
ステップS170では、設定登録部M1がユーザー登録や機器登録の解除を行う。図3の例では、ユーザーは「登録/解除画面」から「ユーザー登録の解除」を選択することにより、ユーザー登録を解除することができる。ユーザー登録が解除されると、該当するユーザーに関する情報が管理サーバー30から削除される。また、「プリンターAの登録解除」などを選択することにより機器ごとに登録解除することもできる。むろんユーザーは解除申込み用紙にユーザー情報や機器特定情報を記載して提出することにより登録を解除することもできる。 In step S170, the setting registration unit M1 cancels user registration and device registration. In the example of FIG. 3, the user can cancel the user registration by selecting “cancel user registration” from the “registration / cancellation screen”. When the user registration is canceled, information regarding the corresponding user is deleted from the management server 30. In addition, the registration can be canceled for each device by selecting “cancel registration of printer A” or the like. Of course, the user can also cancel the registration by submitting the user information and device identification information on the cancellation application form.
(3)画像解析処理:
図5は、上述のステップS150で実行される画像解析処理の流れを示すフローチャートである。特徴量データベースDBを作成するために、画像解析部M3は、まず解析対象画像のデータを走査してメタデータ(Exif(Exchangeable image file format)等)を取得する(ステップS150a)。次に、画像解析部M3は、解析対象画像に各種の画像解析処理を実行することにより、「色味の特徴量」、「構図の特徴量」、「被写体の特徴量」を算出する(ステップS150b)。そして、画像解析部M3は、ステップS150a,150bにおいて算出した各種特徴量を画像に対応付けて、特徴量データベースDBに格納する(ステップS150c)。
(3) Image analysis processing:
FIG. 5 is a flowchart showing the flow of the image analysis process executed in step S150 described above. In order to create the feature database DB, the image analysis unit M3 first scans the data of the analysis target image and acquires metadata (Exif (Exchangeable image file format) or the like) (step S150a). Next, the image analysis unit M3 performs various image analysis processes on the analysis target image, thereby calculating “color feature amount”, “composition feature amount”, and “subject feature amount” (step S3). S150b). Then, the image analysis unit M3 stores the various feature amounts calculated in steps S150a and 150b in the feature amount database DB in association with the images (step S150c).
「色味の特徴量」とは、画像の明るさやコントラスト、彩度、カラーバランスなどに関する特徴量であり、例えば、対象画像から作成されるRGBヒストグラムや輝度ヒストグラム、もしくはこれらヒストグラムにおける最大値、最小値、平均値、最頻値、色数、輝度数などとして算出することができる。「構図の特徴量」とは、注目画素とその近傍の画素との間の関係を表すエッジ分布などの特徴量であり、例えば、濃度ヒストグラム、同時生起行列から得られるテクスチャー情報、差分統計量、ランレングス行列、等に基づいて算出することができる。「被写体の特徴量」とは、画像に含まれる人物や物体の主成分パラメーターであり、多次元の特徴量空間に分散する多数の学習用入力画像から分布をよく表現できる低次元の特徴空間を求める主成分分析により算出することができる。なお、主成分パラメーターを検出する際には、これに先立って顔検出処理や顔器官検出処理などのオブジェクト検出処理を行い、検出されたオブジェクトに対して主成分分析を行うことになる。 “Color characteristic amount” is a characteristic amount related to the brightness, contrast, saturation, color balance, etc. of the image. For example, the RGB histogram or luminance histogram created from the target image, or the maximum or minimum value in these histograms. It can be calculated as a value, an average value, a mode value, the number of colors, the number of luminances, and the like. The “composition feature amount” is a feature amount such as an edge distribution that represents the relationship between the pixel of interest and its neighboring pixels. For example, a density histogram, texture information obtained from a co-occurrence matrix, difference statistics, It can be calculated based on a run length matrix or the like. “Subject feature value” is a principal component parameter of a person or object contained in an image, and represents a low-dimensional feature space that can express the distribution well from many learning input images distributed in a multidimensional feature value space. It can be calculated by the principal component analysis to be obtained. Note that when detecting principal component parameters, prior to this, object detection processing such as face detection processing and face organ detection processing is performed, and principal component analysis is performed on the detected object.
そして、画像解析部M3は、ステップS150a,150bにおいて算出した各種特徴量を画像と対応付けて、特徴量データベースDBに格納する(ステップS150c)。特徴量データベースDBは、ストレージ部34に記憶されている。特徴量データベースDBは、各画像のインデックス(例えば、ファイル名など)と、画像に含まれるExifなどのメタデータと、上述した各種の画像特徴量と、を対応付けたデータである。なお、本実施形態における画像特徴量は、後述する検索処理において画像特徴量同士を対比しやすいように、その値域を所定範囲(例えば0〜100など)に正規化しておくとよい。
Then, the image analysis unit M3 stores the various feature amounts calculated in steps S150a and 150b in the feature amount database DB in association with the images (step S150c). The feature amount database DB is stored in the
ステップS150dにおいて、画像解析部M3は、算出した特徴量をPC10に表示してユーザーに確認してもらう。表示された特徴量に誤りや想定外のものがあれば、ユーザーはPC10の画面を見ながら操作入力部12を操作して特徴量の修正をおこなったり、特徴量の再算出を画像解析部M3に指示したりする。特徴量の再算出を指示された場合は、画像解析部M3は同じ画像に対してステップS150a〜S150dの処理を繰り返すことになる。
In step S150d, the image analysis unit M3 displays the calculated feature amount on the
(4)データ活用処理:
図6は、データ活用処理の流れを示すフローチャートである。同図に示すように、データ活用処理ではサービスと出力機器の選択が行われる(ステップS200,S205)。図3に示す例では、サービスと出力機器の選択は「サービス選択画面」と「出力機器選択画面」で行うことができる。むろん、出力する画像を決定してからサービスと出力装置の選択を行っても構わない。出力する画像を決定するまでは出力装置を特定せずに実行可能であり、その後の画像処理や出力処理は出力装置を特定して行う処理だからである。
(4) Data utilization processing:
FIG. 6 is a flowchart showing the flow of data utilization processing. As shown in the figure, in the data utilization process, a service and an output device are selected (steps S200 and S205). In the example shown in FIG. 3, the selection of the service and the output device can be performed on the “service selection screen” and the “output device selection screen”. Of course, the service and the output device may be selected after the image to be output is determined. This is because it is possible to execute without specifying the output device until the image to be output is determined, and the subsequent image processing and output processing are processing performed by specifying the output device.
次に、ユーザーは出力したい画像を選択する。このとき、ユーザーは所望の画像をストレージ部34に保存されている複数の画像の中から選択する必要がある。選択の方法としては、アップロードした画像の全てをサムネイルやリストで表示してひとつひとつ選択する方法も可能であるが、ストレージ部34の膨大な画像の中から逐一選択していたのでは煩雑である。特に、他のユーザーが公開している画像も含めて抽出元にした場合には、その労力は大変なものとなる。そこで、データ活用部M4は検索部を備えており、検索部M41は、キーワードやキー画像といったクエリに基づいて検索するクエリ検索処理を行えるようになっている。なお、検索部を利用して検索結果を絞り込みつつ所望の画像を選択する手法も含めて、ストレージ部34に保存されている複数の画像の中から画像をユーザーが選択する手段が本実施形態における第1選択部を構成する。また、検索部を利用して検索結果を絞り込まれた画像の中から所望の画像を選択する手段が第2選択部を構成する。
Next, the user selects an image to be output. At this time, the user needs to select a desired image from a plurality of images stored in the
(4−1)クエリ検索処理:
図7は、クエリ検索処理の流れを示すフローチャートである。処理が開始されると、ステップS210Aにおいて、検索段階を示すカウンターCを初期化してステップS210Bに進む。カウンターCの役割については後で説明する。次にステップS210Bで、検索条件を受付けたり検索結果の一覧を表示したりするためのUI画面をディスプレイに表示する。このUI画面で何らかの操作入力が行われるとステップS210Cに進む。
(4-1) Query search processing:
FIG. 7 is a flowchart showing the flow of query search processing. When the process is started, in step S210A, a counter C indicating a search stage is initialized, and the process proceeds to step S210B. The role of the counter C will be described later. In step S210B, a UI screen for accepting search conditions and displaying a list of search results is displayed on the display. When any operation input is performed on this UI screen, the process proceeds to step S210C.
図8は、ステップS210Bで表示されるUI画面の一例を示す図である。同図に示すUI画面は、各種クエリを設定するためのクエリ設定エリアA1と、検索の母集合とする画像の範囲を設定するための検索範囲指定エリアA2と、検索結果表示エリアA3と、検索実行ボタンBと、を備えている。 FIG. 8 is a diagram illustrating an example of a UI screen displayed in step S210B. The UI screen shown in the figure includes a query setting area A1 for setting various queries, a search range designation area A2 for setting a range of images as a search mother set, a search result display area A3, and a search And an execution button B.
検索範囲指定エリアA2には、画像の検索範囲を示す名称が一覧表示されている。各検索範囲名の横にはチェックボックスが設けられており、ユーザーがチェックボックスにチェックを入れると、チェックの入った検索範囲に属する画像が本検索処理における検索の母集合として選択される。チェックは複数種類の検索範囲に入れることもできる。
クエリ設定エリアA1では、キー画像KIの指定、近傍範囲指定値Dxの指定、キーワードKWの指定、を行う。キー画像KIの指定は、例えば、ファイル閲覧ソフトやインターネット閲覧ソフトなどに表示された画像をクエリ設定エリアA1にドラッグ&ドロップすることにより行うことができる。むろん、画像のファイルパスやURLでキー画像KIを指定してもよいし、検索範囲指定エリアA2で選択された検索範囲に含まれる画像を一覧表示し、一覧の中から画像を選択・指定出来るようにしてもよい。このクエリ設定エリアA1が本実施形態において受付部を構成する。
The search range designation area A2 displays a list of names indicating the image search range. A check box is provided beside each search range name, and when the user checks the check box, images belonging to the checked search range are selected as a search mother set in the search process. Checks can be included in multiple search ranges.
In the query setting area A1, a key image KI is designated, a neighborhood range designation value Dx is designated, and a keyword KW is designated. The key image KI can be specified by, for example, dragging and dropping an image displayed in file browsing software, Internet browsing software, or the like into the query setting area A1. Of course, the key image KI may be specified by the file path or URL of the image, or a list of images included in the search range selected in the search range specification area A2 can be displayed, and an image can be selected and specified from the list. You may do it. This query setting area A1 constitutes a reception unit in the present embodiment.
キー画像KIが指定されると、クエリ設定エリアA1において指定されたキー画像KIのサムネイル画像が表示されるとともに、クエリ設定エリアA1にはキー画像KIに対する近傍範囲指定値Dxを指定するためのスライダーが表示される。図8に示す例では、キー画像KIを示すサムネイル画像がクエリ設定エリアA1に表示されており、その下に近傍範囲指定値Dxを設定するためのスライダーが表示されている。 When the key image KI is designated, a thumbnail image of the designated key image KI is displayed in the query setting area A1, and a slider for designating a neighborhood range designation value Dx for the key image KI is displayed in the query setting area A1. Is displayed. In the example shown in FIG. 8, a thumbnail image indicating the key image KI is displayed in the query setting area A1, and a slider for setting the neighborhood range designation value Dx is displayed below the thumbnail image.
ユーザーは、マウスやカーソルキーによりスライダーを移動させることにより、近傍範囲指定値Dxを設定できる。図8においては近傍範囲指定値Dxの設定可能範囲を「10」〜「80」とし、スライダーの現在位置に対応する近傍範囲指定値Dxとして「40」が表示されている。なお、ユーザーが明確な検索範囲を想定していない場合もあるため、スライダーの初期状態では中間的な「40」等を初期値として表示するようにしてもよい。この近傍範囲指定値Dxが、本実施形態の所定距離に相当する。 The user can set the neighborhood range specification value Dx by moving the slider with a mouse or cursor keys. In FIG. 8, the settable range of the neighborhood range specified value Dx is “10” to “80”, and “40” is displayed as the neighborhood range specified value Dx corresponding to the current position of the slider. Since the user may not assume a clear search range, an intermediate “40” or the like may be displayed as an initial value in the initial state of the slider. This neighborhood range designation value Dx corresponds to the predetermined distance of the present embodiment.
以上説明した例では画像をクエリとしていたが、クエリ設定エリアA1にはキーワードKWを入力することも可能である。本実施形態では、クエリ設定エリアA1にはキー画像KIとキーワードKWを排他的に入力できるようになっており、キーワード検索とキー画像KI検索を排他的に実行するようになっている。むろん、キーワード検索とキー画像KI検索の論理和や論理積、排他的論理和等を検索結果とする場合は、キーワードKWとキー画像KIとを同時にクエリ設定エリアに入力できるようにしてもよい。これらキーワードやキー画像が、本実施形態において鍵情報を構成する。 In the example described above, an image is used as a query, but it is also possible to input a keyword KW in the query setting area A1. In the present embodiment, the key image KI and the keyword KW can be exclusively input to the query setting area A1, and the keyword search and the key image KI search are executed exclusively. Of course, when the logical search, logical product, exclusive logical sum, etc. of the keyword search and the key image KI search are used as the search results, the keyword KW and the key image KI may be simultaneously input to the query setting area. These keywords and key images constitute key information in this embodiment.
ステップS210Cでは、検索実行が指示されたか否かを判断する。すなわち、検索実行ボタンBがクリックされたか否かを判断し、検索実行ボタンBがクリックされた場合はステップS210Dへ進み、検索実行ボタンBがクリックされていない場合はS210Kへ進む。なお、検索がまだ行われていないときには、ステップS210Kに進んでも検索結果を表示せずにそのままステップS210Mに進む。 In step S210C, it is determined whether search execution is instructed. That is, it is determined whether or not the search execution button B is clicked. If the search execution button B is clicked, the process proceeds to step S210D. If the search execution button B is not clicked, the process proceeds to S210K. If the search has not been performed, the process proceeds to step S210M without displaying the search result even if the process proceeds to step S210K.
ステップS210Dでは、ユーザーがキーワード検索と画像検索のいずれの検索方法を希望しているかを特定する。例えば、検索実行が指示されたときに、クエリ設定エリアA1に入力されているクエリがキーワードKWであればキーワード検索が選択されたと判断し、キー画像KIが入力されているのであればキー画像検索が選択されたと判断する。むろん、キーワード検索とキー画像検索の検索実行ボタンを別々に設けておいてもよく、クリックされたボタンに応じてユーザーの希望する検索方法を特定してもよい。キーワード検索が選択された場合はステップS210Lに進み、画像検索が選択されている場合はステップS210Eに進む。ステップS210Lに進んだときは、検索範囲指定エリアA2で選択された検索範囲からキーワードKWを含む画像を検索し、検索結果の一覧データを作成してRAMに一時保存して、ステップS210Kに進む。 In step S210D, it is specified which search method the keyword search or image search is desired by the user. For example, when the search execution is instructed, if the query input in the query setting area A1 is the keyword KW, it is determined that the keyword search is selected. If the key image KI is input, the key image search is performed. Is determined to have been selected. Of course, search execution buttons for keyword search and key image search may be provided separately, and the search method desired by the user may be specified according to the clicked button. If keyword search is selected, the process proceeds to step S210L, and if image search is selected, the process proceeds to step S210E. When the process proceeds to step S210L, an image including the keyword KW is searched from the search range selected in the search range specifying area A2, the search result list data is created and temporarily stored in the RAM, and the process proceeds to step S210K.
ステップS210Eでは、キー画像KIが検索結果表示エリアA3から選択されたか否か、もしくは先の検索におけるキー画像が再びキー画像KIとして選択されたか否かを判断する。新たなキー画像KIが検索結果表示エリアA3に表示された検索結果中から選択された場合、又は先の検索におけるキー画像が再びキー画像KIとして選択された場合は、ステップS210Gに進む。一方、新たなキー画像KIが、先の検索におけるキー画像や検索結果以外から選択された画像である場合は、ステップS210Fに進んでカウンターCを0に初期化してから、ステップS210Gに進む。 In step S210E, it is determined whether or not the key image KI has been selected from the search result display area A3, or whether or not the key image in the previous search has been selected again as the key image KI. When a new key image KI is selected from the search results displayed in the search result display area A3, or when the key image in the previous search is selected again as the key image KI, the process proceeds to step S210G. On the other hand, if the new key image KI is an image selected from a key image or a search result other than the previous search, the process proceeds to step S210F to initialize the counter C to 0, and then proceeds to step S210G.
ステップS210Gでは、画像解析部M3にキー画像KIの画像特徴量を算出させる。画像解析部M3は、上述したステップS150の画像解析と同様の処理によってキー画像KIから画像特徴量を算出して検索部M41に受け渡す。 In step S210G, the image analysis unit M3 is caused to calculate the image feature amount of the key image KI. The image analysis unit M3 calculates an image feature amount from the key image KI by the same process as the image analysis in step S150 described above, and transfers it to the search unit M41.
ステップS210Hでは、カウンターCの値に対応する種類の画像特徴量に基づいて、検索範囲の画像を検索する。具体的には、カウンターCが「1」の場合は、キー画像KIの「色味の特徴量」CA01a,CA01b,CA01c,・・・と、検索範囲に含まれる各画像In(n=1,2,3・・・)の「色味の特徴量」CAn1a,CAn1b,CAn1c,・・・(n=1,2,3・・・)とのユークリッド距離Dn(n=1,2,3・・・)を、特徴量空間においてそれぞれ算出する。各画像Inとキー画像KIとの距離Dnは、下記(1)式で算出することができる。
そして、距離Dnが近傍範囲指定値Dx以下の画像Inを特定すると、特定した画像を距離D0nが小さい順に並べた一覧データを作成してRAMに一時保存する。また、カウンターCが「2」の場合は、「色味の特徴量」に加えて「構図の特徴量」に関する画像特徴量も含めてユークリッド距離Dnを算出することになる。さらに、カウンターCが「3」の場合は、「色味の特徴量」と「構図の特徴量」に加えて「被写体の特徴量」に関する画像特徴量も含めてユークリッド距離Dnを算出することになる。ステップS210Gの検索が終了すると、ステップS210IにおいてカウンターCをインクリメントしてステップS210Kに進む。 When the image In having the distance Dn equal to or smaller than the neighborhood range specified value Dx is specified, list data in which the specified images are arranged in ascending order of the distance D0n is created and temporarily stored in the RAM. When the counter C is “2”, the Euclidean distance Dn is calculated including the image feature amount related to the “composition feature amount” in addition to the “color feature amount”. Further, when the counter C is “3”, the Euclidean distance Dn is calculated including the image feature amount related to the “subject feature amount” in addition to the “color feature amount” and the “composition feature amount”. Become. When the search in step S210G is completed, the counter C is incremented in step S210I and the process proceeds to step S210K.
ここでカウンターCについて説明する。本実施形態においては、すでに行った検索結果を有効に利用できる範囲内で次の検索を行う場合に、検索段階が進むようにしてある。
具体的には、次に行われる検索において、先の検索結果に含まれる画像がキー画像KIとして選択された場合や、先の検索においてキー画像KIであった画像が再びキー画像KIとして選択された場合には、検索段階が進行する。逆に言えば、先の検索結果や先の検索におけるキー画像KI以外から次のキー画像KIが選択された場合は、先に実行された検索結果とは別異の検索が開始されたものと見做して検索段階を初期化する。カウンターCは、この検索段階を管理するためのものであり、ひとまとまりの検索の中での検索回数をカウントしている。すなわち、検索結果の中から次のキー画像が選択された場合には検索段階が進行するのでカウンターCが増加し、ユーザーがウェブページ等の画像をクエリ設定エリアにドラッグ&ドロップしてキー画像KIに設定した場合にはカウンターCは初期化される。このカウンターCを管理する検索部が、本実施形態において計数部を構成する。
Here, the counter C will be described. In this embodiment, when the next search is performed within a range where the search results already performed can be used effectively, the search stage is advanced.
Specifically, in the next search, an image included in the previous search result is selected as the key image KI, or an image that was the key image KI in the previous search is selected again as the key image KI. If so, the search phase proceeds. In other words, if the next key image KI is selected from the previous search result or the key image KI in the previous search, a search different from the previously executed search result is started. Consider and initialize the search phase. The counter C is for managing this search stage, and counts the number of searches in a group of searches. That is, when the next key image is selected from the search results, the search stage proceeds, so the counter C is incremented, and the user drags and drops an image such as a web page or the like to the query setting area, and the key image KI. When set to, the counter C is initialized. The search unit that manages the counter C constitutes a counting unit in the present embodiment.
ステップS210Kでは、ステップS210H,S210Lの検索結果を図8のUIにおける検索結果表示エリアA3に表示する。このとき、ステップS210LからステップS210Kに進んだのであれば、検索結果表示エリアA3には、検索にヒットした順に検索結果が一覧表示される。一方、ステップS210HからステップS210Kに進んだのであれば、検索結果表示エリアA3には、キー画像KIとの類似度順、すなわち画像特徴量空間におけるキー画像KIとのユークリッド距離が近い順に検索結果が一覧表示される。検索結果を表示すると、ステップS210Mに進み、検索結果の中からユーザーが何れかをデータ活用のために選択したか否かを判断する。ユーザーが検索結果の何れかまたは全てを選択した場合は図6のステップS225に進んで、検索パラメーターと選択された検索結果とに関する情報を検索履歴としてストレージ部34に保存する。検索履歴については(4−3)で説明する。一方、ユーザーが検索結果のいずれも選択しない場合は、ステップS210Bに戻ってUI表示を表示し、UIに対する操作入力を待機する。
In step S210K, the search results of steps S210H and S210L are displayed in the search result display area A3 in the UI of FIG. At this time, if the process proceeds from step S210L to step S210K, a list of search results is displayed in the search result display area A3 in the order of the search hit. On the other hand, if the process proceeds from step S210H to step S210K, search results are displayed in the search result display area A3 in the order of similarity with the key image KI, that is, in the order of closer Euclidean distance to the key image KI in the image feature amount space. Listed. When the search result is displayed, the process proceeds to step S210M, and it is determined whether or not the user has selected any of the search results for data utilization. When the user selects any or all of the search results, the process proceeds to step S225 in FIG. 6, and information regarding the search parameters and the selected search results is stored in the
以上のように、検索段階が進むにつれて検索に利用する画像特徴量の種類を増加させることにより検索に利用される情報量を増加させていき、検索が初期段階にあるときは大まかなイメージで検索結果が出力されるし、検索段階が進むほどキー画像との類似度の高い検索結果が出力されるようになる。すなわち、キー画像がユーザーのイメージに近付くほど、より詳細な検索を実行できるようになっている。従って、ユーザーが検索の開始時には検索したい画像の漠然としたイメージしか持っていない場合であっても、検索が進むに連れて検索結果から徐々にイメージを明確化することができるため、ユーザーを目的画像へと誘導することができる。また、ユーザーのイメージに近い画像を出発点にして、ユーザーのイメージに最も近い所望画像を、データベース中から容易且つ迅速に検索することができる。 As described above, as the search stage progresses, the amount of information used for the search is increased by increasing the types of image feature quantities used for the search. When the search is in the initial stage, the search is performed with a rough image. The result is output, and the search result with higher similarity to the key image is output as the search stage proceeds. In other words, the closer the key image is to the user's image, the more detailed search can be executed. Therefore, even if the user has only a vague image of the image he wants to search at the start of the search, the image can be gradually clarified from the search results as the search proceeds, so the user can Can be guided to. Further, it is possible to easily and quickly search a desired image closest to the user image from the database, starting from an image close to the user image.
なお、情報量を増加させていくという意味で、検索段階が進むにつれて画像特徴量の解像度が増加するようにしてもよい。ここで言う精度とは、画像の諧調数(色の諧調数や輝度の諧調数)や解像度における量子化の程度を意味するものである。なお、諧調数は画像の濃淡や明暗を分割する段階数を表す数値であり、解像度は単位長当りの標本点数を示す標本化間隔である。すなわち、精度の低い画像特徴量に基づいて検索を行うと、大まかなイメージで検索を行うことができるし、精度の高い画像特徴量に基づいて検索を行うと、明確なイメージで検索を行うことができる。 Note that the resolution of the image feature amount may be increased as the search stage proceeds in the sense of increasing the information amount. The precision mentioned here means the degree of quantization in the gradation of the image (the number of gradations of color and the gradation of luminance) and the resolution. Note that the gradation number is a numerical value indicating the number of steps for dividing the lightness and darkness of the image, and the resolution is a sampling interval indicating the number of sampling points per unit length. In other words, if a search is performed based on an image feature amount with low accuracy, a search can be performed with a rough image. If a search is performed based on an image feature amount with high accuracy, a search is performed with a clear image. Can do.
(4−2)タグ検索:
また、本実施形態では、タグ検索も行えるようになっている。タグはユーザーの作成するカテゴリー名であり、ユーザーが自身の分類手法で作成して画像に付与する。タグは、1つの画像に異なる複数のタグが付与されてもよいし、タグが全く付与されない画像があってもよい。タグ検索を行うと、タグを付与された複数の画像に総合的に類似している画像を、ストレージ部34から抽出することが出来る。
(4-2) Tag search:
In this embodiment, tag search can also be performed. The tag is a category name created by the user, and the user creates it with his / her classification method and attaches it to the image. A plurality of different tags may be assigned to one image, or there may be an image to which no tag is assigned. When a tag search is performed, an image that is totally similar to a plurality of images to which a tag is assigned can be extracted from the
タグ付けを行うために、データ活用部M4はタグ付与部を備えている。タグ付与部は、新たなタグの生成と既存のタグの削除、画像に対するタグの付与と画像に付与したタグの削除、を行うことが出来る。タグ付与部は、画像管理処理の中の任意のタイミングで呼び出して実行できるようになっている。例えば、アップロード処理を行う際にタグ付与部を実行することにより、アップロードする画像にタグを付与しつつアップロードしたり、後述の検索処理を行う際に実行して得られた検索結果に対してタグを付与したり、得られた検索結果から特定のタグを削除したり、といったことができる。そして、特定のタグを指定すれば、そのタグを付与されている画像を抽出することが可能になる In order to perform tagging, the data utilization unit M4 includes a tag providing unit. The tag assigning unit can generate a new tag, delete an existing tag, assign a tag to an image, and delete a tag attached to the image. The tag adding unit can be called and executed at an arbitrary timing in the image management process. For example, by executing the tag assignment unit when performing the upload process, uploading while adding a tag to the image to be uploaded, or tagging the search results obtained when executing the search process described later Or deleting a specific tag from the obtained search result. If a specific tag is specified, it is possible to extract an image to which the tag is assigned.
タグが作成されると、各タグに対してタグ特徴量TCが作成される。タグ特徴量TCとは、同じタグの付与された複数の画像の特徴量の総合的な画像特徴量であり、例えば各画像の特徴量の分布とすることができる。
タグ特徴量TCが作成されることにより、後述の検索処理では、タグ検索が行えるようになる。例えば、タグ検索では、タグの付与された画像全体に類似する検索結果を得ることができる。すなわち、自身のアップロードした画像や、他のユーザーの公開している画像の中から、特定のタグの付与されている複数の画像に総合的に類似する画像を検索することができるようになる。すなわち、タグ特徴量TCはユーザーの分類手法を特徴付ける指標であり、タグ検索を行うことによりタグを付与したユーザーの概念に沿った検索結果を、タグを付与されていない画像の中から抽出することが出来るようになる。
When a tag is created, a tag feature TC is created for each tag. The tag feature value TC is a comprehensive image feature value of the feature values of a plurality of images to which the same tag is assigned, and can be a feature value distribution of each image, for example.
By generating the tag feature quantity TC, tag search can be performed in the search processing described later. For example, in tag search, a search result similar to the entire image to which a tag is attached can be obtained. That is, it becomes possible to search for an image that is totally similar to a plurality of images to which a specific tag is assigned from among images uploaded by the user and images published by other users. That is, the tag feature TC is an index that characterizes the user classification method, and by extracting a search result in accordance with the concept of the user to which the tag is added by performing the tag search from the image to which the tag is not added. Will be able to.
(4−3)検索履歴:
また、本実施形態では、学習データによる重み付けをおこなった検索も出来るようになっている。ここでいう学習データとは、検索履歴、ユーザーが画像に付与したタグ等である。以下では、まず検索に利用する各学習データについて説明する。
(4-3) Search history:
Further, in the present embodiment, a search that is weighted by learning data can be performed. The learning data here is a search history, a tag attached to the image by the user, and the like. Below, each learning data utilized for a search is demonstrated first.
まず、検索履歴について説明する。検索履歴は、ユーザーの検索傾向を示す情報であり、ユーザーが検索の鍵として用いたクエリ(キーワードやキー画像)と、その検索結果の中からユーザーが実際に選択した検索結果との相関を示す情報となっている。検索を行ったときに、そのクエリとユーザーの選択した画像とは、ユーザーのイメージの中で相関があるはずだからである。この相関を利用することにより、検索精度を向上することができる。検索履歴は検索が行われるたびに自動的に保存されていくため、徐々にユーザーの検索傾向を学習して統計的に精度の高い検索が行えるようになる。本実施形態において検索履歴に関するデータとしての下記検索履歴データベースKWDB,KIDBは、ストレージ部34に記憶されており、本実施形態においてはストレージ部34が検索履歴記憶部を構成している。
First, the search history will be described. The search history is information indicating a user's search tendency, and indicates a correlation between a query (keyword or key image) used as a search key by the user and a search result actually selected from the search result by the user. It is information. This is because when the search is performed, the query and the image selected by the user should be correlated in the user's image. By using this correlation, the search accuracy can be improved. Since the search history is automatically saved each time a search is performed, the user's search tendency is gradually learned, and a statistically accurate search can be performed. In the present embodiment, the following search history databases KWDB and KIDB as data related to the search history are stored in the
図9はキーワード検索の検索履歴データベースKWDBの一例を説明するテーブルである。同図に示す検索履歴は、検索日時とキーワードと複数の画像特徴量との対応関係で構成されている。複数の画像特徴量は、対応するキーワードで検索したときに検索結果の中からユーザーが選択した画像の画像特徴量である。
そして、その後、検索履歴を利用してキーワード検索を行うときには、検索履歴データベースKWDBを参照し、同じキーワードが存在していれば、そのキーワードに関連付けられた画像の特徴量と類似する画像を検索する。このとき、同じキーワードで検索したときのユーザーの選択した画像が異なる場合は、検索日時の古い方の履歴を削除して新しい検索履歴で検索履歴データベースKWDBを更新したり、選択された新旧の画像特徴量同士を相加平均したり加重平均したりして新たな検索履歴とすることもできる。このように履歴を利用してキーワード検索することにより、そのユーザーのイメージをより正確に反映した検索が出来るようになる
FIG. 9 is a table for explaining an example of a search history database KWDB for keyword search. The search history shown in the figure is configured by the correspondence relationship between the search date and time, the keyword, and a plurality of image feature amounts. The plurality of image feature amounts are image feature amounts of images selected by the user from the search results when searching with corresponding keywords.
After that, when performing a keyword search using the search history, the search history database KWDB is referred to, and if the same keyword exists, an image similar to the feature amount of the image associated with the keyword is searched. . At this time, if the images selected by the user when searching with the same keyword are different, the history of the oldest search date is deleted and the search history database KWDB is updated with the new search history, or the selected old and new images It is also possible to obtain a new search history by arithmetically averaging or weighting the feature quantities. By searching for keywords using the history in this way, you can search more accurately reflecting the user's image.
図10はキー画像検索の検索履歴データベースKIDBの一例を説明するテーブルである。同図に示す検索履歴は、検索日時と各画像特徴量に対する重み係数とで構成されている。この重み係数は、クエリとして用いられたキー画像と、検索結果の中からユーザーの選択した選択画像との一致度合を示すものである。すなわち、キー画像と選択画像とで特徴量を比較し、より重複度合の高い画像特徴量ほどユーザーが着目している特徴量であると判断し、重複度合の高い画像特徴量ほど重み係数を大きくし、重複度合の低い画像特徴量ほど重み係数を小さくする。
このようにして算出された重み係数に基づいて、その後の検索で使用されるキー画像の画像特徴量に重み付けして検索に用いることによりと、そのユーザーのイメージをより正確に反映した検索が出来るようになる。なお、キーワード検索においてもこの重み係数をキーワードに関連付けられた画像の特徴量に重み付けしてから検索してもよい。
FIG. 10 is a table for explaining an example of the search history database KIDB for key image search. The search history shown in the figure is composed of a search date and a weight coefficient for each image feature amount. This weighting coefficient indicates the degree of coincidence between the key image used as the query and the selected image selected by the user from the search results. That is, the feature amount is compared between the key image and the selected image, and the image feature amount with a higher degree of overlap is determined to be the feature amount that the user is paying attention to. The image feature amount with a higher degree of overlap has a larger weight coefficient. Then, the weighting coefficient is reduced as the image feature amount has a lower degree of overlap.
Based on the weighting coefficient calculated in this way, the image feature amount of the key image used in the subsequent search is weighted and used for the search, and the search reflecting the user image can be performed more accurately. It becomes like this. In the keyword search, the weighting coefficient may be weighted to the feature amount of the image associated with the keyword before searching.
(4−4)画像処理:
以上のようにして処理対象の画像が抽出されると、図5の流れに沿って該画像に対して各種画像処理を実行して出力することになる。まず、抽出した画像から特徴量を取得する(S230)。次に、抽出した特徴量に基づいて画像処理の方針を決定し、その方針に従って画像に画像処理を施す(S235)。以上のステップS235を実行するデータ活用部M4が、本実施形態において画像処理部を構成する。
(4-4) Image processing:
When the image to be processed is extracted as described above, various image processes are executed on the image along the flow of FIG. 5 and output. First, a feature amount is acquired from the extracted image (S230). Next, an image processing policy is determined based on the extracted feature amount, and image processing is performed on the image according to the policy (S235). The data utilization unit M4 that executes the above step S235 constitutes an image processing unit in the present embodiment.
そして、画像処理後の画像を、PC10の表示部11に出力し(S240)、ユーザーに確認してもらう(S245)。ステップS245において、ユーザーが画像処理後の画像に満足すればステップS255に進み(S245:OK)、ユーザーが画像処理後の画像に満足しないのであればS250に進んで画像処理パラメーターを調整するためのUIをPC10の表示部11に表示する(S245:NG)。ステップS250では、ユーザーは、このUIを操作入力部12で操作して所望の結果になるまで、自身で画像処理パラメーターを調整することになる。
Then, the image after image processing is output to the display unit 11 of the PC 10 (S240), and the user confirms it (S245). In step S245, if the user is satisfied with the image processed image, the process proceeds to step S255 (S245: OK). If the user is not satisfied with the image processed image, the process proceeds to S250 to adjust the image processing parameters. The UI is displayed on the display unit 11 of the PC 10 (S245: NG). In step S250, the user operates the UI with the
ステップS255に進むと、画像処理パラメーターを管理サーバー30の該当するユーザー領域に保存する。すなわち、出力を行うたびに画像処理パラメーターが蓄積されて行く。よって、その蓄積された画像処理パラメーターに基づいて画像処理を変化させることにより、各ユーザーの嗜好にあわせた画像処理が行えるようになる。このようにして作成される各ユーザー毎の画像処理パラメーターはストレージ部34に記憶されることになり、本実施形態においてはストレージ部34が画像処理履歴記憶部を構成している。
In step S255, the image processing parameter is stored in the corresponding user area of the management server 30. That is, image processing parameters are accumulated every time output is performed. Therefore, by changing the image processing based on the accumulated image processing parameters, it is possible to perform image processing according to each user's preference. The image processing parameters for each user created in this way are stored in the
ステップS260では、ステップS205で選択された出力機器に、画像処理の行われた画像を出力する。このとき、PC10の表示部11の出力特性とプリンター20の出力特性とを考慮した色変換が実行される。例えば、PC10のICCプロファイルをソースプロファイルとし、プリンター20のICCプロファイルをデスティネーションプロファイルとし、ユーザーが画像処理設定において画像処理パラメーターとして指定したガマットマッピングの種類でこれらプロファイル間を接続した色変換プロファイルによって色変換を行う。このように、出力装置のガマットにあわせたデータに変換し、さらに出力装置が受付け可能なデータフォーマットにデータを変換して出力する。
In step S260, the image processed image is output to the output device selected in step S205. At this time, color conversion is performed in consideration of the output characteristics of the display unit 11 of the
以上説明した画像処理においては、例えば図3の「プロフィール入力画面」で入力されたユーザーのプロフィールを考慮した画像補正を行ってもよい。すなわち、性別や年齢で方向性に違いのある補正のレベルを、プロフィールに基づいて決定する。例えば、女性であれば肌を滑らかにしたり肌の色を白めにしたり美肌補正や美白補正の強度を強めにしたり、男性であれば逆にこれらの補正の強度を弱めにしたりもしくは行わなかったりする。このようにプロフィールを利用して補正の強度を変更することにより、ユーザーにとって好ましい出力結果が得られるような補正が実現できる。なお、ユーザーによって入力されるプロフィールはストレージ部34に記憶されており、本実施形態においてはストレージ部34がプロフィール記憶部を構成している。
In the image processing described above, for example, image correction may be performed in consideration of the user profile input on the “profile input screen” in FIG. That is, the level of correction having a difference in direction depending on sex and age is determined based on the profile. For example, if you are a woman, make your skin smoother or make the skin whiter, or increase the intensity of skin correction or whitening, and if you are a man, you may or may not reduce the intensity of these corrections. To do. In this way, by changing the strength of the correction using the profile, it is possible to realize a correction that can provide an output result preferable for the user. The profile input by the user is stored in the
(5)各種変形例:
上述した管理サーバー30は、ストレージ部34に蓄積された画像の消失を防止するために、例えば、レイドやミラーリングなどによりデータのコピーを分散保存していてもよい。このようにすることにより、ユーザーは安心して画像を蓄積することが出来る。
(5) Various modifications:
The management server 30 described above may store data copies in a distributed manner, for example, by raid or mirroring in order to prevent the loss of images stored in the
また、上述した出力装置は、ユーザー個人のものでなくてもよい。例えば、ネットワークNT上に写真用のサーバーを用意しておいて、ユーザーはこの写真用のサーバーに対するアクセス権限を、写真用のサーバーの管理会社から取得する。そして、この写真用のサーバーを出力装置として登録することにより、各種の入力装置から写真用のサーバーを出力装置として利用することが出来るようになる。むろん、このようなライセンス供与式の出力装置は、写真の印刷を行う印刷装置に限らず、上述した各種の出力装置で行うことができる。 Further, the above-described output device may not be a user's individual. For example, a photo server is prepared on the network NT, and the user obtains access authority for the photo server from the photo server management company. By registering the photographic server as an output device, the photographic server can be used as an output device from various input devices. Of course, such a licensing-type output device is not limited to a printing device that prints a photograph, and can be performed by the various output devices described above.
上述した検索処理では、キーワードやキー画像やタグを用いた検索について説明を行ったが、画像のタイムスタンプで検索を行えるようにしてもよい。このようにすると、特定期間に作成された画像をまとめて抽出して、まとめて画像処理することができるようになる。 In the search processing described above, search using a keyword, a key image, or a tag has been described. However, the search may be performed using a time stamp of the image. In this way, images created during a specific period can be extracted and processed together.
上述した印刷条件パラメーターや画像処理パラメーターは各ユーザーが自分で設定するようになっていたが、これらのパラメーターは他のユーザーのパラメーターが適用されるようになっていてもよい。例えば、ユーザーの入力したプロフィールなどに基づいてカメラ使用履歴の長いユーザーを熟練者として選出し、熟練者の印刷条件パラメーターや画像処理パラメーターを収集する。そして、熟練者と入出力環境が一致するユーザーについては、熟練者の印刷条件パラメーターや画像処理パラメーターをデフォルトのパラメーターとして適用することができるようにする。このようにすることで、初心者であっても熟練者のノウハウを反映した画像処理を施された適切な出力を得られるようになる。 Although the above-described printing condition parameters and image processing parameters are set by each user, the parameters of other users may be applied to these parameters. For example, a user with a long camera use history is selected as an expert based on the profile input by the user, and the printing condition parameters and image processing parameters of the expert are collected. For a user whose input / output environment matches the expert, the expert's printing condition parameters and image processing parameters can be applied as default parameters. In this way, even a beginner can obtain an appropriate output subjected to image processing that reflects the know-how of an expert.
(6)まとめ:
以上説明した実施形態によれば、複数の画像を記憶するストレージ部34を備えた画像管理サーバー30と、ネットワークNTを介して画像管理サーバー30にアクセス可能なPC10とを備えた画像管理システムにおいて、PC10は、画像管理サーバー30によって表示部11に評されるUI画面を介して画像管理サーバー30に検索条件を入力可能であり、画像管理サーバー30は、複数の画像の中から画像に対応付けてストレージ部34に記憶された検索履歴や画像の特徴量に基づいて検索条件に合致する画像を検索したり、検索履歴や画像の特徴量や出力装置と画像の特徴量とを関連付けた情報に基づいて画像処理を実行したりするデータ活用部M4を備えている。よって、サーバー上に画像を蓄積しつつ、サーバー上でアウトプットまでを意識した処理を行うことが可能になる。
(6) Summary:
According to the embodiment described above, in the image management system including the image management server 30 including the
なお、本発明は上述した実施形態や変形例に限られず、上述した実施形態および変形例の中で開示した各構成を相互に置換したり組合せを変更したりした構成、公知技術並びに上述した実施形態および変形例の中で開示した各構成を相互に置換したり組合せを変更したりした構成、等も含まれる。 Note that the present invention is not limited to the above-described embodiments and modifications, and the configurations disclosed in the above-described embodiments and modifications are mutually replaced, the combinations are changed, the known technology, and the above-described implementations. Configurations in which the configurations disclosed in the embodiments and modifications are replaced with each other or combinations are also included.
10…パーソナルコンピューター、11…表示部、12…操作入力部、20…プリンター、30…管理サーバー、31…制御部、32…操作入力部、33…表示部、34…ストレージ部、35…I/F、36…記憶媒体、100…画像管理システム、M1…設定登録部、M2…画像アップロード部、M3…画像解析部、M4…データ活用部、NT…ネットワーク
DESCRIPTION OF
Claims (9)
上記クライアントは、上記画像管理サーバーに検索条件を入力する入力部を備え、
上記画像管理サーバーは、上記複数の画像の中から上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量とに基づいて上記検索条件に合致する画像を検索する検索部を備えることを特徴とする画像管理システム。 An image management system comprising an image management server comprising a storage medium for storing a plurality of images, and a client accessible to the image management server via a network,
The client includes an input unit for inputting search conditions to the image management server,
The image management server includes a search unit that searches for an image that matches the search condition based on the output condition and the feature amount of the image stored in the storage medium in association with the image from the plurality of images. An image management system comprising:
上記クライアントは、上記記憶媒体の画像を選択する第1選択部を備え、
上記画像管理サーバーは、上記第1選択部の選択した画像に対し、上記画像に対応付けて上記記憶媒体に記憶された出力条件と画像の特徴量および、出力装置と画像の特徴量とを関連付けた情報に基づいて画像処理を実行する画像処理部を備えることを特徴とする画像管理システム。 An image management system comprising an image management server comprising a storage medium for storing a plurality of images, and a client accessible to the image management server via a network,
The client includes a first selection unit that selects an image of the storage medium,
The image management server associates an output condition stored in the storage medium in association with the image, an image feature amount, and an output device and the image feature amount with respect to the image selected by the first selection unit. An image management system comprising an image processing unit that executes image processing based on the received information.
上記検索部は、上記鍵情報に基づいて作成される画像特徴量との距離が画像特徴量空間において所定距離以内にある画像を上記記憶媒体に記憶された複数の画像の中から検索する請求項1又は請求項2に記載の画像管理システム。 The image management server includes: a search unit that searches for an image based on an output condition, an image feature amount, and the search condition stored in the storage medium in association with the image from the plurality of images; A reception unit for receiving information,
The retrieval unit retrieves, from a plurality of images stored in the storage medium, an image whose distance from an image feature amount created based on the key information is within a predetermined distance in an image feature amount space. The image management system according to claim 1 or 2.
上記検索部は、上記検索回数が増加するに従って検索に使用する上記画像特徴量の情報量を増加する請求項3に記載の画像管理システム。 The image management server further includes a counting unit that counts the number of searches of the search unit,
The image management system according to claim 3, wherein the search unit increases an information amount of the image feature amount used for the search as the number of searches increases.
上記画像管理サーバーは、上記鍵情報と上記第2選択部によって選択された画像との相関を検索履歴として記憶する検索履歴記憶部を備え、
上記検索部は、上記検索履歴における上記相関の度合の高い画像を検索する請求項1〜請求項4のいずれか1項に記載の画像管理システム。 The client includes a second selection unit that selects an image from the search result of the search unit,
The image management server includes a search history storage unit that stores a correlation between the key information and the image selected by the second selection unit as a search history,
The image management system according to any one of claims 1 to 4, wherein the search unit searches for an image having a high degree of correlation in the search history.
上記画像処理部は、上記画像処理の履歴に基づいて他のクライアントの画像処理を実行する請求項1〜請求項5のいずれか1項に記載の画像管理システム。 The image management server associates an output condition stored in the storage medium in association with the image, an image feature amount, and an output device and the image feature amount with respect to the image selected by the first selection unit. An image processing unit that executes image processing based on the received information, and an image processing history storage unit that stores a history of image processing performed by the image processing unit on an image selected by a specific client,
The image management system according to claim 1, wherein the image processing unit executes image processing of another client based on the history of the image processing.
上記画像処理部は、上記プロフィールに基づいて画像処理の強度を決定する、請求項1〜請求項6のいずれか1項に記載の画像管理システム。 The image management server includes a profile storage unit that stores a profile of the user of the client,
The image management system according to claim 1, wherein the image processing unit determines an intensity of image processing based on the profile.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297044A JP2011138263A (en) | 2009-12-28 | 2009-12-28 | Management system and printer utilizing the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297044A JP2011138263A (en) | 2009-12-28 | 2009-12-28 | Management system and printer utilizing the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011138263A true JP2011138263A (en) | 2011-07-14 |
Family
ID=44349651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009297044A Withdrawn JP2011138263A (en) | 2009-12-28 | 2009-12-28 | Management system and printer utilizing the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011138263A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200642A (en) * | 2012-03-23 | 2013-10-03 | Fujifilm Corp | Case retrieval device, case retrieval method, and program |
JP2013239203A (en) * | 2013-08-05 | 2013-11-28 | Toshiba Corp | Electronic apparatus, method and program |
WO2016047377A1 (en) * | 2014-09-22 | 2016-03-31 | 富士フイルム株式会社 | Image-recording device, and image defect detection device and method |
JP2016062575A (en) * | 2014-09-22 | 2016-04-25 | 富士フイルム株式会社 | Image flaw detection device, method, and program |
JP2016110387A (en) * | 2014-12-05 | 2016-06-20 | 株式会社東芝 | Searcher, method and program |
-
2009
- 2009-12-28 JP JP2009297044A patent/JP2011138263A/en not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200642A (en) * | 2012-03-23 | 2013-10-03 | Fujifilm Corp | Case retrieval device, case retrieval method, and program |
US10430905B2 (en) | 2012-03-23 | 2019-10-01 | Fujifilm Corporation | Case search device and method |
JP2013239203A (en) * | 2013-08-05 | 2013-11-28 | Toshiba Corp | Electronic apparatus, method and program |
WO2016047377A1 (en) * | 2014-09-22 | 2016-03-31 | 富士フイルム株式会社 | Image-recording device, and image defect detection device and method |
JP2016062575A (en) * | 2014-09-22 | 2016-04-25 | 富士フイルム株式会社 | Image flaw detection device, method, and program |
US9946944B2 (en) | 2014-09-22 | 2018-04-17 | Fujifilm Corporation | Image recording device, image defect detection device, and image defect detection method |
JP2016110387A (en) * | 2014-12-05 | 2016-06-20 | 株式会社東芝 | Searcher, method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5993642B2 (en) | Information processing apparatus, control method thereof, and program | |
JP6045232B2 (en) | Image processing apparatus, image processing method, and program | |
JP6031278B2 (en) | Information processing apparatus, control method thereof, and program | |
US8612428B2 (en) | Image ranking based on popularity of associated metadata | |
US20060280427A1 (en) | Method for assembling a collection of digital images | |
US20120027311A1 (en) | Automated image-selection method | |
JP2015053541A (en) | Image processing apparatus, image processing method, and program | |
JP7076974B2 (en) | Image processing equipment, control methods and programs | |
US20120030575A1 (en) | Automated image-selection system | |
US20130182963A1 (en) | Selecting images using relationship weights | |
JP6282065B2 (en) | Image processing apparatus, image processing method, and program | |
US20170293637A1 (en) | Automated multiple image product method | |
JP2011138263A (en) | Management system and printer utilizing the same | |
JP2020140557A (en) | Image processing device, control method, and program | |
US20120027303A1 (en) | Automated multiple image product system | |
JP6168928B2 (en) | Image processing apparatus, image processing method, and program | |
JP4556739B2 (en) | Image management apparatus, image management method, and image management program | |
JP5515417B2 (en) | Image processing method and apparatus, and computer program therefor | |
JP2020140555A (en) | Image processing device, control method, and program | |
JP2010225082A (en) | Image data management system and image data management method | |
JP6367169B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP5556330B2 (en) | Image processing apparatus, image processing method, and program thereof | |
US20090287692A1 (en) | Information processing apparatus and method for controlling the same | |
JP5262308B2 (en) | Evaluation apparatus, evaluation method, evaluation program, and evaluation system | |
US9363419B2 (en) | User preferences based on categories of images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130305 |