JP7203877B2 - Image extraction device, image extraction method, image extraction program, and recording medium storing the program - Google Patents
Image extraction device, image extraction method, image extraction program, and recording medium storing the program Download PDFInfo
- Publication number
- JP7203877B2 JP7203877B2 JP2021046849A JP2021046849A JP7203877B2 JP 7203877 B2 JP7203877 B2 JP 7203877B2 JP 2021046849 A JP2021046849 A JP 2021046849A JP 2021046849 A JP2021046849 A JP 2021046849A JP 7203877 B2 JP7203877 B2 JP 7203877B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- similar
- image
- similarity
- similarity judgment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
この発明は,画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプロ
グラムを格納した記録媒体に関する。
The present invention relates to an image extraction device, an image extraction method, an image extraction program, and a recording medium storing the program.
結婚式などのイベントにおいては,きわめて多くの画像が撮影される。それらの多くの画像の中から,写真写りの良い画像が選ばれて,たとえば,アルバムが作成される。このために,アルバムに使うのに良い画像を自動的に選択するもの(特許文献1),アルバムの画像挿入領域に挿入する画像の状態を指定して,指定した状態に適合する画像を画像挿入領域に挿入するもの(特許文献2)などが考えられている。また,プリント前に失敗画像をユーザに知らせるもの(特許文献3),画像の所定範囲の領域を拡大して表示することにより,ピントの確認を行うもの(特許文献4)なども考えられている。 At events such as weddings, a large number of images are taken. Out of many of these images, images with good photogenicity are selected and, for example, an album is created. For this reason, there is a technique that automatically selects images suitable for use in an album (Patent Document 1), specifies the state of an image to be inserted into the image insertion area of the album, and inserts an image that matches the specified state. A method for inserting into a region (Patent Document 2) is considered. In addition, there is also a method for notifying the user of a failed image before printing (Patent Document 3), and a method for confirming the focus by displaying an enlarged area of a predetermined range of the image (Patent Document 4). .
さらに,フォトブックのレイアウトを確認しながら画像を選択するもの(特許文献5),膨大な数の画像を効率良く再生表示するもの(特許文献6)。写真を容易に検索するもの(特許文献7),類似画像画面と非類似画像が含まれる画面との切換えが容易にできるようにするもの(特許文献8)なども考えられている。 Furthermore, there is a method for selecting images while checking the layout of a photobook (Patent Document 5), and a method for efficiently reproducing and displaying a huge number of images (Patent Document 6). A method for easily searching for photographs (Patent Document 7), a method for easily switching between a similar image screen and a screen containing non-similar images (Patent Document 8), and the like are also being considered.
特許文献1に記載のものは,画像の評価値が良いものが選ばれるから画像の評価値が良ければ複数の類似した画像が選ばれてしまうことがある。特許文献2に記載のものにおいても,指定した状態に適合する画像を画像挿入領域に挿入するから複数の類似した画像がアルバムに挿入されてしまうことがある。特許文献3に記載のものは,プリント前に失敗画像をユーザに知らせるものであり,特許文献4に記載のものは,画像の所定範囲の領域を拡大して表示することにより,ピントの確認を行うものであるから,複数の類似した画像については何ら考えられていない。
In the method disclosed in Japanese Patent Application Laid-Open No. 2002-200011, images with good evaluation values are selected, and therefore, if the image evaluation values are good, a plurality of similar images may be selected. Also in the technique disclosed in
また,特許文献5に記載のものは,画像を選択し,選択された画像から類似条件を設定し,類似条件を満たす候補画像を表示領域に表示している。特許文献5に記載のものは,画像を選択しなければ類似条件を設定できないので,多数の画像があった場合には,一つ一つ画像を確認しなければならない。特許文献6に記載のものは,表示の順番が連続する2枚の画像が類似画像かどうかを表す類似画像情報を表示するもので,どのような画像が類似画像と判断するかについては考えられていない。特許文献7に記載のものは,たとえば,「ばら」というキーワードを入力することにより「ばら」に関連した画像が表示されるが,画像の類似判断についての条件については考えられていない。さらに,特許文献8に記載のものは,画面にライブビューされている犬の画像の類似画像が横一列に表示されるものであり,画像の類似判断についての条件については考えられていない。このために,ユーザの意図に沿った類似画像を見つけることはできないことがある。
Further, in the technique disclosed in
この発明は,ユーザの意図に沿った類似画像を見つけることができるようにすることを
目的とする。
SUMMARY OF THE INVENTION An object of the present invention is to enable a user to find a similar image that meets his/her intention.
この発明による画像抽出装置は,複数の画像のうち任意の2つの画像を対比するときに互いに類似するか否かを判断させる類似判断条件の入力を受け付ける類似判断条件受付手段,類似判断条件受付手段が受け付けた類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する類似画像群決定手段,および類似画像群決定手段によって決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出する画像抽出手段を備えていることを特徴とする。 The image extracting apparatus according to the present invention includes a similarity determination condition receiving means for receiving an input of a similarity determination condition for determining whether or not two arbitrary images out of a plurality of images are similar to each other, and a similarity determination condition receiving means. Similar image group determination means for determining one or more similar image groups composed of two or more images similar to each other according to the similarity judgment conditions received by, and one or more determined by the similar image group determination means It is characterized by comprising image extracting means for extracting at least one image from each similar image group of the similar image group.
この発明による画像抽出装置は,複数の画像のうち任意の2つの画像を対比するときに互いに類似するか否かを判断させる類似判断条件の入力を受け付ける類似判断条件受付デバイス,ならびに類似判断条件受付デバイス手段が受け付けた類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群の決定および決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出するプロセッサを備えていてもよい。 An image extracting apparatus according to the present invention includes a similarity determination condition receiving device for receiving input of a similarity determination condition for determining whether or not two images are similar to each other when comparing any two images out of a plurality of images, and a similarity determination condition reception device. Determination of one or more similar image groups composed of two or more mutually similar images according to similarity determination conditions received by the device means, and determination of each similar image group of the determined one or more similar image groups , a processor for extracting at least one image.
この発明は,画像抽出装置に適した画像抽出方法も提供している。すなわち,この方法は,類似判断条件受付手段が,複数の画像のうち任意の2つの画像を対比するときに互いに類似するか否かを判断させる類似判断条件の入力を受け付け,類似画像群決定手段が,類似判断条件受付手段が受け付けた類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群を決定し,画像抽出手段が,類似画像群決定手段によって決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出することを特徴とする。 The present invention also provides an image extraction method suitable for an image extraction device. That is, in this method, the similarity determination condition receiving means receives an input of a similarity determination condition for determining whether or not any two images out of a plurality of images are similar to each other when compared, and the similar image group determination means determines one or a plurality of similar image groups composed of two or more mutually similar images according to the similarity determination conditions received by the similarity determination condition receiving means, and the image extracting means determines by the similar image group determination means At least one image is extracted from each similar image group of the one or more similar image groups obtained.
複数の画像を表示装置の表示画面に形成される第1の表示ウインドウに表示させ,かつ類似画像群決定手段によって決定された1または複数の類似画像群に含まれる画像と,類似画像群に含まれない画像とを区別して表示させる第1の画像表示制御手段をさらに備えてもよい。 A plurality of images are displayed on a first display window formed on a display screen of a display device, and an image included in one or more similar image groups determined by the similar image group determination means, and an image included in the similar image group It may further include first image display control means for distinguishing and displaying an image that is not displayed.
第1の画像表示制御手段は,複数の類似画像群のうち,一の類似画像群と他の類似画像群とを区別して表示させることが好ましい。 Preferably, the first image display control means distinguishes between one similar image group and another similar image group among the plurality of similar image groups and displays them.
類似画像群決定手段によって決定された1または複数の類似画像群のうちの1つの類似画像群を指定する類似画像群指定手段,および第1の表示ウインドウとは異なる第2の表示ウインドウにおいて,類似画像群指定手段によって指定された類似画像群に含まれる,互いに類似する画像を隣接して表示させる類似画像表示制御手段をさらに備えてもよい。互いに類似する画像を隣接して表示させるとは,互いに類似している画像(撮影画像)と画像(撮影画像)との間に,それらの画像と非類似の画像が入ることなく連続して表示させることであり,それらの画像の間に非類似の画像が入らなければ互いに類似している画像と画像との間に文章やマークなどの飾りが入ってもよい。画像の並べ方は横でも縦でもよい。また,第1の表示ウインドウと第2の表示ウインドウとは,重ならないようにして表示してもよいし,第1の表示ウインドウの一部に第2の表示ウインドウの一部が上から重なるように表示してもよいし,第1の表示ウインドウ内に含まれるように第2の表示ウインドウが第1の表示ウインドウ上に重なるように表示してもよい。 similar image group designation means for designating one similar image group out of the one or more similar image groups determined by the similar image group determination means; It may further include similar image display control means for displaying adjacently similar images included in the similar image group designated by the image group designation means. Displaying images that are similar to each other next to each other means that images that are similar to each other (photographed images) are displayed continuously without dissimilar images between them. Decorations such as sentences and marks may be inserted between images that are similar to each other as long as there are no dissimilar images between those images. Images can be arranged horizontally or vertically. Also, the first display window and the second display window may be displayed so as not to overlap each other, or the second display window may partially overlap the first display window from above. Alternatively, the second display window may be displayed so as to overlap the first display window so as to be included in the first display window.
複数の類似判断条件が表示されている類似判断条件指定ウインドウを,表示装置の表示画面に表示させる類似判断条件指定ウインドウ表示制御手段をさらに備えてもよい。この場合,類似判断条件受付手段は,たとえば,類似判断条件指定ウインドウ内に表示されて
いる複数の類似判断条件の中から指定されたことにより類似画像判断条件の入力を受け付ける。
A similarity judgment condition designation window display control means for displaying a similarity judgment condition designation window displaying a plurality of similarity judgment conditions on the display screen of the display device may be further provided. In this case, the similarity judging condition accepting means accepts an input of a similar image judging condition, for example, by being designated from among a plurality of similarity judging conditions displayed in the similarity judging condition designation window.
類似画像群決定手段によって決定された1または複数の類似画像群のうちの1つの類似画像群を指定する類似画像群指定手段,画像の適合条件の入力を受け付ける適合条件受付手段,類似画像群指定手段によって指定された類似画像群に含まれる,互いに類似する画像のうち指定された画像について,適合条件受付手段によって受け付けられた適合条件における適合度を算出する適合度算出手段,および適合度算出手段によって算出された適合度を報知する適合度報知手段をさらに備えてもよい。 Similar image group designation means for designating one similar image group out of one or more similar image groups determined by the similar image group determination means, matching condition reception means for receiving input of image matching conditions, similar image group designation adaptability calculating means for calculating the adaptability of the specified images among similar images included in the group of similar images specified by the means under the suitability conditions accepted by the suitability condition accepting means; and suitability calculating means It may further comprise adaptability notification means for notifying the adaptability calculated by the above.
複数の適合条件が表示されている適合条件指定ウインドウを,表示装置の表示画面に表示させる適合条件指定ウインドウ表示制御手段をさらに備えてもよい。この場合,適合条件受付手段は,たとえば,適合条件指定ウインドウ内に表示されている複数の適合条件の中から指定された適合条件の入力を受け付ける。 A matching condition specification window display control means for displaying a matching condition specifying window displaying a plurality of matching conditions on the display screen of the display device may be further provided. In this case, the compatibility condition receiving means accepts an input of a compatibility condition specified from, for example, a plurality of compatibility conditions displayed in the compatibility condition specification window.
複数の類似画像群のうち,一の類似画像群に含まれる画像と他の類似画像群に含まれる画像とは,たとえば,類似判断条件受付手段において受け付けられた類似判断条件にもとづく判断において非類似である。 Among a plurality of similar image groups, an image included in one similar image group and an image included in another similar image group are, for example, dissimilar in judgment based on the similarity judgment condition accepted by the similarity judgment condition acceptance means. is.
類似判断条件を入力させる類似判断条件入力ウインドウを,表示装置の表示画面に表示させる類似判断条件入力ウインドウ表示制御手段をさらに備えてもよい。この場合,類似判断条件受付手段は,たとえば,類似判断条件入力ウインドウにおいて入力された類似判断条件の入力を受け付ける。 A similarity judgment condition input window display control means for displaying a similarity judgment condition input window for inputting a similarity judgment condition on the display screen of the display device may be further provided. In this case, the similarity judging condition receiving means receives the input of the similarity judging condition input in the similarity judging condition input window, for example.
適合条件を入力させる適合条件入力ウインドウを,表示装置の表示画面に表示させる適合条件入力ウインドウ表示制御手段をさらに備えてもよい。この場合,適合類似判断条件受付手段は,たとえば,適合条件入力ウインドウにおいて入力された適合条件の入力を受け付ける。 A matching condition input window display control means for displaying a matching condition input window for inputting a matching condition on the display screen of the display device may be further provided. In this case, the matching-similarity determination condition receiving means receives, for example, the input of the matching condition entered in the matching condition input window.
類似画像群決定手段によって決定された1または複数の類似画像群のうちの1つの類似画像群を指定する類似画像群指定手段,類似画像群指定手段によって指定された類似画像群に含まれる画像について,適合条件受付手段によって受け付けられた適合条件の適合度を算出する適合度算出手段,および適合度算出手段によって算出された適合度のうち,もっとも高い適合度をもつ画像を,画像抽出手段によって抽出する推奨画像として報知する推奨画像報知手段をさらに備えてもよい。 Similar image group designation means for designating one similar image group out of one or more similar image groups determined by the similar image group determination means, and images included in the similar image group designated by the similar image group designation means , the matching degree calculation means for calculating the matching degree of the matching condition received by the matching condition receiving means, and the matching degree calculated by the matching degree calculating means, the image having the highest matching degree is extracted by the image extracting means. A recommended image notifying means for notifying as a recommended image to be displayed may be further provided.
任意の2つの画像を対比するときに互いに類似するか否かを判断させる類似判断条件の入力が受け付けられ,受け付けられた類似判断条件にしたがって互いに類似する2以上の画像から構成される1または複数の類似画像群が決定される。決定された類似画像群のうち,少なくとも1つの画像が抽出される。ユーザが類似判断条件を決めることができ,ユーザが決めた類似判断条件にしたがって類似画像群を決定できる。単に画像の比較による類似をした場合には非類似と判断される画像を類似と判断させたり,逆に単に画像の比較による類似をした場合に類似と判断される画像を非類似と判断させたりするような類似判断条件をユーザが決めることができるようになる。ユーザの意図に沿った類似画像を見つけることができるようになる。類似画像群が決定するので,多数の画像が存在してもどの画像が類似しているのかが比較的簡単にわかるようになる。類似画像群ごとに少なくとも1つの画像を抽出できるようになる。 An input of a similarity judgment condition for judging whether or not two arbitrary images are similar to each other is accepted, and one or a plurality of images composed of two or more images that are similar to each other according to the accepted similarity judgment condition is determined. At least one image is extracted from the determined similar image group. The user can determine similarity determination conditions, and a similar image group can be determined according to the similarity determination conditions determined by the user. It is possible to judge images that are judged to be dissimilar when similar by simply comparing images to be similar, or to judge images that are judged to be similar by simply comparing images to be dissimilar. It becomes possible for the user to determine the similarity judgment condition that makes it possible. It becomes possible to find similar images that match the user's intention. Since the similar image group is determined, it is relatively easy to find out which images are similar even if there are many images. At least one image can be extracted from each similar image group.
(第1実施例)
図1は,この発明の実施例を示すもので,画像抽出装置1の電気的構成を示すブロック図である。
(First embodiment)
FIG. 1 shows an embodiment of the present invention, and is a block diagram showing the electrical configuration of an
画像抽出装置1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
The entire operation of the
画像抽出装置1には,画像その他の情報を表示画面に表示する表示装置3およびインターネットその他のネットワークに接続して画像抽出装置1以外の装置等と通信する通信装置4が含まれている。また,画像抽出装置1には,ハードディスク5,ハードディスク5にアクセスするハードディスク・ドライブ6,データ等を記憶するメモリ7,コマンド等を入力するキーボード8およびマウス9も含まれている。さらに,画像抽出装置1には,コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10ならびにメモリ・カード13へのデータの書き込みおよびメモリ・カード13に記録されているデータの読み取りを行うメモリ・カード・リーダ・ライタ12も含まれている。
The
後述する画像抽出装置1の動作プログラムは,インターネットを介して通信装置4において受信される。受信された動作プログラムが画像抽出装置1にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像抽出装置1に受信されて画像抽出装置1にインストールされずに,コンパクト・ディスク11などの可搬型記録媒体に記録され,その可搬型記録媒体から読み取られてもよい。その場合には,可搬型記録媒体から読み取られた動作プログラムが画像抽出装置1にインストールされる。動作プログラムは,画像抽出装置1のコンピュータ(CPU2)が読み取り可能であることは言うまでもない。
An operation program of the
図2から図6は,画像抽出装置1の処理手順を示すフローチャートである。
2 to 6 are flowcharts showing the processing procedure of the
この実施例では,多数(複数)の画像の中から類似する画像を見つけ,多数の画像のうちどの画像が類似するかがユーザにわかるようにするものである。とくに,複数の画像のう
ち2つの画像を対比するときに互いに類似するか否かを判断させる類似判断条件の入力を受け付け,受け付けられた類似判断条件にしたがって類似する画像が見つけられる。類似判断条件はユーザが変更したり,作成したりできるので,どのような画像が類似するかどうかをユーザの意思で決定できる。
In this embodiment, similar images are found from a large number (plurality) of images so that the user can understand which images among the large number of images are similar. In particular, when comparing two images out of a plurality of images, an input of similarity judgment conditions for judging whether or not they are similar to each other is accepted, and similar images are found according to the accepted similarity judgment conditions. Since the similarity determination condition can be changed or created by the user, the user can decide what kind of images are similar or not.
多数(複数)の画像を表す画像データがメモリ・カード13に格納されており,メモリ・カード・リーダ・ライタ12によってメモリ・カード13に格納されている画像データが読み取られる(図2ステップ21)。読み取られた画像データによって表される多数(複数)の画像が表示装置3の表示画面に一覧で表示させられる(図2ステップ22)。
Image data representing a large number (plurality) of images are stored in the
図7は,表示装置3の表示画面に表示される画像一覧ウインドウ50の一例である。
FIG. 7 shows an example of an
画像一覧ウインドウ50には,画像一覧表示領域51が形成されている。メモリ・カード13から読み取られた画像データによって表される多数の画像が,画像一覧表示領域51に表示される。画像一覧表示領域51の右側には,ユーザからの指示(ドラッグ動作)に応じて上下にスライド自在なスライダ52が形成されている。画像一覧表示領域51の右下には,「類似判断条件」の文字が付されている類似判断条件ボタン53がクリック自在に形成されている。
An image
画像一覧表示領域51には,画像I1からI28(画像I22から画像I28については画像の一部)が表示されている。スライダ52が下方向に動かされることにより,メモリ・カード13から読み取られた画像データによって表される画像であって,画像一覧表示領域51に表示されていない画像が画像一覧表示領域51に表示される。
In the image
ユーザによってマウス9を使って類似判断条件ボタン5がクリックされると(図2ステップ23でYES),表示装置3の表示画面には図8に示す類似判断条件指定ウインドウ60がCPU2(類似判断条件指定ウインドウ表示制御手段の一例である)の制御により表示される。類似判断条件指定ウインドウ60は,画像一覧ウインドウ50内に含まれるように重ねられて表示されてもよいし,画像一覧ウインドウ50の一部と重ねられて表示されてもよいし,画像一覧ウインドウ50と重ならないように表示されてもよい。
When the user clicks the similarity
図8を参照して,類似判断条件指定ウインドウ60には,5つのチェック・ボックス61から65が形成されている。これらのチェック・ボックス61から65は,マウス9を用いてチェック自在である。チェック・ボックス61から65のうちのいずれか,またはすべてをチェックすることにより複数の類似判断条件の中から類似判断条件が指定されたこととなり,画像抽出装置1に類似判断条件の入力が受け付けられることとなる。
Referring to FIG. 8, five check boxes 61 to 65 are formed in similarity judgment
チェック・ボックス61から65のそれぞれに対応して,あらかじめ定められている類似判断条件が表示されている。第1のチェック・ボックス61の右側には,「同一人物の画像のみを類似とする」という第1の類似判断条件が表示されている。第1の類似判断条件は,2つの画像を対比したときに同一人物の画像のみが含まれている2つの画像のマッチング度がしきい値以上であるときに類似と判断する(したがって,一方の画像に同一人物以外の画像が含まれているときには類似とは判断しない)。一般的には,2つの画像をマッチングさせたときにマッチング度がしきい値以上のときに類似するとの判断基準によって判断するが,本実施例においては,当該判断基準に異なる条件を加えて,類似の判断基準をより厳しい基準にしたり,あるいはより緩やかな基準にしたりすることができる。第1の類似判断条件は,そのようなマッチング度が高い場合であっても,2つの画像に含まれている人物が一致していなければ類似とは判断しないとする類似判断条件である(類似の判断基準が厳しくなる場合に相当する。以下第4の類似判断条件まで同様である)。 Predetermined similarity judgment conditions are displayed corresponding to each of the check boxes 61 to 65 . On the right side of the first check box 61, a first similarity determination condition of "only images of the same person are considered similar" is displayed. The first similarity judgment condition is that two images containing only images of the same person are judged to be similar when the degree of matching between the two images is equal to or higher than a threshold (thus, one If the images include images other than the same person, they are not judged to be similar). In general, when two images are matched, judgment is made based on the criterion that they are similar when the degree of matching is equal to or greater than a threshold value. Similar criteria can be made stricter or more lenient. The first similarity judgment condition is a similarity judgment condition that, even if such a matching degree is high, if the persons included in the two images do not match, the similarity is not judged (similarity (The same applies to the fourth similarity judgment condition below).
第2のチェック・ボックス62の右側には,「表情(笑顔)が同じ画像のみを類似とする」という第2の類似判断条件が表示されている。第2の類似判断条件は,2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情が同じ(表情の一致度がしきい値以上)と判断されるときに類似と判断される(したがって,2つの画像に含まれている人物の表情が異なると判断されるときには2つの画像のマッチング度がしきい値以上であっても類似と判断されない)。 On the right side of the second check box 62, there is displayed a second similarity determination condition that 'only images with the same expression (smile) are considered similar'. The second similarity judgment condition is that the degree of matching between the two images is equal to or higher than the threshold, and that the facial expressions of the persons included in the two images are the same (the degree of matching of facial expressions is equal to or higher than the threshold). (Therefore, when it is determined that the facial expressions of the persons included in the two images are different, they are not determined to be similar even if the degree of matching between the two images is greater than or equal to the threshold).
第3のチェック・ボックス63の右側には,「人物被写体の大きさが同じ画像のみを類似とする」という第3の類似判断条件が表示されている。第3の類似判断条件は,2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの程度(画像全体の大きさに対する人物の被写体の大きさの割合)が同じ(一定の範囲内)画像のみを類似と判断する(したがって,2つの画像に含まれている人物の被写体の大きさが同じ程度でなければ2つの画像のマッチング度がしきい値以上であっても類似と判断しない)。 On the right side of the third check box 63, there is displayed a third similarity determination condition that 'only images with the same human subject size are considered similar'. The third similarity judgment condition is that the degree of matching between the two images is equal to or higher than the threshold, and the size of the human subject included in the two images (the size of the human subject relative to the size of the entire image). Only images with the same size ratio (within a certain range) are judged to be similar. It is not judged as similar even if it is equal to or greater than the threshold value).
第4のチェック・ボックス64の右側には,「撮影時間が連続する画像のみを類似とする」という第4の類似判断条件が表示されている。第4の類似判断条件は,2つの画像のマッチング度がしきい値以上であり,かつ2つの画像の撮影時間が連続するような画像,すなわち,類似を判断する対比する2つの画像の間に撮影された他の画像が存在いない2つの画像を類似と判断する(したがって,対比する2つの画像の間に撮影された他の画像が存在するときには2つの画像のマッチング度がしきい値以上であっても類似と判断しない)。 On the right side of the fourth check box 64, there is displayed a fourth similarity determination condition that "only images with continuous photographing times are considered similar". The fourth similarity judgment condition is an image in which the degree of matching between the two images is equal to or higher than the threshold and the shooting time of the two images is continuous, that is, between the two images to be compared to judge similarity Judge two images as similar if there is no other captured image (thus, if there is another captured image between the two images to be contrasted, the degree of matching between the two images is greater than or equal to the threshold). Even if there is, it is not judged to be similar).
第5のチェック・ボックス65の右側には,「縦画像と横画像とを類似とする」という第5の類似判断条件が表示されている。本実施例において、第5の類似判断条件が適用されない場合は、縦画像(縦の長さが横の長さよりも長い画像)と横画像(横の長さが縦の長さよりも長い画像)との間のマッチング度を算出しない(したがって類似しないと判断する)。しかし、第5の類似判断条件が適用される場合は,2つの画像のマッチング度を算出し、マッチング度がしきい値以上であれば類似画像と判断する(縦画像と横画像とのマッチング度は、たとえば中心の正方形部分を切り取って比較する、縦横比を一方に合わせるなど、いずれかまたは双方の画像に種々の操作をした後に算出すればよい。また、正方形の画像が混在している場合は、第5のチェック・ボックスをチェックするのがよい。)。第5の類似判断条件が適用される場合においては,第5の類似判断条件が適用されない場合と比較して,より多くの画像が類似と判断されることがあり得る(類似の判断基準が緩やかになる場合に相当する)。 On the right side of the fifth check box 65, a fifth similarity determination condition of "set vertical and horizontal images to be similar" is displayed. In this embodiment, when the fifth similarity determination condition is not applied, a vertical image (an image whose height is longer than its width) and a horizontal image (an image whose width is longer than its height) Do not calculate the degree of matching between However, when the fifth similarity judgment condition is applied, the degree of matching between the two images is calculated, and if the degree of matching is equal to or greater than a threshold value, the images are judged to be similar (the degree of matching between the vertical image and the horizontal image can be calculated after performing various operations on either or both images, such as cutting out the central square part and comparing it, adjusting the aspect ratio to one, etc. Also, when square images are mixed should check the fifth check box). When the fifth similarity judgment condition is applied, more images may be judged to be similar compared to when the fifth similarity judgment condition is not applied. ).
チェック・ボックスを2つ以上チェックした場合には,各々の示す類似判断条件の全てを満たす画像を類似する画像として抽出する(AND条件として判断する)。なお,チェック・ボックスを2つ以上チェックした場合に,いずれかの条件を満たす画像を類似する画像として抽出しても良い(OR条件として判断する)。また,論理式を入力できるGUI(Graphical User Interface)を設けて,2以上のチェック・ボックスが示す条件についてAND条件として判断するか,OR条件として判断するか,ユーザが入力できることとしてもよい。 When two or more check boxes are checked, images satisfying all of the similarity determination conditions indicated by each are extracted as similar images (determined as AND conditions). In addition, when two or more check boxes are checked, an image satisfying any condition may be extracted as a similar image (determined as an OR condition). Also, a GUI (Graphical User Interface) for inputting logical expressions may be provided so that the user can input whether the conditions indicated by two or more check boxes are to be determined as AND conditions or as OR conditions.
類似判断条件指定ウインドウ60の下部には,「類似判断条件の追加」の文字が付されている類似判断条件追加ボタン66および「決定」の文字が付されている決定ボタン67がクリック可能に形成されている。類似判断条件追加ボタン66は,類似判断条件指定ウインドウ60に表示されている類似判断条件以外の条件を類似判断条件として追加するときにユーザによってクリックされる。決定ボタン67は,類似判断条件が決定したときにユーザによってクリックされる。
At the bottom of the similarity judgment
類似判断条件を追加するときには(図2ステップ25でYES),類似判断条件追加ボタン66がマウス9を用いてクリックされる。すると,表示装置3の表示画面には図9に示す類似判断条件追加ウインドウ70が表示される(図3ステップ26)。
When adding a similarity determination condition (YES at
図9を参照して,類似判断条件追加ウインドウ70にも5つのチェック・ボックス71から75が含まれている。チェック・ボックス71の右側には,「色味が同じ画像のみを類似とする」という追加の類似判断条件が表示されている。この追加の類似判断条件は,2つの画像のマッチング度がしきい値以上であり,かつ色味の程度が同じ(しきい値以上に同じ)画像を類似と判断し,2つの画像のマッチング度がしきい値以上であっても白黒画像とカラー画像のように色味が異なる画像は類似と判断しないというものである。その他のチェック・ボックス72から75の右側にも追加の類似判断条件が表示されている。
Referring to FIG. 9, similarity determination
チェック・ボックス71から75をチェックすることにより,図8に示す類似判断条件指定ウインドウ60を用いて指定できる類似判断条件以外の類似判断条件を追加で指定することができる。
By checking the check boxes 71 to 75, additional similarity determination conditions other than the similarity determination conditions that can be specified using the similarity determination
類似判断条件追加ウインドウ70の下部には,「類似判断条件の作成」の文字が付されている類似判断条件作成ボタン76および「戻る」の文字が付されている戻るボタン77が形成されている。
At the bottom of the similarity judgment
図8に示す類似判断条件指定ウインドウ60に表示される類似判断条件および図9に示す類似判断条件追加ウインドウ70に表示される追加の類似判断条件は,画像抽出装置1にあらかじめ設定されているものであり,あらかじめ設定されている類似判断条件および追加の類似判断条件の中から類似判断条件を指定するが,それらの類似判断条件以外の類似判断条件をユーザが作成できる。そのようにユーザが類似判断条件を作成するときにクリックされるのが類似判断条件作成ボタン76である。戻るボタン77は,図9に示す類似判断条件追加ウインドウ70から図8に示す類似判断条件指定ウインドウ60に戻るときにユーザによってクリックされる。
The similarity judgment conditions displayed in the similarity judgment
類似判断条件を作成するときには(図3ステップ27でYES),上述のように類似判断条件作成ボタン76がクリックされる。すると,表示装置3の表示画面にはCPU2(類似判断条件入力ウインドウ表示制御手段の一例である)図10に示す類似判断条件入力ウインドウ80が表示される(図3ステップ28)。
When the similarity determination condition is to be created (YES at
図10を参照して,類似判断条件入力ウインドウ80には,類似判断条件入力領域81が形成されている。ユーザが類似判断条件を作成して,キーボード8を用いて類似判断条件入力ウインドウ80に類似判断条件を入力する。これにより,画像抽出装置1は入力された類似判断条件の入力を受け付ける。
Referring to FIG. 10, similarity judgment
画像抽出装置1は,図示しない類似判断条件解析手段を有している。類似判断条件解析手段は,ユーザにより入力された自然言語に対して形態素解析を行い,画像抽出装置1が取り扱える類似判断条件を作成する。なお,類似判断条件解析手段は,ユーザにより入力された自然言語に対して,予め学習がなされている学習モデルを適用して,画像抽出装置1が取り扱える類似判断条件を作成することとしてもよい。
The
類似判断条件入力領域81の下には「決定」の文字が付されている決定ボタン82,「戻る」の文字が付されている戻るボタン83が形成されている。決定ボタン82がユーザによってクリックされると,類似判断条件入力領域81に入力された条件を類似判断条件として決定する。戻るボタン83がユーザによってクリックされると(図3ステップ29でYES),類
似判断条件入力ウインドウ80が表示画面から消える。表示画面には図8に示す類似判断条件指定ウインドウ60が表示される。類似判断条件指定ウインドウ60に含まれる決定ボタン67がクリックされると(図4ステップ30でYES),CPU2によって類似判断条件にしたがって類似画像群が決定させられる(図4ステップ31)。図9に示す類似判断条件追加ウインドウ70が表示されている状態において類似判断条件追加ウインドウ70に含まれている戻るボタン77がクリックされた場合も(図3ステップ27でNO,図3ステップ29でYES),類似判断条件追加ウインドウ70が表示画面から消え,表示画面には図8に示す類似判断条件指定ウインドウ60が表示される。類似判断条件指定ウインドウ60に含まれる決定ボタン67がクリックされると(図4ステップ30でYES),CPU2によって類似判断条件にしたがって類似画像群が決定させられる(図4ステップ31)。図8に示す類似判断条件指定ウインドウ60が表示されている状態において類似判断条件追加ボタン66がクリックされずに決定ボタン67がクリックされたときも(図2ステップ25でNO,図4ステップ30でYES),CPU2によって類似判断条件にしたがって類似画像群が決定させられる(図4ステップ30でYES)。メモリ・カード13から読み取られた画像データによって表される画像のうち,特定の画像が決められ,その特定の画像とのマッチング度が,メモリ・カード13から読み取られた画像データによって表されるすべての画像についてCPU2によって算出される。算出されたマッチング度がしきい値以上の画像について,決められた特定の画像との関係で類似判断条件に沿う画像かどうかがCPU2によって判断され,その結果,特定の画像と類似する画像かどうかが決定される。
Below the similarity determination
キーボード8,マウス9,表示装置3の表示画面に表示される類似判断条件指定ウインドウ60,類似判断条件追加ウインドウ70,類似判断条件入力ウインドウ80などが,複数の画像のうち任意の2つの画像を対比するときに互いに類似するか否かを判断させる類似条件の入力を受け付ける類似判断条件受付手段となる。また,CPU2が,受け付けた類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する類似画像群決定手段となる。
A keyboard 8, a
類似判断条件として,図8に示す類似判断条件指定ウインドウ60に含まれる第1の類似判断条件「同一人物の画像のみを類似とする」が指定されたとする。すると,互いの画像のマッチング度がしきい値以上の画像のうち,同一人物が含まれている画像が類似画像群と決定される。たとえば,図7に示す画像一覧ウインドウ50の画像一覧表示領域51のうち,画像I1,I2,I3およびI11が類似画像と判断され,これらの画像I1,I2,I3およびI11を含む第1の類似画像群G1とCPU2によって決定される。同様に,図7に示す画像一覧ウインドウ50の画像一覧表示領域51のうち,画像I6と画像I13とが類似と判断され,第2の類似画像群G2と決定される。同様に,画像I8,I9,I10およびI12が類似と判断され第3の類似画像群G3と決定され,画像I16,I17およびI18が類似と判断され第4の類似画像群G4と決定され,画像I19およびI20が類似と判断され第5の類似画像群G5と決定され,画像I22およびI23が類似と判断され第5の類似画像群G5と決定される。
Assume that the first similarity determination condition "only images of the same person are considered similar" included in the similarity determination
類似画像群が決定すると,表示装置3の表示画面に表示されていた画像一覧ウインドウ50は表示画面から消え,図11に示す編集用ウインドウ50Aが表示装置3の表示画面に表示される。
When the similar image group is determined, the
図11は,編集用ウインドウ50Aの一例である。
FIG. 11 is an example of the
編集用ウインドウ50Aには,画像一覧ウインドウ50と同様に画像一覧表示領域51が含まれている。この画像一覧表示領域51には,上述したようにメモリ・カード13から読み取られた画像データによって表される多数の画像が一覧で表示されている。
The
また,画像一覧表示領域51の下には編集用サムネイル・ページ画像一覧表示領域54が形成されている。編集用サムネイル・ページ画像一覧表示領域54には,電子アルバム(アルバム)を構成する各ページのレイアウトを示すサムネイル・ページ画像P1からP5が一覧表示されている。サムネイル・ページ画像P1には,電子アルバムの見開きでの第1ページに形成されている画像貼付領域A1からA8が規定されている。同様に,サムネイル・ページ画像P2には,電子アルバムの見開きでの第2ページに形成されている画像貼付領域A11からA16が規定されている。サムネイル・ページ画像P3,P4およびP5には,電子アルバムの見開きでの第3ページ,第4ページおよび第5ページに形成されている画像貼付領域A21からA25,A31からA35およびA41からA46が,それぞれ形成されている。編集用サムネイル・ページ画像一覧表示領域54の右側には「終了」の文字が付されている終了ボタン55が形成されている。
An editing thumbnail/page image
編集用ウインドウ50A(第1の表示用ウインドウ)画像一覧表示領域51において,上述したように類似する画像I1,I2,I3およびI11を含む第1の類似画像群G1が鎖線によって囲まれている。これにより,第1の類似画像群G1に含まれる画像I1,I2,I3およびI11と,第1の類似画像群G1に含まれないその他の画像と,が区別して表示させられる。同様に,類似する画像I6と画像I13とを含む第2の類似画像群G2が鎖線によって囲まれており,類似する画像I8,I9,I10およびI12が含まれている第3の類似画像群G3が鎖線によって囲まれており,類似する画像I16,I17およびI18が含まれている第4の類似画像群G4が鎖線によって囲まれており,類似する画像I19およびI20が含まれている第5の類似画像群G5が鎖線によって囲まれており,類似する画像I22およびI23が含まれている第5の類似画像群G5が鎖線によって囲まれている。このように,互いに類似する画像が他の画像と区別して表示されるのでユーザは多数の画像のうちどの画像が類似する画像かどうかがわかる。しかも,類似判断条件はユーザが指定したものであるから,ユーザの意図に沿う画像を類似する画像と決定させることができる。
In the image
類似画像群G1からG5のうち,一の類似画像群に含まれる画像と他の類似画像群に含まれる画像とは,類似判断条件における判断では互いに非類似である。たとえば,類似画像群G1に含まれる画像I1,I2,I3およびI11と,類似画像群G3に含まれる画像I8,I9,I10およびI12とは,互いに非類似である。 Among the similar image groups G1 to G5, the images included in one similar image group and the images included in the other similar image groups are dissimilar to each other according to similarity determination conditions. For example, images I1, I2, I3 and I11 included in the similar image group G1 and images I8, I9, I10 and I12 included in the similar image group G3 are dissimilar to each other.
図11においては,類似画像群G1からG5は,すべて鎖線によって囲まれているが,類似画像群G1からG5のうち,一の類似画像群と他の類似画像群とを区別して表示させるようにしてもよい。たとえば,類似画像群G1からG5のうち,類似画像群ごとに囲む枠の態様を変えるようにしてもよい。類似画像群を区別しやすくなる。また,類似画像群に含まれる画像と類似画像群に含まれない画像とを区別できればよいので,類似画像群ごとに枠で囲むのではなく,類似画像群ごとに色を変えてハイライト表示などとしてもよい。 In FIG. 11, the similar image groups G1 to G5 are all surrounded by chain lines. may For example, among the similar image groups G1 to G5, the form of the frame surrounding each similar image group may be changed. It becomes easier to distinguish similar image groups. In addition, since it is sufficient to distinguish images included in the similar image group from images not included in the similar image group, instead of enclosing each similar image group with a frame, each similar image group is highlighted with a different color. may be
図11において,「撮影時間が連続する画像のみを類似とする」類似判断条件が指定されていると(図8参照),画像I3と画像I11,画像I6と画像I13,および画像I10と画像I12は,それぞれ連続して撮影されていないから,類似する画像とは判断されない。この結果,第1の類似画像群G1から画像I11は外れ,第1の類似画像群G1に含まれる類似する画像は画像I1,I2およびI3となる。また,第2の類似画像群G2に含まれる画像I3と画像I13とは非類似とされる。さらに,第3の類似画像群G3から画像I12は外れ,第3の類似画像群G3に含まれる類似する画像は画像I16,I17およびI18となる。 In FIG. 11, if the similarity judgment condition "only images with consecutive shooting times are considered similar" is specified (see FIG. 8), images I3 and I11, images I6 and I13, and images I10 and I12 are not taken consecutively, they are not judged to be similar images. As a result, the image I11 is excluded from the first similar image group G1, and the similar images included in the first similar image group G1 are images I1, I2 and I3. Also, the image I3 and the image I13 included in the second similar image group G2 are dissimilar. Further, the image I12 is excluded from the third similar image group G3, and the similar images included in the third similar image group G3 are images I16, I17 and I18.
また,たとえば,「同一人物の画像のみを類似とする」の類似判断条件(図8参照)が指定されていないとすると,画像I21と画像I19または画像I20とは類似と判断され,第5の類似画像群G5には,画像I19とI20に加えて画像I21が含まれるようになる。 Further, for example, if the similarity judgment condition (see FIG. 8) of "only images of the same person are similar" is not specified, the image I21 and the image I19 or the image I20 are judged to be similar. The similar image group G5 now includes the image I21 in addition to the images I19 and I20.
画像一覧表示領域51に表示されている類似画像群のうち,いずれかの類似画像群が,サムネイル・ページ画像P1からP5のうちのいずれかの画像貼付領域にマウス9(類似画像群指定手段の一例である)を用いてドラッグ・アンド・ドロップされると(図4ステップ33でYES),表示装置3の表示画面には図12に示す画像確認ウインドウ90(第1の表示ウインドウと異なる第2の表示ウインドウ)が表示される(図5ステップ35)。類似画像群がサムネイル・ページ画像P1からP5のうちのいずれかのサムネイル・ページ画像に形成されている画像貼付領域にドラッグ・アンド・ドロップされずに,類似画像群に含まれていない画像(単独画像という)がサムネイル・ページ画像P1からP5のうちのいずれかのサムネイル・ページ画像に形成されている画像貼付領域にドラッグ・アンド・ドロップされると(図4ステップ33でNO,図4ステップ34でYES),他の処理が行われる。この実施例では,第2の類似画像群G2がサムネイル・ページ画像P1の画像貼付領域A1にドラッグ・アンド・ドロップされたものとする。マウス9が1または複数の類似画像群のうちの1つの類似画像群を指定する類似画像群指定手段に対応する。
Among the similar image groups displayed in the image
図12を参照して,画像確認ウインドウ90には,類似画像表示領域91が含まれている。この類似画像表示領域91には,ドラッグ・アンド・ドロップされた類似画像群G1に含まれる類似する画像I8,I9,I10およびI12が表示されている。類似する画像I8,I9,I10およびI12は,CPU2(類似画像表示制御手段の一例である)によって隣接して表示させられている。類似する画像I8,I9,I10およびI12は,画像の間に類似しない画像が表示されておらず,また画像の間が密接して表示されている。また画像の間に画像以外の文章なども表示されていない。もっとも,画像の間は必ずしも密接していなくともよく,画像の間に文章などが表示されていてもよい。また,画像の間に非類似の画像が含まれていても,非類似の画像と類似の画像とが区別できればよい。類似の画像は明るく表示し,非類似の画像を暗く表示してもよい。たとえば,類似画像表示領域91に画像I8,I9,I10,I11およびI12を表示し,類似する画像I8,I9,I10およびI12は明るく表示し,非類似の画像I11は暗く表示してもよい。
Referring to FIG. 12,
類似画像表示領域91の下には,画像確認領域92が形成されている。画像確認領域92は,類似画像表示領域91に表示されている類似する画像のうち,ユーザによってクリックされた画像(最初はあらかじめ決められた画像,たとえば,類似画像表示領域91に表示されている画像のうち,最初に撮影された画像)が表示される。
An
類似画像表示領域91の右側には「適合条件」の文字が付されている適合条件ボタン93が形成されている。画像確認領域92の右側には「決定」の文字が付されている決定ボタン94が形成されている。
On the right side of the similar
図12に示す画像確認ウインドウ90の大きさを,図11に示す編集用ウインドウ50Aの大きさと同じとし,図11に示す編集用ウインドウ50Aに一致するように編集用ウインドウ50A上に画像確認ウインドウ90を表示するようにしてもよいし,編集用ウインドウ50Aの一部に重なるように画像確認ウインドウ90を表示するようにしてもよいし,編集用ウインドウ50Aに重ならないように画像確認ウインドウ90を表示するようにしてもよい。
The size of the
適合条件ボタンがマウス9を用いてユーザによってクリックされると(図5ステップ36でYES),表示装置3の表示画面には図13に示す適合条件指定ウインドウ100がCPU2(適合条件指定ウインドウ表示制御手段の一例である)によって表示させられる(図5ステップ37)。
When the compatibility condition button is clicked by the user using the mouse 9 (YES in
図13は,適合条件指定ウインドウ100の一例である。
FIG. 13 is an example of the compatibility
適合条件は,画像としての完成度の評価を決定するのに用いられる条件である。適合条件を類似判断条件に含めてもよい。適合条件指定ウインドウ100(適合条件受付手段の一例である)には,4つのチェック・ボックス101から104が含まれている。これらの4つのチェック・ボックス101から104のそれぞれに対応して適合条件が表示されている。適合条件指定ウインドウ100には複数の適合条件が表示されていることとなる。
Relevance conditions are conditions used to determine the evaluation of completeness as an image. Matching conditions may be included in similarity judgment conditions. A matching condition specifying window 100 (which is an example of matching condition receiving means) includes four check boxes 101 to 104 . Matching conditions are displayed corresponding to these four check boxes 101 to 104, respectively. A plurality of matching conditions are displayed in the matching
第1のチェック・ボックス101の右側には「めつむり」の文字が表示されている。第1のチェック・ボックス101をチェックすることにより,画像に含まれている人物の目のつむり具合の程度を適合条件として指定できる。「めつむり」の文字の右側には,左端に「完全」の文字が付され,右端に「やや」の文字が付されているスケールが形成されている。このスケール上においてスライダ105を,マウス9を用いて左右に動かすことができる。スライダ105を左側に動かすほど,めつむりが完全に無い画像ほど適合度が高くなり,スライダ105を右側に動かすほど,めつむりについての適合度は,めつむりが多少あっても適合度は高くなる。チェック・ボックス101をチェックし,スライダ105を動かすことにより,適合度に対するめつむりの影響を調整できる。
On the right side of the first check box 101, the characters "Metsumuri" are displayed. By checking the first check box 101, the degree of closed eyes of the person included in the image can be specified as a matching condition. To the right of the characters "Metsumuri", a scale is formed with the characters "Complete" on the left end and the characters "Somewhat" on the right end. The
第2のチェック・ボックス102の右側には「ぼけ」の文字が表示されている。第2のチェック・ボックス102をチェックすることにより,画像のぼけの程度を適合条件として指定できる。「ぼけ」の文字の右側には,左端に「厳しい」の文字が付され,右端に「緩い」の文字が付されているスケールが形成されている。このスケール上においてスライダ106を,マウス9を用いて左右に動かすことができる。スライダ106を左側に動かすほど,ぼけていない画像ほど適合度が高くなり,スライダ106を右側に動かすほど,ぼけについての適合度は,ぼけが多少あっても適合度は高くなる。チェック・ボックス102をチェックし,スライダ106を動かすことにより,適合度に対するぼけの影響を調整できる。
On the right side of the second check box 102, the characters "Bokeh" are displayed. By checking the second check box 102, the degree of image blur can be specified as a matching condition. To the right of the characters "bokeh", a scale is formed in which the characters "severe" are attached to the left end and the characters "loose" are attached to the right end. The
第3のチェック・ボックス103の右側には「露出」の文字が表示されている。第3のチェック・ボックス103をチェックすることにより,画像の明るさ程度を適合条件として指定できる。「露出」の文字の右側には,左端に「明るい」の文字が付され,右端に「暗い」の文字が付されているスケールが形成されている。このスケール上においてスライダ107を,マウス9を用いて左右に動かすことができる。スライダ107を左側に動かすと,明るい画像ほど適合度が高くなり,スライダ107を右側に動かすほど,暗い画像ほど適合度が高くなる。チェック・ボックス103をチェックし,スライダ107を動かすことにより,適合度に対する露出の影響を調整できる。
On the right side of the third check box 103, the characters "exposure" are displayed. By checking the third check box 103, the degree of brightness of the image can be specified as a matching condition. To the right of the letters "exposure", a scale is formed with letters "bright" on the left end and letters "dark" on the right end. The
第4のチェック・ボックス104の右側には「表情」の文字が表示されている。第4のチェック・ボックス104をチェックすることにより,画像に含まれている人物の表情を適合条件として指定できる。「表情」の文字の右側には,「笑」の文字,「微笑」の文字,「素」の文字,および「泣」の文字が表示されている。「笑」の文字,「微笑」の文字,「素」の文字,および「泣」の文字のそれぞれの下にチェック・ボックス108,109,110,および111が形成されている。チェック・ボックス108,109,110,および111のうちチェックされたチェック・ボックスに対応する文字の表情に近い表情ほど適合度が高くなる。チェック・ボックス104をチェックし,チェック・ボックス108,109,110,および111のうちのいずれかのチェック・ボックスをチェックすることにより,適合度に対する顔の表情の影響を調整できる。
On the right side of the fourth check box 104, the characters "expression" are displayed. By checking the fourth check box 104, the facial expression of the person included in the image can be specified as a matching condition. To the right of the "expression" characters, the characters "lol", the characters "smile", the characters "genuine", and the characters "crying" are displayed. Check
適合条件指定ウインドウ100の下部には「適合条件の入力」の文字が付されている適合条件入力ボタン112および「決定」の文字が付されている決定ボタン113が形成されている。
At the bottom of the matching
適合条件入力ボタン112がクリックされると(図5ステップ38でYES),表示装置3
の表示画面には,図14に示す適合条件入力ウインドウ120(適合条件受付手段の一例である)がCPU2(適合条件入力ウインドウ表示制御手段の一例である)によって表示させられる(図5ステップ39)。
When the matching
14, the matching condition input window 120 (one example of matching condition receiving means) shown in FIG. 14 is displayed by the CPU 2 (one example of matching condition input window display control means) (
図14は,適合条件入力ウインドウ120の一例である。
FIG. 14 is an example of the compatibility
適合条件入力ウインドウ120には,3つの適合条件入力領域121,122および123が含まれている。適合条件入力ウインドウ120の右下には,「戻る」の文字が付されている戻るボタン124が形成されている。
The compatibility
適合条件入力領域121,122および123の少なくとも一つの領域に適合条件を,キーボード8を用いて入力するとユーザによって適合条件が指定されることとなる。たとえば,適合条件入力領域121,122または123のいずれかに「解像度」と入力すると解像度が適合条件となり,解像度の高いほど適合度が高くなる。図13に示したように,スライダを表示し,スライダを用いて入力した適合条件の適合度の影響を調整できるようにしてもよい。適合条件の入力を画像抽出装置1は受け付けることとなる。
When a matching condition is entered in at least one of the matching
戻るボタン123がクリックされると(図5ステップ40でYES),図14に示す適合条件入力ウインドウ120は表示装置3の表示画面から消去され,図13に示す適合条件指定ウインドウ100が表示装置3の表示画面に表示される(図5ステップ37)。適合条件指定ウインドウ100に含まれる決定ボタン113がクリックされると(図5ステップ38でNO,図5ステップ41でYES),図12に示す画像確認ウインドウ90の画像確認領域92に表示されている画像の適合度が,指定された適合条件にしたがってCPU2(適合度算出手段の一例である)によって算出される(図6ステップ42)。適合度が算出されると画像確認ウインドウ90がCPU2によって更新されて表示装置3の表示画面に表示される(図6ステップ47)。
When the
図15は,更新された画像確認ウインドウ90の一例である。
FIG. 15 is an example of the updated
画像確認ウインドウ90には,適合度表示領域95が表示されている。この実施例では,適合条件として「めつむり」,「ぼけ」および「表情(笑)」が指定されたものとする。適合度表示領域95には,指定された適合度「めつむり」,「ぼけ」および「表情(笑)」が表示されており,それぞれの適合度の右側にA,BおよびCの評価が表示されている。「めつむり」の適合度についてはAが丸で囲まれており,画像確認領域92に表示されている画像I8の適合度は,「めつむり」については評価Aであることがわかる。同様に,「ぼけ」の適合度についてはBが丸で囲まれており,画像I8の適合度は,「ぼけ」については評価Bであることがわかる。「表情(笑)」の適合度についてはAが丸で囲まれており,画像I8の適合度は,「表情(笑)」については評価Aとなることがわかる。
A
類似画像表示領域91に表示されている類似する画像I8,I9,I10およびI11のうち,画像確認領域92に表示されている画像I8以外の画像がマウス9を用いてクリックされると(図6ステップ44でYES),クリックされた画像についての適合度が,指定された適合条件にもとづいてCPU2(適合度算出手段の一例である)によって算出される(図6ステップ42)。画像確認ウインドウ90が更新され,算出された適合度が適合度表示領域95(適合度報知手段の一例である)に表示されることとなる(図6ステップ47)。
When an image other than the image I8 displayed in the
決定ボタン94がクリックされると(図6ステップ45でYES),画像確認ウインドウ90は表示装置3の表示画面から消去され,図16に示すように編集用ウインドウ50Aが表示装置3の表示画面に表示される(図6ステップ46)。
When the
図16を参照して,編集用ウインドウ50Aにおいては,類似画像群G3がドラッグ・アンド・ドロップされた画像貼付領域A1に,決定ボタン94がクリックされたときに画像確認領域92に表示されていた画像がCPU2によって貼付されるようになる。これによりCPU2(類似画像抽出手段の一例である)類似画像群G3の中から少なくとも1つの画像が抽出されることとなる。
Referring to FIG. 16, in the
編集用ウインドウ50Aの終了ボタン55がクリックされるまで図4ステップ33から図6ステップ46までの処理が繰り返される(図6ステップ47)。
The processing from
第1実施例によると,ユーザが類似判断条件を指定できるので,ユーザの意図に応じた類似画像を見つけることができるようになる。 According to the first embodiment, the user can specify similarity judgment conditions, so that similar images can be found according to the user's intention.
(第2実施例)
図17から図19は,第2実施例を示している。
(Second embodiment)
Figures 17 to 19 show a second embodiment.
第2実施例においては,指定された類似画像群に含まれる画像のうち,適合度の高い画像を推奨画像としてユーザに知らせるものである。 In the second embodiment, the user is notified of an image with a high degree of matching among the images included in the designated similar image group as a recommended image.
図17は,図4のステップ33および34に対応する処理手順を示し,画像抽出装置1の処理手順の一部を示すフローチャートである。
FIG. 17 is a flow chart showing a processing procedure corresponding to
図2から図6のフローチャートを参照して説明したように,図16に示す編集用ウインドウ50Aが更新されて表示されると,終了ボタン55が押されなければ(図6ステップ47),図17ステップ131の処理に移行し,類似画像群ごとに類似画像群に含まれる画像の適合度(この適合度は,ユーザによって指定された,あるいは作成された適合条件にもとづく適合度である)がCPU2によって算出される(図17ステップ131)。すると,類似画像群ごとに,類似画像群に含まれる画像のうち適合度のもっとも高い画像が,類似画像群に含まれる他の画像と比べて相対的に明るくなるように表示させられる(図17ステップ132)。
As described with reference to the flow charts of FIGS. 2 to 6, when the
図18は,編集用ウインドウ50Aの一例である。
FIG. 18 is an example of the
第1の類似画像群G1には,類似する画像I1,I2,I3およびI11が含まれており,それらの画像I1,I2,I3およびI11のうち,画像I2が他の画像I1,I3およびI11よりも相対的に適合度が高かったとする。すると,画像I2が他の画像I1,I3およびI11よりも相対的に明るく表示させられる。図18に示す例では,画像I1,I3およびI11にハッチングを施しており,画像I2にはハッチングを施していないことにより,画像I2が画像I1,I3およびI11よりも相対的に明るいことを表している。このように,相対的に適合度が高い画像I2を,相対的に適合度の低い画像と区別して表示することにより,類似画像群の中に含まれる画像のうち,適合度の高い画像がわかる。 The first similar image group G1 includes similar images I1, I2, I3 and I11. Of these images I1, I2, I3 and I11, the image I2 is the other images I1, I3 and I11. Suppose that the degree of fitness is relatively higher than Then, the image I2 is displayed relatively brighter than the other images I1, I3 and I11. In the example shown in FIG. 18, images I1, I3 and I11 are hatched and image I2 is not hatched to indicate that image I2 is relatively brighter than images I1, I3 and I11. ing. In this way, by displaying the image I2 with a relatively high degree of relevance separately from the images with a relatively low degree of relevance, it is possible to identify the images with the highest degree of relevance among the images included in the group of similar images. .
同様に,第2の類似画像群G2では画像I13が画像I6よりも相対的に適合度が高く,第3の類似画像群G3では画像I9が画像I8,I10およびI12よりも相対的に適合度が高く,第4の類似画像群G4では画像I18が画像I16およびI17よりも相対的に適合度が高く,第5の類似画像群G5では画像I19が画像I20およびI21よりも相対的に適合度が高く,第6の類似画像群G6では画像I22が画像I23よりも相対的に適合度が高いことがわかる。 Similarly, in the second similar image group G2, the image I13 has a higher degree of matching than the image I6, and in the third similar image group G3, the image I9 has a higher degree of matching than the images I8, I10 and I12. In the fourth similar image group G4, the image I18 has a higher degree of relevance than the images I16 and I17. is high, and it can be seen that in the sixth similar image group G6, the image I22 has a relatively higher matching degree than the image I23.
上述したのと同様に,たとえば,第3の類似画像群G3がページ画像P1の画像貼付領域A1にドラッグ・アンド・ドロップされると(図17ステップ33でYES),図19に示すような画像確認ウインドウ90が表示装置3の表示画面に表示される。
In the same manner as described above, for example, when the third similar image group G3 is dragged and dropped onto the image pasting area A1 of the page image P1 (YES in
図19を参照して,画像確認ウインドウ90の類似画像表示領域91(推奨画像報知手段の一例である)には,ドラッグ・アンド・ドロップされた第3の類似画像群G3に含まれている画像I8,I9,I10およびI12が表示されているが,編集用ウインドウ50Aにおける表示と同様に相対的に適合度が高い画像I9が明るく(明るいことを示すためにハッチングがされていない),相対的に適合度が低い画像I8,I10およびI12が暗く(暗いことを示すためにハッチングがされている)表示させられている。
Referring to FIG. 19, an image included in the dragged and dropped third similar image group G3 is displayed in a similar image display area 91 (an example of recommended image notification means) of the
また,画像確認領域92(推奨画像報知手段の一例である)には,相対的に適合度が高い画像I9が表示され,適合度表示領域95には,画像確認領域92に表示されている画像I9の適合度が表示される。
Also, in the image confirmation area 92 (an example of recommended image notification means), an image I9 with a relatively high degree of conformity is displayed, and in the degree of
第2実施例によると類似画像群に含まれる画像の中で相対的に適合度の高い画像が比較的簡単にわかるようになる。 According to the second embodiment, it is possible to relatively easily identify an image having a relatively high degree of matching among the images included in the similar image group.
また,上述の第1の実施例および第2の実施例においては,類似判断条件および適合条件があらかじめ定められており,必要に応じて,図10に示す類似判断条件入力ウインドウ80を表示してユーザが類似判断条件を入力したり,図14に示す適合条件入力ウインドウ120を表示してユーザが適合条件を入力したりしているが,類似判断条件,適合条件などをあらかじめ定めておかずに図10に示す類似判断条件入力ウインドウ80を用いてユーザが類似判断条件を入力したり,図14に示す適合条件入力ウインドウ120を用いてユーザが類似判断条件を入力したりしてもよい。
Further, in the above-described first and second embodiments, similarity judgment conditions and compatibility conditions are predetermined, and a similarity judgment
さらに,上述の第1の実施例および第2の実施例では,図7に示す画像一覧ウインドウ50の表示後に図8に示す類似判断条件指定ウインドウ60,図9に示す類似判断条件追加ウインドウ70,図10に示す類似判断条件入力ウインドウ80,図13に示す適合条件指定ウインドウ100,図14に示す適合条件入力ウインドウ120などを表示しているが,図7に示す画像一覧ウインドウ50を表示する前に,それらのウインドウ60,70,80,100,120などを表示し,最初に類似判断条件,適合条件などを決定してもよい。いずれにしても,類似判断条件,適合条件などをユーザが指定したり,ユーザが入力(作成)したりできればよい。
Further, in the above-described first and second embodiments, after the
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU2のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
In addition to the
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA). may be As an example of configuring a plurality of processing units with a single processor, first, a single processor is configured with a combination of one or more CPUs and software, as typified by computers such as client computers and servers. However, there is a form in which this processor functions as a plurality of processing units. Secondly, as typified by system-on-chip, etc., there is a mode of using a processor that implements the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. In this way, various processing units are configured using one or more various processors as a hardware structure.
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。 Further, the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
上述の実施例においては,画像抽出装置1は専用装置のように記載されているが,専用装置ではなく,パーソナル・コンピュータによって構成されてもよいし,スマートフォン,タブレット装置のようないわゆるスマート・デバイスによって構成されてもよいし,フィーチャーフォンのような携帯電話によって構成されてもよい。
In the above-described embodiment, the
1:画像抽出装置,2:CPU,3:表示装置,4:通信装置,5:ハードディスク,6:ハードディスク・ドライブ,7:メモリ,8:キーボード,9:マウス,10:コンパクト・ディスク・ドライブ,11:コンパクト・ディスク,12:メモリ・リーダ・ライタ,13:メモリ・カード,50:画像一覧ウインドウ,50A:編集用ウインドウ,51:画像一覧表示領域,52:スライダ,53:類似判断条件ボタン,54:ページ画像一覧表示領域,55:終了ボタン,60:類似判断条件指定ウインドウ,61-65:チェック・ボックス,66:類似判断条件追加ボタン,67:決定ボタン,70:類似判断条件追加ウインドウ,71-72:チェック・ボックス,76:類似判断条件作成ボタン,77:戻るボタン,80:類似判断条件入力ウインドウ,81:類似判断条件入力領域,82:決定ボタン,83:戻るボタン,90:画像確認ウインドウ,91:類似画像表示領域,92:画像確認領域,93:適合条件ボタン,94:決定ボタン,95:適合度表示領域,100:適合条件指定ウインドウ,101-104:チェック・ボックス,105-107:スライダ,108-110:チェック・ボックス,112:適合条件入力ボタン,113:決定ボタン,120:適合条件入力ウインドウ,121:適合条件入力領域,122:適合条件入力領域,123-124:戻るボタン,A1-A18:画像貼付領域,A11-A16:画像貼付領域,A21-A25:画像貼付領域,A31-A36:画像貼付領域,A41-A46:画像貼付領域,G1:第1の類似画像群,G2:第2の類似画像群,G3:第3の類似画像群,G4:第4の類似画像群,G5:第5の類似画像群,G6:第6の類似画像群,I1-I28:画像,P1-P5:ページ画像 1: image extraction device, 2: CPU, 3: display device, 4: communication device, 5: hard disk, 6: hard disk drive, 7: memory, 8: keyboard, 9: mouse, 10: compact disk drive, 11: compact disc, 12: memory reader/writer, 13: memory card, 50: image list window, 50A: editing window, 51: image list display area, 52: slider, 53: similarity judgment condition button, 54: page image list display area, 55: end button, 60: similarity judgment condition specification window, 61-65: check box, 66: add similarity judgment condition button, 67: enter button, 70: add similarity judgment condition window, 71-72: Check box, 76: Create similarity judgment condition button, 77: Back button, 80: Similarity judgment condition input window, 81: Similarity judgment condition input area, 82: OK button, 83: Back button, 90: Image confirmation window, 91: similar image display area, 92: image confirmation area, 93: matching condition button, 94: decision button, 95: matching degree display area, 100: matching condition specifying window, 101-104: check box, 105 -107: slider, 108-110: check box, 112: compatibility condition input button, 113: decision button, 120: compatibility condition input window, 121: compatibility condition input area, 122: compatibility condition input area, 123-124: Back button, A1-A18: image pasting area, A11-A16: image pasting area, A21-A25: image pasting area, A31-A36: image pasting area, A41-A46: image pasting area, G1: first similar image G2: 2nd similar image group, G3: 3rd similar image group, G4: 4th similar image group, G5: 5th similar image group, G6: 6th similar image group, I1-I28 : image, P1-P5: page image
Claims (21)
選択に応じて、上記類似判断条件指定手段において指定された2以上の類似判断条件のすべてを満たす画像を類似する画像と判断して互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する、または上記類似判断条件指定手段において指定された2以上の類似判断条件のうち、いずれかの条件を満たす画像を類似する画像と判断して1または複数の類似画像群と決定する類似画像群決定手段,ならびに
上記類似画像群決定手段によって決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出する画像抽出手段を備えた画像抽出装置であって,
上記複数の類似判断条件は,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物が一致している画像を類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情の一致度がしきい値以上と判断されるときに類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの,画像全体に対する割合が一定の範囲内のときに類似と判断する類似判断条件,および
対比する2つの画像が縦画像と横画像であっても2つの画像のマッチング度がしきい値以上であれば類似と判断する類似判断条件,
のうち,少なくとも1つを含み,
上記類似画像群決定手段は,
互いの画像のマッチング度がしきい値以上の画像について,
ユーザが作成した類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する,
画像抽出装置。 Similarity judgment condition designating means for designating two or more similarity judgment conditions out of a plurality of similarity judgment conditions for judging whether or not any two images out of a plurality of images are similar to each other when comparing them;
According to the selection, an image that satisfies all of the two or more similarity judgment conditions specified by the similarity judgment condition specifying means is judged to be a similar image, and one or more similar images composed of two or more mutually similar images are judged to be similar images. Determining an image group, or judging images satisfying any one of two or more similarity judgment conditions specified by the similarity judgment condition designating means as similar images to determine one or a plurality of similar image groups. and similar image group determining means, and image extracting means for extracting at least one image from each of the one or more similar image groups determined by the similar image group determining means. and
The above multiple similarity judgment conditions are
A similarity judgment condition for judging that an image is similar if the degree of matching between the two images to be compared is equal to or greater than a threshold value and if the persons included in the two images match,
A similarity judgment condition for judging similarity when the degree of matching between two images to be compared is equal to or greater than a threshold and the degree of coincidence of facial expressions of persons included in the two images is judged to be equal to or greater than a threshold;
Similarity judged to be similar when the degree of matching between the two images to be compared is greater than or equal to the threshold and the ratio of the size of the human subject included in the two images to the entire image is within a certain range. judgment conditions, and similarity judgment conditions for judging similarity if the degree of matching between the two images is equal to or greater than a threshold even if the two images to be compared are vertical and horizontal images;
including at least one of
The similar image group determination means includes:
For images whose degree of matching between the images is equal to or greater than the threshold,
Determine one or more similar image groups composed of two or more images that are similar to each other according to similarity judgment conditions created by the user;
Image extractor.
上記類似画像群決定手段は、
上記判断方法選択手段によって選択された判断方法を用いて類似画像群を決定する、
請求項1に記載の画像抽出装置。 a determination method of determining one or a plurality of similar image groups by determining images that satisfy all of the two or more similarity determination conditions specified by the similarity determination condition designating means as similar images; A determination method for selecting whether an image that satisfies any one of two or more similarity determination conditions specified by the specifying means is determined as a similar image and determined as one or a plurality of similar image groups. Further comprising selection means,
The similar image group determination means includes:
determining a group of similar images using the determination method selected by the determination method selection means;
2. The image extracting device according to claim 1.
をさらに備えた請求項1または2に記載の画像抽出装置。 displaying a plurality of images on a first display window formed on a display screen of a display device, and displaying images included in one or more similar image groups determined by the similar image group determination means; a first image display control means for distinguishing and displaying an image that is not included;
3. The image extraction device according to claim 1 or 2, further comprising:
複数の類似画像群のうち,一の類似画像群と他の類似画像群とを区別して表示させる,
請求項3に記載の画像抽出装置。 The first image display control means is
Distinguishably display one similar image group from the other similar image groups among a plurality of similar image groups,
4. The image extracting device according to claim 3.
上記第1の表示ウインドウとは異なる第2の表示ウインドウにおいて,上記類似画像群指定手段によって指定された類似画像群に含まれる,互いに類似する画像を隣接して表示させる類似画像表示制御手段,
をさらに備えた請求項3または4に記載の画像抽出装置。 Similar image group designation means for designating one similar image group out of the one or more similar image groups determined by the similar image group determination means, and a second display window different from the first display window. , similar image display control means for adjacently displaying similar images included in the similar image group designated by the similar image group designation means;
5. The image extracting device according to claim 3 or 4, further comprising:
上記類似判断条件指定手段は,
上記類似判断条件指定ウインドウ内に表示されている複数の類似判断条件の中から指定する,
請求項1から5のうち,いずれか一項に記載の画像抽出装置。 a similarity judgment condition designation window display control means for displaying a similarity judgment condition designation window displaying a plurality of similarity judgment conditions on a display screen of a display device;
The similarity judgment condition specifying means is
Specify from among the multiple similarity judgment conditions displayed in the above similarity judgment condition specification window,
6. The image extracting device according to any one of claims 1 to 5.
画像の適合条件の入力を受け付ける適合条件受付手段,
上記類似画像群指定手段によって指定された類似画像群に含まれる,互いに類似する画像のうち指定された画像について,上記適合条件受付手段によって受け付けられた適合条件における適合度を算出する適合度算出手段,および
上記適合度算出手段によって算出された適合度を報知する適合度報知手段,
をさらに備えた請求項1から6のうち,いずれか一項に記載の画像抽出装置。 Similar image group specifying means for specifying one similar image group out of the one or more similar image groups determined by the similar image group determining means;
matching condition receiving means for receiving an input of matching conditions for an image;
Suitability calculation means for calculating suitability under the suitability condition received by the suitability condition reception means for images designated from among mutually similar images included in the similar image group designated by the similar image group designator. , and fitness notification means for notifying the fitness calculated by the fitness calculation means,
7. The image extracting device according to any one of claims 1 to 6, further comprising:
上記適合条件受付手段は,
上記適合条件指定ウインドウ内に表示されている複数の適合条件の中から指定された適合条件の入力を受け付ける,
請求項7に記載の画像抽出装置。 further comprising compatibility condition specification window display control means for displaying a compatibility condition specification window displaying a plurality of compatibility conditions on the display screen of the display device;
The matching condition receiving means is
Receiving the input of the compatibility condition specified from among the multiple compatibility conditions displayed in the above compatibility condition specification window,
8. The image extracting device according to claim 7.
請求項1から8のうち,いずれか一項に記載の画像抽出装置。 Among the plurality of similar image groups, the images included in one similar image group and the images included in the other similar image groups are dissimilar in judgment based on the similarity judgment condition accepted by the similarity judgment condition specifying means. be,
9. The image extracting device according to any one of claims 1-8.
上記類似判断条件指定手段は,
上記類似判断条件入力ウインドウにおいて入力された類似判断条件の指定を受け付ける,
請求項1から9のうち,いずれか一項に記載の画像抽出装置。 further comprising a similarity judgment condition input window display control means for displaying a similarity judgment condition input window for inputting a similarity judgment condition on the display screen of the display device;
The similarity judgment condition specifying means is
accepting the designation of the similarity judgment condition input in the similarity judgment condition input window;
10. The image extraction device according to any one of claims 1-9.
上記適合条件受付手段は,
上記適合条件入力ウインドウにおいて入力された適合条件の入力を受け付ける,
をさらに備えた請求項7に記載の画像抽出装置。 further comprising matching condition input window display control means for displaying a matching condition input window for inputting matching conditions on the display screen of the display device;
The matching condition receiving means is
accepts the input of the compatibility condition entered in the above compatibility condition input window,
8. The image extraction device of claim 7, further comprising:
上記類似画像群指定手段によって指定された類似画像群に含まれる画像について,上記適合条件受付手段によって受け付けられた適合条件の適合度を算出する適合度算出手段,および
上記適合度算出手段によって算出された適合度のうち,もっとも高い適合度をもつ画像を,上記画像抽出手段によって抽出する推奨画像として報知する推奨画像報知手段,
をさらに備えた請求項7または11に記載の画像抽出装置。 Similar image group specifying means for specifying one similar image group out of the one or more similar image groups determined by the similar image group determining means;
compatibility calculating means for calculating the compatibility of the matching condition received by the matching condition receiving means for images included in the similar image group specified by the similar image group specifying means; recommended image notifying means for announcing the image with the highest degree of conformity among the degrees of conformity obtained as the recommended image to be extracted by the image extracting means;
12. The image extraction device according to claim 7 or 11, further comprising:
上記類似判断条件指定手段は,
上記類似判断条件追加手段によって追加された類似判断条件の指定を可能とする、
請求項1から12のうち,いずれか一項に記載の画像抽出装置。 A similarity judgment condition adding means for adding a similarity judgment condition is further provided,
The similarity judgment condition specifying means is
enabling specification of similarity judgment conditions added by the similarity judgment condition adding means;
Image extraction device according to any one of claims 1 to 12.
上記類似判断条件指定手段は,
上記類似判断条件指定ウインドウ内に形成されているチェック・ボックスが指定されたことにより類似画像判断条件の指定を受け付ける,
請求項6に記載の画像抽出装置。 Check boxes corresponding to the similarity judgment conditions are formed in the similarity judgment condition specification window,
The similarity judgment condition specifying means is
Receiving designation of a similar image judgment condition by designating a check box formed in the similarity judgment condition designation window;
7. The image extracting device according to claim 6.
上記類似判断条件指定手段は,
上記類似判断条件作成手段によって作成された類似判断条件の指定を受け付ける,
請求項1から14のうち,いずれか一項に記載の画像抽出装置。 Further comprising a similarity judgment condition creating means for receiving a similarity judgment condition created by the user in natural language and creating the similarity judgment condition by morphological analysis,
The similarity judgment condition specifying means is
Receiving designation of the similarity judgment condition created by the similarity judgment condition creation means;
15. Apparatus according to any one of claims 1-14 .
類似画像群決定手段が、選択に応じて、上記類似判断条件指定手段において指定された2以上の類似判断条件のすべてを満たす画像を類似する画像と判断して互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する、または上記類似判断条件指定手段において指定された2以上の類似判断条件のうち、いずれかの条件を満たす画像を類似する画像と判断して1または複数の類似画像群と決定し、
画像抽出手段が、上記類似画像群決定手段によって決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出する画像抽出方法であって,
上記複数の類似判断条件は,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物が一致している画像を類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情の一致度がしきい値以上と判断されるときに類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの,画像全体に対する割合が一定の範囲内のときに類似と判断する類似判断条件,および
対比する2つの画像が縦画像と横画像であっても2つの画像のマッチング度がしきい値以上であれば類似と判断する類似判断条件,
のうち,少なくとも1つを含み,
上記類似画像群決定手段は,
互いの画像のマッチング度がしきい値以上の画像について,
ユーザが作成した類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する,
画像抽出方法。 A similarity determination condition designating means designates two or more similarity determination conditions out of a plurality of similarity determination conditions for determining whether or not two images are similar to each other when any two images out of the plurality of images are compared,
A similar image group determination means determines images that satisfy all of the two or more similarity determination conditions specified by the similarity determination condition specification means as similar images in accordance with the selection, and composes two or more images that are similar to each other. determining one or a plurality of similar image groups to be selected, or determining images satisfying any one of two or more similarity determination conditions specified by the similarity determination condition designating means as similar images; Determined as a group of similar images,
An image extracting method, wherein the image extracting means extracts at least one image from each of the one or more similar image groups determined by the similar image group determining means,
The above multiple similarity judgment conditions are
A similarity judgment condition for judging that an image is similar if the degree of matching between the two images to be compared is equal to or greater than a threshold value and if the persons included in the two images match,
A similarity judgment condition for judging similarity when the degree of matching between two images to be compared is equal to or greater than a threshold and the degree of coincidence of facial expressions of persons included in the two images is judged to be equal to or greater than a threshold;
Similarity judged to be similar when the degree of matching between the two images to be compared is greater than or equal to the threshold and the ratio of the size of the human subject included in the two images to the entire image is within a certain range. judgment conditions, and similarity judgment conditions for judging similarity if the degree of matching between the two images is equal to or greater than a threshold even if the two images to be compared are vertical and horizontal images;
including at least one of
The similar image group determination means includes:
For images whose degree of matching between the images is equal to or greater than the threshold,
Determine one or more similar image groups composed of two or more images that are similar to each other according to similarity judgment conditions created by the user;
Image extraction method.
複数の画像のうち任意の2つの画像を対比するときに互いに類似するか否かを判断させる複数の類似判断条件のうち、2以上の類似判断条件を指定させ、
選択に応じて、上記指定された2以上の類似判断条件のすべてを満たす画像を類似する画像と判断して互いに類似する2以上の画像から構成される1または複数の類似画像群を決定させ、または上記指定された2以上の類似判断条件のうち、いずれかの条件を満たす画像を類似する画像と判断して1または複数の類似画像群と決定させ、
決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出させるように,画像抽出装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
上記複数の類似判断条件は,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物が一致している画像を類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情の一致度がしきい値以上と判断されるときに類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの,画像全体に対する割合が一定の範囲内のときに類似と判断する類似判断条件,および
対比する2つの画像が縦画像と横画像であっても2つの画像のマッチング度がしきい値以上であれば類似と判断する類似判断条件,
のうち,少なくとも1つを含み,
上記類似画像群の決定は,
互いの画像のマッチング度がしきい値以上の画像について,
ユーザが作成した類似判断条件にしたがって,互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する,
コンピュータが読み取り可能なプログラム。 In the computer readable program for controlling the computer of the image extraction device,
designating two or more similarity judgment conditions out of a plurality of similarity judgment conditions for judging whether or not any two images out of the plurality of images are similar to each other when comparing them;
judging images that satisfy all of the two or more specified similarity judgment conditions as similar images according to the selection, and determining one or a plurality of similar image groups composed of two or more images that are similar to each other; or judging an image that satisfies any one of the two or more specified similarity judgment conditions as a similar image and determining it as one or a plurality of similar image groups,
A computer-readable program for controlling a computer of an image extraction device to extract at least one image from each of the determined one or more similar image groups,
The above multiple similarity judgment conditions are
A similarity judgment condition for judging that an image is similar if the degree of matching between the two images to be compared is equal to or greater than a threshold value and if the persons included in the two images match,
A similarity judgment condition for judging similarity when the degree of matching between two images to be compared is equal to or greater than a threshold and the degree of coincidence of facial expressions of persons included in the two images is judged to be equal to or greater than a threshold;
Similarity judged to be similar when the degree of matching between the two images to be compared is greater than or equal to the threshold and the ratio of the size of the human subject included in the two images to the entire image is within a certain range. judgment conditions, and similarity judgment conditions for judging similarity if the degree of matching between the two images is equal to or greater than a threshold even if the two images to be compared are vertical and horizontal images;
including at least one of
The determination of the above similar image group is
For images whose degree of matching between the images is equal to or greater than the threshold,
Determine one or more similar image groups composed of two or more images that are similar to each other according to similarity judgment conditions created by the user;
A computer-readable program.
選択に応じて、上記類似判断条件指定手段において指定された2以上の類似判断条件のすべてを満たす画像を類似する画像と判断して互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する、または上記類似判断条件指定手段において指定された2以上の類似判断条件のうち、いずれかの条件を満たす画像を類似する画像と判断して1または複数の類似画像群と決定する類似画像群決定手段,
上記類似画像群決定手段によって決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出する画像抽出手段,ならびに
ユーザが作成した類似判断条件を自然言語で受け付け、形態素解析により類似判断条件を作成する類似判断条件作成手段を備えた画像抽出装置であって,
上記複数の類似判断条件は,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物が一致している画像を類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情の一致度がしきい値以上と判断されるときに類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの,画像全体に対する割合が一定の範囲内のときに類似と判断する類似判断条件,および
対比する2つの画像が縦画像と横画像であっても2つの画像のマッチング度がしきい値以上であれば類似と判断する類似判断条件,
のうち,少なくとも1つを含み,
上記類似判断条件指定手段は,
上記類似判断条件作成手段によって作成された類似判断条件の指定を受け付ける,
画像抽出装置。 Similarity judgment condition designating means for designating two or more similarity judgment conditions out of a plurality of similarity judgment conditions for judging whether or not any two images out of a plurality of images are similar to each other when comparing them;
According to the selection, an image that satisfies all of the two or more similarity judgment conditions specified by the similarity judgment condition specifying means is judged to be a similar image, and one or more similar images composed of two or more mutually similar images are judged to be similar images. Determining an image group, or judging images satisfying any one of two or more similarity judgment conditions specified by the similarity judgment condition designating means as similar images to determine one or a plurality of similar image groups. Similar image group determination means for
image extracting means for extracting at least one image from each of the one or more similar image groups determined by the similar image group determining means; and
An image extracting device comprising similarity judgment condition creation means for accepting a similarity judgment condition created by a user in natural language and creating the similarity judgment condition by morphological analysis ,
The above multiple similarity judgment conditions are
A similarity judgment condition for judging that an image is similar if the degree of matching between the two images to be compared is equal to or greater than a threshold value and if the persons included in the two images match,
A similarity judgment condition for judging similarity when the degree of matching between two images to be compared is equal to or greater than a threshold and the degree of coincidence of facial expressions of persons included in the two images is judged to be equal to or greater than a threshold;
Similarity judged to be similar when the degree of matching between the two images to be compared is greater than or equal to the threshold and the ratio of the size of the human subject included in the two images to the entire image is within a certain range. judgment conditions, and similarity judgment conditions for judging similarity if the degree of matching between the two images is equal to or greater than a threshold even if the two images to be compared are vertical and horizontal images;
including at least one of
The similarity judgment condition specifying means is
Receiving designation of the similarity judgment condition created by the similarity judgment condition creation means;
Image extractor.
類似画像群決定手段が、選択に応じて、上記類似判断条件指定手段において指定された2以上の類似判断条件のすべてを満たす画像を類似する画像と判断して互いに類似する2以上の画像から構成される1または複数の類似画像群を決定する、または上記類似判断条件指定手段において指定された2以上の類似判断条件のうち、いずれかの条件を満たす画像を類似する画像と判断して1または複数の類似画像群と決定し、
画像抽出手段が、上記類似画像群決定手段によって決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出し,
類似判断条件作成手段が,ユーザが作成した類似判断条件を自然言語で受け付け,形態素解析により類似判断条件を作成する画像抽出方法であって,
上記複数の類似判断条件は,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物が一致している画像を類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情の一致度がしきい値以上と判断されるときに類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの,画像全体に対する割合が一定の範囲内のときに類似と判断する類似判断条件,および
対比する2つの画像が縦画像と横画像であっても2つの画像のマッチング度がしきい値以上であれば類似と判断する類似判断条件,
のうち,少なくとも1つを含み,
上記類似判断条件指定手段は,
上記類似判断条件作成手段によって作成された類似判断条件の指定を受け付ける,
画像抽出方法。 A similarity determination condition designating means designates two or more similarity determination conditions out of a plurality of similarity determination conditions for determining whether or not two images are similar to each other when any two images out of the plurality of images are compared,
A similar image group determination means determines images that satisfy all of the two or more similarity determination conditions specified by the similarity determination condition specification means as similar images in accordance with the selection, and composes two or more images that are similar to each other. determining one or a plurality of similar image groups to be selected, or determining images satisfying any one of two or more similarity determination conditions specified by the similarity determination condition designating means as similar images; Determined as a group of similar images,
an image extracting means for extracting at least one image from each of the one or more similar image groups determined by the similar image group determining means;
An image extraction method in which a similarity judgment condition creating means accepts a similarity judgment condition created by a user in a natural language and creates the similarity judgment condition by morphological analysis ,
The above multiple similarity judgment conditions are
A similarity judgment condition for judging that an image is similar if the degree of matching between the two images to be compared is equal to or greater than a threshold value and if the persons included in the two images match,
A similarity judgment condition for judging similarity when the degree of matching between two images to be compared is equal to or greater than a threshold and the degree of coincidence of facial expressions of persons included in the two images is judged to be equal to or greater than a threshold;
Similarity judged to be similar when the degree of matching between the two images to be compared is greater than or equal to the threshold and the ratio of the size of the human subject included in the two images to the entire image is within a certain range. judgment conditions, and similarity judgment conditions for judging similarity if the degree of matching between the two images is equal to or greater than a threshold even if the two images to be compared are vertical and horizontal images;
including at least one of
The similarity judgment condition specifying means is
Receiving designation of the similarity judgment condition created by the similarity judgment condition creation means;
Image extraction method.
複数の画像のうち任意の2つの画像を対比するときに互いに類似するか否かを判断させる複数の類似判断条件のうち、2以上の類似判断条件を指定させ、
選択に応じて、上記指定された2以上の類似判断条件のすべてを満たす画像を類似する画像と判断して互いに類似する2以上の画像から構成される1または複数の類似画像群を決定させ、または上記指定された2以上の類似判断条件のうち、いずれかの条件を満たす画像を類似する画像と判断して1または複数の類似画像群と決定させ、
決定された1または複数の類似画像群のそれぞれの類似画像群のうち,少なくとも1つの画像を抽出させ,
ユーザが作成した類似判断条件を自然言語で受け付け,形態素解析により類似判断条件を作成させるように,画像抽出装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
上記複数の類似判断条件は,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物が一致している画像を類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の表情の一致度がしきい値以上と判断されるときに類似と判断する類似判断条件,
対比する2つの画像のマッチング度がしきい値以上であり,かつ2つの画像に含まれている人物の被写体の大きさの,画像全体に対する割合が一定の範囲内のときに類似と判断する類似判断条件,および
対比する2つの画像が縦画像と横画像であっても2つの画像のマッチング度がしきい値以上であれば類似と判断する類似判断条件,
のうち,少なくとも1つを含み,
上記類似判断条件の指定は,上記形態素解析により作成された類似判断条件の指定を受け付けさせる,
コンピュータが読み取り可能なプログラム。 In the computer readable program for controlling the computer of the image extraction device,
designating two or more similarity judgment conditions out of a plurality of similarity judgment conditions for judging whether or not any two images out of the plurality of images are similar to each other when comparing them;
judging images that satisfy all of the two or more specified similarity judgment conditions as similar images according to the selection, and determining one or a plurality of similar image groups composed of two or more images that are similar to each other; or judging an image that satisfies any one of the two or more specified similarity judgment conditions as a similar image and determining it as one or a plurality of similar image groups,
extracting at least one image from each similar image group of the determined one or more similar image groups ;
A computer-readable program for controlling a computer of an image extraction device to receive similarity judgment conditions created by a user in natural language and to create similarity judgment conditions by morphological analysis ,
The above multiple similarity judgment conditions are
A similarity judgment condition for judging that an image is similar if the degree of matching between the two images to be compared is equal to or greater than a threshold value and if the persons included in the two images match,
A similarity judgment condition for judging similarity when the degree of matching between two images to be compared is equal to or greater than a threshold and the degree of coincidence of facial expressions of persons included in the two images is judged to be equal to or greater than a threshold;
Similarity judged to be similar when the degree of matching between the two images to be compared is greater than or equal to the threshold and the ratio of the size of the human subject included in the two images to the entire image is within a certain range. judgment conditions, and similarity judgment conditions for judging similarity if the degree of matching between the two images is equal to or greater than a threshold even if the two images to be compared are vertical and horizontal images;
including at least one of
The specification of the similarity judgment condition accepts the specification of the similarity judgment condition created by the morphological analysis.
A computer-readable program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021046849A JP7203877B2 (en) | 2021-03-22 | 2021-03-22 | Image extraction device, image extraction method, image extraction program, and recording medium storing the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021046849A JP7203877B2 (en) | 2021-03-22 | 2021-03-22 | Image extraction device, image extraction method, image extraction program, and recording medium storing the program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017192326A Division JP6857586B2 (en) | 2017-10-02 | 2017-10-02 | An image extraction device, an image extraction method, an image extraction program, and a recording medium in which the program is stored. |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021093226A JP2021093226A (en) | 2021-06-17 |
JP7203877B2 true JP7203877B2 (en) | 2023-01-13 |
Family
ID=76312615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021046849A Active JP7203877B2 (en) | 2021-03-22 | 2021-03-22 | Image extraction device, image extraction method, image extraction program, and recording medium storing the program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7203877B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003037798A (en) | 2001-07-26 | 2003-02-07 | Fuji Color Service Co Ltd | Photographing application method, photographing application program and photo print generating method |
JP2003281540A (en) | 2002-03-19 | 2003-10-03 | Fuji Xerox Co Ltd | Image processor, image processing method, image processing program, and computer-readable recording medium recording image processing program |
US20030210808A1 (en) | 2002-05-10 | 2003-11-13 | Eastman Kodak Company | Method and apparatus for organizing and retrieving images containing human faces |
JP2005141584A (en) | 2003-11-07 | 2005-06-02 | Omron Corp | Image deletion device and image compression device |
JP2005275979A (en) | 2004-03-25 | 2005-10-06 | Fuji Photo Film Co Ltd | Image retrieving program |
JP2007097090A (en) | 2005-09-30 | 2007-04-12 | Fujifilm Corp | Image display apparatus, method and program, and photo print order accepting device |
JP2010072749A (en) | 2008-09-16 | 2010-04-02 | Olympus Imaging Corp | Image search device, digital camera, image search method, and image search program |
-
2021
- 2021-03-22 JP JP2021046849A patent/JP7203877B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003037798A (en) | 2001-07-26 | 2003-02-07 | Fuji Color Service Co Ltd | Photographing application method, photographing application program and photo print generating method |
JP2003281540A (en) | 2002-03-19 | 2003-10-03 | Fuji Xerox Co Ltd | Image processor, image processing method, image processing program, and computer-readable recording medium recording image processing program |
US20030210808A1 (en) | 2002-05-10 | 2003-11-13 | Eastman Kodak Company | Method and apparatus for organizing and retrieving images containing human faces |
JP2005141584A (en) | 2003-11-07 | 2005-06-02 | Omron Corp | Image deletion device and image compression device |
JP2005275979A (en) | 2004-03-25 | 2005-10-06 | Fuji Photo Film Co Ltd | Image retrieving program |
JP2007097090A (en) | 2005-09-30 | 2007-04-12 | Fujifilm Corp | Image display apparatus, method and program, and photo print order accepting device |
JP2010072749A (en) | 2008-09-16 | 2010-04-02 | Olympus Imaging Corp | Image search device, digital camera, image search method, and image search program |
Also Published As
Publication number | Publication date |
---|---|
JP2021093226A (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810454B2 (en) | Apparatus, method and program for image search | |
CN102855906B (en) | Image processing equipment and image processing method | |
US11587301B2 (en) | Image processing device, image processing method, and image processing system | |
CN109598748B (en) | Image extraction device, image extraction method, image extraction program, and recording medium storing the program | |
JP2022159514A (en) | Image processing apparatus, image processing method, image processing program and recording medium storing program thereof | |
JP2008015854A (en) | Image processor and image processing program | |
US20210407161A1 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP7053423B2 (en) | Image processing device, image processing method and image processing program | |
JP7377325B2 (en) | Image processing device, image processing method, and image processing program | |
JP2020140557A (en) | Image processing device, control method, and program | |
KR102244974B1 (en) | Server for providing electronic document and methods thereof | |
US12029987B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium storing image processing program | |
JP2020140555A (en) | Image processing device, control method, and program | |
Song et al. | Photo squarization by deep multi-operator retargeting | |
JP2019212202A (en) | Image processing apparatus, image processing method, image processing program, and recording medium storing that program | |
JP7203877B2 (en) | Image extraction device, image extraction method, image extraction program, and recording medium storing the program | |
CN110235174B (en) | Image evaluation device, image evaluation method, and recording medium | |
JP2004289706A (en) | Image processing method, image processing apparatus and program | |
JP7188478B2 (en) | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM | |
KR102302607B1 (en) | Server for providing electronic document and methods thereof | |
WO2024062912A1 (en) | Display control device, method for operating display control device, and program for operating display control device | |
US11240384B2 (en) | Information processing apparatus, method for information processing, and storage medium | |
JP2024050628A (en) | Image discrimination device, image discrimination method, image discrimination device program, and recording medium storing the program | |
KR20220124586A (en) | Method for auto-labeling images for training artificial intelligence models | |
JP2020140556A (en) | Image processing device, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210322 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7203877 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |