WO2016199662A1 - 画像情報処理システム - Google Patents

画像情報処理システム Download PDF

Info

Publication number
WO2016199662A1
WO2016199662A1 PCT/JP2016/066355 JP2016066355W WO2016199662A1 WO 2016199662 A1 WO2016199662 A1 WO 2016199662A1 JP 2016066355 W JP2016066355 W JP 2016066355W WO 2016199662 A1 WO2016199662 A1 WO 2016199662A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
search
information
user
Prior art date
Application number
PCT/JP2016/066355
Other languages
English (en)
French (fr)
Inventor
若林　和芳
Original Assignee
株式会社ウイル・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ウイル・コーポレーション filed Critical 株式会社ウイル・コーポレーション
Priority to CN201680033786.4A priority Critical patent/CN107636653A/zh
Priority to US15/575,092 priority patent/US20180157682A1/en
Priority to EP16807369.0A priority patent/EP3309694A4/en
Publication of WO2016199662A1 publication Critical patent/WO2016199662A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor

Definitions

  • the present invention relates to an image information processing system that retrieves the name and description of an object to be imaged on image data and provides it to a user.
  • the image search method and apparatus disclosed in Patent Document 1 can obtain information on an object from a captured image obtained by photographing an unknown object.
  • a subject name candidate is obtained by comparing a binarized image of a captured image of a subject with a binarized image for each item stored in the image database. Search from.
  • the captured image and the image can be captured even if the same subject is captured due to a difference in shooting conditions such as a difference in the season and time zone when the image was captured. Even if the images stored in the database are compared, there is a big difference in the search results. In order to take such differences into account, the ambiguity is increased in the similarity calculated from the comparison result to make it easy to obtain the search result, but the search accuracy is lowered.
  • the present invention is to provide an image information processing system.
  • the image information processing system of the present invention made to solve the above-described problems stores identification information including the name of the verification target object in association with the verification image data obtained by imaging the verification target object.
  • An image database an image acquisition unit that acquires image data, a search target input reception unit that receives selection of a search target from the image data acquired by the image acquisition unit, and a search target that is received by the search target input reception unit And image search processing for searching for image data for collation in which the object to be collated in which the similarity exceeds a reference value is calculated.
  • a display processing unit for displaying a search result including the search image data for comparison and the identification information on the display unit of the user information communication terminal, and a display unit of the user information communication terminal.
  • the selection input from the user for the indicated search result is received, and the image data acquired by the image acquisition unit is used as collation image data in association with the identification information of the search result received from the user.
  • a search result processing unit stored in the image database.
  • the search result processing unit uses, as collation image data, image data obtained by capturing a search object whose similarity exceeds a predetermined value set higher than the reference value.
  • the selection input from the user is received and stored in the image database in association with the identification information of the search result.
  • the image database includes attribute information including type information, shooting position information, and shooting time information corresponding to the matching image data obtained by capturing the matching object.
  • the search target input receiving unit receives input of the attribute information corresponding to the search target
  • the image search processing unit receives the input of the search target input receiving unit.
  • a matching image in which a matching degree between the attribute information corresponding to the object and the attribute information corresponding to the matching image data is calculated, and a matching target object whose matching degree exceeds the attribute reference value is captured.
  • Data is extracted, and the similarity between the search object received by the search object input receiving unit and the imaged object for verification of the extracted image data for verification is calculated, and the similarity exceeds the reference value.
  • Use object to be imaged is characterized by searching the image data for the verification imaged. With this configuration, the image data for matching with matching attribute information is extracted and the similarity is calculated, so that the search processing speed can be improved.
  • the image information processing system of the present invention can search the name of the object to be picked using the picked-up image with high search accuracy without knowing the name of the object to be picked up from the picked-up image taken by the user, for example.
  • FIG. 3 is a flowchart illustrating a processing process of the image information processing system according to the first embodiment.
  • 10 is a flowchart illustrating a processing process of the image information processing system according to the second embodiment.
  • 12 is a flowchart illustrating a processing process of the image information processing system according to the third embodiment. It is a figure which shows another example of the state as which the search result of this embodiment was displayed.
  • the image information processing system 1 of the present embodiment is realized using a computer including a server and the like.
  • the image information processing system 1 includes a computing device 30 such as a CPU that executes arithmetic processing of a program, a storage device 31 such as a RAM and a hard disk that stores information, and a display.
  • a display device 32 such as a display, an input device 33 such as a mouse, a keyboard, and a touch panel, and a communication device 34 that transmits and receives processing results of the arithmetic device 30 and information stored in the storage device 31 between computers. And have.
  • the means in the present invention are only logically distinguished from each other in function, and may be physically or virtually the same area.
  • these functions may be realized by one server, or each function may be distributed to two or more servers.
  • part or all of the functions of the present invention may be performed by the information communication terminal 20 such as a smartphone having a camera function used by the user.
  • the information communication terminal 20 may perform processing such as an image acquisition unit 12, a search target input reception unit 13, a display processing unit 15, and the like, which will be described later. Thereby, the processing load of the management server 10 can be reduced.
  • the management server 10 having each function of the image information processing system 1 can transmit and receive information via an information communication terminal 20 used by an administrator used by a user and a network such as the Internet.
  • the information communication terminal 20 includes, for example, a portable computer such as a personal computer, a mobile phone, a PHS, and a tablet computer in addition to a smartphone having a camera function.
  • the image information processing system 1 includes an image database 11, an image acquisition unit 12, a search target input reception unit 13, an image search processing unit 14, a display processing unit 15, and a search result processing unit 16.
  • the image database 11 stores identification information 100a including the name of the verification target image in association with the verification image data 100 obtained by capturing the verification target image as shown in FIG.
  • the verification image data 100 includes an image file of a natural landscape such as a flower, a bird, an animal and plant such as an insect, a bridge, a tower, a mountain, and a mountain. It consists of an image ID assigned to each image file.
  • the image database 11 stores attribute information 100b including type information, shooting position information, and shooting time information corresponding to the matching image data 100 obtained by shooting the matching target object in association with the identification information 100a. Also good.
  • the image acquisition unit 12 acquires the image data 2 from the information communication terminal 20 used by the user.
  • the file format of the image data 2 is not particularly limited.
  • the information communication terminal 20 is a smartphone having a camera function
  • the image data 2 captured by the user with the camera may be used.
  • the search target input receiving unit 13 receives selection of the search target 2a from the image data 2 acquired by the image acquisition unit 12.
  • the image data 2 is displayed on the display unit 21 including a liquid crystal display or the like of the information communication terminal 20, and the user searches the object to be imaged of the image data 2 by the user.
  • the user by means of tapping the object 2a, means for moving the selection window 3 as shown in FIG. 5 and surrounding the search object 2a, or a so-called in-camera provided on the display unit 21 side of the information communication terminal 20 Means for reading line-of-sight information directed to the search object 2a.
  • the search target input receiving unit 13 cuts out the portion of the received search target 2a, enlarges, rotates, and moves it, thereby easily calculating the similarity with the matching image data 100 stored in the image database 11.
  • the image data 2 may be converted so that
  • the search target input receiving unit 13 may receive input of attribute information corresponding to the search target 2a.
  • the attribute information corresponding to the search object 2a includes type information, shooting position information, shooting time information, and the like. Examples of the type information include “flowers”, “birds”, “insects”, “buildings”, “natural scenery”, and the like.
  • the shooting position information is information on a shooting location, and for example, the shooting position information may be acquired from a GPS device provided in the information communication terminal 20.
  • the shooting time information includes not only time information but also date information.
  • the image search processing unit 14 calculates the similarity between the search target 2a received by the search target input receiving unit 13 and the object to be verified of the verification image data 100 stored in the image database 11, and the similarity
  • the image data 100 for collation in which the object to be collated for which the reference value exceeds the reference value is retrieved.
  • a method for calculating the degree of similarity calculation is performed using a contour shape, a binarized image, a color distribution, and the like extracted by a known image processing technique.
  • the degree of similarity is calculated by setting 100% as the case where the search object 2a completely matches the object to be verified.
  • the image search processing unit 14 calculates the degree of coincidence between the attribute information corresponding to the search object 2 that the search target input receiving unit 13 has received and the attribute information 100b corresponding to the matching image data 100,
  • the image data 100 for comparison in which the object to be verified whose degree exceeds the attribute reference value is imaged is extracted, and for the comparison between the search object 2a received by the search object input receiving unit 13 and the extracted image data 100 for comparison
  • the degree of similarity with the object to be imaged is calculated, and the image data for matching 100 in which the object to be imaged for matching whose similarity exceeds the reference value is imaged is searched.
  • an attribute reference value may be set for each attribute information.
  • the attribute reference value of the type information may be perfectly matched.
  • the display processing unit 15 causes the display unit 21 of the information communication terminal 20 to display the searched image data for matching 100 and the identification information 100a as a search result 110.
  • the display processing unit 15 can display the search results 110 side by side in order from the highest similarity to the lowest. Furthermore, as shown in FIG. 6, the display processing unit 15 displays the search result 110 having a high similarity by visually recognizing the search result 110 by changing the display size of the search result 110 according to the similarity. Become.
  • the display processing unit 15 When the display processing unit 15 receives a selection input for the search result 200 displayed on the display unit 21 of the information communication terminal 20 from the user, as shown in FIG. 7, the verification imaging object and the verification imaging object Is displayed on the display unit 21 of the information communication terminal 20. Further, when receiving an input from the user to the registration button 111 displayed on the screen 110a, the display processing unit 15 determines whether to register the image data 2 displayed on the display unit 21 of the information communication terminal 20 illustrated in FIG. A screen that prompts you to enter a selection is displayed.
  • the search result processing unit 16 receives a selection input from the user for a screen that prompts a selection input as to whether or not to register the image data 2 displayed on the display unit 21 of the information communication terminal 20, and the image acquisition unit 12 acquires
  • the image data 2 is stored in the image database 11 as the verification image data 100 in association with the identification information 100a of the search result 110 that has received a selection input from the user.
  • the image data 2 is assigned an image ID for distinguishing the verification image data 100, and stored in the image database 11 in association with the identification ID of the identification information 100a.
  • the search result processing unit 16 limits the search object 2a whose similarity is higher than a reference value and exceeds a predetermined value to the captured image data 2, and selects the image data for verification 100 from the user.
  • the input may be stored in the image database 11 in association with the identification information 100a of the search result 110.
  • an unknown flower planted in a park or the like for example, is photographed using a smartphone camera having a camera function which is the information communication terminal 20 (S101), and the image data of “flowers” captured.
  • the process of displaying the identification information including the name of the flower from 2 will be described.
  • the image acquisition unit 12 acquires the image data 2 of “flower” captured by the information communication terminal 20 used by the user (S102). Note that the image data 2 may not be image data captured by the information communication terminal 20 used by the user, but may be image data 2 obtained via the Internet or the like.
  • the search target input receiving unit 13 receives the selection of the search target 2a from the image data 2 displayed on the display unit 21 of the information communication terminal 20 (S103). Then, the search target input receiving unit 13 cuts out the portion of the received search target 2a, enlarges, rotates, and moves it, thereby easily calculating the similarity with the matching image data 100 stored in the image database 11.
  • the image data 2 is converted so that
  • the method for accepting selection of the search target 2a is not particularly limited. For example, by tapping the search target 2a or moving the selection window 3 so as to surround the search target 2a as shown in FIG. The selection of the object 2a is accepted.
  • the image search processing unit 14 calculates the similarity between the search target 2a received by the search target input receiving unit 13 and the object to be checked stored in the image database 11 (S104).
  • a method for calculating the degree of similarity calculation is performed using a contour shape, a binarized image, a color distribution, or the like extracted by a known image processing technique.
  • the degree of similarity calculated in this way can be displayed as a numerical value, and the case where the search object 2a completely matches the object to be verified is 100%.
  • the image retrieval processing unit 14 retrieves the collation image data 100 in which the collation target object whose similarity exceeds the reference value is captured (S105).
  • the reference value can be changed as appropriate. For example, 80% may be set as the reference value.
  • the display processing unit 15 displays the search result 110 including the matching image data 100 and the identification information 100a on the display unit 21 of the information communication terminal 20 (S106).
  • the search results 110 are displayed side by side, for example, in the order from the search result 110 having a high similarity calculated by the image search processing unit 14 to the search result 110 having a low similarity. Further, the display processing unit 15 may display the search result 110 having a high similarity calculated as shown in FIG. 6 so as to have the largest display size.
  • the display processing unit 15 accepts a selection input to the search result 110 from the user, and performs information communication on the screen 110a configured by the verification object and the identification information 100a for the verification object illustrated in FIG. It is also possible to display on the display unit 21 of the terminal 20.
  • the display processing unit 15 When receiving the input of the registration button 111 shown in FIG. 7, the display processing unit 15 receives a selection input from the user for the search result 110 displayed on the display unit 21 of the information communication terminal 20, and the image data 2 shown in FIG. 8. Displays a screen that prompts the user to select whether or not to register.
  • the search result processing unit 16 displays the image acquired by the image acquisition unit 12.
  • Data 2 is stored in the image database 11 in association with the identification information 100a of the search result 110 that has received a selection input from the user as the verification image data 100 (S108).
  • the image data 2 is assigned an image ID for distinguishing the verification image data 100, and stored in the image database 11 in association with the identification ID of the identification information 100a.
  • the image data 2 is sequentially accumulated as the matching image data 100, and the accuracy of the calculated similarity is improved, so that the search accuracy can be improved, and a more accurate search result can be achieved. 110 can be provided.
  • the search result processing unit 16 When a Yes button is input on the screen for prompting selection of whether or not to register the image data 2 shown in FIG. 8, the search result processing unit 16 has exceeded the predetermined value set higher than the reference value. It is determined whether or not (S201). When the search result processing unit 16 determines that the similarity exceeds a predetermined value set higher than the reference value, the search result processing unit 16 selects and inputs the image data 2 of the search target object 2a as the matching image data 100 from the user. Is stored in the image database 11 in association with the identification information 100a of the search result 110 (S108).
  • the search accuracy can be further improved.
  • the search object 2a and all the imaged objects for comparison stored in the image database 11 are calculated, and when the calculated similarity exceeds a reference value, the similarity is high.
  • the search result 110 is displayed on the display unit 21 of the information communication terminal 20 used by the user.
  • an increase in the number of pieces of collation image data 100 causes a delay in processing speed in the similarity calculation process by the image search processing unit 14 and the management server 10 that executes the similarity calculation process.
  • the load will increase.
  • a case where the number of matching image data 100 for calculating the similarity is limited will be described with reference to a flowchart shown in FIG.
  • symbol is attached
  • the search target input receiving unit 13 receives not only the input of the search target 2a but also the input of attribute information corresponding to the search target 2a (S301). Since the search object 2a of this embodiment is “flower”, the type information accepts the selection of “flower”. In addition, input of shooting position information and shooting time information of the search object 2a may be accepted.
  • the shooting position information and the shooting time information are acquired from a GPS device and a date device provided in the information communication terminal 20, respectively.
  • the image search processing unit 14 matches the attribute information corresponding to the search target 2a received by the search target input receiving unit 13 with the attribute information 100b corresponding to the object to be checked stored in the image database 11. Is calculated (S302), and the object to be checked for matching whose degree of coincidence exceeds the attribute reference value is extracted (S303). For example, the degree of coincidence is calculated by setting 100% as the case where the attribute information of the search target 2a and the attribute information 100b of the object to be collated completely match.
  • the image search processing unit 14 calculates the similarity between the search target 2a and the extracted verification target object (S104), and the verification target image data of the verification target object whose similarity exceeds the reference value. 100 is searched (S105).
  • the type information of the attribute information corresponding to the search object 2a is “flowers”
  • the type information of the attribute information 100b is limited to the object to be collated set to “flowers”. Since the similarity is calculated, the search range is limited, and the processing speed is improved.
  • the shooting time information of the attribute information corresponding to the search object 2a corresponds to “daytime”
  • the shooting time information of the attribute information 100b is limited to the object to be verified set to “daytime”. Since similarities can be calculated between items having similar conditions, search accuracy can be improved.
  • the display processing unit 15 may cause the search result processing unit 16 to display the identification information 100 a associated with the image data 2 of the search target 2 a in the vicinity of the search target 2 a of the image data 2.
  • the search target input receiving unit 13 cuts out the search target object 2a
  • the search target input receiving unit 13 acquires coordinate position information with respect to the image data 2 of the search target object 2a.
  • the display processing unit 15 displays the identification information 100a associated with the image data 2 of the search target 2a by the search result processing unit 16 at a position that does not overlap with the coordinate position information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ユーザが被撮像物の名称等を知らなくても、当該撮像画像を用いて検索精度良く被撮像物の名称等を検索できる画像情報処理システムを提供する。 【解決手段】照合用被撮像物が撮像された照合用画像データに、その名称を含む識別情報を関連付けて記憶する画像データベース１１と、画像データを取得する画像取得部１２と、画像データから検索対象物の選択を受け付ける検索対象入力受付部１３と、検索対象物と照合用被撮像物との類似度を算出し、類似度が基準値を超えた照合用画像データを検索する画像検索処理部１４と、その検索結果を表示させる表示処理部１５と、検索結果に対するユーザからの選択入力を受け付け、画像取得部１１が取得した画像データを照合用画像データとして、ユーザからの選択入力を受け付けた検索結果の識別情報に関連付けて画像データベース１１に記憶する検索結果処理部１６とを有する。

Description

画像情報処理システム
　本発明は、画像データ上の被撮像物の名称や説明文を検索し、利用者に提供する画像情報処理システムに関する。
　カメラ機能を備えたスマートフォン等の普及により、ユーザが旅先や日常生活等で気になる花や鳥を始め、建造物、山といった自然景観を撮影するケースが増えてきている。
　ユーザが撮影した被撮像物の詳しい情報を調べようとした際、被撮像物の名称さえ知らないことが多く、キーワード検索を行おうとしても、適切なキーワードを入力することが困難なことが多く、ユーザが満足する検索結果を得ることは困難であった。
　そこで、特許文献１に開示されたような画像検索方法および装置では、未知の対象を撮影した撮像画像からその対象に関する情報を得ることができる。当該画像検索方法は、被写体の撮像画像を二値化した画像と、画像データベースに格納されている項目毎の二値化画像との比較等を実施することにより、被写体の名称の候補を画像データベースから検索するものである。
特開平１０－２５４９０１号公報
　しかしながら、撮像画像と比較するために画像データベースに格納された画像が限られて居るため、同じ被写体であっても、撮影された季節や時間帯の違いといった撮影条件の違いにより、撮像画像と画像データベースに格納された画像を比較したとしても、検索結果に大きな違いが生じる。このような違いを考慮するため、比較の結果から算出した類似度にあいまいさを大きくして検索結果を得やすくしているが、検索精度の低下を招く結果となっていた。
　本発明は、上記課題に鑑みて、画像情報処理システムを提供することにある。
　上記課題を解決するためになされた本発明の画像情報処理システムは、照合用被撮像物が撮像された照合用画像データに、前記照合用被撮像物の名称を含む識別情報を関連付けて記憶する画像データベースと、画像データを取得する画像取得部と、前記画像取得部が取得した画像データから検索対象物の選択を受け付ける検索対象入力受付部と、前記検索対象入力受付部が受け付けた検索対象物と、前記画像データベースに記憶された照合用被撮像物との類似度を算出し、前記類似度が基準値を超えた照合用被撮像物が撮像された照合用画像データを検索する画像検索処理部と、検索された前記照合用画像データと前記識別情報とを含む検索結果をユーザ情報通信端末の表示部に表示させる表示処理部と、前記ユーザ情報通信端末の表示部に表示された前記検索結果に対するユーザからの選択入力を受け付け、前記画像取得部が取得した前記画像データを照合用画像データとして、ユーザからの選択入力を受け付けた前記検索結果の前記識別情報に関連付けて前記画像データベースに記憶する検索結果処理部とを有することを特徴とする。
　この構成により、例えばユーザが撮影した撮像画像等から被撮像物の名称等を知らなくても、当該撮像画像を用いて検索精度良く被撮像物の名称等を検索することを可能とする。
　また、本発明の画像情報処理システムは、前記検索結果処理部が、前記類似度が前記基準値より高く設定された所定値を超えた検索対象物が撮像された画像データを照合用画像データとして、ユーザからの選択入力を受け付けた前記検索結果の前記識別情報に関連付けて前記画像データベースに記憶することを特徴とする。
　この構成により、照合用画像データとして画像データベースに記憶される画像データが類似度が高い画像データに限定されるため、画像検索の精度をより向上させることができる。
　また、本発明の画像情報処理システムは、前記画像データベースは、前記照合用被撮像物が撮像された照合用画像データに対応する種類情報、撮影位置情報、及び撮影時間情報を含む属性情報を前記識別情報に関連付け記憶し、前記検索対象入力受付部は、前記検索対象物に対応する前記属性情報の入力を受け付け、前記画像検索処理部は、前記検索対象入力受付部が入力を受け付けた前記検索対象物に対応する前記属性情報と前記照合用画像データに対応する前記属性情報との一致度を算出し、前記一致度が属性基準値を超えた照合用被撮像物が撮像された照合用画像データを抽出し、前記検索対象入力受付部が受け付けた前記検索対象物と抽出した前記照合用画像データの照合用被撮像物との類似度を算出し、類似度が基準値を超えた照合用被撮像物が撮像された前記照合用画像データを検索することを特徴とする。
　この構成により、属性情報が一致した照合用画像データを抽出し、類似度を算出するため、検索処理速度を向上させることができる。
　本発明の画像情報処理システムは、例えばユーザが撮影した撮像画像等から被撮像物の名称等を知らなくても、当該撮像画像を用いて検索精度良く被撮像物の名称等を検索できる。
本実施形態の画像情報処理システムのシステム構成の一例を模式的に示す概念図である。 本実施形態の画像情報処理システムのハードウェア構成の一例を模式的に示す概念図である。 本実施形態の照合用画像情報のレコードの項目の一例を示す図である。 本実施形態の照合用画像データのレコードの項目の一例を示す図である。 本実施形態の検索対象物が選択された状態の一例を示す図である。 本実施形態の検索結果が表示された状態の一例を示す図である。 本実施形態の検索結果が表示された状態の別の一例を示す図である。 本実施形態の画像データを照合用画像データとして登録することを促す画面の一例を示す図である。 本実施形態の画像データを照合用画像データとして登録する処理の説明図である。 実施例１の画像情報処理システムの処理プロセスを示すフローチャートである。 実施例２の画像情報処理システムの処理プロセスを示すフローチャートである。 実施例３の画像情報処理システムの処理プロセスを示すフローチャートである。 本実施形態の検索結果が表示された状態の別の一例を示す図である。
　以下、本実施形態の画像情報処理システムのシステム構成を図１に基づいて説明する。
　本実施形態の画像情報処理システム１は、サーバ等を含むコンピュータを用いて実現される。本実施形態の画像情報処理システム１は、図２に示す通り、コンピュータは、プログラムの演算処理を実行するＣＰＵ等の演算装置３０と、情報を記憶するＲＡＭやハードディスク等の記憶装置３１と、表示を行うディスプレイ等の表示装置３２と、入力を行うマウスや、キーボード、タッチパネル等の入力装置３３と、演算装置３０の処理結果や記憶装置３１に記憶する情報を、コンピュータ間で送受信する通信装置３４とを有している。
　本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。また、本発明の画像情報処理システム１は、これらが一つのサーバでその機能を実現していても良いし、各機能を２台以上のサーバに分散しても良い。また、本発明の機能の一部または全部を、ユーザが利用するカメラ機能を備えたスマートフォンといった情報通信端末２０で行っても良い。特に、後述する画像取得部１２、検索対象入力受付部１３、表示処理部１５等の処理を情報通信端末２０で行っても良い。これによって管理サーバ１０の処理の負荷を減らすことが出来る。
　画像情報処理システム１の各機能を備える管理サーバ１０は、ユーザが利用する管理者の利用する情報通信端末２０と、インターネット等のネットワークを介して情報の送受信が可能である。情報通信端末２０としては、例えばカメラ機能を備えたスマートフォンのほか、パーソナルコンピュータや、携帯電話、ＰＨＳ、及びタブレット型コンピュータ等の可搬型通信端末等を含む。
　画像情報処理システム１は、画像データベース１１と、画像取得部１２と、検索対象入力受付部１３と、画像検索処理部１４と、表示処理部１５と、検索結果処理部１６とを有する。
　画像データベース１１は、図３に示すように照合用被撮像物が撮像された照合用画像データ１００に、照合用被撮像物の名称を含む識別情報１００ａを関連付けて記憶する。照合用画像データ１００は、図４に示すように草花や、鳥や、虫と言った動植物を始め、橋や、塔と言った建造物、さらに山と言った自然景観の画像ファイルと、当該画像ファイル毎に付された画像ＩＤとからなる。また、画像データベース１１は、照合用被撮像物が撮像された照合用画像データ１００に対応する種類情報、撮影位置情報、及び撮影時間情報を含む属性情報１００ｂを識別情報１００ａに関連付けて記憶してもよい。
　画像取得部１２は、ユーザが利用する情報通信端末２０から画像データ２を取得する。画像データ２のファイル形式は特に限定されず、例えば情報通信端末２０がカメラ機能を備えたスマートフォンである場合、ユーザが当該カメラで撮像した画像データ２であってもよい。
　検索対象入力受付部１３は、画像取得部１２が取得した画像データ２の中から検索対象物２ａの選択を受け付ける。検索対象物２ａの選択を受け付ける手段としては、例えば情報通信端末２０の液晶ディスプレイ等からなる表示部２１に画像データ２を表示させ、ユーザが画像データ２の被撮像物の中から、ユーザが検索対象物２ａをタップする手段や、図５に示すように選択ウィンドウ３を移動させ、検索対象物２ａを囲む手段や、情報通信端末２０の表示部２１側に設けられた、いわゆるインカメラによってユーザが検索対象物２ａに向けた視線情報を読み取る手段等が挙げられる。
　そして、検索対象入力受付部１３は、受け付けた検索対象物２ａの部分を切り出し、拡大、回転、移動させることにより、画像データベース１１に記憶された照合用画像データ１００と類似度を算出しやすい構図となるよう画像データ２を変換させてもよい。
　さらに、検索対象入力受付部１３は、検索対象物２ａに対応する属性情報の入力を受け付けてもよい。検索対象物２ａに対応する属性情報は、種類情報、撮影位置情報、及び撮影時間情報等が挙げられる。種類情報としては、「草花」、「鳥」、「昆虫」、「建造物」、「自然景観」等が挙げられる。撮影位置情報としては、撮影した場所の情報であって、例えば情報通信端末２０に設けられたＧＰＳ装置から撮影位置情報を取得してもよい。撮影時間情報としては、時刻情報だけではなく、日付情報も含まれる。
　画像検索処理部１４は、検索対象入力受付部１３が受け付けた検索対象物２ａと、画像データベース１１に記憶された照合用画像データ１００の照合用被撮像物との類似度を算出し、類似度が基準値を超えた照合用被撮像物が撮像された照合用画像データ１００を検索する。ここで、類似度を算出する方法としては、公知の画像処理技術によって抽出される、輪郭形状、二値化画像、色分布等を用いて算出する。類似度は、検索対象物２ａと照合用被撮像物とが完全に一致した場合を１００％として、算出する。
　また、画像検索処理部１４は、検索対象入力受付部１３が入力を受け付けた検索対象物２に対応する属性情報と照合用画像データ１００に対応する属性情報１００ｂとの一致度を算出し、一致度が属性基準値を超えた照合用被撮像物が撮像された照合用画像データ１００を抽出し、検索対象入力受付部１３が受け付けた検索対象物２ａと抽出した照合用画像データ１００の照合用被撮像物との類似度を算出し、類似度が基準値を超えた照合用被撮像物が撮像された照合用画像データ１００を検索する。一致度は、属性情報毎に属性基準値を設定するとよく、例えば種類情報の属性基準値は完全に一致した場合とするとよい。
　表示処理部１５は、検索された照合用画像データ１００と識別情報１００ａとを検索結果１１０を情報通信端末２０の表示部２１に表示させる。表示処理部１５は、検索結果１１０を類似度が高い順から低い順になるように並べて表示させることができる。さらに、表示処理部１５は、図６に示すように類似度に合わせて検索結果１１０の表示サイズを変化させて表示することにより、ユーザが類似度の高い検索結果１１０を視覚的に認識しやすくなる。
　また、表示処理部１５は、ユーザからの情報通信端末２０の表示部２１に表示された検索結果２００に対する選択入力を受け付けると、図７に示すように照合用被撮像物と照合用被撮像物に対応する識別情報１００ａとから構成される画面１１０ａを情報通信端末２０の表示部２１に表示する。さらに、表示処理部１５は、画面１１０ａに表示された登録ボタン１１１に対するユーザからの入力を受け付けると、図８に示す情報通信端末２０の表示部２１に表示された画像データ２を登録するか否かの選択入力を促す画面を表示する。
　検索結果処理部１６は、情報通信端末２０の表示部２１に表示された画像データ２を登録するか否かの選択入力を促す画面に対するユーザからの選択入力を受け付け、画像取得部１２が取得した画像データ２を照合用画像データ１００として、ユーザからの選択入力を受け付けた検索結果１１０の識別情報１００ａに関連付けて画像データベース１１に記憶する。具体的には、図９に示すように画像データ２に照合用画像データ１００を区別するための画像ＩＤを付与すると共に、識別情報１００ａの識別ＩＤに関連付けて、画像データベース１１に記憶する。
　また、検索結果処理部１６は、類似度が基準値より高く設定された所定値を超えた検索対象物２ａが撮像された画像データ２に限定し、照合用画像データ１００として、ユーザからの選択入力を受け付けた検索結果１１０の識別情報１００ａに関連付けて画像データベース１１に記憶してもよい。
　次に、画像情報処理システム１の処理プロセスの一例を図１０のフローチャートを用いて、以下、説明する。
　本実施例１では、情報通信端末２０であるカメラ機能を備えたスマートフォンのカメラを用いて、例えば公園等に植えられている未知の花を撮影し（Ｓ１０１）、撮像した「花」の画像データ２から当該花の名称を含む識別情報を表示する処理について説明する。
　画像取得部１２は、ユーザが利用する情報通信端末２０で撮像した「花」の画像データ２を取得する（Ｓ１０２）。尚、画像データ２は、ユーザが利用する情報通信端末２０で撮像した画像データでなくても、インターネット等を経由して入手した画像データ２であってもよい。
　検索対象入力受付部１３は、情報通信端末２０の表示部２１に表示させた画像データ２から検索対象物２ａの選択を受け付ける（Ｓ１０３）。そして、検索対象入力受付部１３は、受け付けた検索対象物２ａの部分を切り出し、拡大、回転、移動させることにより、画像データベース１１に記憶された照合用画像データ１００と類似度を算出しやすい構図となるよう画像データ２を変換させる。検索対象物２ａの選択を受け付ける方法は特に限定されず、例えば検索対象物２ａをタップすることや、図５に示すように検索対象物２ａを囲むように選択ウィンドウ３を移動することにより、検索対象物２ａの選択を受け付ける。
　画像検索処理部１４は、検索対象入力受付部１３が受け付けた検索対象物２ａに対し、画像データベース１１に記憶された照合用被撮像物との類似度を算出する（Ｓ１０４）。類似度を算出する方法としては、公知の画像処理技術によって抽出される、輪郭形状、二値化画像、色分布等を用いて算出する。このように算出された類似度は数値として表示することができ、検索対象物２ａと照合用被撮像物とが完全に一致した場合を１００％とする。
　そして、画像検索処理部１４は、類似度が基準値を超えた照合用被撮像物が撮像された照合用画像データ１００を検索する（Ｓ１０５）。ここで、基準値は適宜変更可能であるが、例えば８０％を基準値として設定しても良い。
　表示処理部１５は、照合用画像データ１００と識別情報１００ａとを含む検索結果１１０を情報通信端末２０の表示部２１に表示する（Ｓ１０６）。検索結果１１０は、例えば画像検索処理部１４により算出された類似度が高い検索結果１１０から低い検索結果１１０への順番に、並べて表示される。また、表示処理部１５は、図６に示すように算出された類似度が高い検索結果１１０が最も大きな表示サイズになるように表示してもよい。
　さらに、表示処理部１５は、ユーザからの検索結果１１０への選択入力を受け付け、図７に示す照合用被撮像物と照合用被撮像物に対する識別情報１００ａとから構成される画面１１０ａを情報通信端末２０の表示部２１に表示することも可能である。
　表示処理部１５は、図７に示す登録ボタン１１１の入力を受け付けると、情報通信端末２０の表示部２１に表示された検索結果１１０に対するユーザからの選択入力を受け付け、図８に示す画像データ２を登録するか否かの選択入力を促す画面を表示する。
　そして、図８に示す画像データ２を登録するか否かの選択入力を促す画面において、Ｙｅｓボタンが入力されることにより（Ｓ１０７）、検索結果処理部１６は、画像取得部１２が取得した画像データ２を照合用画像データ１００として、ユーザからの選択入力を受け付けた検索結果１１０の識別情報１００ａに関連付けて画像データベース１１に記憶する（Ｓ１０８）。具体的には、図９に示すように画像データ２に照合用画像データ１００を区別するための画像ＩＤを付与すると共に、識別情報１００ａの識別ＩＤに関連付けて、画像データベース１１に記憶する。
　このように、画像データ２が照合用画像データ１００として順次蓄積されていくことになり、算出される類似度の精度が向上するため、検索精度の向上を図ることができ、より正確な検索結果１１０を提供することが可能となる。
　実施例１では、ユーザが撮像した画像データ２を照合用画像データ１００として、画像データベース１１に記憶するかはユーザ各自の判断に委ねられるため、画像データ２が照合用画像データ１００として記憶するのに妥当でない場合がある。そこで、本実施例２では、所定の条件を満たす画像データ２のみを照合用画像データ１００として、画像データベース１１に記憶できる場合について説明する。実施例２の処理プロセスの一例を図１１に示すフローチャートを用いて、説明する。尚、実施例１と同様な処理については、同じ符号を付して、詳細な説明は省略する。
　図８に示す画像データ２を登録するか否かの選択入力を促す画面において、Ｙｅｓボタンが入力されると、検索結果処理部１６は類似度が基準値より高く設定された所定値を超えたか否かを判定する（Ｓ２０１）。そして、検索結果処理部１６は、類似度が基準値より高く設定された所定値を超えたと判定した場合、その検索対象物２ａの画像データ２を照合用画像データ１００として、ユーザからの選択入力を受け付けた検索結果１１０の識別情報１００ａに関連付けて画像データベース１１に記憶する（Ｓ１０８）。
　照合用画像データ１００として、識別情報１００ａに関連付けられるのが類似度の高い画像データ２のみに限定されることによって、検索精度の向上がより図られることになる。
　実施例１、２では、検索対象物２ａと画像データベース１１に記憶された全ての照合用被撮像物とを算出し、算出された類似度が基準値を超えた場合、類似度が高いとして、その検索結果１１０をユーザが利用する情報通信端末２０の表示部２１に表示させていた。上述した通り、照合用画像データ１００の数が増加されることによって、画像検索処理部１４による類似度の算出処理における処理速度の遅延や、当該類似度の算出処理を実施する管理サーバ１０への負荷が増大することになる。そこで、本実施例３では、類似度を算出する照合用画像データ１００の数を限定する場合について、図１２に示すフローチャートを用いて説明する。尚、実施例１、２と同様な処理については、同じ符号を付して、説明は省略する。
　検索対象入力受付部１３は、検索対象物２ａの入力だけでなく、検索対象物２ａに対応する属性情報の入力を受け付ける（Ｓ３０１）。本実施形態の検索対象物２ａは「花」であるため、種類情報は「草花」の選択を受け付ける。さらに、検索対象物２ａの撮影位置情報、撮影時間情報の入力を受け付けてもよい。撮影位置情報、及び撮影時間情報は、それぞれ情報通信端末２０に設けられたＧＰＳ装置及び日付装置から取得する。
　画像検索処理部１４は、検索対象入力受付部１３が受け付けた検索対象物２ａに対応する属性情報に対し、画像データベース１１に記憶された照合用被撮像物に対応する属性情報１００ｂとの一致度を算出し（Ｓ３０２）、一致度が属性基準値を超えた照合用被撮像物を抽出する（Ｓ３０３）。例えば、一致度は検索対象物２ａの属性情報と照合用被撮像物の属性情報１００ｂとが完全に一致した場合を１００％として、算出する。
　そして、画像検索処理部１４は、検索対象物２ａと抽出した照合用被撮像物との類似度を算出し（Ｓ１０４）、類似度が基準値を超えた照合用被撮像物の照合用画像データ１００を検索する（Ｓ１０５）。本実施例３では、検索対象物２ａに対応する属性情報の種類情報が「草花」である場合、属性情報１００ｂの種類情報が「草花」に設定された照合用被撮像物に限定して、類似度を算出するため、検索範囲が限定されることになり、処理速度が向上する。
　また検索対象物２ａに対応する属性情報の撮影時間情報から「昼間」に該当する場合、属性情報１００ｂの撮影時間情報が「昼間」に設定された照合用被撮像物に限定することにより、撮影条件が近いもの同士で類似度を算出することができるため、検索精度が向上することが可能となる。
　〔実施形態の変形例等〕
　本明細書開示の発明は、各発明や実施形態の構成の他に、適用可能な範囲で、これらの部分的な構成を本明細書開示の他の構成に変更して特定したもの、或いはこれらの構成に本明細書開示の他の構成を付加して特定したもの、或いはこれらの部分的な構成を部分的な作用効果が得られる限度で削除して特定した上位概念化したものを含み、下記の変形例等も包含する。
　図１３に示すように、表示処理部１５は、検索結果処理部１６により検索対象物２ａの画像データ２が関連付けられた識別情報１００ａを画像データ２の検索対象物２ａの近傍に表示させてもよい。具体的には、検索対象入力受付部１３が、検索対象物２ａの部分を切り出す際、検索対象物２ａの画像データ２に対する座標位置情報を取得する。そして、表示処理部１５は、検索結果処理部１６により検索対象物２ａの画像データ２が関連付けられた識別情報１００ａを座標位置情報と重複しない位置にずらして表示する。
１…画像情報処理システム
２…画像データ
３…選択ウィンドウ
１０…管理サーバ
１１…画像ＤＢ
１２…画像取得部
１３…検索対象入力受付部
１４…画像検索処理部
１５…表示処理部
１６…検索結果処理部
２０…情報通信端末
２１…表示部
３０…演算装置
３１…記憶装置
３２…表示装置通信装置
３３…入力装置
３４…通信装置
１００…照合用画像データ
１１０…検索結果

Claims (3)

  1. 　照合用被撮像物が撮像された照合用画像データに、前記照合用被撮像物の名称を含む識別情報を関連付けて記憶する画像データベースと、
    　画像データを取得する画像取得部と、
    　前記画像取得部が取得した画像データから検索対象物の選択を受け付ける検索対象入力受付部と、
    　前記検索対象入力受付部が受け付けた検索対象物と、前記画像データベースに記憶された照合用被撮像物との類似度を算出し、前記類似度が基準値を超えた照合用被撮像物が撮像された照合用画像データを検索する画像検索処理部と、
    　検索された前記照合用画像データと前記識別情報とを含む検索結果をユーザが利用する情報通信端末の表示部に表示させる表示処理部と、
    　前記情報通信端末の表示部に表示された前記検索結果に対するユーザからの選択入力を受け付け、前記画像取得部が取得した前記画像データを照合用画像データとして、ユーザからの選択入力を受け付けた前記検索結果の前記識別情報に関連付けて前記画像データベースに記憶する検索結果処理部と、
    　を有することを特徴とする画像情報処理システム。
  2. 　前記検索結果処理部が、前記類似度が前記基準値より高く設定された所定値を超えた検索対象物が撮像された画像データを照合用画像データとして、ユーザからの選択入力を受け付けた前記検索結果の前記識別情報に関連付けて前記画像データベースに記憶することを特徴とする請求項１に記載の画像情報処理システム。
  3. 　前記画像データベースは、前記照合用被撮像物が撮像された照合用画像データに対応する種類情報、撮影位置情報、及び撮影時間情報を含む属性情報を前記識別情報に関連付け記憶し、
    　前記検索対象入力受付部は、前記検索対象物に対応する前記属性情報の入力を受け付け、
    　前記画像検索処理部は、前記検索対象入力受付部が入力を受け付けた前記検索対象物に対応する前記属性情報と前記照合用画像データに対応する前記属性情報との一致度を算出し、前記一致度が属性基準値を超えた照合用被撮像物が撮像された照合用画像データを抽出し、前記検索対象入力受付部が受け付けた前記検索対象物と抽出した前記照合用画像データの照合用被撮像物との類似度を算出し、類似度が基準値を超えた照合用被撮像物が撮像された前記照合用画像データを検索することを特徴とする請求項１又は２に記載の画像情報処理システム。
PCT/JP2016/066355 2015-06-10 2016-06-02 画像情報処理システム WO2016199662A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680033786.4A CN107636653A (zh) 2015-06-10 2016-06-02 图像信息处理***
US15/575,092 US20180157682A1 (en) 2015-06-10 2016-06-02 Image information processing system
EP16807369.0A EP3309694A4 (en) 2015-06-10 2016-06-02 Image information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015117539A JP2017004252A (ja) 2015-06-10 2015-06-10 画像情報処理システム
JP2015-117539 2015-06-10

Publications (1)

Publication Number Publication Date
WO2016199662A1 true WO2016199662A1 (ja) 2016-12-15

Family

ID=57503568

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066355 WO2016199662A1 (ja) 2015-06-10 2016-06-02 画像情報処理システム

Country Status (5)

Country Link
US (1) US20180157682A1 (ja)
EP (1) EP3309694A4 (ja)
JP (1) JP2017004252A (ja)
CN (1) CN107636653A (ja)
WO (1) WO2016199662A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6873678B2 (ja) 2016-12-09 2021-05-19 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP6904692B2 (ja) * 2016-12-09 2021-07-21 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP6862164B2 (ja) 2016-12-09 2021-04-21 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
JP6862952B2 (ja) * 2017-03-16 2021-04-21 株式会社リコー 情報処理システム、情報処理装置、情報処理プログラム及び情報処理方法
US11647370B2 (en) 2018-02-16 2023-05-09 Maxell, Ltd. Mobile information terminal, information presentation system and information presentation method
JP7095338B2 (ja) * 2018-03-19 2022-07-05 株式会社リコー 画像検索装置、情報処理システムおよび画像検索方法
WO2019181923A1 (ja) * 2018-03-23 2019-09-26 住友重機械工業株式会社 建設機械の支援装置
JP2020035086A (ja) * 2018-08-28 2020-03-05 富士ゼロックス株式会社 情報処理システム、情報処理装置およびプログラム
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
US20220147050A1 (en) * 2020-11-10 2022-05-12 Meteorolite Ltd. Methods and devices for operating an intelligent mobile robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218372A (ja) * 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
WO2013175608A1 (ja) * 2012-05-24 2013-11-28 株式会社日立製作所 画像解析装置、画像解析システム、画像解析方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4074366B2 (ja) * 1998-02-24 2008-04-09 コニカミノルタビジネステクノロジーズ株式会社 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体
US20050076004A1 (en) * 2003-09-30 2005-04-07 Hiroyuki Yanagisawa Computer, database generating method for electronic picture book service, photographed subject information providing method, recording medium, and computer data signal
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US20070133947A1 (en) * 2005-10-28 2007-06-14 William Armitage Systems and methods for image search
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
US7844591B1 (en) * 2006-10-12 2010-11-30 Adobe Systems Incorporated Method for displaying an image with search results
JP2008146602A (ja) * 2006-12-13 2008-06-26 Canon Inc 文書検索装置、文書検索方法、プログラム及び記憶媒体
CN101542531B (zh) * 2007-06-14 2012-12-19 松下电器产业株式会社 图像识别装置及图像识别方法
US8131118B1 (en) * 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
US8190623B2 (en) * 2008-06-05 2012-05-29 Enpulz, L.L.C. Image search engine using image analysis and categorization
US8483715B2 (en) * 2009-03-26 2013-07-09 Yahoo! Inc. Computer based location identification using images
US8332429B2 (en) * 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
US9002831B1 (en) * 2011-06-10 2015-04-07 Google Inc. Query image search
US9171018B2 (en) * 2012-01-17 2015-10-27 Google Inc. System and method for associating images with semantic entities
KR102059913B1 (ko) * 2012-11-20 2019-12-30 삼성전자주식회사 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
US9424279B2 (en) * 2012-12-06 2016-08-23 Google Inc. Presenting image search results
JP6064618B2 (ja) * 2013-01-23 2017-01-25 富士ゼロックス株式会社 情報処理装置及びプログラム
US20150227780A1 (en) * 2014-02-13 2015-08-13 FacialNetwork, Inc. Method and apparatus for determining identity and programing based on image features
JP6435779B2 (ja) * 2014-10-30 2018-12-12 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010218372A (ja) * 2009-03-18 2010-09-30 Olympus Corp サーバシステム、端末装置、プログラム、情報記憶媒体及び画像検索方法
WO2013175608A1 (ja) * 2012-05-24 2013-11-28 株式会社日立製作所 画像解析装置、画像解析システム、画像解析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3309694A4 *

Also Published As

Publication number Publication date
JP2017004252A (ja) 2017-01-05
CN107636653A (zh) 2018-01-26
EP3309694A1 (en) 2018-04-18
EP3309694A4 (en) 2018-12-05
US20180157682A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
WO2016199662A1 (ja) 画像情報処理システム
US9076069B2 (en) Registering metadata apparatus
US8977055B2 (en) Information processing device, object recognition method, program, and terminal device
US9222783B2 (en) Location estimation using image analysis
US11335087B2 (en) Method and system for object identification
WO2016015437A1 (zh) 图片搜索库的生成及图片搜索方法、装置和设备
US20140193077A1 (en) Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program
US20120310968A1 (en) Computer-Vision-Assisted Location Accuracy Augmentation
JP5563494B2 (ja) 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム
CN102521365A (zh) 空间图像索引和关联的更新功能
JP2007206772A (ja) 端末装置及びサーバー及びランドマーク名検索システム及び検索プログラム
US20170039450A1 (en) Identifying Entities to be Investigated Using Storefront Recognition
JP5223034B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、及び情報提供処理プログラムを記録した記録媒体
JP6607987B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
KR101307325B1 (ko) 관심영역 설정을 이용한 이미지 이중 검색 시스템
KR20190124436A (ko) 영상 기반 건물 검색 방법 및 장치
JP6591594B2 (ja) 情報提供システム、サーバ装置、及び情報提供方法
US9064020B2 (en) Information providing device, information providing processing program, recording medium having information providing processing program recorded thereon, and information providing method
JP5932107B2 (ja) 画像処理サーバ及び撮像装置
JP2007041762A5 (ja)
JP6244887B2 (ja) 情報処理装置、画像探索方法、及びプログラム
KR20150106621A (ko) 단말, 서비스 제공 장치, 그 제어 방법, 컴퓨터 프로그램이 기록된 기록 매체 및 이미지 검색 시스템
KR101810533B1 (ko) 영상인식 기술을 이용한 지도 서비스에 관심 지점 입력 장치 및 방법
JP2009042962A (ja) 検索システム
CN109145884B (zh) 查找目标人物的方法、装置、终端和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807369

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15575092

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016807369

Country of ref document: EP