JP5687995B2 - Subject search device, subject search method, subject search information providing program, and subject search program - Google Patents
Subject search device, subject search method, subject search information providing program, and subject search program Download PDFInfo
- Publication number
- JP5687995B2 JP5687995B2 JP2011240759A JP2011240759A JP5687995B2 JP 5687995 B2 JP5687995 B2 JP 5687995B2 JP 2011240759 A JP2011240759 A JP 2011240759A JP 2011240759 A JP2011240759 A JP 2011240759A JP 5687995 B2 JP5687995 B2 JP 5687995B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- search
- subject
- request
- searched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
この発明は、情報検索技術の分野に属し、撮影された被写体に関する正確な情報を確実に検索できるようにする装置、方法、プログラムに関する。 The present invention belongs to the field of information search technology, and relates to an apparatus, a method, and a program that can reliably search for accurate information about a photographed subject.
山歩きや里山の散策、あるいは、海辺や湖沼周辺等の水辺の散策など、自然と親しむことを趣味にしている人は多い。これに伴い、食用となる自生植物(野草、山菜、茸、果実、木の実など)や食用となる魚介類等の採取を趣味にする人も増えてきている。しかし、自生植物や魚介類等の中には毒性を有するものもあり、知識や経験がなければむやみに食することはできない。 Many people have a hobby of enjoying nature, such as walking in the mountains, strolling in satoyama, or strolling along the seaside or around the lake. Along with this, an increasing number of people are interested in collecting edible native plants (wildflowers, wild plants, persimmons, fruits, nuts, etc.) and edible seafood. However, some native plants and seafood are toxic and cannot be eaten without knowledge and experience.
このため、自生植物や魚介類等の採取対象について知識や経験のないユーザの場合、多くは写真付きの図鑑を用いて、採取対象の自生植物や魚介類等が毒性はなく食べられるものか否かをユーザ自身が判別している。これに関連し、後に記す特許文献1には、動植物等の画像を撮影し、撮影することにより得た画像データと撮影時の撮影状況(撮影時間や撮影場所)とに基づいて、データベースを検索し、被写体に関する説明文を得る発明が開示されている。
For this reason, in the case of users who have no knowledge or experience about collection targets such as native plants and seafood, many of them use pictorial books with photos to determine whether the collection of native plants and seafood is non-toxic and can be eaten. The user himself / herself determines whether or not. In relation to this,
しかしながら、上述した図鑑を用いる方法の場合、図鑑の記載内容と、採取対象の自生植物や魚介類等とが同じものか否かは、ユーザがページをめくって見て合わせるため、手間や時間がかかり面倒である。また、自生植物や魚介類等においては、特徴のある部分はそれぞれに異なるため、1枚の画像データや撮影状況だけでは、被写体に関する正確な情報を検索できない場合も多い。このため、上述した特許文献1に記載の発明を用いても、自生植物や魚介類等の採取対象についての適切な情報を確実に提供できない場合があると考えられる。
However, in the case of the above-described method using a pictorial book, it is necessary for the user to turn the page to check whether the contents described in the pictorial book are the same as the native plant or seafood to be collected. It is troublesome. In addition, since unique parts differ among native plants, seafood, and the like, there are many cases where accurate information about a subject cannot be searched by using only one piece of image data or shooting conditions. For this reason, even if it uses the invention of
以上のことに鑑み、この発明は、ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できるようにすることを目的とする。 In view of the above, an object of the present invention is to ensure that accurate information regarding a photographed subject can be reliably searched without bothering the user.
上記課題を解決するため、請求項1に記載の発明の被写体検索装置は、
検索対象の被写体の画像を撮影し、当該被写体の画像データを取得する撮影手段と、
前記撮影手段を通じて取得した前記画像データについての少なくとも撮影位置、撮影日時を含む前記画像データについての関連情報を取得する取得手段と、
被写体となる可能性のある複数の対象毎に、当該対象の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段と、
取得された前記画像データと前記関連情報とに基づいて、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を検索する検索手段と、
検索対象の前記被写体に関する情報が検索できなかった場合に、第1の追加情報を要求する第1の追加要求手段と、
前記第1の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第1の追加情報を取得するように制御する第1の制御手段と、
前記第1の制御手段の制御に応じて取得された前記第1の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第1の再検索手段と、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第2の追加情報として要求する第2の追加要求手段と、
前記第2の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第2の追加情報を取得するように制御する第2の制御手段と、
前記第2の制御手段の制御に応じて取得された前記第2の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第2の再検索手段と
を備えることを特徴とする。
In order to solve the above-described problem, a subject search device according to
Photographing means for photographing an image of a subject to be searched and obtaining image data of the subject;
Acquisition means for acquiring related information about the image data including at least a shooting position and a shooting date and time for the image data acquired through the shooting means ;
Storage means for storing, for each of a plurality of objects that may be subjects, one or more image data forming one or more images of the object , and storing information relating to the object and map information ;
Search means for searching for information on the subject to be searched from stored information in the storage means based on the acquired image data and the related information;
First information requesting means for requesting first additional information when information on the subject to be searched cannot be searched;
First control means for controlling to acquire the first additional information through one or both of the photographing means and the acquiring means in response to a request for the first additional information;
First re-search means for re-searching information on the subject to be searched from the stored information in the storage means, taking into account the first additional information acquired in accordance with the control of the first control means. When,
Second information requesting means for requesting information on a specific part of the subject as second additional information when information on the subject that is a candidate for search can be retrieved;
Second control means for controlling to acquire the second additional information through one or both of the photographing means and the acquiring means in response to a request for the second additional information;
Second re-search means for re-searching information relating to the subject to be searched from the stored information in the storage means, taking into account the second additional information acquired in accordance with the control of the second control means. It is characterized by including these.
この請求項1に記載の発明の被写体検索装置によれば、撮影手段で取得した検索対象の被写体の画像データと、取得手段で取得した、当該画像データについての撮影位置、撮影日時を含む関連情報とに基づいて、検索手段が、記憶手段の蓄積情報から検索対象の被写体に関する情報を検索する。検索手段が、検索対象の被写体に関する情報を検索できなかった場合には、第1の追加要求手段が、第1の追加情報を要求し、これに応じて、第1の制御手段が撮影手段や取得手段を制御して、第1の追加情報を取得する。そして、第1の再検索手段が、新たに取得された第1の追加情報をも考慮して、記憶手段の蓄積情報から検索対象の被写体に関する情報を再検索する。また、検索対象の候補となる被写体に関する情報を検索できた場合には、第2の追加要求手段が、第2の追加情報を要求し、これに応じて、第2の制御手段が撮影手段や取得手段を制御して、第2の追加情報を取得する。そして、第2の再検索手段が、新たに取得された第2の追加情報をも考慮して、記憶手段の蓄積情報から検索対象の被写体に関する情報を再検索する。 According to the subject search device of the first aspect of the present invention, the related information including the image data of the subject to be searched acquired by the shooting unit, and the shooting position and shooting date and time of the image data acquired by the acquiring unit. Based on the above, the search means searches for information on the subject to be searched from the stored information in the storage means. If the search means cannot find information related to the subject to be searched, the first addition request means requests the first additional information, and in response to this, the first control means causes the photographing means or The acquisition unit is controlled to acquire the first additional information. Then, the first re-search means re-searches information related to the subject to be searched from the stored information in the storage means, taking into account the newly acquired first additional information. In addition, when the information related to the subject that is a candidate for the search can be searched, the second addition request unit requests the second additional information, and in response to this, the second control unit performs the photographing unit or The acquisition unit is controlled to acquire the second additional information. Then, the second re-searching means re-searches information on the subject to be searched from the stored information in the storage means, taking into account the newly acquired second additional information.
このように、最初の検索によって、検索対象の被写体に関する情報が検索できなくても、当該被写体に関する情報を検索するために必要となる当該被写体についての追加情報(画像データや関連情報)を得て、これをも考慮して再検索が行われる。これにより、検索対象の被写体に関する正確な情報を確実に検索できるようになる。しかも、ユーザの手を煩わせることもない。 As described above, even if information about the subject to be searched cannot be searched by the first search, additional information (image data and related information) about the subject necessary for searching for information about the subject is obtained. The re-search is performed in consideration of this. As a result, it is possible to reliably retrieve accurate information regarding the subject to be retrieved. Moreover, it does not bother the user.
この発明によれば、ユーザの手を煩わせることなく、撮影された被写体に関する正確な情報を確実に検索できる。 According to the present invention, it is possible to reliably retrieve accurate information about a photographed subject without bothering the user.
以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。この発明は、カメラ機能を備えた情報処理装置単体で実現することもできるし、カメラ機能を備えた端末装置と情報処理装置とを組み合わせて実現することもできる。また、この発明は、カメラ機能を備えた端末装置とサーバ装置とを、ネットワークを通じて接続することにより形成されるシステムとして実現することもできる。 Hereinafter, embodiments of the apparatus, method, and program of the present invention will be described with reference to the drawings. The present invention can be realized by a single information processing apparatus having a camera function, or can be realized by combining a terminal apparatus having a camera function and an information processing apparatus. The present invention can also be realized as a system formed by connecting a terminal device having a camera function and a server device through a network.
以下においては、野外活動中に利用することも考慮し、カメラ機能を備えた端末装置とサーバ装置とがネットワークを通じて接続されて形成されるシステムとして、この発明を実現する場合を例にして説明する。また、カメラ機能を備えた端末装置は、携帯電話端末やタブレット型端末やパッド型端末と呼ばれる情報端末など種々のものが存在する。しかし、以下に説明する実施の形態において、カメラ機能を備えた端末装置は、現在広く普及しているカメラ付きの携帯電話端末を用いるものとする。 In the following, taking into account use during outdoor activities, a case where the present invention is realized as a system formed by connecting a terminal device having a camera function and a server device through a network will be described as an example. . There are various types of terminal devices having a camera function, such as information terminals called mobile phone terminals, tablet terminals, and pad terminals. However, in the embodiments described below, a terminal device having a camera function is assumed to use a mobile phone terminal with a camera that is currently widely used.
[システムの全体構成]
図1は、この発明の被写体検索装置の一実施の形態を実現する被写体検索システムの概略構成を説明するための図である。すなわち、この実施の形態においては、サーバ装置1と携帯電話端末4(1)、4(2)、…とが、ネットワーク2を通じて接続されることにより、この発明の被写体検索装置の一実施の形態を実現している。
[System overall configuration]
FIG. 1 is a diagram for explaining a schematic configuration of a subject search system that realizes an embodiment of a subject search device of the present invention. That is, in this embodiment, the
サーバ装置1は、詳しくは後述もするが、被写体となる可能性のある種々の植物や種々の魚介類のそれぞれ毎に、それらの1以上の画像を形成する1以上の画像データと、それらの詳細情報とを蓄積して形成した被写体データベースを備えている。そして、サーバ装置1は、当該被写体データベースを用いて、被写体検索サービスを提供することができるものである。なお、ここで、「被写体となる可能性のあるもの」とは、検索の対象となるものを意味する。
As will be described in detail later, the
また、図1において、ネットワーク2は、主にインターネットを意味する。インターネットは、全世界規模で構築されている、インターネット・プロトコルによるネットワークを相互接続して構築されたネットワークである。なお、ネットワーク2は、インターネットへの接続経路を提供する公衆交換電話網(PSTN(Public Switched Telephone Network))、デジタル回線網(ISDN(Integrated Services Digital Network))、光通信網などをも含む。また、ネットワーク2は、携帯電話網や、wifiなどと呼ばれる無線LAN(Local Area Network)、wimaxなどと呼ばれる高速無線通信規格に準じた無線通信網などをも含む。したがって、図1に示すように、携帯電話端末4(1)、4(2)、…のそれぞれは、携帯電話網の近隣の基地局3(1)、3(2)、3(3)、…を通じてネットワーク2に接続される。
In FIG. 1, the
携帯電話端末4(1)、4(2)、…のそれぞれは、携帯電話網を通じての通話機能やインターネットを通じてのデータ通信機能を実現する通信機能の他、カメラ機能、GPS(Global Positioning System)機能、時計回路、方位センサ(地磁気センサ)等を備えたものである。そして、携帯電話端末4(1)、4(2)、…のそれぞれは、カメラ機能を用いて撮影を行うことにより、被写体の画像を形成する画像データを取得できる。 Each of the mobile phone terminals 4 (1), 4 (2),... Has a camera function and a GPS (Global Positioning System) function in addition to a communication function for realizing a call function through a mobile phone network and a data communication function through the Internet. , A clock circuit, a direction sensor (geomagnetic sensor) and the like. Then, each of the mobile phone terminals 4 (1), 4 (2),... Can acquire image data that forms an image of the subject by performing shooting using the camera function.
また、携帯電話端末4(1)、4(2)、…のそれぞれは、撮影を行うと、GPS機能を用いて撮影位置を取得し、時計回路を用いて撮影日時を取得し、方位センサを用いて撮影方向を取得するなど、画像データに関する種々の関連情報(メタデータ)を取得する。すなわち、携帯電話端末4(1)、4(2)、…においては、撮影を行うことにより、被写体の画像データを取得するだけでなく、当該画像データについての種々の関連情報(メタデータ)を取得して、これらを関連付けて記憶保持できる。 In addition, each of the mobile phone terminals 4 (1), 4 (2),..., Acquires a shooting position using a GPS function, acquires a shooting date and time using a clock circuit, and sets an orientation sensor. Various kinds of related information (metadata) relating to image data, such as using to acquire a shooting direction, is acquired. That is, in the mobile phone terminals 4 (1), 4 (2),..., Not only the subject image data is acquired by shooting, but also various related information (metadata) about the image data is acquired. It can be acquired and associated and stored.
なお、携帯電話端末4(1)、4(2)、…が備えるGPS機能は、少なくとも3個以上の人工衛星からの信号を受信して演算処理を行うことにより、自機の現在位置を測位することができるものである。また、携帯電話端末4(1)、4(2)、…のそれぞれのGPS機能は、いわゆるディファレンシャルGPSと呼ばれる技術を用い、高精度に自機の現在位置を測位することができるものである。図1において、GPS衛星5(1)、5(2)、…は、地上におけるGPS機能を実現するため、地球周回軌道上に配備され、現在位置測位のためのいわゆるGPS信号を送信する約30基の人工衛星の一部を示している。 The GPS function of the mobile phone terminals 4 (1), 4 (2),... Determines the current position of the own device by receiving signals from at least three artificial satellites and performing arithmetic processing. Is something that can be done. Each of the GPS functions of the mobile phone terminals 4 (1), 4 (2),... Can measure the current position of the own device with high accuracy using a technique called so-called differential GPS. In FIG. 1, GPS satellites 5 (1), 5 (2),... Are arranged on the earth orbit to realize a GPS function on the ground, and transmit about 30 so-called GPS signals for current position measurement. A part of the base satellite is shown.
そして、例えば、携帯電話端末4(1)のユーザが、茸採りに出かけ、茸を見つけたが、その茸は見たことがなく食べられるものかどうか分からないものであったとする。この場合、ユーザは、携帯電話端末4(1)を用いて、サーバ装置1にアクセスし、被写体検索アプリケーション等の提供を受けて、サーバ装置1との間で被写体検索を行える環境を整える。そして、携帯電話端末4(1)は、ユーザの指示に応じて、カメラ機能を用い、ユーザが見つけた茸の画像を撮影して画像データを取得する。同時に、携帯電話端末4(1)は、自機の機能を用いて、撮影場所、撮影日時、撮影方向等の関連情報を取得する。そして、携帯電話端末4(1)は、当該画像データや関連情報を含む、検索要求を形成し、サーバ装置1に送信する。
Then, for example, it is assumed that the user of the mobile phone terminal 4 (1) goes out to pick a potato and finds the potato, but the potato has never been seen and cannot be eaten. In this case, the user accesses the
サーバ装置1は、上述もしたように、被写体データベースを備えている。サーバ装置1は、携帯電話端末4(1)からの検索要求を受信すると、これに含まれる画像データと関連情報とを用いて、当該被写体データベースから、画像データが形成する画像の被写体に関する情報を検索する。そして、サーバ装置1は、検索結果を検索要求元の携帯電話端末4(1)に返信する。しかし、当該検索要求に含まれる画像データと関連情報だけだと、該当データが見つからなかったり、該当データが絞り込めなかったりする場合もある。
As described above, the
そこで、サーバ装置1は、最初の検索処理で検索対象の被写体に関する情報が検索できなかった場合(特定できなかった場合)には、検索要求元の携帯電話端末4(1)に対して、追加情報の提供を要求する。この場合の追加情報は、茸の傘上部と茸の傘裏部の写真(画像データ)を要求したり、茸の傘の直径、茎の長さ、茎部の粘性の有無、茸の発する匂いなどの情報を要求したり、当該茸の周囲に存在する樹木の種類の情報を要求したりするなど、具体的なものである。すなわち、サーバ装置1は、最初の検索処理により、被写体に対応する可能性のある蓄積データを絞り込むことができる。そこで、サーバ装置1は、最初の検索処理で得られる情報を基にして、判別処理に必要な追加情報を特定し、問い合わせ要求元の携帯電話端末4(1)に当該追加情報の提供を具体的に要求する。
In view of this, the
追加情報の提供が要求された携帯電話端末4(1)においては、サーバ装置1からの要求に応じた追加情報を、ユーザの指示に応じて取得し、これをサーバ装置に送信する。サーバ装置1では、携帯電話端末4(1)からの追加情報をも考慮して、被写体データベースを参照し、検索対象の被写体に関する情報の再検索を行う。これにより、より確実に、携帯電話端末4(1)からの画像データや関連情報に基づいて、画像データが形成する画像の被写体(この例の場合には茸)に関する情報を検索することができる。具体的には、茸の名称(名前)、毒性の有無、食用に適するか否か、食用に適する場合にはどのような料理方法があるかなどを知ることができる。なお、ここでは、携帯電話端末4(1)を用いる場合を例にして説明したが、カメラ機能を備えた携帯電話端末4(2)等の他の携帯電話端末を用いた場合にも、同様に、被写体の検索を行うことができる。
In the mobile phone terminal 4 (1) for which provision of additional information is requested, additional information corresponding to the request from the
このように、この実施の形態のサーバ装置1は、最初の検索処理において、検索対象の被写体に関する情報が検索できない場合には、検索のために必要となる追加情報の提供を、検索要求元の携帯電話端末4(1)、4(2)、…等に要求する。そして、サーバ装置1は、検索要求元からの追加情報を用いて、再検索処理を行うことにより、検索対象の被写体に関する正確な情報を確実に検索することができる。
As described above, in the first search process, the
なお、この実施の形態において、携帯通信端末4(1)、4(2)、…のそれぞれは、基本的な構成は同じである。このため、以下においては特に区別して示す場合を除き、携帯通信端末4(1)、4(2)、…を総称して、携帯通信端末4という。そして、以下では、まず、この実施の形態の被写体検索装置(被写体検索システム)を構成する携帯電話端末4とサーバ装置1とのそれぞれの構成例について説明する。この後、携帯電話端末4とサーバ装置1で行われる処理について具体的に説明する。
In this embodiment, each of the mobile communication terminals 4 (1), 4 (2),... Has the same basic configuration. Therefore, unless otherwise indicated below, the portable communication terminals 4 (1), 4 (2),... Are collectively referred to as the
[携帯通信端末4の構成例]
図2は、この実施の形態の携帯電話端末4の構成例を説明するためのブロック図である。図2に示すように、この実施の形態の携帯電話端末4は、ネットワーク2を通じて通信を行う部分として、送受信アンテナ401、送受信処理部402、受話器(スピーカ)403、送話器(マイクロホン)404を備える。また、ユーザインターフェースを提供する部分として、キー操作部411、表示制御部412、表示部413、音声処理部414、スピーカ415を備える。また、携帯電話端末4は、カメラ機能を実現するカメラ部416を備える。
[Configuration example of mobile communication terminal 4]
FIG. 2 is a block diagram for explaining a configuration example of the
キー操作部411は、数字キー、各種機能キー等が設けられ、ユーザからの指示入力(操作入力)を受け付ける。また、キー操作部411には、カメラ機能を用いるためのシャッターキー等も設けられている。表示制御部412と表示部413とは、種々の画像や表示メッセージなどの表示情報を表示するためのものである。表示部413は、例えば、有機ELディスプレイ(organic electroluminescence display)やLCD(Liquid Crystal Display)等のいわゆる薄型の表示素子が用いられている。また、音声処理部414とスピーカ415とは、着信音や警告音、その他の音声メッセージを出力するものである。また、カメラ部416は、撮像レンズ、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子、カメラ信号処理回路などからなるものである。
The
また、携帯通信端末4は、各部を制御する制御部420を備える。制御部420は、CPU(Central Processing Unit)421、ROM(Read Only Memory)422、RAM(Random Access Memory)423、EEPROM(Electrically Erasable and Programmable ROM)424が、CPUバス425を通じて接続されて形成されたコンピュータ装置である。CPU421は、ROM422やEEPROM424に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給したり、各部から送信されてくるデータを受け付けて、これに応じた処理を実行したりする。ROM422は、CPU421において実行されるプログラムや処理に必要になる種々のデータが予め記録されたものである。
The
また、RAM423は、処理の途中結果を一時記憶するなど、主に作業領域として用いられる。また、EEPROM424は、いわゆる不揮発性メモリであり、携帯通信端末4の電源を落としても保持しておくべきデータ等が記憶保持される。EEPROM424には、例えば、機能追加のための新たなプログラム、種々の設定パラメータ、電話帳データ、アプリケーションプログラムや機能アップのための追加プログラムなどが記憶保持される。
In addition, the
さらに、携帯通信端末4は、現在年月日、現在曜日、現在時刻を提供する時計回路431を備えると共に、メモリスロット部432、外部入出力端子433、外部インターフェース(以下、外部I/Fと略称する。)434を備える。メモリスロット部432は、いわゆるメモリーカードの装着部と、これに装着されたメモリーカードに対するデータの書き込み/読み出し部とからなる。メモリスロット部432は、規格の異なる複数種類のメモリーカードに対応することができるものである。また、外部入出力端子433及び外部I/F434は、この実施の形態においては、例えば、USB(Universal Serial Bus)規格に準拠したデジタルインターフェースである。
Furthermore, the
また、携帯通信端末4は、GPS部435とGPSアンテナ436とを備える。これらGPS部435とGPSアンテナ436とにより、上述もしたように、複数のGPS衛星からのGPS信号(測位情報)を受信して演算処理することにより、自機の現在位置を正確に検出(測位)することができる。また、図2には図示しないが、携帯電話端末4は方位センサなどの画像データについての関連情報(メタデータ)に含まれる情報を取得するための種々のセンサや回路等を備えている。
The
このような構成を有する携帯通信端末4は、制御部420の制御により、送受信処理部402、送受信アンテナ401を通じて、ネットワーク2に情報を送出したり、ネットワーク2を通じて送信されてくる自機宛の情報を受信したりする。これにより、携帯電話端末4は、種々の通信処理を行うことができる。
The
また、携帯通信端末4は、実行可能な種々のアプリケーションプログラムなどを登録するようにしたメニューを備えている。当該メニューは、例えば、キー操作部411に設けられているメニューキーを押下操作するなどの所定の操作を行うことにより、制御部420が表示制御部412を通じて表示部413の表示画面に表示することができる。そして、制御部420は、キー操作部411を通じてユーザからの当該メニューに含まれる項目の選択入力を受け付け、ユーザによって選択された項目に対応するプログラムを実行することができる。
The
そして、この実施の形態の携帯電話端末4は、カメラ部416を通じて撮影することにより得た被写体の画像データを、メモリスロット部423に装着されたメモリーカード450に蓄積することができる。この場合、画像データと共に、撮影時において取得する画像データについての関連情報(メタデータ)も蓄積する。また、携帯電話端末4を通じてサーバ装置1が提供する被写体検索サービスを利用する場合には、検索対象の被写体を撮影することにより得た画像データを含む検索要求を形成し、これをサーバ装置1に送信する。この場合、当該検索要求には、撮影時において取得する画像データについての関連情報(メタデータ)やキー操作部411を通じて受け付けた被写体や撮影場所等に関するテキスト情報も含められる。すなわち、被写体検索時において、キー操作部411を通じて入力されるテキスト情報もまた、検索対象の被写体の画像データについての関連情報(メタデータ)である。
Then, the
図3は、この実施の形態の携帯電話端末4において形成される検索要求のフォーマット例を説明するための図である。図3に示すように、当該検索要求には、端末ID、ヘッダ情報、関連情報(メタデータ)、1以上の画像データ、入力情報(テキスト情報)が含められる。端末IDは、当該検索要求の提供元(検索要求元)の携帯電話端末4を特定するための情報である。ヘッダ情報は、当該情報が検索要求であることや、詳しくは後述する再検索要求であることを示す情報、当該検索要求にどのような情報が含まれているのかを示す情報等、当該検索要求に応じた処理を行う場合に必要となる情報である。
FIG. 3 is a diagram for explaining a format example of a search request formed in the
また、関連情報(メタデータ)は、当該検索要求に格納されている画像データに関する種々の情報である。この実施の形態で用いられる画像データに関する関連情報には、撮影日時、撮影方向、焦点距離、GPS情報が含まれる。これらの情報は、携帯電話端末4が備える機能によって取得可能な情報である。この他にも、撮影機器メーカー名などの撮影機器に関する情報や解像度やシャッタースピードなどの種々の撮影パラメータなどもメタデータとして検索要求に含められる。
The related information (metadata) is various information related to the image data stored in the search request. The related information related to the image data used in this embodiment includes shooting date / time, shooting direction, focal length, and GPS information. These pieces of information are information that can be acquired by the functions of the
また、図3に示すように、当該検索要求には、検索対象の被写体の複数の画像データを含めることができるようになっている。このようにするのは、詳しくは後述もするが、被写体検索サービスの利用時において、サーバ装置1から追加情報として、被写体の異なる複数の部分の画像データが要求された場合に対応できるようにするためである。もちろん、必ず複数の画像データが必要になるものではなく、最初の検索要求の場合などにおいては、検索対象の被写体の1つの画像データだけが当該検索要求に含められる。また、追加情報が要求された場合であっても、追加の画像データが要求されない場合には、検索要求に画像データが含められない場合もある。また、図3において、入力情報は、上述もしたように、キー操作部411を通じて入力された被写体や撮影場所等に関するテキスト情報である。
Further, as shown in FIG. 3, the search request can include a plurality of image data of the subject to be searched. Although this will be described in detail later, it is possible to cope with a case where image data of a plurality of different parts of the subject is requested as additional information from the
このように、この実施の形態の携帯電話端末4は、カメラ部416を通じて被写体を撮影し、図3を用いて説明した内容の検索要求を形成して、これをサーバ装置1に送信することによって、検索対象の被写体に関する情報を検索することができる。すなわち、携帯電話端末4は、サーバ装置1へのアクセス機能を実現し、携帯電話端末4を用いることによって、サーバ装置1が提供する被写体検索サービスを利用できるようになっている。
As described above, the
[サーバ装置1の構成例]
図4は、この実施の形態のサーバ装置1の構成例を説明するためのブロック図である。図4に示すように、サーバ装置1は、ネットワーク2への接続端子101、通信I/F102を備える。また、携帯電話端末4からの検索要求を格納する検索要求保存ファイル103、ハードディスクドライブ(以下、HDDと略称する。)104、被写体データベース(以下、被写体DBと略称する)105、地図データベース(以下、地図DBと略称する。)106を備える。また、被写体検索サービスを提供する主な部分として、検索処理部111、回答情報生成部112、追加情報要求部113を備える。また、サーバ装置1は、制御部120を備える。
[Configuration Example of Server Device 1]
FIG. 4 is a block diagram for explaining a configuration example of the
制御部120は、サーバ装置1の各部を制御するものであり、図4に示すように、CPU121、ROM122、RAM123が、CPUバス124を通じて接続されて構成されたコンピュータ装置である。そして、当該コンピュータ装置においては、CPU121が機能し、ROM122に記憶されているBIOSなどのいわゆるファームウェアや後述するHDD104のハードディスクに記憶されているアプリケーションソフトウェアを読み出して実行する。そして、CPU121は、各部への制御信号を形成し、これを関係する各部に供給し、また、各部からのデータを受信してこれを処理する。
The
接続端子101は、ネットワーク2との接続端部を形成するものである。この接続端子101に対して、ネットワーク2からの通信線路が接続される。通信I/F102は、ネットワーク2を通じて送信されてくる自機宛の種々の情報を受信し、これを自機において処理可能な形式の情報に変換して制御部120に供給する。また、通信I/F102は、制御部120を通じて供給される送信用の種々の情報を、ネットワーク2に送出する形式の信号に変換して、これをネットワーク2に送出する。
The
検索要求保存ファイル103は、携帯電話端末4から送信されてくる検索要求を一時記憶するためのものである。この検索要求保存ファイルには、接続端子101及び通信I/F102を通じて受信された検索要求が、制御部120を通じて格納される。HDD104は、記録媒体としてハードディスクを備え、制御部120の制御に応じて、当該ハードディスクに対して、書き込み/読み出しを行う。HDD104のハードディスクは、例えば、種々のアプリケーションプログラムや種々の処理により得られたデータ等を記憶保持する。
The search
被写体DB105は、上述もしたが、検索対象である種々の植物や種々の魚介類のそれぞれ毎に、それらの1以上の画像を形成する1以上の画像データと、それらについての詳細情報とからなる情報が蓄積されて形成されたものである。この実施の形態においては、植物については、例えば、「菌茸類」、「草・花」、「樹木」、「果実」の4つに大きく分類され、それぞれ毎にデータが登録されている。また、魚介類については、例えば、「魚類」、「貝類」、「海藻類」、「その他の水生生物」の4つに分類され、それぞれ毎にデータが登録されている。
As described above, the
図5は、被写体DB105の登録データの例を説明するための図であり、菌茸類の登録データの一例を示している。図5に示すように、被写体DB105の登録データは、ヘッダ情報として、当該登録データの識別IDと被写体種別(被写体の分類)とを有している。そして、登録データは、被写体についての、名称、科目、学名、生息地、生育時期、生育場所、毒性等に関する情報、外観特徴、料理情報、1以上の画像データを備えている。この実施の形態においては、料理情報以外の各情報が、携帯電話端末4からの検索要求に含まれる画像データや関連情報(メタデータ)に基づく検索対象となる。なお、料理情報は、毒性が無く、食用に適したものである場合に、どのように料理すればよいのか等の情報を含む。
FIG. 5 is a diagram for explaining an example of registration data in the
そして、図5に示すように、当該登録データに含まれる被写体の画像データは、当該被写体の特徴部分を含む複数の画像についての画像データが含まれる。図5に示した例の場合には、画像データ1(全形1)、画像データ2(傘上部)、画像データ3(傘裏部)、画像データ4(茎部)、画像データ5(断面)、画像データ6(全形2)、画像データ7(全形3)、画像データ8(全形4)を有する。このように、1つの被写体について、複数の画像データを備えるようにしているのは、種々の角度からの比較を可能し、検索対象の被写体に関する正確な情報を確実に検索することができるようにするためである。なお、図5は、菌茸類についての登録データの例について説明したが、他の植物や魚介類についても、同様の登録データが形成され、被写体DB105に蓄積される。 As shown in FIG. 5, the image data of the subject included in the registration data includes image data for a plurality of images including the characteristic part of the subject. In the case of the example shown in FIG. 5, image data 1 (full shape 1), image data 2 (upper part of the umbrella), image data 3 (back part of the umbrella), image data 4 (stem part), image data 5 (cross section) ), Image data 6 (full form 2), image data 7 (full form 3), and image data 8 (full form 4). As described above, a plurality of pieces of image data are provided for one subject so that comparison from various angles is possible and accurate information regarding the subject to be searched can be reliably searched. It is to do. In addition, although FIG. 5 demonstrated the example of the registration data about fungi, the same registration data is formed also about another plant and seafood, and is accumulate | stored in object DB105.
地図DB106は、この実施の形態においては、詳細な地図情報を記憶保持するものである。当該地図情報は、山、川、街、道路、鉄道路線、各種店舗、病院、医院、学校、警察署、消防署、神社仏閣、行政界などの種々のランドマーク、施設、行政区域などの位置や大きさなどを正確に表すことができるものである。そして、地図DB106は、地図を描画するための例えばベクトルデータやラスタデータ等の地図データ(地図用の描画データ)を緯度・経度情報に対応付けて記憶保持する。地図DB106の情報は、例えば、撮影場所がどのような場所なのかを判別するなどの場合に用いることができる。
In this embodiment, the
そして、サーバ装置1において、検索処理部111、回答情報生成部112、追加情報要求部113が、被写体検索サービスを提供するための主要部である。ここでも、菌茸類についての被写体の検索を行う場合を例にして説明する。検索処理部111は、検索要求保存ファイル103に格納された検索要求に含まれる画像データと関連情報とを用いて、制御部120を通じて被写体DB105の蓄積情報を参照し、被写体DB105の蓄積情報から検索対象の被写体に関する情報を検索する。
In the
この実施の形態において、図5を用いて説明した被写体DB105の登録データにおいて、画像データ1(全形1)は、当該被写体の代表画像を形成するものであるとする。このため、検索処理部111は、携帯電話端末4からの検索要求に含まれる画像データと被写体DB105の全形1の画像データ(画像データ1)とを対比して類似度を判別する。同時に、検索処理部111は、携帯電話端末4からの検索要求に含まれる関連情報と被写体DB105の登録情報との対比を行う。
In this embodiment, in the registration data of the
ここで、携帯電話端末4からの検索要求に含まれる関連情報と被写体DB105の登録情報との対比は、以下の点について行うことができる。すなわち、関連情報に含まれる撮影位置と被写体DB105の生息地域との対比、関連情報に含まれる撮影日時と被写体DB105の生育時期との対比が行える。また、関連情報として、ユーザ入力による被写体の外観に関するテキスト情報が存在する場合には、当該テキスト情報と被写体DB105の外観特徴の情報とを対比できる。また、関連情報として、ユーザ入力による撮影場所に関するテキスト情報が存在する場合には、当該テキスト情報と被写体DB105の生育場所の情報とを対比できる。
Here, the comparison between the related information included in the search request from the
そして、検索要求に含まれる画像データと被写体DB105の全形1の画像データ(画像データ1)との類似度が所定の閾値より高く、当該検索要求に含まれる関連情報と被写体DB105の登録情報と一致していたとする。この場合には、検索処理部111は、検索要求に含まれる画像データが形成する画像の被写体は、当該被写体DB105の当該登録データが示す被写体と一致すると判別することができる。すなわち、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できたことになる。
Then, the similarity between the image data included in the search request and the
この場合、検索処理部111は、検索できた被写体DB105の登録データの識別IDを回答情報生成部112に通知して、回答情報の生成を依頼する。回答情報生成部112は、通知された識別IDに基づいて、制御部120を通じて被写体DB105から該当する登録データを読み出し、これに基づいて名称、毒性等、料理情報等からなる検索要求元への回答情報を生成する。そして、回答情報生成部112は、生成した回答情報を、制御部120、通信I/F102、接続端子101を通じてネットワーク2に送出し、要求元の携帯電話端末4に送信する。
In this case, the
また、検索処理部111において、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できなかったとする。この場合、検索処理部111は、今回の検索結果に基づいて、検索要求元に提供を要求する追加情報を特定し、これを追加情報要求部113に通知する。この場合、検索処理部111は、該当する登録データが全く検索できなかったときには、予め決められた条件にしたがって、1以上の新たな画像データ、より詳しい被写体の外観に関するテキスト情報、より詳しい撮影場所に関するテキスト情報等を追加情報とする。また、検索処理部111は、ある程度候補となる登録データが検索できたときには、それらとの対比を適切に行うことが可能な情報、例えば、被写体の特定部分に特徴がある場合には、その特定部分の画像データ、その特定部分に関するテキスト情報等を追加情報とする。
Further, it is assumed that the
追加情報要求部113は、検索処理部111からの通知に基づいて、検索要求元に送信する追加情報の提供要求を形成し、これを制御部120、通信I/F102、接続端子101を通じてネットワーク2に送出し、要求元の携帯電話端末4に送信する。これにより、検索要求元の携帯電話端末4は、サーバ装置1からどのような追加情報が要求されたかを把握できる。そして、検索要求元の携帯電話端末4は、サーバ装置1からの要求に応じた追加情報を取得し、これを含む再検索要求を生成して、サーバ装置1に送信する。当該再検索要求は、サーバ装置1において、接続端子101、通信I/F102を通じて受信され、検索要求保存ファイル103に格納される。
Based on the notification from the
そして、当該再検索要求に含まれる画像データや関連情報をも用いて、検索処理部111が再検索処理を行う。なお、上述したように、検索処理部11の最初の検索処理により、ある程度検索対象が絞りこまれている場合には、その情報を検索処理部111や制御部120において管理しておく。これにより、検索処理部111は、検索対象となる被写体DB105の登録データの範囲を狭めて再検索処理を行うことができる。
Then, using the image data and related information included in the re-search request, the
そして、検索処理部111における再検索処理の結果、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できたとする。この場合、検索処理部111は、上述したように、検索できた被写体DB105の登録データの識別IDを回答情報生成部112に通知して、回答情報の生成を依頼する。そして、回答情報生成部112は、生成した回答情報を、上述もしたようにネットワーク2を通じて要求元の携帯電話端末4に送信する。
As a result of the re-search process in the
また、検索処理部111において、検索対象の被写体に関する情報が被写体DB105の蓄積データから検索できなかったとする。この場合、検索処理部111は、回答情報生成部112に対して、検索できなかった旨の回答情報(検索不成功を示す情報)を形成するように依頼する。この場合、回答情報生成部112は、予め決められたテンプレートにしたがって、検索不成功メッセージを形成し、これを検索要求元に送信する。
Further, it is assumed that the
当該検索不成功メッセージとしては、例えば、「該当データが見つかりません。毒性を有する可能性もあります。採取することはお奨めできません。」、「該当データが見つかりません。採取する場合には、知識のある方に毒性の有無を確認し、毒性のないことを確認してから食べるようにしてください。」といったものとなる。この他にも、茸の毒性の有無を問い合わせることのできる問い合わせ先を紹介したり、茸の毒性の有無の検査が可能な検索機関を紹介したりすることもできる。また、採取して持ち帰った場合には、綺麗に洗った後に、再度の検索を行うことを勧めるなどのこともできる。 The search failure message may be, for example, “No applicable data found. It may be toxic. It is not recommended to collect.”, “No applicable data found. Please check if there is any toxicity in the person who has, and make sure that it is not toxic before eating. " In addition to this, it is possible to introduce contact points that can inquire about the presence or absence of sputum toxicity, or to introduce search agencies that can test whether sputum is toxic. Also, if you collect and take it home, you can recommend searching again after washing it cleanly.
このように、この実施の形態のサーバ装置1は、携帯電話端末4に対して、被写体検索サービスを提供することができるものである。
As described above, the
[携帯電話端末4の処理とサーバ装置1の処理]
次に、図2、図3を用いて説明した構成を有する携帯電話端末4での被写体検索を行う場合の処理と、図4、図5を用いて説明した構成を有するサーバ装置1での被写体検索を行う場合の処理とについて、フローチャートを参照しながら説明する。
[Processing of
Next, processing in the case of subject search in the
[携帯電話端末4での被写体検索を行う場合の処理]
図6〜図8は、携帯電話端末4での被写体検索を行う場合の処理について説明するためのフローチャートであり、図9は、当該処理において、携帯電話端末4の表示部413の表示画面413Gに表示される画面の例について説明するための図である。
[Process when subject search is performed on the mobile phone terminal 4]
6 to 8 are flowcharts for explaining processing when subject search is performed on the
携帯電話端末4の制御部420は、キー操作部411を通じて、サーバ装置1が提供する被写体検索サービスを利用するための所定の操作入力を受け付けると、図6〜図8に示す処理実行する。ここで、当該所定の操作入力は、例えば、当該処理に対応付けられたアイコンやメニュー項目等を選択するものである。そして、制御部420は、サーバ装置1の被写体検索サービスを提供するサイトのURL(Uniform Resource Locator)を用いて、当該サイトにアクセスし、被写体検索アプリケーション等を取得し、これを実行する(ステップS101)。
When the
なお、被写体検索アプリケーション等には、必要となる画面情報等も含まれる。このステップS101の処理により、携帯電話端末4とサーバ装置1との間で所定の情報の送受を行って被写体検索を行う準備が整えられ、以降の処理が行われる。なお、サーバ装置1の被写体検索サービスを提供するサイトのURLは、予めEEPROM424に登録されているものとする。もちろん、ブラウザの検索機能を用いて検索して、当該サイトにアクセスすることもできる。また、取得した被写体検索アプリケーション等は、例えばEEPROM424に格納されて実行される。
The subject search application and the like include necessary screen information and the like. Through the processing in step S101, preparation for searching for a subject is performed by transmitting and receiving predetermined information between the
そして、制御部420は、被写体種別の選択画面(図9A)を、表示制御部412を通じて表示部413の表示画面413Gに表示し(ステップS102)、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS103)。被写体種別の選択画面は、図9Aに示したように、携帯電話端末4のユーザが、これから検索しようとしている被写体の種別を選択するためのものである。ステップS103においては、ユーザは、キー操作部411の上矢印キーや下矢印キーを用いて、目的とする被写体の種別を選択することができる。
Then, the
そして、制御部420は、ステップS103で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS104)、「終了」ボタンの選択ではないときには、「OK」ボタンの選択操作か否かを判別する(ステップS105)。ステップS105の判別処理において、「OK」ボタンの選択であると判別したときには、被写体種別の選択画面(図9A)においてカーソルCSが位置付けられた被写体の種別が、ユーザにより選択された被写体の種別として特定される(ステップS106)。ここで特定された被写体の種別は、サーバ装置1に送信される検索要求に含められる。これにより、サーバ装置1において、特定された被写体の種別に属する登録データだけを検索対象とすることができる。
Then, the
次に、携帯電話端末4の制御部420は、撮影ガイド画面(図9B)を表示部413の表示画面413Gに表示し(ステップS107)、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS108)。撮影ガイド画面は、図9Bに示したように、携帯電話端末4のユーザが、これから撮影しようとしている被写体をどのように撮影すればよいかを案内する情報からなる。
Next, the
そして、制御部420は、ステップS108で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS109)、「終了」ボタンの選択ではないときには、「OK」ボタンの選択操作か否かを判別する(ステップS110)。ステップS110の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、被写体の撮影及び関連情報(メタデータ)の取得を行う(ステップS111)。
Then, the
具体的に、ステップS111において、制御部420は、カメラ部416を機能させ、ユーザからのシャッター操作に応じて被写体の撮影を行う。また、制御部420は、撮影が行われた場合に、GPS部435や時計回路431などから関連情報を取得する。そして、制御部420は、撮影することにより得られた被写体の画像を形成する画像データと、当該画像データについての関連情報とをRAM423に一時記憶する。このステップS111の処理の後、携帯電話端末4の制御部420は、図7に示すステップS112の処理に進む。
Specifically, in step S111, the
そして、制御部420は、図6のステップS111において撮影することにより得られた画像データによる撮影画像の表示画面(図9C)を、制御部420、表示制御部412を通じて表示部413の表示画面413Gに表示する(ステップS112)。撮影画像の表示画面は、図9Cに示したように、ステップS111の撮影処理によって得られた画像データによる画像を表示するものである。当該撮影画像の表示画面は、ユーザが目的する被写体の画像の撮り直しを行うか否かを判断するために参照するものである。この後、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS113)。
Then, the
そして、制御部420は、ステップS113で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS114)、「終了」ボタンの選択ではないときには、「撮り直し」ボタンの選択操作か否かを判別する(ステップS115)。ステップS115の判別処理において、「撮り直し」ボタンの選択であると判別したときには、制御部420は、図6のステップS111からの処理を繰り返し、目的とする被写体の再度の撮影と関連情報の取得とを行う。すなわち、目的とする被写体の画像の撮影し直し(撮り直し)を行うことができる。
Then, the
また、ステップS115の判別処理において、「撮り直し」ボタンの選択ではないと判別したときには、制御部420は、受け付けた操作入力が「OK」ボタンの選択操作か否かを判別する(ステップS116)。ステップS116の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、撮影メモ画面(図9D)を表示部413の表示画面413Gに表示する(ステップS117)。
If it is determined in step S115 that the “re-shoot” button is not selected,
撮影メモ画面は、図9Dに示したように、撮影した被写体の特徴や撮影場所の特徴の入力欄を有するものである。当該入力欄には、キー操作部411を通じてテキスト情報を入力することができる。なお、撮影メモ画面は、図9Dに示しものに限るものではない。例えば、被写体が、茸の例に従えば、撮影した被写体の特徴として、「傘の直径」、「傘の上部の色」、「傘の裏側の色」などというように、詳しく項目を分けて情報の入力を求めることもできる。また、撮影場所の特徴として、「周囲にある樹木の種類」、「周囲にある草花の種類」、「日当たりの程度」などというように、詳しく項目を分けて情報の入力を求めることもできる。
As shown in FIG. 9D, the shooting memo screen has an input field for the characteristics of the photographed subject and the characteristics of the shooting location. Text information can be input to the input field through the
そして、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付け(ステップS118)、ステップS118で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別する(ステップS119)。ステップS119の判別処理において、「終了」ボタンの選択ではないと判別したときには、「OK」ボタンの選択操作か否かを判別する(ステップS120)。ステップS120の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、ステップS111の処理により取得し、RAM423に一時記憶している画像データと関連情報、および、ステップS118において受け付けた撮影メモ画面に対する入力情報(テキストデータ)とから、図3を用いて説明した検索要求を生成する(ステップS121)。なお、当該検索要求のヘッダ部には、ステップS106で特定した被写体の種別や当該検索要求が最初の検索要求であることを示す情報等も含まれる。
Then, the
そして、制御部420は、ステップS121で生成した検索要求を、通信I/F102及ぶ接続端子101を通じてネットワーク2に送出し、サーバ装置1の被写体検索サービスを提供するサイトに送信する(ステップS122)。この後、図8に示すステップS123の処理に進む。すなわち、制御部420は、自機から送信した検索要求に対するサーバ装置1の当該サイトからの返信を受信するようにし(ステップS123)、当該サイトからの返信の受信待ちとなる(ステップS124)。ステップS124の判別処理において、当該サイトからの返信を受信したと判別したときには、制御部420は、受信した返信が追加情報の提供を要求するものか否かを判別する(ステップS125)。
Then, the
ステップS125の判別処理において、追加情報の提供を要求するものであると判別した時には、制御部420は、追加情報の要求画面(図9E)を表示部413の表示画面413Gに表示する(ステップS126)。追加情報の要求画面は、図9Eに示したように、検索が不成功に終わったことの表示と、どのような追加情報が必要かを示す情報を含むものである。この後、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付ける(ステップS127)。
When it is determined in the determination process of step S125 that the provision of additional information is requested, the
そして、制御部420は、ステップS127で受け付けた操作入力が、「終了」ボタンの選択操作であるか否かを判別し(ステップS128)、「終了」ボタンの選択ではないときには、「OK」ボタンの選択操作か否かを判別する(ステップS129)。ステップS129の判別処理において、「OK」ボタンの選択であると判別したときには、制御部420は、追加情報の提供要求に応じて、被写体の画像の再撮影を行ったり、追加のメモ情報の入力を行ったりする(ステップS130)。
Then, the
このステップS130においては、追加情報の提供要求に応じて、被写体の複数の異なる部分の撮影を行ったり、要求された被写体や撮影場所に関するテキスト情報の入力を行ったりする。具体的には、図9Bに示した態様で被写体のどの部分のどのような画像が必要なのかを示す撮影ガイド画面を表示し、これに応じて撮影を行えるようにし、また、図9Dに示した態様で撮影メモ画面を表示して必要なテキスト情報の入力を行えるようにする。この後、制御部420は、図7に示したステップS121からの処理を繰り返し、図3を用いて説明した内容の再検索要求を形成して(ステップS121)、サーバ装置1のサイトに送信する(ステップS122)。なお、この場合、ステップS121で形成される再検索要求は、当該要求が再検索要求であることを示す情報やどのような追加情報を含んでいるのかを示す情報等も含むようにされる。
In this step S130, in response to a request for providing additional information, a plurality of different portions of the subject are photographed, or text information relating to the requested subject and photographing location is input. Specifically, in the form shown in FIG. 9B, a shooting guide screen showing what kind of image of which part of the subject is necessary is displayed so that shooting can be performed according to this, and as shown in FIG. 9D. The shooting memo screen is displayed in such a manner that necessary text information can be input. Thereafter, the
一方、ステップS125の判別処理において、追加情報の提供を要求するものではないと判別した時には、制御部420は、検索結果画面(図9F)を、表示制御部412を通じて表示部413の表示画面413Gに表示する(ステップS131)。検索結果画面は、図9Fに示したように、検索が成功した時には、検索対象の被写体の名称、毒性の有無、食用に適するか否か、食用に適する場合には、料理情報等からなるものである。また、図示しないが、検索が不成功の場合には、上述もしたように、検索は不成功であり、被写体は毒性がある可能性があるので、採取しないことを奨めるメッセージなどが含まれるものとなる。
On the other hand, when it is determined that the provision of additional information is not requested in the determination process of step S125, the
この後、制御部420は、キー操作部411を通じてユーザからの操作入力を受け付け(ステップS132)、ステップS132で受け付けた操作入力が、「戻る」ボタンの選択操作であるか否かを判別する(ステップS133)。ステップS133の判別処理において、「戻る」ボタンの選択であると判別した時には、制御部420は、サーバ装置1のサイトに被写体検索サービスの利用を継続することを通知する(ステップS134)。この後、制御部420は、図6に示したステップS102からの処理を繰り返し、例えば、新たな被体についての検索を続けて行うことができるようにされる。
Thereafter, the
また、ステップS133の判別処理において、「戻る」ボタンの選択を受け付けていないと判別した時には、制御部420は、「終了」ボタンの選択操作を受け付けたか否かを判別する(ステップS135)。ステップS135の判別処理において、「終了」ボタンの選択を受け付けていない判別したときには、制御部420は、ステップS132からの処理を繰り返す。また、ステップS135の判別処理において、「終了」ボタンの選択を受け付けたと判別したときには、制御部420は、表示画面を被写体検索サービスを利用する前の状態に戻すなどの所定の終了処理を行う(ステップS136)。そして、この図6〜図8に示す被写体の検索処理を終了する。
In the determination process of step S133, when it is determined that the selection of the “return” button has not been received, the
なお、図6のステップS104、ステップS109、図7のステップS114、ステップS119、図8のステップS128において、受け付けた操作入力が「終了」ボタンの選択操作であると判別したとする。この場合には、図8のステップS136の処理に進み、所定の終了処理を行って(ステップS136)、この図6〜図8に示す処理を終了する。また、図6のステップS105、ステップS110、図7のステップS116、ステップS120、図8のステップS129において、受け付けた操作入力が「OK」ボタンの選択操作ではないと判別したとする。この場合には、直前の操作入力受付処理に戻り、ユーザからの操作入力の受け付けを継続する。 In step S104 in FIG. 6, step S109, step S114 in FIG. 7, step S119, and step S128 in FIG. 8, it is determined that the received operation input is a selection operation of the “end” button. In this case, the process proceeds to step S136 in FIG. 8, a predetermined end process is performed (step S136), and the processes shown in FIGS. 6 to 8 are ended. Also, assume that it is determined in step S105, step S110 in FIG. 6, step S116 in FIG. 7, step S120, and step S129 in FIG. 8 that the accepted operation input is not an “OK” button selection operation. In this case, the process returns to the previous operation input reception process and continues to receive operation input from the user.
このように、この実施の形態の携帯電話端末4においては、被写体の画像データや関連情報を含む最初の検索要求に応じた検索処理により、該当データが検索できなかった場合には、サーバ装置1からの追加情報の提供要求を受けることができる。そして、当該追加情報の提供要求に応じて、追加情報を含む再検索要求をサーバ装置1に送信し、追加情報をも用いた再検索処理を行うように指示することができる。これにより、より確実に検索対象の被写体に関する情報の検索を行うことができる。
As described above, in the
[サーバ装置1での被写体検索を行う場合の処理]
図10、図11は、サーバ装置1での被写体検索を行う場合の処理について説明するためのフローチャートである。この図10、図11に示す処理は、サーバ装置1の主に制御部120が関係する各部と協働し、常時、実行している処理である。
[Process when subject search in server device 1]
FIG. 10 and FIG. 11 are flowcharts for explaining processing when the subject search is performed in the
サーバ装置1の制御部120は、携帯電話端末4からのアクセスを受け付けるようにし(ステップS201)、携帯電話端末4からのアクセスを受け付けるまで待ち状態となる(ステップS202)。ステップS202の判別処理において、携帯電話端末4からのアクセスを受け付けたと判別したときには、制御部120は、被写体の検索処理を行うためのアプリケーション等をアクセス元の携帯電話端末4に提供する(ステップS203)。これによって、アクセス元の携帯電話端末4に対して被写体検索サービスを提供できる環境を整える。
The
この後、サーバ装置1の制御部120は、アクセス元の携帯電話端末4からの要求等を受け付け(ステップS204)、受け付けた要求等は、当該検索処理の終了を指示するものか否かを判別する(ステップS205)。ステップS205の判別処理において、受け付けた要求等は、当該検索処理の終了を指示するものではないと判別したとする。この場合、受け付けた当該要求等は、検索要求であるので、制御部120は当該検索要求を検索要求保存ファイル103に格納し、検索処理部111に対して、検索処理を行うことを指示する(ステップS206)。
Thereafter, the
そして、検索処理部111は、制御部120の制御の下、検索要求保存ファイル103に保存された検索要求を読み出し、画像データと関連情報とを分離して、そのそれぞれを利用できるようにする(ステップS207)。そして、検索処理部111は、分離した画像データや関連情報に基づいて、検索対象の被写体に関する情報を被写体DB105の登録データから検索する処理を行う(ステップS208)。
Then, under the control of the
この後、検索処理部111は、検索処理は成功したか否か、すなわち、検索対象の被写体に関する情報が検索できたか否かを判別する(ステップS209)。ステップS209の判別処理において、検索は成功していないと判別したときには、検索処理部111は、追加情報要求部113を制御し、追加情報の提供要求を生成する(ステップS210)。また、ステップS209の判別処理において、検索は成功したと判別したときには、検索処理部111は、回答情報生成部112を制御し、検索処理により得られた検索対象の被写体に関する情報等に基づいて、回答情報を生成する(ステップS211)。
Thereafter, the
そして、ステップS210で生成した追加情報の提供要求やステップS211で生成した回答情報を、追加情報要求部113や回答情報生成部112が、要求元の携帯電話端末4に返信する(ステップS212)。この後、サーバ装置1の制御部120は、図11のステップS213の処理に進む。
Then, the additional
制御部120は、アクセス元(検索要求元)の携帯電話端末4からの指示等を受け付け(ステップS213)、受け付けた指示等は、被写体の検索処理の継続を指示するものか否かを判別する(ステップS214)。ステップS214の判別処理において、受け付けた指示等は、被写体の検索処理の継続を指示するものであると判別したときには、図10に示したステップS204からの処理を繰り返し、被写体検索サービス(被写体の検索処理)を継続させる。
The
ステップS214の判別処理において、受け付けた指示等は、被写体の検索処理の継続を指示するものであると判別したときには、受け付けた指示等は、被写体の検索処理の終了指示か否かを判別する(ステップS215)。ステップS215の判別処理において、受け付けた指示等は、被写体の検索処理の終了を指示するものであると判別したときには、検索要求元の携帯電話端末4との間での被写体検索サービスを利用できる関係(環境)を終了させる所定の終了処理を実行する(ステップS216)。この後、図10に示したステップS201からの処理を繰り返し、新たなアクセス元に対して、被写体検索サービスを提供できるようにする。
In the determination process of step S214, when it is determined that the received instruction or the like is an instruction to continue the subject search process, it is determined whether or not the received instruction is an instruction to end the subject search process ( Step S215). In the determination process of step S215, when it is determined that the received instruction or the like is an instruction to end the search process of the subject, a relationship in which the subject search service can be used with the
なお、図10のステップS205において、受け付けた要求等が終了指示であると判別したときには、図11のステップS216の処理に進み、また、ステップS215において、受け付けた指示等が終了指示ではないと判別したときには、ステップS213からの処理を繰り返すことになる。 When it is determined in step S205 in FIG. 10 that the accepted request is an end instruction, the process proceeds to step S216 in FIG. 11, and in step S215, it is determined that the accepted instruction is not an end instruction. If so, the processing from step S213 is repeated.
このように、サーバ装置1は、携帯電話端末4からの検索要求に応じて被写体検索サービスを提供し、検索対象の被写体に関する情報が検索できなかったときには、検索要求元の携帯電話端末4に対して、追加情報の提供を要求する。そして、当該追加情報の提供を要求に応じて、検索要求元の携帯電話端末4から追加情報を含む再検索要求が提供されたときには、これに応じて、検索対象の被写体についての再検索処理を実行することができる。
As described above, the
[実施の形態の効果]
このように、この実施の形態においては、携帯電話端末4とサーバ装置1とによって、被写体検索装置が実現される。そして、サーバ装置1は、携帯電話端末4からの最初の検索要求に応じた検索処理で目的する情報が検索できなくても、追加情報の提供を携帯電話端末4に要求し、これに応じて提供される追加情報をも考慮して再検索処理を実行できる。これにより、より確実に検索対象の被写体に関する正確な情報を検索して取得することができる。
[Effect of the embodiment]
Thus, in this embodiment, the subject search device is realized by the
[変形例等]
なお、上述した実施の形態においては、再検索は1回しか行うようにしていないが、新たな追加情報があれば、複数回、新たな追加情報の提供を要求し、これに応じて複数回の再検索を行うことも可能である。
[Modifications, etc.]
In the above-described embodiment, the re-search is performed only once. However, if there is new additional information, the provision of new additional information is requested a plurality of times, and a plurality of times are requested accordingly. It is also possible to perform a re-search.
また、画像データの関連情報に含まれる撮影位置に基づいて地図DB106を参照し、携帯電話端末4の位置が、被写体の採取場所か、採取場所以外の自宅などかを判別し、これに応じて、要求する追加情報を変えるようにすることもできる。例えば、撮影場所が、採取場所以外の自宅などである場合には、被写体を切り分けることも容易に行うことができるので、被写体の断面の画像データを要求するなどしてもよい。
Further, the
また、上述もしたが、追加情報を要求する場合に、検索対象の被写体の全体や所定部分の大きさを計測し、これを追加情報として送信することを要求することもできる。また、追加情報を要求する場合に、検索対象の被写体の撮影場所の周囲の状況に関する情報(例えば、赤松の根元、岩場の潮溜まり等)の詳細情報を追加情報として要求することもできる。 Further, as described above, when requesting additional information, it is also possible to request that the entire subject to be searched or the size of a predetermined portion is measured and transmitted as additional information. Further, when requesting additional information, it is also possible to request detailed information of information related to the situation around the shooting location of the subject to be searched (for example, the base of Akamatsu, the tide pool of a rocky place, etc.) as additional information.
また、図9を用いて説明したように、被写体DB105には、被写体となる対象について、種々の角度から撮影していた画像データが含まれる。このため、被写体DB105の蓄積データに含まれる画像データに対応する検索対象の画像データの提供を要求し、3D画像(3次元立体画像)を用いた認識処理を行うこともできる。すなわち、3D認識を行うために、検索対象の被写体を多方面から撮影し、当該撮影した画像データを送信することを要求することもできる。
As described with reference to FIG. 9, the
また、上述した実施の形態の携帯電話端末4では、被写体に関するテキスト情報や撮影場所に関するテキスト情報は、キー操作部411を通じて手入力するものとしたが、これに限るものではない。被写体に関する情報や撮影場所に関する情報を、音声入力により受け付け、これを音声認識してテキスト情報に変換して保持したり、また、音声データのまま保持したりすることもできる。なお、被写体に関する情報や撮影場所に関する情報を音声データのまま保持した場合には、サーバ装置1側で音声認識してテキスト情報に変換して利用するようにすればよい。携帯電話端末4は、マイクロホン404を備えているので、当該マイクロホン404を通じて、音声データの入力を受け付けるようにすることで対応することができる。
In the
また、上述した実施の形態においては、出かけた先で被写体の検索を行うものとして説明したが、これに限るものではない。例えば、茸などの場合、群生して自生し、そのままの状態を撮影しても、検索に適した画像データを取得できるとは限らない。このため、茸などの場合には、採取して持ち帰り、自宅などにおいて、単体(1本分)に分けて、これを撮影し、検索を行うようにしてもよい。 Further, in the above-described embodiment, the description has been made on the assumption that the subject is searched at the destination, but the present invention is not limited to this. For example, in the case of a cocoon or the like, image data suitable for a search may not be acquired even if the state grows and grows and the state is photographed as it is. For this reason, in the case of a bag or the like, it may be collected and taken home, and at home or the like, it may be divided into a single piece (one piece) and photographed for retrieval.
また、検索対象の被写体について検索処理を行った結果、似たものの登録データが被写体DB105に存在し、毒性があると疑わしい場合には、相似形アルゴリズムを用いたチェックを行う。これにより、被写体に関する情報をより正確に検索することができる。
Further, as a result of performing the search processing on the subject to be searched, if similar registration data exists in the
また、検索対象の被写体についての調理情報は、テキストデータだけでなく、静止画で調理例を示したり、動画と音声との一方または両方を用いて、調理の仕方(調理方法)を通知したりしてもよい。このようにする場合には、被写体DB105には、テキスト情報だけでなく、必要となる静止画データ、動画データ、音声データを登録データに含めるようにしておけばよい。
The cooking information about the subject to be searched is not only text data, but also shows a cooking example as a still image, or notifies the cooking method (cooking method) using one or both of video and audio. May be. In this case, the
また、上述した実施の形態の携帯電話端末4の機能とサーバ装置1の機能とを、例えばタブレット型端末やノートパソコンなどに搭載することにより、いわゆるスタンドアロン型の被写体検索装置を実現することもできる。
In addition, by mounting the functions of the
また、上述したサーバ装置1の機能を、自宅などに設置されるパーソナルコンピュータなど搭載することもできる。この場合、当該パーソナルコンピュータは、いわゆるローカルな被写体DBを備えた構成となる。そして、携帯電話端末4を有線あるいは無線のデジタルインターフェースを通じて当該パーソナルコンピュータに接続し、上述した実施の形態の携帯電話端末4とサーバ装置1とでやり取りしたように、所定の情報のやり取りを行うようにすることによって、検索対象に被写体についての検索処理を、上述した実施の形態の場合とほぼ同様に行うことができる。
In addition, the functions of the
また、上述した実施の形態では、検索対象となる被写体は、植物や魚介類の他、昆虫や動物、更には鉱石などの無生物についても応用することができる。 In the embodiment described above, the subject to be searched can be applied to inanimate objects such as insects, animals, ores, as well as plants and seafood.
[その他]
なお、図4に示したサーバ装置1において、検索処理部111、回答情報生成部112、追加情報要求部113の各機能は、制御部120において実行されるプログラムによって、制御部120の機能として実現することもできる。
[Others]
In the
また、上述した実施の形態の説明から分かるように、撮影手段としての機能は、携帯電話端末4のカメラ部416が実現している。また、取得手段としての機能は、携帯電話端末4のGPS部435、時計回路431、キー操作部411、図示しない方位センサ等の種々の情報取得機能が実現している。また、記憶手段の機能は、サーバ装置1の被写体DB105が実現し、検索手段、第1、第2の再検索手段の機能は、サーバ装置1の検索処理部111が実現し、第1、第2の追加要求手段の機能は、サーバ装置1の追加情報要求部113が実現している。また、第1、第2の制御手段の機能は、携帯電話端末4の制御部420が実現している。
Further, as can be seen from the description of the above-described embodiment, the
また、第1、第2の回答情報生成手段の機能は、サーバ装置1の回答情報生成部112が実現している。また、端末装置側の第1、第2、第3の形成手段は、携帯電話端末4の制御部420が実現し、端末装置側の第1、第2、第3の送信手段、第1、第2の受信手段、第1、第2の回答情報受信手段の機能は、携帯電話端末4の主に送受信アンテナ401及び送受信処理部402が実現している。また、情報処理装置側の第1、第2、第3の受信手段、第1、第2の追加要求送信手段、第1、第2の回答情報送信手段の機能は、サーバ装置1の主に接続端子101及び通信I/F102が実現している。
Also, the functions of the first and second answer information generating means are realized by the answer
また、図6〜図8のフローチャート及び図10、図11に示した処理は、この発明の方法に対応するものである。また、図6〜図8に示したフローチャートに応じた処理を実行するプログラムが、この発明の被写体検索情報提供プログラムに対応する。また、図10、図11に示したフローチャートに応じた処理を実行するプログラムが、この発明の被写体検索プログラムに対応する。したがって、図6〜図8に示した処理を実行するプログラムを形成し、これを携帯電話端末などの端末装置等に搭載して、当該装置において実行可能にしておく。また、図10、図11に示した処理を実行するプログラムを形成し、これをサーバ装置やパーソナルコンピュータ等の情報処理装置に搭載して、当該装置において実行可能にしておく。これにより、当該端末装置と当該情報処理装置とにより、この発明の被写体検索装置を容易に実現することができる。 Further, the flowcharts of FIGS. 6 to 8 and the processes shown in FIGS. 10 and 11 correspond to the method of the present invention. A program for executing processing according to the flowcharts shown in FIGS. 6 to 8 corresponds to the subject search information providing program of the present invention. A program that executes processing according to the flowcharts shown in FIGS. 10 and 11 corresponds to the subject search program of the present invention. Therefore, a program for executing the processing shown in FIGS. 6 to 8 is formed, and is installed in a terminal device such as a mobile phone terminal so as to be executable in the device. Further, a program for executing the processing shown in FIGS. 10 and 11 is formed, and this is installed in an information processing apparatus such as a server apparatus or a personal computer, and is executable in the apparatus. Thereby, the subject search device of the present invention can be easily realized by the terminal device and the information processing device.
1…サーバ装置、101…接続端子、102…通信I/F、103…検索要求保存ファイル、104…HDD、105…被写体DB、106…地図DB、111…検索処理部、112…回答情報生成部、113…追加情報要求部、120…制御部、2…ネットワーク、3…基地局、4…携帯電話端末、401…送受信アンテナ、402…送受信処理部、403…受話器(スピーカ)、404…送話器(マイクロホン)、411…キー操作部、412…表示制御部、413…表示部、414…音声処理部、415…スピーカ、416…カメラ部、420…制御部、431…時計回路、432…メモリスロット部、433…外部入出力端子、434…外部I/F、435…GPS部、436…GPSアンテナ、5…GPS衛星
DESCRIPTION OF
Claims (6)
前記撮影手段を通じて取得した前記画像データについての少なくとも撮影位置、撮影日時を含む前記画像データについての関連情報を取得する取得手段と、
被写体となる可能性のある複数の対象毎に、当該対象の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段と、
取得された前記画像データと前記関連情報とに基づいて、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を検索する検索手段と、
検索対象の前記被写体に関する情報が検索できなかった場合に、第1の追加情報を要求する第1の追加要求手段と、
前記第1の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第1の追加情報を取得するように制御する第1の制御手段と、
前記第1の制御手段の制御に応じて取得された前記第1の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第1の再検索手段と、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第2の追加情報として要求する第2の追加要求手段と、
前記第2の追加情報の要求に応じて、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第2の追加情報を取得するように制御する第2の制御手段と、
前記第2の制御手段の制御に応じて取得された前記第2の追加情報をも考慮して、前記記憶手段の蓄積情報から検索対象の前記被写体に関する情報を再検索する第2の再検索手段と
を備えることを特徴とする被写体検索装置。 Photographing means for photographing an image of a subject to be searched and obtaining image data of the subject;
Acquisition means for acquiring related information about the image data including at least a shooting position and a shooting date and time for the image data acquired through the shooting means ;
Storage means for storing, for each of a plurality of objects that may be subjects, one or more image data forming one or more images of the object , and storing information relating to the object and map information ;
Search means for searching for information on the subject to be searched from stored information in the storage means based on the acquired image data and the related information;
First information requesting means for requesting first additional information when information on the subject to be searched cannot be searched;
First control means for controlling to acquire the first additional information through one or both of the photographing means and the acquiring means in response to a request for the first additional information;
First re-search means for re-searching information on the subject to be searched from the stored information in the storage means, taking into account the first additional information acquired in accordance with the control of the first control means. When,
Second information requesting means for requesting information on a specific part of the subject as second additional information when information on the subject that is a candidate for search can be retrieved;
Second control means for controlling to acquire the second additional information through one or both of the photographing means and the acquiring means in response to a request for the second additional information;
Second re-search means for re-searching information relating to the subject to be searched from the stored information in the storage means, taking into account the second additional information acquired in accordance with the control of the second control means. And a subject search device.
前記検索手段で検索対象の前記被写体に関する情報を検索できた場合に、検索の結果得られた当該情報に基づいて、第1の回答情報を生成する第1の回答情報生成手段と、
前記第1の再検索手段または前記第2の再検索手段での検索結果に基づいて、第2の回答情報を生成する第2の回答情報生成手段と、
を備えることを特徴とする被写体検索装置。 The subject search device according to claim 1,
First answer information generating means for generating first answer information based on the information obtained as a result of the search when the information on the subject to be searched can be searched by the search means;
Second answer information generating means for generating second answer information based on a search result in the first re-search means or the second re-search means;
A subject search device comprising:
当該被写体検索装置は、端末装置と情報処理装置とからなり、
前記端末装置は、
前記撮影手段と、前記取得手段と、
ユーザからの指示入力を受け付ける受付手段と、前記第1、第2の制御手段とを備えると共に、
前記撮影手段で取得された前記画像データと前記取得手段で取得された前記関連情報と
を含む検索要求を形成する第1の形成手段と、
前記検索要求を前記情報処理装置に送信する第1の送信手段と、
前記第1の追加情報の要求を受信する第1の受信手段と、
前記第1の制御手段の制御に応じて、前記撮影手段と前記取得手段との一方または両方で取得された情報を含む第1の再検索要求を形成する第2の形成手段と、
前記第1の再検索要求を前記情報処理装置に送信する第2の送信手段と、
前記第2の追加情報の要求を受信する第2の受信手段と、
前記第2の制御手段の制御に応じて、前記撮影手段と前記取得手段との一方または両方で取得された情報を含む第2の再検索要求を形成する第3の形成手段と、
前記第2の再検索要求を前記情報処理装置に送信する第3の送信手段と、
前記第1の回答情報を受信する第1の回答情報受信手段と、
前記第2の回答情報を受信する第2の回答情報受信手段と
を備え、
前記情報処理装置は、
前記記憶手段と、前記検索手段と、前記第1、第2の追加要求手段と、前記第1、第2の再検索手段と、前記第1、第2の回答情報生成手段とを備え、
前記端末装置からの前記検索要求を受信する第1の受信手段と、
前記第1の追加情報の要求を前記端末装置に送信する第1の追加要求送信手段と、
前記端末装置からの前記第1の再検索要求を受信する第2の受信手段と、
前記第2の追加情報の要求を前記端末装置に送信する第2の追加要求送信手段と、
前記端末装置からの前記第2の再検索要求を受信する第3の受信手段と、
前記第1の回答情報を前記端末装置に送信する第1の回答情報送信手段と、
前記第2の回答情報を前記端末装置に送信する第2の回答情報送信手段と、
を備えることを特徴とする被写体検索装置。 The subject search device according to claim 2,
The subject search device includes a terminal device and an information processing device,
The terminal device
The photographing means; the obtaining means;
A receiving means for receiving an instruction input from a user, and the first and second control means;
First forming means for forming a search request including the image data acquired by the photographing means and the related information acquired by the acquiring means;
First transmission means for transmitting the search request to the information processing apparatus;
First receiving means for receiving a request for the first additional information;
Second forming means for forming a first re-search request including information acquired by one or both of the photographing means and the acquiring means in response to control of the first control means;
Second transmission means for transmitting the first re-search request to the information processing apparatus;
Second receiving means for receiving the request for the second additional information;
Third forming means for forming a second re-search request including information acquired by one or both of the photographing means and the acquiring means in response to control of the second control means;
Third transmission means for transmitting the second re-search request to the information processing apparatus;
First answer information receiving means for receiving the first answer information;
And second answer information receiving means for receiving the second answer information,
The information processing apparatus includes:
The storage means, the search means, the first and second addition request means, the first and second re-search means, and the first and second answer information generation means,
First receiving means for receiving the search request from the terminal device;
First additional request transmitting means for transmitting a request for the first additional information to the terminal device;
Second receiving means for receiving the first re-search request from the terminal device;
Second addition request transmitting means for transmitting the request for the second additional information to the terminal device;
Third receiving means for receiving the second re-search request from the terminal device;
First answer information transmitting means for transmitting the first answer information to the terminal device;
Second answer information transmitting means for transmitting the second answer information to the terminal device;
A subject search device comprising:
前記端末装置と前記情報処理装置とはネットワークを通じて接続されることを特徴とする被写体検索装置。 The subject search device according to claim 3,
The subject search device, wherein the terminal device and the information processing device are connected through a network.
前記撮影手段を通じて取得した前記画像データについての少なくとも撮影位置、撮影日時を含む前記画像データについての関連情報を、取得手段を通じて取得する取得工程と、
検索手段が、取得された前記画像データと前記関連情報とに基づいて、被写体となる複数の対象毎に当該対象の外観の1以上の画像を形成する1以上の画像データを含み、当該対象に関する情報と、地図情報とを蓄積する記憶手段の情報を参照し、検索対象の被写体に関する情報を検索する検索工程と、
前記被写体に関する情報を検索できなかった場合に、第1の追加要求形成手段が第1の追加情報を要求する第1の追加要求工程と、
受付手段を通じて、前記第1の追加情報の要求に応じた情報の第1の取得指示をユーザから受け付ける第1の受付工程と、
前記第1の取得指示に応じて、第1の制御手段が、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第1の追加情報を取得するように制御する第1の制御工程と、
前記第1の制御手段の制御に応じて新たに取得された前記第1の追加情報をも考慮して、第1の再検索手段が、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第1の再検索工程と、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第2の追加情報として要求する第2の追加要求工程と、
受付手段を通じて、前記第2の追加情報の要求に応じた情報の第2の取得指示をユーザから受け付ける第2の受付工程と、
前記第2の取得指示に応じて、第2の制御手段が、前記撮影手段と前記取得手段との一方あるいは両方を通じて、前記第2の追加情報を取得するように制御する第2の制御工程と、
前記第2の制御手段の制御に応じて新たに取得された前記第2の追加情報をも考慮して、第2の再検索手段が、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第2の再検索工程と
を有することを特徴とする被写体検索方法。 A photographing step of photographing an image of a subject to be searched through photographing means and obtaining image data;
An acquisition step of acquiring related information about the image data including at least a shooting position and a shooting date and time for the image data acquired through the imaging unit, through the acquisition unit ;
The search means includes one or more image data that forms one or more images of the appearance of the target for each of a plurality of targets that are subjects based on the acquired image data and the related information, and A search step for searching for information on a subject to be searched with reference to information in a storage means for storing information and map information ;
A first addition request step in which the first additional request forming means requests the first additional information when the information on the subject cannot be searched;
A first accepting step of accepting a first acquisition instruction of information in response to the request for the first additional information from a user through accepting means;
A first control step of controlling the first control means to acquire the first additional information through one or both of the photographing means and the acquisition means in response to the first acquisition instruction; ,
Considering also the first additional information newly acquired in accordance with the control of the first control means, the first re-search means refers to the information in the storage means, and the subject to be searched A first re-search process for re-searching information about
A second addition requesting step of requesting information on a specific part of the subject as second additional information when information on the subject that is a candidate for search can be retrieved;
A second accepting step of accepting a second acquisition instruction of information in response to the request for the second additional information from the user through accepting means;
A second control step of controlling the second control means to acquire the second additional information through one or both of the photographing means and the acquisition means in response to the second acquisition instruction; ,
In consideration of the second additional information newly acquired in accordance with the control of the second control means, the second re-search means refers to the information in the storage means, and the subject to be searched And a second re-search step for re-searching information regarding the subject search method.
検索要求元からの検索対象の被写体を撮影することにより得られる画像データと、当該画像データについての少なくとも撮影位置、撮影日時を含む関連情報とが含まれる検索要求を、受信手段を通じて受信した場合に、前記検索要求に含まれる前記画像データと前記関連情報とに基づいて、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を検索する検索ステップと、
前記被写体に関する情報を検索できなかった場合に、第1の追加情報の提供を要求する第1の追加要求を形成する第1の追加要求形成ステップと、
前記第1の追加要求を、送信手段を通じて前記検索要求元に送信する第1の送信ステップと、
前記検索要求元からの前記第1の追加情報を含む第1の再検索要求を、受信手段を通じて受信した場合に、前記第1の再検索要求に含まれる前記第1の追加情報をも考慮して、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第1の再検索ステップと、
検索対象の候補となる前記被写体に関する情報が検索できた場合に、前記被写体の特定部分の情報を第2の追加情報として要求する第2の追加要求を形成する第2の追加要求形成ステップと、
前記第2の追加要求を、送信手段を通じて前記検索要求元に送信する第2の送信ステップと、
前記検索要求元からの前記第2の追加情報を含む第2の再検索要求を、受信手段を通じて受信した場合に、前記第2の再検索要求に含まれる前記第2の追加情報をも考慮して、前記記憶手段の情報を参照し、検索対象の前記被写体に関する情報を再検索する第2の再検索ステップと、 を実行することを特徴とする被写体検索プログラム。 An information processing apparatus that includes one or more image data that forms one or more images of the appearance of a target for each of a plurality of targets that are subjects, and includes a storage unit that stores information about the target and map information A program executed by an installed computer,
When a search request including image data obtained by photographing a subject to be retrieved from a search request source and related information including at least a photographing position and a photographing date and time for the image data is received through a receiving unit. A search step of searching for information on the subject to be searched by referring to the information in the storage unit based on the image data and the related information included in the search request;
A first additional request forming step of forming a first additional request for requesting provision of first additional information when information on the subject cannot be retrieved;
A first transmission step of transmitting the first addition request to the search request source through transmission means;
When the first re-search request including the first additional information from the search request source is received through receiving means, the first additional information included in the first re-search request is also taken into consideration. A first re-searching step for re-searching information on the subject to be searched with reference to information in the storage means;
A second addition request forming step for forming a second addition request for requesting information on a specific part of the subject as second additional information when information on the subject as a candidate for search can be searched;
A second transmission step of transmitting the second addition request to the search request source through transmission means;
When the second re-search request including the second additional information from the search request source is received through receiving means, the second additional information included in the second re-search request is also taken into consideration. And a second re-search step for re-searching information relating to the subject to be searched with reference to the information in the storage means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011240759A JP5687995B2 (en) | 2011-11-02 | 2011-11-02 | Subject search device, subject search method, subject search information providing program, and subject search program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011240759A JP5687995B2 (en) | 2011-11-02 | 2011-11-02 | Subject search device, subject search method, subject search information providing program, and subject search program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013097632A JP2013097632A (en) | 2013-05-20 |
JP5687995B2 true JP5687995B2 (en) | 2015-03-25 |
Family
ID=48619498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011240759A Expired - Fee Related JP5687995B2 (en) | 2011-11-02 | 2011-11-02 | Subject search device, subject search method, subject search information providing program, and subject search program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5687995B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045645A (en) * | 2014-08-21 | 2016-04-04 | アシストシステムズ株式会社 | Server device, database system, and search program |
JP6621595B2 (en) * | 2015-04-23 | 2019-12-18 | 株式会社Nttドコモ | Information processing apparatus, information processing method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4403937B2 (en) * | 2004-09-29 | 2010-01-27 | カシオ計算機株式会社 | Camera device, information processing device, and subject identification method |
FR2878392A1 (en) * | 2004-10-25 | 2006-05-26 | Cit Alcatel | METHOD OF EXCHANGING INFORMATION BETWEEN A MOBILE TERMINAL AND A SERVER |
JP2006309600A (en) * | 2005-04-28 | 2006-11-09 | Olympus Corp | Retrieval system |
JP2007179129A (en) * | 2005-12-27 | 2007-07-12 | Nikon Corp | Retrieval system |
JP2008015599A (en) * | 2006-07-03 | 2008-01-24 | Nikon Corp | Electronic device and search assistace program |
-
2011
- 2011-11-02 JP JP2011240759A patent/JP5687995B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013097632A (en) | 2013-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6958673B2 (en) | Mobile information devices, information acquisition systems, and programs | |
JP6357140B2 (en) | Image judgment method | |
CN112565552B (en) | Image pickup apparatus, information acquisition system, recording medium, and server | |
KR101485458B1 (en) | Method For Creating Image File Including Information of Individual And Apparatus Thereof | |
KR101481323B1 (en) | Providing system for plant information using plant image from mobile terminal | |
CN103220469A (en) | Camera smart box, camera data processing system and camera data processing method | |
JP5687995B2 (en) | Subject search device, subject search method, subject search information providing program, and subject search program | |
JP4764652B2 (en) | Image information update system, image processing apparatus, image update apparatus, image information update method, image information update program, and recording medium on which the program is recorded | |
JP2013021473A (en) | Information processing device, information acquisition method, and computer program | |
JP5706729B2 (en) | Biological image processing apparatus and biological image processing method | |
JP2009259096A (en) | Image information providing system, image information server, imaging apparatus, and image information providing method | |
WO2005029361A1 (en) | Sightseeing information providing server, method, and program | |
WO2011136340A1 (en) | Information provision device, information provision processing program, recording medium that has recorded information provision processing program, and information provision method | |
JP5535671B2 (en) | Information providing apparatus, information providing processing program, and information providing method | |
JP6241073B2 (en) | Image evaluation server and image evaluation system | |
JP2010146269A (en) | Information processing device, information provision system and information processing method | |
JP2007188229A (en) | Flower information inquiry method and flower information inquiry system | |
JP2009110232A (en) | Area specification device and method | |
JP2013143750A (en) | Image processing device, image processing method, and program | |
JP5940600B2 (en) | Map display server and map display method | |
JP2014032684A (en) | Map retrieving server and map retrieving method | |
JP2019057246A (en) | Information processing apparatus and program | |
KR101605768B1 (en) | Data processing apparatus for map data process and method thereof | |
JP2015011416A (en) | Image evaluation server and image evaluation system | |
JP2018073022A (en) | Facility information transmission method, facility information transmission system, facility information transmission program, facility information transmission apparatus and composite image creation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5687995 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |