JP2015173307A - Mobile terminal device, information processing system, information processing method for mobile terminal device, and program - Google Patents
Mobile terminal device, information processing system, information processing method for mobile terminal device, and program Download PDFInfo
- Publication number
- JP2015173307A JP2015173307A JP2014047462A JP2014047462A JP2015173307A JP 2015173307 A JP2015173307 A JP 2015173307A JP 2014047462 A JP2014047462 A JP 2014047462A JP 2014047462 A JP2014047462 A JP 2014047462A JP 2015173307 A JP2015173307 A JP 2015173307A
- Authority
- JP
- Japan
- Prior art keywords
- information
- feature information
- database
- terminal device
- diffusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、携帯端末装置、情報処理システム、携帯端末装置の情報処理方法、およびプログラムに関し、特に、携帯端末同士で情報交換する、携帯端末装置、情報処理システム、携帯端末装置の情報処理方法、およびプログラムに関する。 The present invention relates to a mobile terminal device, an information processing system, an information processing method for a mobile terminal device, and a program, and in particular, to exchange information between mobile terminals, a mobile terminal device, an information processing system, an information processing method for a mobile terminal device, And program.
DTN(Delay, Disruption, Disconnection Tolerant Networking)のような送達確認が困難でノード間の転送が不確かなネットワークにおいて、コピー配布の重複による中継移動端末および中継固定局の記録媒体の占有を低減するDTNデータ転送方法の一例が特許文献1に記載されている。
また、特許文献2には、移動端末をデータ転送の媒体として、基地局間でデータ転送をする場合に、適切な経路を選択し、ネットワーク全体にかかる負荷を低減することができるデータ転送方法が記載されている。
DTN data that reduces the occupancy of the recording media of relay mobile terminals and relay fixed stations due to duplication of copy distribution in networks where delivery confirmation is difficult and transfer between nodes is uncertain, such as DTN (Delay, Disruption, Disconnection Tolerant Networking) An example of the transfer method is described in
Patent Document 2 discloses a data transfer method capable of selecting an appropriate route and reducing the load on the entire network when data is transferred between base stations using a mobile terminal as a data transfer medium. Have been described.
特許文献3には、安否情報提供装置の一例が記載されている。特許文献3に記載の安否情報提供装置は、被災者となった安否確認対象者が自分の安否情報を入力し、サーバに登録する。安否確認対象者の顔画像を被写体として撮影し、予め登録された照合用顔画像と照合し、特徴が一致する照合用画像を同一人物の画像であると判断し、候補として検索抽出する。顔画像の照合は、安否確認用顔画像と照合用顔画像の一致度を、目の距離、輪郭、および目鼻等の顔の部分の形状などの特徴から算出し、一致度が照合用顔画像ごとに予め定められた閾値を超えている場合、同一人物と判断する。 Patent Document 3 describes an example of a safety information providing device. In the safety information providing apparatus described in Patent Literature 3, a safety confirmation target person who has become a victim inputs his / her safety information and registers it in the server. The face image of the safety confirmation target person is photographed as a subject, collated with a pre-registered collation face image, a collation image with matching characteristics is determined to be an image of the same person, and is extracted as a candidate. For face image collation, the degree of coincidence between the safety confirmation face image and the face image for collation is calculated from features such as the distance of the eyes, the contour, and the shape of the face portion such as the eyes and nose, and the degree of coincidence is calculated. If the predetermined threshold is exceeded for each, it is determined that they are the same person.
特許文献4には、小売店群における全ての来店者の中から万引き履歴者を確実に特定する万引き防止システムが記載されている。店舗の監視カメラで撮影された画像と、登録されている万引き履歴者の顔写真データとを照合する。 Patent Literature 4 describes a shoplifting prevention system that reliably identifies shoplifting history persons from all the shoppers in a retail store group. The image taken with the surveillance camera of the store is collated with the registered shoplifting history face photo data.
しかしながら、上記文献記載の技術においては、情報伝達の通信負荷を抑制することや、予め登録された情報から、顔画像による照合により安否情報を検索して取得することはできるが、災害時等の通信環境が整わない状況の中で、最新の情報を蓄積して複数の端末間で情報交換を行い共有するという発想はなかった。 However, in the technique described in the above document, it is possible to suppress the communication load of information transmission and to retrieve and obtain safety information by collating face images from pre-registered information. There was no idea of storing the latest information and exchanging information among multiple terminals in a situation where the communication environment was not established.
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、端末同士で秘匿性を保ちながら情報交換により最新情報を共有できる情報処理システム、携帯端末装置、その情報処理方法およびプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an information processing system capable of sharing the latest information by exchanging information while maintaining confidentiality between terminals, a portable terminal device, an information processing method thereof, and To provide a program.
本発明の携帯端末装置は、
登録用および照合用の撮像画像から特徴情報を取得する特徴情報取得手段と、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得する位置時刻情報取得手段と、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報として保持するデータベースと、
他の装置に、前記データベースに保持されている前記拡散情報を送信するとともに、前記他の装置が保持している拡散情報を受信する情報交換手段と、
前記他の装置から受信した拡散情報を前記データベースに新たに登録する更新手段と、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合し、前記照合用撮像画像の特徴情報と類似する特徴情報を特定する照合手段と、
前記データベースにおいて前記照合手段により特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する属性検出手段と、
を備える。
The portable terminal device of the present invention is
Feature information acquisition means for acquiring feature information from registered and collated captured images;
Position time information acquisition means for acquiring position information and time information related to the feature information acquired from the captured image for registration;
A database that associates the feature information acquired from the registered captured image with the corresponding position information and the time information, and holds it as diffusion information to be diffused;
Information exchange means for transmitting the spread information held in the database to another device and receiving the spread information held by the other device;
Update means for newly registering spreading information received from the other device in the database;
Collating means for collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database, and identifying feature information similar to the feature information of the collated captured image;
Attribute detection means for acquiring position information and time information associated with feature information specified by the matching means in the database as attribute information of the captured image for matching;
Is provided.
本発明の情報処理システムは、
本発明の携帯端末装置を複数備え、
前記複数の携帯端末装置がそれぞれ有するデータベース内の、特徴情報と、前記特徴情報に紐付けられる位置情報および時刻情報を、前記複数の携帯端末装置が交換する、
情報処理システム。
The information processing system of the present invention
A plurality of portable terminal devices of the present invention,
The plurality of portable terminal devices exchange feature information in the database that each of the plurality of portable terminal devices has, position information and time information associated with the feature information,
Information processing system.
本発明のコンピュータプログラムは、
コンピュータに、
登録用および照合用の撮像画像から特徴情報を取得する手順、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得する手順、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報としてデータベースに保持する手順と、
他の装置に、前記データベースに保持されている前記拡散情報を送信するとともに、前記他の装置が保持している拡散情報を受信する手順、
前記他の装置から受信した拡散情報を前記データベースに新たに登録する手順、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合し、前記照合用撮像画像の特徴情報と類似する特徴情報を特定する手順、
前記データベースにおいて特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する手順、を実行させるためのプログラムである。
The computer program of the present invention is:
On the computer,
Procedure for acquiring feature information from captured images for registration and verification,
A procedure for acquiring position information and time information related to the feature information acquired from the registered captured image;
A procedure for associating the feature information acquired from the registered captured image with the corresponding position information and the time information, and holding them in a database as diffusion information to be diffused;
A procedure for transmitting the spreading information held in the database to another device and receiving the spreading information held by the other device;
A procedure for newly registering spreading information received from the other device in the database;
A procedure for collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database, and identifying feature information similar to the feature information of the collated captured image;
It is a program for executing a procedure for acquiring position information and time information associated with feature information specified in the database as attribute information of the verification captured image.
本発明の携帯端末装置の情報処理方法は、
携帯端末装置が、
登録用の撮像画像から特徴情報を取得し、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得し、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報としてデータベースに登録し、
前記データベースに保持されている前記拡散情報を送信するとともに、他の装置が保持している拡散情報を受信して、拡散情報を交換し、
前記他の装置から受信した拡散情報を前記データベースに新たに登録し、
照合用の撮像画像から特徴情報を取得し、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合して、前記照合用撮像画像の特徴情報と類似する特徴情報を特定し、
前記データベースにおいて特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する。
An information processing method for a portable terminal device according to the present invention includes:
The mobile terminal device
Obtain feature information from the captured image for registration,
Obtaining position information and time information related to the feature information obtained from the registered captured image;
The feature information acquired from the registered captured image is associated with the corresponding position information and time information, and is registered in the database as diffusion information to be diffused.
While transmitting the spreading information held in the database, receiving spreading information held by other devices, exchanging spreading information,
Newly registering spreading information received from the other device in the database;
Obtain feature information from the captured image for verification,
Collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database to identify feature information similar to the feature information of the collated captured image;
Position information and time information associated with the feature information specified in the database are acquired as attribute information of the verification captured image.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。 The various components of the present invention do not necessarily have to be independent of each other. A plurality of components are formed as a single member, and a single component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, or the like.
また、本発明の情報処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の情報処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。 Further, although a plurality of procedures are described in order in the information processing method and the computer program of the present invention, the described order does not limit the order in which the plurality of procedures are executed. For this reason, when the information processing method and the computer program of the present invention are implemented, the order of the plurality of procedures can be changed within a range that does not hinder the contents.
さらに、本発明の情報処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。 Furthermore, the plurality of procedures of the information processing method and the computer program of the present invention are not limited to being executed at different timings. For this reason, another procedure may occur during the execution of a certain procedure, or some or all of the execution timing of a certain procedure and the execution timing of another procedure may overlap.
本発明によれば、端末同士で秘匿性を保ちながら情報交換により最新情報を共有できる情報処理システム、携帯端末装置、その情報処理方法およびプログラムが提供される。 ADVANTAGE OF THE INVENTION According to this invention, the information processing system which can share the newest information by information exchange, maintaining a confidentiality between terminals, a portable terminal device, its information processing method, and a program are provided.
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same reference numerals are given to the same components, and the description will be omitted as appropriate.
(第1の実施の形態)
図1は、本発明の実施の形態に係る携帯端末装置100の論理的な構成を示す機能ブロック図である。
図1に示すように、携帯端末装置100は、登録用および照合用の撮像画像から特徴情報を取得する特徴情報取得部102と、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得する位置時刻情報取得部104と、登録用撮像画像から取得された特徴情報と、対応する位置情報および時刻情報とを紐付けて、拡散すべき拡散情報として保持するデータベース106と、データベース106に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信する情報交換部108と、他の装置から受信した拡散情報をデータベース106に新たに登録する更新部110と、照合用撮像画像から取得された特徴情報とデータベース106に拡散情報として保持される特徴情報とを照合し、照合用撮像画像の特徴情報と類似する特徴情報を特定する照合部112と、データベース106において照合部112により特定された特徴情報と紐付けられている位置情報および時刻情報を照合用撮像画像の属性情報として取得する属性検出部114と、を備える。
(First embodiment)
FIG. 1 is a functional block diagram showing a logical configuration of mobile
As illustrated in FIG. 1, the mobile
本発明において、携帯端末装置は、可搬型で通信機能を有する端末装置であり、たとえば、携帯電話機、スマートフォン、タブレット端末、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)、ゲーム機、または、ノート型パーソナルコンピュータなどである。 In the present invention, the mobile terminal device is a portable terminal device having a communication function. For example, a mobile phone, a smartphone, a tablet terminal, a PHS (Personal Handyphone System), a PDA (Personal Digital Assistants), a game machine, or It is a notebook personal computer.
図2は、本発明の実施の形態に係る携帯端末装置100に構築されるデータベース106の構造の一例を示す図である。
本実施形態のデータベース106は、図2に示すように、少なくとも1レコードに、特徴情報Dfn、位置情報Dln、および時刻情報Dtn(nは自然数)が紐付けられて複数登録される。
特徴情報Dfnは、撮像画像の特徴のみを抽出して所定の規則に従い表現した情報である。特徴情報Dfnは、画像データよりデータサイズが小さいため(たとえば、数100バイト程度)、メモリ容量や通信負荷を低減することができる。また、特徴情報Dfnは、画像そのものではないため、元の画像に写るオブジェクトを一般人に把握させることを困難にすることができる。これにより、特徴情報を含む拡散情報を他人に拡散しかつ共有したとしても、画像そのものを用いるのと比べ、個人情報の保護を順守することができる。
FIG. 2 is a diagram showing an example of the structure of the
As shown in FIG. 2, in the
The feature information Dfn is information obtained by extracting only the feature of the captured image and expressing it according to a predetermined rule. Since the feature information Dfn is smaller in data size than the image data (for example, about several hundred bytes), the memory capacity and the communication load can be reduced. Further, since the feature information Dfn is not an image itself, it can be difficult for an ordinary person to grasp an object that appears in the original image. Thereby, even if the diffusion information including the feature information is diffused and shared with others, the protection of the personal information can be observed as compared with the case where the image itself is used.
位置情報Dlnには、携帯端末装置100が有する後述するGPS(Global Positioning System)機能等を用いて取得される、拡散情報登録時の携帯端末装置100の位置情報を用いることができる。あるいは、他の例では、登録用撮像画像に紐付けられている撮影場所の情報を用いてもよい。あるいは、地図表示機能を有するアプリケーション等を用いてユーザが地図上で場所を指定したり、住所を入力したりして、登録場所を指定し、指定された情報を登録用撮像画像の位置情報としてもよい。
As the position information Dln, the position information of the portable
時刻情報Dtnは、拡散情報登録時の時刻を、携帯端末装置100内蔵の時計(不図示)等から取得して用いることができる。あるいは、他の例では、登録用撮像画像に紐付けられている撮影時刻の情報を用いてもよい。あるいは、ユーザが指定した日時を登録用撮像画像の時刻情報としてもよい。
なお、登録する位置情報および時刻情報として上記のいずれを用いるかは、ユーザが予め、または都度、選択できてもよい。
The time information Dtn can be used by acquiring the time when the spread information is registered from a clock (not shown) built in the mobile
Note that the user may be able to select in advance or whenever the position information and time information to be registered are used.
なお、図1の携帯端末装置100の各構成要素は、図示されない、CPU(Central Processing Unit)、メモリ、メモリにロードされた図1の構成要素を実現するプログラム、そのプログラムを格納する内部ストレージなどの記憶ユニット、通信用インタフェースを備える任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。図1の機能ブロック図は、ハードウェア単位の構成ではなく、機能単位の論理的なブロックを示している。
Each component of the mobile
本発明の実施の形態に係る携帯端末装置100では、コンピュータプログラムに対応する各種の処理動作をコンピュータが実行することにより、前述のような各種ユニットが各種機能として実現される。
本発明の実施の形態に係るコンピュータプログラムは、携帯端末装置100を実現させるためのコンピュータに、登録用および照合用の撮像画像から特徴情報を取得する手順、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得する手順、登録用撮像画像から取得された特徴情報と、対応する位置情報および時刻情報とを紐付けて、拡散すべき拡散情報としてデータベース106に保持する手順と、他の装置に、データベース106に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信する手順、他の装置から受信した拡散情報をデータベース106に新たに登録する手順、照合用撮像画像から取得された特徴情報とデータベース106に拡散情報として保持される特徴情報とを照合し、照合用撮像画像の特徴情報と類似する特徴情報を特定する手順、データベース106において特定された特徴情報と紐付けられている位置情報および時刻情報を照合用撮像画像の属性情報として取得する手順、を実行させるように記述されている。
In the mobile
The computer program according to the embodiment of the present invention is a procedure for acquiring feature information from registered and collated captured images in a computer for realizing the portable
このように構成された本実施の形態の携帯端末装置100による情報処理方法を以下に説明する。図3〜図5は、本発明の実施の形態に係る携帯端末装置100の動作の一例を示すフローチャートである。
まず、図3は、拡散情報を登録する処理の手順を示すフローチャートである。
本発明の実施の形態に係る携帯端末装置100の情報処理方法は、携帯端末装置100が、登録用の撮像画像から特徴情報を取得し(ステップS101)、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得し(ステップS103)、登録用撮像画像から取得された特徴情報と、対応する位置情報および時刻情報とを紐付けて、拡散すべき拡散情報としてデータベース106に登録して保持する(ステップS105)。
次に、図4は、拡散情報を他の装置と交換する処理の手順を示すフローチャートである。
本発明の実施の形態に係る携帯端末装置100の情報処理方法は、携帯端末装置100が、データベース106に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信して、拡散情報を交換し(ステップS107)、他の装置から受信した拡散情報をデータベース106に新たに登録する(ステップS109)。
さらに、図5は、携帯端末装置100内に蓄積した拡散情報の中から、ユーザが所望する情報を検索する処理の手順を示すフローチャートである。
本発明の実施の形態に係る携帯端末装置100の情報処理方法は、携帯端末装置100が、照合用の撮像画像から特徴情報を取得し(ステップS111)、照合用撮像画像から取得された特徴情報とデータベース106に拡散情報として保持される特徴情報とを照合して(ステップS113)、照合用撮像画像の特徴情報と類似する特徴情報を特定し(ステップS115)、データベース106において特定された特徴情報と紐付けられている位置情報および時刻情報を照合用撮像画像の属性情報として取得する(ステップS117)。
The information processing method by the portable
First, FIG. 3 is a flowchart showing a procedure of processing for registering diffusion information.
In the information processing method of the mobile
Next, FIG. 4 is a flowchart showing a procedure of processing for exchanging diffusion information with another device.
In the information processing method of portable
Further, FIG. 5 is a flowchart showing a processing procedure for searching for information desired by the user from the diffusion information stored in the mobile
In the information processing method of the mobile
詳細には、図3に示すように、本発明の実施の形態に係る携帯端末装置100において、特徴情報取得部102が、登録用の撮像画像から特徴情報を取得する(ステップS101)。
そして、位置時刻情報取得部104が、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得する(ステップS103)。
そして、位置時刻情報取得部104が、登録用撮像画像から取得された特徴情報と、対応する位置情報および時刻情報とを紐付けて、拡散すべき拡散情報としてデータベース106に登録して保持する(ステップS105)。
Specifically, as shown in FIG. 3, in portable
Then, the position time
Then, the position / time
そして、図4に示すように、情報交換部108が、データベース106に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信して、拡散情報を交換する(ステップS107)。
そして、更新部110が、他の装置から受信した拡散情報をデータベース106に新たに登録する(ステップS109)。
Then, as shown in FIG. 4, the
Then, the
さらに、図5に示すように、本発明の実施の形態に係る携帯端末装置100において、特徴情報取得部102が、照合用の撮像画像から特徴情報を取得する(ステップS111)。
そして、照合部112が、照合用撮像画像から取得された特徴情報とデータベース106に拡散情報として保持される特徴情報とを照合する(ステップS113)。照合用撮像画像の特徴情報と類似する特徴情報が特定された場合(ステップS115のYES)、属性検出部114が、データベース106において特定された特徴情報と紐付けられている位置情報および時刻情報を照合用撮像画像の属性情報として取得する(ステップS117)。
Furthermore, as shown in FIG. 5, in the mobile
Then, the
以上説明したように、本発明の実施の形態に係る携帯端末装置100によれば、特徴情報取得部102が登録用撮像画像から取得した特徴情報と、位置時刻情報取得部104が取得した登録用撮像画像に関する位置情報と時刻情報とを紐付けて、拡散すべき拡散情報としてデータベース106に登録し、情報交換部108が、データベース106に保持されている拡散情報を他の装置に送信するとともに、他の装置が保持している拡散情報を受信し、更新部110が、受信した拡散情報をデータベース106に新たに登録するので、インターネット等のネットワークを使用しなくても、他の装置と拡散情報を交換して情報を共有し、データベース106を構築することができる。
As described above, according to the mobile
そして、特徴情報取得部102が照合用撮像画像から特徴情報を取得し、照合部112が、照合用撮像画像から取得された特徴情報とデータベース106に拡散情報として保持される特徴情報を照合し、照合用撮像画像と類似する特徴情報を特定し、特定された特徴情報に紐付けられている位置情報と時刻情報を照合用撮像画像の属性情報として取得することができるので、インターネット等のネットワークを使用しなくても、携帯端末装置100内に構築されたデータベース106から、所望の撮像画像に関連する位置情報と時刻情報を検索することができる。
Then, the feature
たとえば、災害時等のネットワーク環境が整わない状況において、インターネット等のネットワークを使用しなくても、安否確認情報として、人物の撮像画像の特徴情報と、位置情報および時刻情報を紐付けて、データベース106を構築することができる。他の装置と情報交換しながら、データベースを更新していくので、最新情報を共有することができる。そして、探したい人物の撮像画像を元に、その時点での最新情報が蓄積されているデータベースを検索して、その特徴情報と類似する情報に関連する位置情報および時刻情報を取得できるので、その位置と時刻を探している人物の安否情報として得ることができる。また、得られた情報は、その時点で携帯端末装置が取得しうる最新の情報であり、信頼性が高いものとなる。
For example, in a situation where a network environment such as a disaster is not established, even if a network such as the Internet is not used, the feature information of a person's captured image is associated with position information and time information as safety confirmation information, and the
また、本発明の実施の形態に係る携帯端末装置100は、撮像画像そのものではなく、特徴情報取得部102が抽出した撮像画像の特徴情報を拡散情報としてデータベース106に登録し、その拡散情報を他の装置と交換するため、撮像画像のような個人情報そのものを交換するのに比べて、個人情報を順守することができる。
In addition, the mobile
(第2の実施の形態)
以下、本実施形態では、携帯端末装置がスマートフォン10で実現される例を説明する。
また、本発明の実施の形態に係る携帯端末装置200は、上記実施形態が拡散情報を拡散する構成を有するのに対し、さらに、その拡散情報の拡散の停止を伝搬する構成を有する点で相違する。
(Second Embodiment)
Hereinafter, in the present embodiment, an example in which the mobile terminal device is realized by the
Further, the mobile
本発明は、たとえば、災害時等にネットワーク環境が整わない状況下等において、各ユーザの携帯端末を利用して、安否確認等の目的で生存情報のデータベース206を構築し、ユーザ間で情報共有するシステムなどに適用できる。
In the present invention, for example, in a situation where the network environment is not prepared in the event of a disaster, the
図6は、本発明の実施の形態に係る携帯端末装置200の論理的な構成を示す機能ブロック図である。
本発明の実施の形態に係る携帯端末装置200は、登録用および照合用の撮像画像から特徴情報を取得する特徴情報取得部102と、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得する位置時刻情報取得部104と、登録用撮像画像から取得された特徴情報と、対応する位置情報および時刻情報とを紐付けて、拡散すべき拡散情報として保持するデータベース206と、他の装置に、データベース206に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信する情報交換部208と、他の装置から受信した拡散情報をデータベース206に新たに登録する更新部210と、照合用撮像画像から取得された特徴情報とデータベース206に拡散情報として保持される特徴情報とを照合し、照合用撮像画像の特徴情報と類似する特徴情報を特定する照合部212と、データベース206において照合部212により特定された特徴情報と紐付けられている位置情報および時刻情報を照合用撮像画像の属性情報として取得する属性検出部114と、特徴情報の拡散停止を示す停止要求を受け付ける削除受付部220と、停止要求に呼応して、照合部212による、拡散停止の特徴情報とデータベース206に拡散情報として保持される特徴情報との照合により、拡散停止の特徴情報と類似すると特定された、データベース206内の特徴情報に、拡散停止フラグを設定するフラグ設定部222と、を備える。
本実施形態において、情報交換部208は、さらに、拡散停止フラグが設定された特徴情報を拡散情報から除外して、他の装置に送信する。
FIG. 6 is a functional block diagram showing a logical configuration of mobile
The mobile
In the present embodiment, the
図7は、本発明の実施の形態に係る携帯端末装置200に構築されるデータベース206の構造の一例を示す図である。
本実施形態のデータベース206は、図2のデータベース106の各レコードに、さらに、拡散停止フラグが紐付けされて登録される。本実施形態では、拡散停止するレコードのフラグを1に設定するものとするが、フラグの設定方法は特に限定されず、拡散停止するレコードのフラグを0に設定してもよいし、他の数値、または文字列でもよい。あるいは、本実施形態では、レコード毎にフラグを設定する構成としているがこれに限定されない。たとえば、拡散情報と、拡散停止情報を識別できる構造でデータベース206に登録できれば、これに限定されない。
FIG. 7 is a diagram showing an example of the structure of the
In the
また、図では、特徴情報Dfn、位置情報Dln、時刻情報Dtn、および拡散停止フラグが1レコードに含まれる例を示しているが、さらに、付加情報を含むことができる。たとえば、性別、年齢(年代)、職業(特に医師、看護師、その他、災害時に居場所を確認したい職業等)、および名前(ニックネーム)等の少なくともいずれか1つを付加情報として含んでもよい。 Moreover, although the figure shows the example in which the feature information Dfn, the position information Dln, the time information Dtn, and the diffusion stop flag are included in one record, additional information can be further included. For example, at least one of gender, age (age), occupation (especially doctors, nurses, and other occupations whose location is to be confirmed in a disaster), and name (nickname) may be included as additional information.
そして、データベース206に保持されている付加情報のうち、情報交換部208が拡散情報として他の装置に送信する情報は、全ての付加情報を含んでもよいし、付加情報の中から選択的に送信できる構成としてもよい。
Of the additional information stored in the
図8は、本発明の実施の形態に係る携帯端末装置200を実現するスマートフォン10のハードウェア構成の一例を示すブロック図である。
なお、図8において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。なお、上記実施形態の携帯端末装置100も、本図のスマートフォン10で構成することもできる。
FIG. 8 is a block diagram illustrating an example of a hardware configuration of the
In FIG. 8, the configuration of parts not related to the essence of the present invention is omitted and is not shown. In addition, the portable
図8に示すように、スマートフォン10は、CPU12と、メモリ14と、内部ストレージ16と、通信制御部18と、操作部22と、操作受付部24と、表示部26と、表示制御部28と、撮像部32と、GPS(Global Positioning System)機能部(図中、「GPS」と示す)34と、時計38と、を備える。
As illustrated in FIG. 8, the
CPU12は、スマートフォン10の各要素とバス40を介して接続され、各要素とともにスマートフォン10全体を制御する。メモリ14は、スマートフォン10を動作させるためのプログラム(OS(Operating System)やアプリケーション等)や、それらのプログラムが動作する際に使用する各種設定データがロードされる領域と、プログラムが動作するための作業領域とを有する。内部ストレージ16は、本発明の携帯端末装置を実現するアプリケーションプログラム50や、さらに、他のアプリケーション、メール、文書、画像、音楽、動画等の各種ユーザデータを記憶する。なお、内部ストレージ16以外に、たとえば、スマートフォン10に装着または接続して利用できる外部ストレージ(たとえば、SD(Secure Digital)メモリカード等の記録媒体、USB(Universal Serial Bus)メモリ、またはHDD(Hard Disk Drive)等)にアクセス可能とする機構(接続手段、および読出/書込手段)をスマートフォン10は備えてもよい。
The
通信制御部18は、他の携帯端末装置と通信する。通信制御部18は、たとえば、無線LAN(Local Area Network)通信、赤外線通信、またはブルートゥース通信等の短距離無線通信のうち、少なくともいずれか1つの規格に準拠した通信を可能にする機能を実現するユニットであれば、特に限定されない。
図では1つのユニットのみ示しているが、スマートフォン10は、複数の異なる通信制御ユニットを有してもよい。そして、スマートフォン10と通信する他の装置が利用可能な通信方式に合わせて、適切な通信方式を選択できる構成としてもよい。また、通信制御部18は、有線通信、およびアンテナ20を介した無線通信の少なくともいずれか一つの通信方式で通信する。本実施形態の情報交換部208は、通信制御部18を用いて、他の装置と通信することができる。
また、スマートフォン10の他の通信機能として、携帯通信網に接続する機能を有するユニット(不図示)を備えてもよい。
The
Although only one unit is shown in the figure, the
In addition, as another communication function of the
操作部22は、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッドなどを含む。操作受付部24は、ユーザによる操作部22の操作を受け付け、CPU12に通知する。表示部26は、液晶ディスプレイ、有機EL(ElectroLuminescence)ディスプレイ、LED(Light Emitting Diode)表示器などを含む。表示制御部28は、CPU12からの指示に従い、表示部26に各種画面表示を行う。
また、スマートフォン10では、操作部22の一部と、表示部26が一体となったタッチパネル30を備えてもよい。
The
Further, the
また、図示されない、音声出力制御部、スピーカ、マイク等を備えてもよい。
撮像部32は、CCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの素子を用いたデジタルカメラの機能を実現するユニットである。なお、本実施形態では、スマートフォン10が撮像部32を備える構成としているが、これに限定されるものではない。スマートフォン10に接続される外部のカメラで撮像してもよいし、あるいは、他のカメラで撮像された画像を入手してもよい。本実施形態において、特徴情報取得部102は、撮像部32を用いて撮像された画像から特徴情報を取得してもよい。本実施形態において、特徴情報取得部102が用いる撮像画像のファイル形式は、JPEG(Joint Photographic Experts Group)、PNG(Portable Network Graphics)、BMP(Bit MaP)、TIFF(Tagged Image File Format)、GIF(Graphic Interchange Format)等様々な形式の画像ファイルを用いることができ、特に限定されない。
Moreover, you may provide the audio | voice output control part, the speaker, the microphone, etc. which are not illustrated.
The imaging unit 32 is a unit that realizes the function of a digital camera using elements such as a CCD (Charge Coupled Devices) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor. In addition, in this embodiment, although the
GPS機能部34は、アンテナ36を介して、GPSからの信号を受信し、スマートフォン10の現在位置を取得する。GPSには、高精度な共通時間情報を得るために、たとえば、準天頂衛星システムが用いられる。
本実施形態の携帯端末装置200の位置時刻情報取得部104は、GPS機能部34から位置情報を取得してもよい。
The
The location time
時計38は、スマートフォン10内蔵の時計で、日時を計時する。なお、時計38は、スマートフォン10がネットワーク接続できる状態にある場合には、インターネット時刻サーバ等と定期的または随時、同期をとって時刻を自動補正できる構成とするのが望ましい。本実施形態の携帯端末装置200の位置時刻情報取得部104は、時計38から時刻を取得してもよい。
The
なお、図6の携帯端末装置200の各構成要素は、CPU12、メモリ14、メモリ14にロードされた図6の構成要素を実現するプログラム50、そのプログラムを格納するハードディスクなどの記憶ユニット(不図示)、通信用インタフェース(通信制御部18)を備える任意のコンピュータ(スマートフォン10)のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。図6ならびに以下に説明する各実施形態における機能ブロック図は、ハードウェア単位の構成ではなく、機能単位の論理的なブロックを示している。
6 includes a
本発明の実施の形態に係る携帯端末装置200では、コンピュータプログラム50に対応する各種の処理動作をコンピュータ(スマートフォン10のCPU12)が実行することにより、前述のような各種ユニットが各種機能として実現される。
本発明の実施の形態に係るコンピュータプログラム50は、携帯端末装置200を実現させるためのコンピュータ(スマートフォン10のCPU12)に、登録用および照合用の撮像画像から特徴情報を取得する手順、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得する手順、登録用撮像画像から取得された特徴情報と、対応する位置情報および時刻情報とを紐付けて、拡散すべき拡散情報としてデータベース206に保持する手順と、他の装置に、データベース206に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信する手順、他の装置から受信した拡散情報をデータベース206に新たに登録する手順、照合用撮像画像から取得された特徴情報とデータベース206に拡散情報として保持される特徴情報とを照合し、照合用撮像画像の特徴情報と類似する特徴情報を特定する手順、データベース206において特定された特徴情報と紐付けられている位置情報および時刻情報を照合用撮像画像の属性情報として取得する手順、特徴情報の拡散停止を示す停止要求を受け付ける手順、停止要求に呼応して、拡散停止の特徴情報とデータベース206に拡散情報として保持される特徴情報との照合により、拡散停止の特徴情報と類似すると特定された、データベース206内の特徴情報に、拡散停止フラグを設定する手順、を実行させるように記述されている。
In the mobile
A
本実施形態のコンピュータプログラム50は、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラム50は、記録媒体からコンピュータのメモリ14にロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリ14にロードされてもよい。
The
図9は、本発明の実施の形態に係る情報処理システムの概要を説明するための図である。
図9に示すように、本発明は、たとえば、ユーザUa1が携帯する端末の通信機能を利用して、ユーザUa1の端末に保持される拡散情報を、同じエリアA内に居る他のユーザUa2、Ua3、...、および、Uan(nは自然数)と交換して共有する。その後、ユーザUa1が他のエリアBに移動して、エリアB内に居る他のユーザUb1、Ub2、...、および、Ubm(mは自然数)にユーザUa1が保持する拡散情報を拡散し、さらに他のユーザUb1、Ub2、...、および、Ubmが保持する拡散情報を取得する。さらに、ユーザUa1は他のエリアCへと移動して拡散情報の拡散と収集を繰り返していくことで、各ユーザの端末にデータベースを構築して拡散情報を共有することができる。また、たとえば、エリアAに居たユーザUa2やユーザUan、または、エリアBに居たユーザUbmが、さらに他のエリアに移動して、端末に保持している拡散情報を拡散することもできる。
FIG. 9 is a diagram for explaining the outline of the information processing system according to the embodiment of the present invention.
As shown in FIG. 9, the present invention uses, for example, the communication function of the terminal carried by the user Ua1 to transfer the diffusion information held in the terminal of the user Ua1 to the other users Ua2 in the same area A, Ua3,. . . , And Uan (n is a natural number) to share. Thereafter, the user Ua1 moves to another area B, and the other users Ub1, Ub2,. . . , And Ubm (m is a natural number), the spreading information held by the user Ua1 is spread, and the other users Ub1, Ub2,. . . And the diffusion information held by Ubm is acquired. Further, the user Ua1 moves to another area C and repeats spreading and collection of spreading information, so that a database can be constructed in each user's terminal and the spreading information can be shared. In addition, for example, the user Ua2 and the user Uan who are in the area A or the user Ubm who is in the area B can move to another area and spread the diffusion information held in the terminal.
たとえば、災害発生時等に、避難所で携帯端末装置200を用いて避難者を撮影し、特徴情報を抽出し、位置情報と時刻情報と紐付けて拡散情報としてデータベース206に登録する。そして、避難所内で、他の携帯端末と拡散情報を交換した後、さらに、他の避難所に移動して情報を収集し、拡散していく。このようにして、避難者の居場所の情報をデータベース206に蓄積していく。そして、居場所を確認したい人物の画像を元に、データベース206内を検索して、照合用撮像画像と類似する特徴情報を特定し、特定された特徴情報に紐付けられている位置情報と時刻情報を、属性情報として取得する。
For example, when a disaster occurs, an evacuee is photographed using the mobile
ここで、他の装置とは、本発明の携帯端末装置との通信を行う通信機能を有し、たとえば、携帯電話機、スマートフォン、タブレット端末、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)、ゲーム機、または、ノート型パーソナルコンピュータなどの可搬型の端末装置を含むことができる。これらの端末装置においても、本発明の携帯端末装置と同様な機能を実現する本発明のプログラムがインストールされ、実行される。また、他の装置は、本発明の携帯端末装置と無線通信可能な距離に存在するか、または、本発明の携帯端末装置が利用可能なアクセスポイントに接続できる位置に存在するものとする。あるいは、他の装置は、ルータ等のアクセスポイント機能を備えた可搬型または固定型の端末装置であってもよい。その場合、本発明の携帯端末装置またはアクセスポイントが、互いに通信できる位置に移動してもよい。 Here, the other device has a communication function for performing communication with the mobile terminal device of the present invention. For example, a mobile phone, a smartphone, a tablet terminal, a PHS (Personal Handyphone System), a PDA (Personal Digital Assistants), A portable terminal device such as a game machine or a notebook personal computer can be included. Also in these terminal devices, the program of the present invention that realizes the same function as the portable terminal device of the present invention is installed and executed. In addition, it is assumed that another device exists at a distance that allows wireless communication with the mobile terminal device of the present invention, or exists at a position where the mobile terminal device of the present invention can be connected to an available access point. Alternatively, the other device may be a portable or fixed terminal device having an access point function such as a router. In that case, the mobile terminal device or the access point of the present invention may move to a position where they can communicate with each other.
図6に戻り、特徴情報取得部102は、登録用または照合用の撮像画像から特徴情報を取得する。ここで、登録用撮影画像とは、他の装置(ユーザ)に拡散しようとするオブジェクトを含んで撮影される画像である。オブジェクトは特に限定されないが、本実施形態では、人物の顔とする。撮像画像に含まれるオブジェクトの特徴を示す特徴情報が特徴情報取得部102により、たとえば、顔認証システム等を用いて抽出される。本実施形態において、特徴情報は、オブジェクトが人物であった場合に、たとえば、その人物の顔の特徴として、目、鼻、および口等の各パーツの輪郭とパーツ毎のサイズや配置や形状、肌や髪の色等を、たとえば、標準値からの相対的な差分値として表現される。登録用の撮像画像は、既に携帯端末装置100が保持していたものでもよいし、スマートフォン10の撮像部32を用いて撮像したものでもよい。あるいは、外部から入手したものでもよく、たとえば、撮像画像を、外部メモリから読み込んでもよいし、他の装置と赤外線通信等により受信してもよいし、ケーブルで接続された他の装置から読み込んでもよい。
Returning to FIG. 6, the feature
撮像画像登録のタイミングは様々考えられ、以下に例示されるが、これらに限定されない。
(a1)災害等が発生する前に、アプリケーションをインストールして、後述する登録メニューで登録する。
(a2)災害等が発生する前に、本システムに関連するウェブサイトにアクセスし、ユーザ認証によりログインして、登録ページで登録する。登録後に携帯端末装置に登録情報をダウンロードする。このとき、既に登録されている他のユーザによる登録情報を一緒にダウンロードできてもよい。
(a3)災害等が発生した後に、アプリケーションをインストールして、後述する登録メニューで登録する。
Various timings for registering the captured image are conceivable and exemplified below, but are not limited thereto.
(A1) Before a disaster or the like occurs, an application is installed and registered with a registration menu described later.
(A2) Before a disaster or the like occurs, access a website related to the system, log in by user authentication, and register on the registration page. After registration, the registration information is downloaded to the mobile terminal device. At this time, registration information by other users already registered may be downloaded together.
(A3) After a disaster or the like occurs, an application is installed and registered with a registration menu described later.
また、照合用撮像画像とは、データベース206に登録されている拡散情報の中から、関連する情報を検索しようとするオブジェクトを含んで撮影される画像である。たとえば、知人の安否を確認したい場合、知人を撮像した画像を照合用撮像画像として用いて、データベース206内を検索することができる。照合用撮像画像の特徴情報の抽出は、登録用撮像画像の特徴情報の抽出と同じ方法で行うことができる。照合用撮像画像は、既に携帯端末装置100が保持していたものでもよいし、携帯端末装置100の撮像部32を用いて撮像したものでもよい。あるいは、外部から入手したものでもよく、たとえば、撮像画像を、外部メモリから読み込んでもよいし、他の装置と赤外線通信等により受信してもよいし、ケーブルで接続された他の装置から読み込んでもよい。
The collated captured image is an image that is captured including an object for which relevant information is to be searched from the diffusion information registered in the
位置時刻情報取得部104は、登録用撮像画像から取得された特徴情報に関する位置情報および時刻情報を取得する。たとえば、ユーザ自身が携帯端末装置100の撮像機能(スマートフォン10の撮像部32)を用いて自身の顔を撮像し、登録する場合、撮像位置と時刻情報をスマートフォン10のGPS機能部34と時計38から取得してもよい。あるいは、知人の撮像画像を用いて登録する場合、位置と時刻情報は、ユーザが指定してもよい。登録に際し、所定の認証手続きを行う構成とすることで不正な登録を防いでもよい。
The position time
削除受付部220は、特徴情報の拡散停止を示す停止要求を受け付ける。停止要求の受け付け方法は、様々考えられる。たとえば、携帯端末装置200が自端末で登録した拡散情報については、他の拡散情報と区別して、自端末で参照できるように、別ファイルとして、メモリ14または内部ストレージ16に保存しておくのが望ましい。拡散情報自体は、個人を特定できない情報であるので、自端末で登録した拡散情報については、管理ファイルとして、撮像画像のオブジェクトを特定できる情報、たとえば、名称(ニックネーム等)を紐付けて保持しておくのが望ましい。この管理ファイルは、自端末で閲覧できる構成とし、自身が登録した情報を確認し、管理できる構成とする。
The
そして、削除受付部220における停止要求は、たとえば、上述した管理ファイルを用いて、携帯端末装置200が自端末で登録した拡散情報の一覧を画面表示して、拡散を停止したい情報の選択を受け付けることができる。あるいは、拡散を停止したいオブジェクトを含んで撮影された撮像画像を用いて、特徴情報を特徴情報取得部102により取得し、照合部212によりデータベース206からその特徴情報に類似する特徴情報を照合し、特定された特徴情報を有する拡散情報を、拡散を停止する対象としてもよい。このとき、ユーザに特定された特徴情報に関連する属性情報を提示して、拡散を停止してもよいか確認し、停止を承諾された場合に停止要求処理を続行する構成としてもよい。
Then, the stop request in the
フラグ設定部222は、停止要求に呼応して、照合部212による、拡散停止の特徴情報とデータベース206に拡散情報として保持される特徴情報との照合により、拡散停止の特徴情報と類似すると特定された、データベース206内の特徴情報に、拡散停止フラグを設定する。拡散停止フラグは、たとえば、図7に示したように、データベース206に拡散情報のレコード毎に紐付けて登録される。
In response to the stop request, the
情報交換部208は、他の装置に、データベース206に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信し、さらに、拡散停止フラグが設定された特徴情報を拡散情報から除外して、他の装置に送信する。
情報交換部208は、スマートフォン10の通信制御部18を用いて、他の装置と通信を行う。上述したように、通信方式は特に限定されず、様々な方式を採用できる。
The
The
ここで、本発明の携帯端末装置における通信方式について説明する。
本発明では、たとえば、所謂、遅延耐性ネットワーク(DTN)と呼ばれる技術を用いた通信により実現することができる。
本発明の通信方式では、たとえば、他のノードと、通信可能な距離範囲内に近づいたときに、すれ違い様にデータを送信できる。
Here, a communication method in the mobile terminal device of the present invention will be described.
The present invention can be realized, for example, by communication using a so-called delay tolerant network (DTN).
In the communication system of the present invention, for example, data can be transmitted in a passing manner when approaching within a distance range where communication with other nodes is possible.
図10は、本発明の携帯端末装置における通信手順の一例を示すフローチャートである。
本発明では、OSI(Open Systems Interconnection)参照モデルにおいて、トランスポート層とアプリケーション層との間に、バンドル(可変長データ)のエンドツーエンドでの転送を制御するバンドル層が設けられる。バンドル層は、永続的にデータを記憶する永続ストレージを有し、バンドルを一時的に永続ストレージに蓄積して、次のノードと接触し、転送のための通信リンクが利用可能になった時にバンドルを渡す。
図では省略しているが、受信ノードはバンドルを受信した後、送信ノードに受領通知を送信する構成とするのが好ましい。受領通知を受信した送信ノードは、所定の条件に従って、送信済みのバンドルを破棄できるように構成するのが望ましい。
FIG. 10 is a flowchart showing an example of a communication procedure in the mobile terminal device of the present invention.
In the present invention, in an OSI (Open Systems Interconnection) reference model, a bundle layer that controls end-to-end transfer of bundles (variable length data) is provided between the transport layer and the application layer. The bundle layer has persistent storage that stores data permanently, stores the bundle temporarily in the persistent storage, contacts the next node, and bundles when the communication link for transfer becomes available give.
Although not shown in the figure, it is preferable that the receiving node transmits a receipt notification to the transmitting node after receiving the bundle. It is desirable that the transmission node that has received the receipt notification is configured to be able to discard the transmitted bundle according to a predetermined condition.
また、本発明では、送信する拡散情報を所定容量(たとえば、数10キロバイト)の複数のブロックに分けたバンドル単位でデータ転送を行うことができる。しかし、通信環境が整っているのであれば、TCP(Transmission Control Protocol)で、拡散情報を分割せずに一括でデータ転送を行ってもよい。通信環境が悪く、通信が不安定な場合には、間欠的に接続が確立する度に、バンドル単位で送信した方が、送信済みのバンドルについては再送する必要がないので、効率がよい。また、バンドルのサイズを、通信状況に応じて調整できる構成とすれば、帯域が少ない場合にも、少しずつでもデータを転送でき、データのロス耐性を向上できる。
前提として、各ノードでは、本発明の携帯端末装置200を実現するプログラムが実行されていて、受信ノード側では、UDP(User Datagram Protocol)で送信される通信開始を宣言する通信制御メッセージの受信待ち状態となっているものとする。
Further, in the present invention, data transfer can be performed in units of bundles in which spread information to be transmitted is divided into a plurality of blocks having a predetermined capacity (for example, several tens of kilobytes). However, if the communication environment is in place, data transfer may be performed in a lump without dividing the spread information using TCP (Transmission Control Protocol). When the communication environment is bad and communication is unstable, it is more efficient to transmit the bundle in units of bundles every time connection is established, because it is not necessary to retransmit the transmitted bundle. In addition, if the configuration is such that the bundle size can be adjusted according to the communication status, even if the bandwidth is small, data can be transferred little by little, and data loss tolerance can be improved.
As a premise, a program for realizing the mobile
そのような状態で、送信ノードで情報交換部208が他のノードに拡散情報を送信するとき、以下のように動作する。まず、送信ノードが、通信開始を宣言する通信制御メッセージをUDPでブロードキャストする(ステップS251)。送信ノードの側に他のノードが存在していた場合、メッセージを受信すること(ステップS253のYES)、送信ノードに応答メッセージを返信する(ステップS255)。送信ノードは、受信ノードからの応答メッセージを受信すると(ステップS257のYES)、応答メッセージを送ってきた受信ノードとの間でリンクを確立し、送信ノードが保有するデータベース206の拡散情報のコンテンツリストを、応答メッセージを送ってきた受信ノード宛てに送信する(ステップS259)。
In such a state, when the
ここで、コンテンツリストは、各ノードがデータベース206内に保有する拡散情報を一覧にしたものである。たとえば、拡散情報を、1レコードずつハッシュ関数等を用いて数値化してリストを作成することができる。
Here, the content list is a list of diffusion information held in the
受信ノードは、コンテンツリストを受信し(ステップS261)、受信したコンテンツリストと、自装置が保有するデータベース206の拡散情報のコンテンツリストを比較し、自装置が保有していない拡散情報を差分コンテンツとして、送信ノードにリクエストする(ステップS263)。送信ノードは、受信ノードからのリクエストを受け付けると(ステップS265のYES)、リクエストを元に、差分コンテンツとして、データベース206から拡散情報を抽出して受信ノードに送信する(ステップS267)。受信ノードは、送信ノードから送信された差分コンテンツを受信し、データベース206に格納する(ステップS269)。
ステップS257またはステップS265で、応答待ちの状態で、所定時間が過ぎた場合(ステップS271のYES、またはステップS273のYES)、本処理を終了する。所定時間内は(ステップS271のNO、またはステップS273のNO)、待機を続ける。
The receiving node receives the content list (step S261), compares the received content list with the content list of the diffusion information stored in the
In step S257 or step S265, when the predetermined time has passed in the response waiting state (YES in step S271 or YES in step S273), the present process is terminated. During the predetermined time (NO in step S271 or NO in step S273), the standby is continued.
なお、本処理は、各携帯端末装置が情報交換を行うモードにある場合には、常時繰り返し実行されるものとする。
ここでは、2つの携帯端末装置間での拡散情報の交換手順を送信側のノード(送信ノード)と、受信側のノード(受信ノード)に分けて説明した。しかし、本発明において、各携帯端末装置は、送信ノードにも受信ノードにもなりうる。送信ノードがコンテンツリストを他のノードにリクエストし、差分コンテンツを他のノードに要求して受信し、データベース206に格納してもよい。また、受信ノードは、受信した拡散情報を元に、送信ノードとなって、さらに他のノードに拡散情報を転送してもよい。バンドルの有効生存時間に基づいて、送信ノードは、有効期間を過ぎたバンドルは破棄できるように構成するのが望ましい。
In addition, this process shall be performed repeatedly at all times, when each portable terminal device is in the mode which performs information exchange.
Here, the procedure for exchanging diffusion information between two portable terminal devices has been described separately for a transmission side node (transmission node) and a reception side node (reception node). However, in the present invention, each mobile terminal device can be both a transmission node and a reception node. The transmission node may request the content list from another node, and may request and receive the difference content from the other node, and store it in the
また、上記の例では、プッシュ型のデータ転送の手順を説明したが、受信ノード側からデータを要求するプル型のデータ転送でもよい。また、TTL(Time To Live)を設定し、バンドルの有効期限を管理してもよい。 In the above example, the push-type data transfer procedure has been described. However, pull-type data transfer that requests data from the receiving node side may be used. In addition, TTL (Time To Live) may be set to manage the expiration date of the bundle.
また、バンドルには、拡散情報の他に、たとえば、送信元と宛先の情報、有効期間、および、データ長等の少なくともいずれか1つの情報が含まれてもよい。なお、宛先の情報については、接触したノード間でバンドルの複製を交換する方式を採用する場合には、不要である。
また、OSI参照モデルに吸収層をさらに設けてもよく、様々なトランスポート層や、あるいは、直接、データリンク層を使うノードとの通信を想定し、それぞれの違いを吸収して、共通のインタフェースを定義してもよい。
In addition to the spread information, the bundle may include, for example, at least one information such as source and destination information, validity period, and data length. Note that the destination information is not necessary when a method of exchanging a copy of a bundle between nodes in contact is adopted.
In addition, an absorption layer may be further provided in the OSI reference model. Assuming communication with various transport layers or nodes that directly use the data link layer, the difference is absorbed and a common interface is used. May be defined.
また、図の例では、送信ノードと受信ノードが1対1の場合を示しているが、1対複数の場合でも同様で、複数の受信ノードに対して、マルチキャストで拡散情報を配信してもよい。 Also, in the example of the figure, the case where the transmission node and the reception node are one-to-one is shown, but the same applies to the case of one-to-multiple, and the spread information can be distributed to a plurality of reception nodes by multicast. Good.
また、上記の例では、送信ノードが拡散情報を配信する前にコンテンツリストを受信ノードに送信する構成としているが、配信する拡散情報の容量が多くない場合や、複数の受信ノードに同報配信するような場合には、拡散情報とともにコンテンツリストを配信してもよい。そして、受信ノード側で、受信したコンテンツリストを元に、自身が保有していない拡散情報を選別し、データベース206を更新し、不要な情報は破棄する構成としてもよい。
In the above example, the content list is transmitted to the receiving node before the transmitting node distributes the spread information. However, when the capacity of the distributed information to be distributed is not large, or broadcast distribution to a plurality of receiving nodes. In such a case, the content list may be distributed together with the diffusion information. Then, on the receiving node side, based on the received content list, it is possible to select diffusion information that is not owned by itself, update the
また、複数の受信ノードにデータ配信を行う場合には、コンテンツリストの交換を行わずに、送信ノードが保有している拡散情報を全て配信する構成としてもよい。このような手順は、特に、拡散情報をまだ保持していないノードが複数存在するエリアに送信ノードが赴き、拡散情報を拡散する場合等に、有効である。 Further, when data distribution is performed to a plurality of receiving nodes, it is also possible to distribute all the spreading information held by the transmitting node without exchanging the content list. Such a procedure is particularly effective when the transmitting node spreads the spreading information in an area where there are a plurality of nodes that do not yet hold the spreading information.
あるいは、複数の受信ノードから複数のコンテンツリストを受信し、コンテンツリストを比較し、送信する拡散情報を選択して配信してもよい。選択条件は、様々考えられ、以下に例示されるが、これに限定されるものではない。
(b1)各ノードが保持していない拡散情報を全て含むように差分コンテンツを決定して配信
(b2)差分コンテンツがあるノードの中で、共通する差分コンテンツから順に配信
(b3)差分コンテンツのうち、新しいものから配信
(b4)後述する拡散条件に基づいて、ノード毎、またはグループ毎にコンテンツを決定して配信
上記(b1)〜(b4)は、適宜、矛盾のない範囲で組み合わせてもよい。
Alternatively, a plurality of content lists may be received from a plurality of receiving nodes, the content lists may be compared, and spread information to be transmitted may be selected and distributed. Various selection conditions are conceivable and exemplified below, but are not limited thereto.
(B1) The difference content is determined so as to include all the diffusion information not held by each node and distributed (b2) Among the nodes having the difference content, distribution is performed in order from the common difference content (b3) Among the difference contents New distribution (b4) Content is determined for each node or group based on the diffusion conditions described later. The above (b1) to (b4) may be combined as long as there is no contradiction as appropriate. .
図6に戻り、更新部210は、他の装置から受信した拡散情報をデータベース206に新たに登録する。
照合部212は、照合用撮像画像から取得された特徴情報とデータベース206に拡散情報として保持される特徴情報とを照合し、照合用撮像画像の特徴情報と類似する特徴情報を特定する。
ここで、類似とは、一致(同一)も含む。たとえば、特徴情報の類似度が所定の閾値以上の場合、類似していると判断される。
Returning to FIG. 6, the
The
Here, “similar” includes matching (identical). For example, if the similarity of the feature information is equal to or greater than a predetermined threshold, it is determined that they are similar.
また、データベース206に保持される特徴情報は、元となる登録用撮像画像の確度を示す情報を含んでもよい。また、照合用操作画像についても、同様に確度を求め、照合時に用いてもよい。画像の確度とは、登録または照合しようとしているオブジェクトが、画像にはっきり写っていて、その特徴情報が登録または照合対象のオブジェクトをどの程度正確に示しているかを示す値とすることができる。特徴情報取得部102は、元となる画像の品質、たとえば、ピントの合い具合、コントラストレベル、対象のオブジェクトのサイズ等を元に、確度を決定することができる。
Further, the feature information held in the
そして、照合部212は、類似度を比較する際に用いる閾値を、確度の情報を元に変更してもよい。たとえば、確度が低い画像の特徴情報の場合、オブジェクトの特徴が特徴情報に正確に示されていない可能性があるため、閾値が高いと類似する情報が見つからない可能性があるので、閾値を下げる。一方、確度が高い画像の特徴情報の場合、オブジェクトの特徴を特徴情報が正確に示している可能性があるため、閾値を上げれば、より正しい情報が取得できる可能性が高まる。
And the
さらに、本発明の実施の形態に係る携帯端末装置200は、拡散を停止すべき特徴情報を示す拡散停止情報を送信するとともに、他の装置が保持している拡散停止情報を受信する拡散停止情報交換部224をさらに備えてもよい。フラグ設定部222は、照合部212による、拡散停止情報交換部224により受信した拡散停止情報が示す特徴情報とデータベース206に拡散情報として保持される特徴情報との照合により、拡散停止情報が示す特徴情報と類似すると特定された、データベース206内の特徴情報に、拡散停止フラグを設定してもよい。
Furthermore, the portable
さらに、本発明の実施の形態に係る携帯端末装置200は、更新部210が、拡散停止フラグが設定された特徴情報を、拡散停止フラグの設定から所定期間経過後、または指定された時刻に、データベース206から削除してもよい。
Furthermore, in the mobile
削除を実行する時刻は、アプリケーションにより予め定められた時刻または一定期間毎でもよいし、拡散停止要求時にユーザにより指定された時刻または期間でもよい。
たとえば、拡散停止の要求を受け付けた後、または、拡散停止情報を受信した後、拡散情報を直ぐに削除してしまうと、まだ、拡散停止情報を受信していない他の装置から、当該拡散情報を受信した場合に、データベース206に新たな拡散情報として当該拡散情報を登録してしまう可能性があり、いつまで経っても拡散情報の拡散を停止できまいことになる。したがって、拡散停止情報が、他の装置に行き渡った後に、各装置内で該当する拡散情報を削除することで、当該拡散情報をデータベース206から一斉に削除することができる。
The time for executing the deletion may be a time predetermined by the application or every certain period, or may be a time or a period specified by the user when the diffusion stop request is made.
For example, if the spread information is deleted immediately after receiving the spread stop request or after receiving the spread stop information, the spread information is received from another device that has not yet received the spread stop information. When received, there is a possibility that the diffusion information is registered as new diffusion information in the
さらに、本発明の実施の形態に係る携帯端末装置200は、属性検出部114により取得した照合用撮像画像の属性情報を提示する提示部226をさらに備える。
Furthermore, the mobile
属性検出部114が、データベース206内において照合用撮像画像との照合により、特定された特徴情報に紐付けられている位置情報および時刻情報を、照合用撮像画像の属性情報として取得し、提示部226が、スマートフォン10の表示部26に取得した属性情報を表示する。なお、提示部226は、表示部26への表示以外に、属性情報の提示を、テキストファイル等に検索結果を保存したり、プリンタに印字出力したり、他の装置に送信したりすることで行ってもよい。
照合部212により、複数の特徴情報が特定される場合も考えられるが、その場合は、複数の特徴情報の属性情報を提示してもよい。
The
Although the case where a plurality of feature information is specified by the
さらに、本発明の実施の形態に係る携帯端末装置200において、照合部212は、照合用撮像画像の特徴情報と、所定の閾値以上の類似度を有する特徴情報を、照合用撮像画像と類似する特徴情報と特定し、類似度を出力し、提示部226は、照合部212が出力した類似度を、照合用撮像画像の属性情報とともに提示する。
Furthermore, in portable
たとえば、照合用撮像画像と類似する特徴情報が特定されたとき、その属性情報と類似度から、その照合用撮像画像に写っているオブジェクト(たとえば、人物)と、「何パーセントの確率で似ているオブジェクト(たとえば、人物)が、何処に何時に存在した可能性がある」といった情報を、提示部226が提示することができる。
この構成によれば、複数の特徴情報が特定された場合でも、各特徴情報の類似度が提示されるので、ユーザは類似度を参照することで、各情報を比較し、信頼できる情報を推定することができる。
For example, when feature information similar to a matching captured image is specified, the attribute information and the degree of similarity indicate that the object (for example, a person) shown in the matching captured image is “similar with a probability of what percentage. The presenting
According to this configuration, even when a plurality of feature information is specified, the similarity of each feature information is presented. Therefore, the user can compare each information and estimate reliable information by referring to the similarity. can do.
上述したように、本発明の実施の形態に係る携帯端末装置200は、本発明のコンピュータプログラムを携帯端末装置200(スマートフォン10のCPU12)が実行することにより実現される。たとえば、本発明のコンピュータプログラムは、スマートフォン10にインストール可能なアプリケーションとして提供され、スマートフォン10のメモリ14にインストールされて、ユーザの指示に応じて起動させることができる。
そして、アプリケーションが実行されるとユーザの操作指示を受け付けるメニューが提示され、メニューに沿ってユーザが操作指示することにより、指示に従い、本発明の携帯端末装置100は動作することができる。
As described above, the mobile
When the application is executed, a menu for accepting the user's operation instruction is presented. When the user instructs the operation along the menu, the portable
一例として、図11に示すようなメニュー画面230を表示してもよい。図11は、本実施形態の携帯端末装置200のメニュー画面230の一例を示す図である。
メニュー画面230は、拡散登録ボタン232と、拡散停止ボタン234と、検索ボタン236と、拡散ボタン238と、終了ボタン240とを有する。
As an example, a
The
図12は、本実施形態の携帯端末装置200においてアプリケーションプログラム50を動作させた時の処理手順の一例を示すフローチャートである。
まず、携帯端末装置200において、アプリケーションプログラム50をインストールする(ステップS201)。アプリケーションプログラム50は、内部ストレージ16に格納される。そして、アプリケーションプログラム50が起動されると(ステップS203)、図11のメニュー画面230がスマートフォン10の表示部26に表示される。そして、ユーザにより、拡散登録ボタン232が操作されると、スマートフォン10の操作部22が拡散登録ボタン232の操作を受け付け(ステップS205の「拡散登録」)、登録フォーム画面(不図示)に移行し、登録用の撮像画像の選択または画像の撮影を促す(ステップS207)。
FIG. 12 is a flowchart illustrating an example of a processing procedure when the
First, the
そして、ユーザにより登録用の撮像画像が指定されると、操作部22が指定操作を受け付け、特徴情報取得部102により特徴情報が取得され、位置時刻情報取得部104により取得された位置情報と時刻情報と紐付けられてデータベース206に拡散情報として登録される(ステップS209)。そして、ステップS205に戻り、図11のメニュー画面230が表示される。
なお、登録フォームは、付加情報の入力や指定を受け付ける入力欄を設けてもよい。
When the registered captured image is designated by the user, the
Note that the registration form may be provided with an input field for receiving input and designation of additional information.
さらに、ユーザにより拡散停止ボタン234が操作されると、操作部22が拡散停止ボタン234の操作を受け付け(ステップS205の「拡散停止」)、削除受付部220が特徴情報の拡散停止を示す停止要求を受け付ける(ステップS217)。そして、停止要求に呼応して、停止要求の特徴情報との照合により拡散を停止する情報を特定する(ステップS219)。そして、フラグ設定部222が、特定されたデータベース206内の特徴情報に拡散停止フラグを設定する(ステップS221)。そして、ステップS205に戻り、図11のメニュー画面230が表示される。
Further, when the
さらに、ユーザにより検索ボタン236が操作されると、操作部22が検索ボタン236の操作を受け付け(ステップS205の「検索」)、照合用撮像画像の選択または画像の撮影を促す画面(不図示)に移行する(ステップS211)。そして、ユーザにより照合用撮像画像が指定されると、操作部22が指定操作を受け付け、特徴情報取得部102により特徴情報が取得され、照合部212により、取得された特徴情報に類似する特徴情報をデータベース206内で検索する(ステップS213)。そして、類似する特徴情報が特定されたとき、属性検出部114により、対応する属性情報、たとえば、位置情報および時刻情報が取得され、表示部26に表示される(ステップS215)。
Further, when the
この検索メニューに関しては、続けて他の照合用撮像画像についてデータベース206内の検索を行うこともできる。そして、検索終了ボタン(不図示)の操作を受け付けたとき、ステップS205に戻り、図11のメニュー画面230が表示される。
たとえば、ユーザは家族や知人などの生存情報を確認するために、所持している知人の撮像画像を照合用撮像画像として指定し、データベース206内を検索することができる。
With respect to this search menu, it is also possible to search the
For example, the user can search the
さらに、ユーザにより拡散ボタン238が操作されると、操作部22が拡散ボタン238の操作を受け付け(ステップS205の「拡散」)、情報交換部208により、他の装置との拡散情報の交換処理が行われる(ステップS223)。情報交換部208は、他の装置に、データベース206に保持されている拡散情報を送信するとともに、他の装置が保持している拡散情報を受信する。さらに、このとき、情報交換部208は、拡散停止フラグが設定された特徴情報を拡散情報から除外して、他の装置に送信する。
Further, when the user operates the
なお、本実施形態では、拡散情報を交換するタイミングは以下に示すように様々考えられる。
(c1)拡散情報を保持している携帯端末装置200が拡散ボタン238の押下をトリガとして、情報拡散モードに移行した後、通信可能な距離範囲内に存在する他の装置にデータ転送開始を宣言する通信制御メッセージを送信し、応答があった場合
(c2)拡散情報を保持している携帯端末装置200が、本発明のプログラムを実行中に常時(定期的または周期的に)、通信可能な距離範囲内に存在する他の装置に対してデータ転送開始を宣言する通信制御メッセージを送信し、応答があった場合
上記(c1)および(c2)は、適宜、矛盾のない範囲で組み合わせてもよい。
In the present embodiment, various timings for exchanging diffusion information can be considered as follows.
(C1) Declaring the start of data transfer to other devices within the communicable distance range after the portable
そして、拡散終了ボタン(不図示)の操作を受け付けたとき、ステップS205に戻り、図11のメニュー画面230が表示される。
このようにして、情報交換部208により、他のユーザとデータベース206に保持される拡散情報を交換し合うことで、拡散情報をデータベース206に蓄積していくことができる。
When the operation of the diffusion end button (not shown) is accepted, the process returns to step S205, and the
In this way, the
さらに、ユーザにより終了ボタン240が操作されると、操作部22が終了ボタン240の操作を受け付け(ステップS205の「終了」)、本処理を終了する。
Further, when the
さらに、本実施形態の携帯端末装置200において、データベース206は、登録用撮像画像としての携帯端末装置200のユーザの撮像画像から取得された特徴情報と位置情報および時刻情報とを紐付けて、拡散情報として保持しており、更新部210は、データベース206の、ユーザ以外の拡散情報をそのままに、ユーザの撮像画像から取得された特徴情報と紐付けられた位置情報および時刻情報を、情報交換部208により送信される前に、位置時刻情報取得部104により取得し、最新の情報に更新することができる。
Furthermore, in the mobile
本実施形態では、この構成により、データベース206において、自端末で登録された拡散情報の位置情報および時刻情報を、拡散する前に最新の情報に更新して配信することができる。たとえば、図9で説明したように、ユーザがエリアを移動して情報を拡散していくような場合に、ユーザ自身の居場所が移動するのに合わせて、自身の拡散情報も更新しながら拡散していくことができる。
In this embodiment, with this configuration, in the
なお、古い拡散情報は、削除せずに残し、履歴的に複数のレコードをデータベース206に保持してもよい。そして、属性検出部114により、照合用撮像画像に対応する複数の属性情報を取得して提示できる構成としてもよいし、最新の属性情報のみ提示する構成としてもよい。あるいは、最新のレコードのみ残してデータベース206を更新する構成でもよい。
The old diffusion information may be left without being deleted, and a plurality of records may be retained in the
以上説明したように、本発明の実施の形態の携帯端末装置200によれば、上記実施形態と同様な効果を奏するとともに、さらに、拡散を停止したい情報を指定して、拡散を止めることができるので、不要となった情報がいつまでも拡散され続けることがない。これにより、通信効率が向上し、携帯端末装置のデータベースによる記憶容量の消費を削減でき、さらに、データベース検索処理の負荷も軽減できるという効果がある。
As described above, according to the mobile
(第3の実施の形態)
図13は、本発明の実施の形態に係る携帯端末装置300の論理的な構成を示す機能ブロック図である。
本発明の実施の形態に係る携帯端末装置300は、上記実施形態とは、条件に応じて拡散情報の拡散を制御する点で相違する。さらに、データベース306内から情報を検索したときに、開示の詳細度レベルを制御できる点で相違する。
図13では、本実施形態の説明に関係する構成のみ示してある。本実施形態の携帯端末装置300は、上記実施形態と同様な特徴情報取得部102と、位置時刻情報取得部104と、照合部212と、属性検出部114と、提示部226と、を備えるとともに、さらに、データベース306と、情報交換部308と、更新部310と、条件取得部332と、選別部334と、優先度取得部336と、を備える。本実施形態の携帯端末装置300は、図6の上記実施形態の携帯端末装置200と同様な構成をさらに備えてもよい。
(Third embodiment)
FIG. 13 is a functional block diagram showing a logical configuration of mobile
The mobile
In FIG. 13, only the configuration related to the description of the present embodiment is shown. The mobile
本発明の実施の形態に係る携帯端末装置300は、他の装置への情報送信の条件の指定を取得する条件取得部332と、取得した条件に従って、データベース306内の拡散情報を選別する選別部334と、をさらに備える。
情報交換部308は、データベース306内の拡散情報のうち、選別された拡散情報を他の装置に送信する。
The mobile
The
さらに、本発明の実施の形態に係る携帯端末装置300は、データベース306内の特徴情報に対し、優先度の指定を取得する優先度取得部336をさらに備える。
更新部310は、取得した優先度を特徴情報に紐付けてデータベース306に登録し、条件取得部332は、優先度に関する条件の指定を取得する。
Furthermore, the mobile
The
図14は、本発明の実施の形態に係る携帯端末装置300に構築されるデータベース306の構造の一例を示す図である。
本実施形態のデータベース306は、図2のデータベース106の各レコードに、さらに、優先度に関する情報が紐付けされて登録される。本実施形態では、優先情報が複数のレベルL0、L1、...、および、Li(iは整数)で設定されるものとする。優先情報は、数値でもよいし、文字列でもよいし、あるいは、優先順位を決定するのに必要な情報でもよい。単純に、数値の小さいものの優先レベルを高くしてもよいし、数値が大きいものの優先レベルを高くしてもよい。あるいは、複数の優先情報を特徴情報に紐付けてもよく、それらの情報を元に、各特徴情報の優先順位を判別してもよい。
FIG. 14 is a diagram showing an example of the structure of the
In the
本実施形態において、他の装置への情報送信の条件や優先度の指定は、予め定められていてもよいし、外部から入手してもよいし、ユーザの指定を受け付けてもよい。
条件の例は、様々考えられ、以下に例示されるが、これに限定されるものではない。
(d1)特徴情報に、優先情報として、特徴情報を登録した携帯端末装置の種別(キッズ用携帯、シニア用携帯等)を紐付けて登録
選別部334が、特定の種別(キッズ用携帯、シニア用携帯等)と紐付けされた特徴情報をフィルタリングする。これにより、子供やお年寄りの情報を優先して拡散できる。
(d2)特徴情報に対応付けられた優先度
単純に優先度が高いものから拡散できる。
(d3)特徴情報に、優先情報として、拡散地域または拡散停止地域を指定
指定される地域は、関東地方等、広いエリアでもよいし、施設を指定する等狭いエリアでもよい。送信前に携帯端末装置300が存在している位置を、GPS機能部34を利用して確認して、指定された地域内か否かで送信する情報をフィルタリングする。
(d4)特徴情報に、優先情報として、データベースへの登録時間を紐付けて登録
登録時間に応じて、拡散情報をフィルタリングする。たとえば、最近登録されたものから優先して拡散できる。
(d5)特徴情報に紐付けられている付加情報の内容
たとえば、職業種別でフィルタリングして、職業が医師や看護師の情報を優先して拡散できる。
(d6)通信状況
通信状況が悪い時は、優先度が高いものから少しずつ拡散できる。
上記(d1)〜(d6)は、適宜、矛盾のない範囲で組み合わせてもよい。
In this embodiment, the conditions for transmitting information to other devices and the designation of priority may be determined in advance, may be obtained from the outside, or may be designated by the user.
Various examples of conditions are conceivable and are exemplified below, but are not limited thereto.
(D1) The feature information is registered by linking the type of portable terminal device that registered the feature information as priority information (kids' mobile phone, senior's mobile phone, etc.). Feature information associated with mobile phone etc.) is filtered. As a result, information on children and the elderly can be preferentially spread.
(D2) Priority level associated with feature information Diffusion can be performed simply from the highest priority level.
(D3) In the feature information, a diffusion area or a diffusion stop area is designated and specified as priority information. The area designated and designated may be a wide area such as the Kanto region or a narrow area such as a facility designated. Before the transmission, the position where the mobile
(D4) The registration information in the database is linked as the priority information to the feature information, and the diffusion information is filtered according to the registration registration time. For example, it can spread preferentially from those registered recently.
(D5) Content of additional information linked to feature information For example, filtering by occupation type allows the occupation to preferentially spread information on doctors and nurses.
(D6) Communication status When the communication status is poor, it is possible to spread gradually from the highest priority.
The above (d1) to (d6) may be appropriately combined within a consistent range.
上記優先度によるデータの選別は、受信側で行ってもよい。受信したデータを全てではなく、条件に従って選別してデータベース306に登録してもよい。
また、上述したように、受信ノードが送信ノードに対して、差分コンテンツをリクエストする際に、いずれの条件を用いて情報選別をするかを示す指示をリクエスタに含めてもよい。
The data selection based on the priority may be performed on the receiving side. The received data may be selected and registered in the
Further, as described above, when the receiving node requests the difference content from the transmitting node, an instruction indicating which condition should be used for information selection may be included in the requester.
上記優先度に関する情報を、データベース306において、特徴情報に紐付けて優先情報として登録することで、優先度の高い特徴情報から拡散していくことができる。上述したように、本発明では、通信環境が劣悪な状況下において、通信を行うことを想定している。そのため、緊急性の高い情報から先に配信し、緊急性の低い情報は、後で配信する等の工夫が簡単に行えることになる。
By registering the priority-related information as priority information in the
また、本発明の実施の形態に係る携帯端末装置300は、提示部226における位置情報または時刻情報の開示の詳細度レベルを所定の条件に従い制御する制御部338をさらに備えてもよい。
詳細度レベルとは、位置情報であれば、広域情報から特定の位置までのレベル分けが考えられ、たとえば、世界レベルの地域(アジア圏、ヨーロッパ圏等)、国名(日本等)、地域(関東、東北等)、都道府県、市町村、住所(番地番号まで)、施設や建物名、階数、部屋等が想定される。
時刻情報であれば、年、年月(先月、今月等も含む)、年月日(先週、今週等も含む)、年月日日時(午前午後等も含む)、年月日日時分までのレベル分けが考えられる。ここでは、詳細な情報ほど、詳細度が高いとする。
In addition, the mobile
If the level of detail is location information, it is possible to divide the level from wide area information to a specific location. For example, world level regions (Asia, Europe, etc.), country names (Japan, etc.), regions (Kanto) , Tohoku, etc.), prefectures, municipalities, addresses (up to street number), facilities and building names, floors, rooms, etc. are assumed.
If it is time information, year, month (including last month, this month, etc.), date (including last week, this week, etc.), date, date (including am, etc.), date Level division can be considered. Here, it is assumed that the more detailed information, the higher the degree of detail.
また、本発明の実施の形態に係る携帯端末装置300において、制御部338は、照合部212により特定された特徴情報と、照合用撮像画像の特徴情報との類似度に応じて、提示部226における位置情報または時刻情報の開示の詳細度レベルを制御する。
Further, in portable
条件と情報開示の詳細度レベルの関係は、様々考えられ、以下に例示するが、これらに限定されない。
(e1)予め登録されている撮像画像を照合用撮像画像とした場合、特定された特徴情報の属性情報の開示の詳細度レベルを高くし、それ以外の場合、レベルを低くする。
家族などを照合用撮像画像として登録しておくことで、家族の情報は詳細まで閲覧できる。なお、登録に際して所定の認証手続きを行うことで、不正登録を防ぎ、セキュリティを確保することができる。他人には、詳細情報は開示せず、「新宿区に3月に居た」程度の情報開示にとどめる。
(e2)照合用撮像画像と、特定された特徴情報との類似度が高い程、情報開示の詳細度レベルを高くする。
(e3)特徴情報登録時に、情報開示の詳細度レベルを指定できる構成とし、指定された詳細度レベルで開示する。
上記(e1)〜(e3)は、適宜、矛盾のない範囲で組み合わせてもよい。
Various relations between the conditions and the level of detail of information disclosure are conceivable and are exemplified below, but are not limited thereto.
(E1) When a pre-registered captured image is used as a verification captured image, the level of detail of disclosure of the attribute information of the specified feature information is increased, and otherwise the level is decreased.
By registering family members and the like as verification images, family information can be viewed in detail. Note that by performing a predetermined authentication procedure at the time of registration, unauthorized registration can be prevented and security can be ensured. Detailed information is not disclosed to others, but only to the extent that “I was in Shinjuku in March”.
(E2) The higher the degree of similarity between the collated captured image and the identified feature information, the higher the level of detail of information disclosure.
(E3) At the time of feature information registration, a level of detail of information disclosure can be designated, and the information is disclosed at the designated level of detail.
The above (e1) to (e3) may be appropriately combined within a consistent range.
以上説明したように、本発明の実施の形態に係る携帯端末装置300によれば、上記実施形態と同様な効果を奏するとともに、さらに、拡散情報の拡散を条件や優先度に応じて制御できるとともに、情報検索時に開示される情報の詳細度レベルを条件に応じて制御できるので、必要なユーザに必要な情報を適切に効率よく提供することができる。たとえば、無防備に情報が公開されて悪用されること等を防ぐこともできる。
As described above, according to the mobile
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
<安否確認システム>
たとえば、登録用撮像画像に写っている人物の安否情報を取得する安否情報取得部(不図示)をさらに備えてもよい。
安否情報取得部は、取得した安否情報を、登録用撮像画像の特徴情報と紐付けてデータベースに登録し、属性検出部114は、照合により特定された特徴情報に紐付けられている安否情報を照合用撮像画像の属性情報として取得する。
この構成によれば、安否確認情報を取得すことができる。
安否情報とは、たとえば、生存情報、怪我の有無や程度(搬送先の病院名)等の少なくともいずれか1つを含むことができる。
また、これらの情報についても、上記実施形態で説明したように、条件や優先度で、情報の提供先や情報開示の詳細レベルを制御してもよい。
As mentioned above, although embodiment of this invention was described with reference to drawings, these are the illustrations of this invention, Various structures other than the above are also employable.
<Safety confirmation system>
For example, you may further provide the safety information acquisition part (not shown) which acquires the safety information of the person reflected in the captured image for registration.
The safety information acquisition unit registers the acquired safety information in the database in association with the feature information of the captured image for registration, and the
According to this configuration, the safety confirmation information can be acquired.
The safety information can include, for example, at least any one of survival information, presence / absence or degree of injury (hospital destination hospital name), and the like.
For these pieces of information, as described in the above embodiment, the information provision destination and the detailed level of information disclosure may be controlled by conditions and priorities.
なお、上記実施形態では、たとえば、災害時の安否確認情報を共有するシステムを例に説明したが、本発明の適用例はこれに限定されるものではなく、様々適用できる。たとえば、遊園地等の入退場管理、迷子検索、防犯カメラ等の撮像画像を用いた特定人物(捜索中、捜査中の人物等)の検索などに適用できる。 In the above embodiment, for example, a system sharing safety confirmation information at the time of a disaster has been described as an example. However, application examples of the present invention are not limited to this, and various applications can be applied. For example, the present invention can be applied to entrance / exit management such as amusement parks, lost child search, and search for a specific person (such as a person who is searching or searching) using a captured image such as a security camera.
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
While the present invention has been described with reference to the embodiments and examples, the present invention is not limited to the above embodiments and examples. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
In addition, when acquiring and using the information regarding a user in this invention, this shall be done legally.
以下、参考形態の例を付記する。
1. 携帯端末装置を実現するコンピュータに、
登録用および照合用の撮像画像から特徴情報を取得する手順、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得する手順、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報としてデータベースに保持する手順と、
他の装置に、前記データベースに保持されている前記拡散情報を送信するとともに、前記他の装置が保持している拡散情報を受信する、拡散情報交換手順、
前記他の装置から受信した拡散情報を前記データベースに新たに登録する更新手順、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合し、前記照合用撮像画像の特徴情報と類似する特徴情報を特定する照合手順、
前記データベースにおいて特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する属性検出手順、を実行させるためのプログラム。
2. 1.に記載のプログラムにおいて、
特徴情報の拡散停止を示す停止要求を受け付ける手順、
前記停止要求に呼応して、前記照合手順により、前記拡散停止の前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報との照合による、前記拡散停止の前記特徴情報と類似すると特定された、前記データベース内の特徴情報に、拡散停止フラグを設定する手順、をさらにコンピュータに実行させ、
前記拡散情報交換手順において、前記拡散停止フラグが設定された特徴情報を前記拡散情報から除外して、前記他の装置に送信する手順、
をコンピュータに実行させるためのプログラム。
3. 2.に記載のプログラムにおいて、
前記拡散を停止すべき特徴情報を示す拡散停止情報を送信するとともに、前記他の装置が保持している前記拡散停止情報を受信する拡散停止情報交換手順、をさらにコンピュータに実行させ、
前記拡散停止フラグを設定する手順において、前記照合手順による、前記拡散停止情報交換手順により受信した前記拡散停止情報が示す特徴情報と前記データベースに前記拡散情報として保持される特徴情報との照合により、前記拡散停止情報が示す特徴情報と類似すると特定された、前記データベース内の特徴情報に、前記拡散停止フラグを設定する手順、
をコンピュータに実行させるためのプログラム。
4. 2.または3.に記載のプログラムにおいて、
前記更新手順において、前記拡散停止フラグが設定された特徴情報を、前記拡散停止フラグの設定から所定期間経過後、または指定された時刻に、前記データベースから削除する手順、
をコンピュータに実行させるためのプログラム。
5. 1.乃至4.いずれか1つに記載のプログラムにおいて、
前記データベースは、前記登録用撮像画像としての携帯端末装置のユーザの撮像画像から取得された特徴情報と位置情報および時刻情報とを紐付けて、前記拡散情報として保持しており、
前記更新手順において、前記データベースの、前記ユーザ以外の拡散情報をそのままに、前記ユーザの撮像画像から取得された特徴情報と紐付けられた位置情報および時刻情報を、前記情報交換手順により送信される前に、取得し、最新の情報に更新する手順、
をコンピュータに実行させるためのプログラム。
6. 1.乃至5.いずれか1つに記載のプログラムにおいて、
他の装置への情報送信の条件の指定を取得する条件取得手順、
取得した前記条件に従って、前記データベース内の前記拡散情報を選別する手順、
をさらにコンピュータに実行させ、
前記情報交換手順において、前記データベース内の前記拡散情報のうち、選別された前記拡散情報を前記他の装置に送信する手順、
をコンピュータに実行させるためのプログラム。
7. 6.に記載のプログラムにおいて、
前記データベース内の前記特徴情報に対し、優先度の指定を取得する手順、をさらにコンピュータに実行させ、
前記更新手順において、取得した前記優先度を前記特徴情報に紐付けて前記データベースに登録する手順、
前記条件取得手順において、前記優先度に関する条件の指定を取得する手順、
をコンピュータに実行させるためのプログラム。
8. 1.乃至7.いずれか1つに記載のプログラムにおいて、
前記属性検出手順により取得した前記照合用撮像画像の前記属性情報を提示する手順、をさらにコンピュータに実行させるためのプログラム。
9. 8.に記載のプログラムにおいて、
前記照合手順において、前記照合用撮像画像の特徴情報と、所定の閾値以上の類似度を有する特徴情報を、前記照合用撮像画像と類似する特徴情報と特定し、前記類似度を出力する手順、
前記属性情報を提示する手順において、前記照合手順により出力された前記類似度を、前記照合用撮像画像の前記属性情報とともに提示する手順、
をさらにコンピュータに実行させるためのプログラム。
10. 8.または9.に記載のプログラムにおいて、
前記属性情報を提示する手順における前記位置情報または前記時刻情報の開示の詳細度レベルを所定の条件に従い制御する手順、
をさらにコンピュータに実行させるためのプログラム。
11. 10.に記載のプログラムにおいて、
前記制御する手順において、前記照合手順により特定された特徴情報と、前記照合用撮像画像の特徴情報との類似度に応じて、前記属性情報を提示する手順において提示される前記位置情報または前記時刻情報の開示の詳細度レベルを制御する手順、
をさらにコンピュータに実行させるためのプログラム。
12. 1.乃至11.いずれか1つに記載のプログラムにおいて、
前記登録用撮像画像に写っている人物の安否情報を取得する手順、をさらにコンピュータに実行させ、
前記安否情報を取得する手順において、取得した安否情報を、前記登録用撮像画像の特徴情報と紐付けて前記データベースに登録する手順、
前記属性検出手順において、照合により特定された特徴情報に紐付けられている安否情報を前記照合用撮像画像の属性情報として取得する手順、
をコンピュータに実行させるためのプログラム。
Hereinafter, examples of the reference form will be added.
1. In a computer that realizes a mobile terminal device,
Procedure for acquiring feature information from captured images for registration and verification,
A procedure for acquiring position information and time information related to the feature information acquired from the registered captured image;
A procedure for associating the feature information acquired from the registered captured image with the corresponding position information and the time information, and holding them in a database as diffusion information to be diffused;
A spreading information exchange procedure for transmitting the spreading information held in the database to another device and receiving the spreading information held by the other device;
An update procedure for newly registering spreading information received from the other device in the database;
A collation procedure for collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database, and identifying feature information similar to the feature information of the collated captured image;
The program for performing the attribute detection procedure which acquires the positional information and time information linked | related with the characteristic information specified in the said database as attribute information of the said captured image for collation.
2. 1. In the program described in
A procedure for accepting a stop request indicating a stop of diffusion of feature information;
In response to the stop request, the collation procedure specifies that the feature information of the diffusion stop is similar to the feature information of the diffusion stop by collating the feature information of the diffusion stop and the feature information held as the diffusion information in the database. In addition, the computer further executes a procedure for setting a diffusion stop flag in the feature information in the database,
In the spreading information exchange procedure, a procedure for excluding the feature information in which the spreading stop flag is set from the spreading information and transmitting to the other device,
A program that causes a computer to execute.
3. 2. In the program described in
Transmitting the diffusion stop information indicating the feature information to stop the diffusion, and causing the computer to further execute a diffusion stop information exchange procedure for receiving the diffusion stop information held by the other device,
In the procedure for setting the spreading stop flag, by matching the feature information indicated by the spreading stop information received by the spreading stop information exchange procedure and the feature information held as the spreading information in the database by the matching procedure, A procedure for setting the diffusion stop flag in the feature information in the database, identified as being similar to the feature information indicated by the diffusion stop information;
A program that causes a computer to execute.
4). 2. Or 3. In the program described in
In the update procedure, a procedure for deleting the feature information in which the diffusion stop flag is set from the database after a predetermined period of time has elapsed from the setting of the diffusion stop flag or at a specified time;
A program that causes a computer to execute.
5. 1. To 4. In the program described in any one of the above,
The database associates the feature information acquired from the captured image of the user of the mobile terminal device as the captured image for registration with the position information and time information, and holds it as the diffusion information,
In the update procedure, the location information and the time information associated with the feature information acquired from the captured image of the user are transmitted by the information exchange procedure while the diffusion information other than the user in the database is left as it is. Before getting and updating the latest information,
A program that causes a computer to execute.
6). 1. To 5. In the program described in any one of the above,
Condition acquisition procedure for acquiring specification of conditions for sending information to other devices,
A procedure for selecting the diffusion information in the database according to the acquired condition;
Is further executed on the computer,
In the information exchange procedure, a procedure for transmitting the selected spread information among the spread information in the database to the other device;
A program that causes a computer to execute.
7). 6). In the program described in
A step of acquiring a designation of priority for the feature information in the database;
In the update procedure, a procedure of registering the acquired priority in the database in association with the feature information;
In the condition acquisition procedure, a procedure for acquiring designation of a condition related to the priority,
A program that causes a computer to execute.
8). 1. To 7. In the program described in any one of the above,
A program for causing a computer to further execute a procedure for presenting the attribute information of the captured image for verification acquired by the attribute detection procedure.
9. 8). In the program described in
In the matching procedure, the feature information of the matching captured image and the feature information having a similarity greater than or equal to a predetermined threshold are identified as feature information similar to the matching captured image, and the similarity is output.
In the procedure of presenting the attribute information, a procedure of presenting the similarity output by the collation procedure together with the attribute information of the captured image for collation,
A program that causes a computer to execute further.
10. 8). Or 9. In the program described in
A procedure for controlling a level of detail of disclosure of the position information or the time information in the procedure of presenting the attribute information according to a predetermined condition;
A program that causes a computer to execute further.
11. 10. In the program described in
In the controlling procedure, the position information or the time presented in the procedure of presenting the attribute information according to the similarity between the feature information specified by the matching procedure and the feature information of the captured image for matching Procedures to control the level of detail of information disclosure;
A program that causes a computer to execute further.
12 1. To 11. In the program described in any one of the above,
Obtaining the safety information of the person shown in the captured image for registration;
In the procedure of acquiring the safety information, the acquired safety information is registered in the database in association with the feature information of the registered captured image,
In the attribute detection procedure, a procedure for acquiring safety information associated with the feature information specified by the verification as attribute information of the verification captured image;
A program that causes a computer to execute.
13. 携帯端末装置が、
拡散すべき拡散情報を保持するデータベースを有し、
登録用の撮像画像から特徴情報を取得し、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得し、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報として前記データベースに登録し、
前記データベースに保持されている前記拡散情報を送信するとともに、他の装置が保持している拡散情報を受信して、拡散情報を交換し、
前記他の装置から受信した拡散情報を前記データベースに新たに登録し、
照合用の撮像画像から特徴情報を取得し、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合して、前記照合用撮像画像の特徴情報と類似する特徴情報を特定し、
前記データベースにおいて特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する、
携帯端末装置の情報処理方法。
14. 13.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
特徴情報の拡散停止を示す停止要求を受け付け、
前記停止要求に呼応して、前記拡散停止の前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報との照合による、前記拡散停止の前記特徴情報と類似すると特定された、前記データベース内の特徴情報に、拡散停止フラグを設定し、
前記データベースに保持されている前記拡散情報を送信する際、前記拡散停止フラグが設定された特徴情報を前記拡散情報から除外して、前記他の装置に送信する、
携帯端末装置の情報処理方法。
15. 14.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記拡散を停止すべき特徴情報を示す拡散停止情報を送信するとともに、前記他の装置が保持している前記拡散停止情報を受信し、
前記他の装置から受信した前記拡散停止情報が示す特徴情報と前記データベースに前記拡散情報として保持される特徴情報との照合により、前記拡散停止情報が示す特徴情報と類似すると特定された、前記データベース内の特徴情報に、前記拡散停止フラグを設定する、
携帯端末装置の情報処理方法。
16. 14.または15.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記拡散停止フラグが設定された特徴情報を、前記拡散停止フラグの設定から所定期間経過後、または指定された時刻に、前記データベースから削除する携帯端末装置の情報処理方法。
17. 13.乃至16.いずれか1つに記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置の前記データベースは、前記登録用撮像画像としての前記携帯端末装置のユーザの撮像画像から取得された特徴情報と位置情報および時刻情報とを紐付けて、前記拡散情報として保持しており、
前記携帯端末装置が、
前記データベースの、前記ユーザ以外の拡散情報をそのままに、前記ユーザの撮像画像から取得された特徴情報と紐付けられた位置情報および時刻情報を、前記他の装置に送信する前に、取得し、最新の情報に更新する、
携帯端末装置の情報処理方法。
18. 13.乃至17.いずれか1つに記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
他の装置への情報送信の条件の指定を取得し、
取得した前記条件に従って、前記データベース内の前記拡散情報を選別し、
前記データベース内の前記拡散情報のうち、選別された前記拡散情報を前記他の装置に送信する、
携帯端末装置の情報処理方法。
19. 18.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記データベース内の前記特徴情報に対し、優先度の指定を取得し、
取得した前記優先度を前記特徴情報に紐付けて前記データベースに登録し、
前記優先度に関する条件の指定を取得する、
携帯端末装置の情報処理方法。
20. 13.乃至19.いずれか1つに記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記データベースから取得した前記照合用撮像画像の前記属性情報を提示する携帯端末装置の情報処理方法。
21. 20.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合する際、前記照合用撮像画像の特徴情報と、所定の閾値以上の類似度を有する特徴情報を、前記照合用撮像画像と類似する特徴情報と特定し、前記類似度を出力し、
出力された前記類似度を、前記照合用撮像画像の前記属性情報とともに提示する、
携帯端末装置の情報処理方法。
22. 20.または21.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記照合用撮像画像の前記属性情報を提示する際、前記位置情報または前記時刻情報の開示の詳細度レベルを所定の条件に従い制御する、
携帯端末装置の情報処理方法。
23. 22.に記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記照合用撮像画像の前記属性情報を提示する際、照合により特定された特徴情報と、前記照合用撮像画像の特徴情報との類似度に応じて、前記位置情報または前記時刻情報の開示の詳細度レベルを制御する、
携帯端末装置の情報処理方法。
24. 13.乃至23.いずれか1つに記載の携帯端末装置の情報処理方法において、
さらに、
前記携帯端末装置が、
前記登録用撮像画像に写っている人物の安否情報を取得し、
取得した安否情報を、前記登録用撮像画像の特徴情報と紐付けて前記データベースに登録し、
照合により特定された特徴情報に紐付けられている安否情報を前記照合用撮像画像の属性情報として取得する、
携帯端末装置の情報処理方法。
13. The mobile terminal device
Have a database to hold the spreading information to be spread,
Obtain feature information from the captured image for registration,
Obtaining position information and time information related to the feature information obtained from the registered captured image;
The feature information acquired from the registered captured image is associated with the corresponding position information and time information, and is registered in the database as diffusion information to be diffused.
While transmitting the spreading information held in the database, receiving spreading information held by other devices, exchanging spreading information,
Newly registering spreading information received from the other device in the database;
Obtain feature information from the captured image for verification,
Collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database to identify feature information similar to the feature information of the collated captured image;
Obtaining position information and time information associated with the feature information specified in the database as attribute information of the verification captured image;
Information processing method for portable terminal device.
14 13. In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
Accepts a stop request indicating stop of feature information diffusion,
In response to the stop request, in the database identified as similar to the feature information of the diffusion stop by collating the feature information of the diffusion stop with the feature information held as the diffusion information in the database Set the diffusion stop flag in the feature information of
When transmitting the spreading information held in the database, the feature information in which the spreading stop flag is set is excluded from the spreading information and sent to the other device.
Information processing method for portable terminal device.
15. 14 In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
While transmitting spreading stop information indicating the feature information to stop the spreading, and receiving the spreading stop information held by the other device,
The database specified as similar to the feature information indicated by the diffusion stop information by collating the feature information indicated by the diffusion stop information received from the other device with the feature information held as the diffusion information in the database. The diffusion stop flag is set in the feature information in
Information processing method for portable terminal device.
16. 14 Or 15. In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
An information processing method for a mobile terminal device, wherein the feature information in which the diffusion stop flag is set is deleted from the database after a predetermined period of time has elapsed from the setting of the diffusion stop flag or at a specified time.
17. 13. To 16. In the information processing method of the mobile terminal device according to any one of the above,
further,
The database of the mobile terminal device associates the feature information acquired from the captured image of the user of the mobile terminal device as the captured image for registration with the position information and time information, and holds the information as the diffusion information. And
The portable terminal device is
Before transmitting the position information and the time information associated with the feature information acquired from the captured image of the user to the other device, without diffusing information other than the user in the database, Update to the latest information,
Information processing method for portable terminal device.
18. 13. To 17. In the information processing method of the mobile terminal device according to any one of the above,
further,
The portable terminal device is
Get specification of conditions for sending information to other devices,
According to the acquired condition, the diffusion information in the database is selected,
The spread information selected from the spread information in the database is transmitted to the other device.
Information processing method for portable terminal device.
19. 18. In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
Obtaining a priority designation for the feature information in the database;
The obtained priority is associated with the feature information and registered in the database,
Obtaining a specification of a condition relating to the priority;
Information processing method for portable terminal device.
20. 13. Thru 19. In the information processing method of the mobile terminal device according to any one of the above,
further,
The portable terminal device is
An information processing method of a mobile terminal device that presents the attribute information of the verification captured image acquired from the database.
21. 20. In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
When the feature information acquired from the collated captured image is collated with the feature information held as the diffusion information in the database, the feature information of the collated captured image has a similarity equal to or higher than a predetermined threshold. Identifying feature information as feature information similar to the matching captured image, and outputting the similarity,
Presenting the output degree of similarity together with the attribute information of the captured image for verification,
Information processing method for portable terminal device.
22. 20. Or 21. In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
When presenting the attribute information of the verification captured image, control the level of detail of disclosure of the position information or the time information according to a predetermined condition,
Information processing method for portable terminal device.
23. 22. In the information processing method of the mobile terminal device described in
further,
The portable terminal device is
Details of disclosure of the position information or the time information according to the degree of similarity between the feature information specified by the collation and the feature information of the collation captured image when presenting the attribute information of the collation captured image Control the degree level,
Information processing method for portable terminal device.
24. 13. Thru 23. In the information processing method of the mobile terminal device according to any one of the above,
further,
The portable terminal device is
Obtaining the safety information of the person shown in the captured image for registration,
The acquired safety information is registered in the database in association with the feature information of the registered captured image,
Obtaining the safety information associated with the feature information identified by the collation as attribute information of the collated captured image;
Information processing method for portable terminal device.
10 スマートフォン
12 CPU
14 メモリ
16 内部ストレージ
18 通信制御部
20 アンテナ
22 操作部
24 操作受付部
26 表示部
28 表示制御部
30 タッチパネル
32 撮像部
34 GPS機能部
36 アンテナ
38 時計
40 バス
50 プログラム
100 携帯端末装置
102 特徴情報取得部
104 位置時刻情報取得部
106 データベース
108 情報交換部
110 更新部
112 照合部
114 属性検出部
200 携帯端末装置
206 データベース
208 情報交換部
210 更新部
212 照合部
220 削除受付部
222 フラグ設定部
224 拡散停止情報交換部
226 提示部
230 メニュー画面
232 拡散登録ボタン
234 拡散停止ボタン
236 検索ボタン
238 拡散ボタン
240 終了ボタン
300 携帯端末装置
306 データベース
308 情報交換部
310 更新部
332 条件取得部
334 選別部
336 優先度取得部
338 制御部
10
14
Claims (15)
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得する位置時刻情報取得手段と、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報として保持するデータベースと、
他の装置に、前記データベースに保持されている前記拡散情報を送信するとともに、前記他の装置が保持している拡散情報を受信する情報交換手段と、
前記他の装置から受信した拡散情報を前記データベースに新たに登録する更新手段と、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合し、前記照合用撮像画像の特徴情報と類似する特徴情報を特定する照合手段と、
前記データベースにおいて前記照合手段により特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する属性検出手段と、
を備える携帯端末装置。 Feature information acquisition means for acquiring feature information from registered and collated captured images;
Position time information acquisition means for acquiring position information and time information related to the feature information acquired from the captured image for registration;
A database that associates the feature information acquired from the registered captured image with the corresponding position information and the time information, and holds it as diffusion information to be diffused;
Information exchange means for transmitting the spread information held in the database to another device and receiving the spread information held by the other device;
Update means for newly registering spreading information received from the other device in the database;
Collating means for collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database, and identifying feature information similar to the feature information of the collated captured image;
Attribute detection means for acquiring position information and time information associated with feature information specified by the matching means in the database as attribute information of the captured image for matching;
A mobile terminal device comprising:
特徴情報の拡散停止を示す停止要求を受け付ける削除受付手段と、
前記停止要求に呼応して、前記照合手段により、前記拡散停止の前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報との照合による、前記拡散停止の前記特徴情報と類似すると特定された、前記データベース内の特徴情報に、拡散停止フラグを設定するフラグ設定手段と、
をさらに備え、
前記情報交換手段は、前記拡散停止フラグが設定された特徴情報を前記拡散情報から除外して、前記他の装置に送信する、
携帯端末装置。 The mobile terminal device according to claim 1,
Deletion accepting means for accepting a stop request indicating stop spreading of feature information;
In response to the stop request, the collating means specifies that the feature information of the diffusion stop is similar to the feature information of the diffusion stop by comparing the feature information of the diffusion stop with the feature information held as the diffusion information in the database. Flag setting means for setting a diffusion stop flag in the feature information in the database;
Further comprising
The information exchanging means excludes the feature information in which the diffusion stop flag is set from the diffusion information and transmits it to the other device;
Mobile terminal device.
前記拡散を停止すべき特徴情報を示す拡散停止情報を送信するとともに、前記他の装置が保持している前記拡散停止情報を受信する拡散停止情報交換手段をさらに備え、
前記フラグ設定手段は、前記照合手段による、前記拡散停止情報交換手段により受信した前記拡散停止情報が示す特徴情報と前記データベースに前記拡散情報として保持される特徴情報との照合により、前記拡散停止情報が示す特徴情報と類似すると特定された、前記データベース内の特徴情報に、前記拡散停止フラグを設定する、
携帯端末装置。 The mobile terminal device according to claim 2,
The transmission apparatus further comprises diffusion stop information exchange means for transmitting the diffusion stop information indicating the feature information to stop the diffusion and receiving the diffusion stop information held by the other device,
The flag setting unit is configured to collate the diffusion stop information by comparing the feature information indicated by the diffusion stop information received by the diffusion stop information exchanging unit and the feature information held as the diffusion information in the database. The diffusion stop flag is set in the feature information in the database that is identified as similar to the feature information indicated by
Mobile terminal device.
前記更新手段は、前記拡散停止フラグが設定された特徴情報を、前記拡散停止フラグの設定から所定期間経過後、または指定された時刻に、前記データベースから削除する携帯端末装置。 In the portable terminal device according to claim 2 or 3,
The update means is a portable terminal device that deletes the feature information in which the diffusion stop flag is set from the database after a predetermined period of time has elapsed from the setting of the diffusion stop flag or at a specified time.
さらに、
前記データベースは、前記登録用撮像画像としての前記携帯端末装置のユーザの撮像画像から取得された特徴情報と位置情報および時刻情報とを紐付けて、前記拡散情報として保持しており、
前記更新手段は、前記データベースの、前記ユーザ以外の拡散情報をそのままに、前記ユーザの撮像画像から取得された特徴情報と紐付けられた位置情報および時刻情報を、前記情報交換手段により送信される前に、前記位置時刻情報取得手段により取得し、最新の情報に更新する、
携帯端末装置。 The portable terminal device according to any one of claims 1 to 4,
further,
The database associates the feature information acquired from the captured image of the user of the mobile terminal device as the captured image for registration with the position information and time information, and holds it as the diffusion information,
The update means transmits the position information and time information associated with the feature information acquired from the captured image of the user by the information exchanging means, with the diffusion information other than the user in the database as it is. Before, acquired by the position time information acquisition means, and updated to the latest information,
Mobile terminal device.
他の装置への情報送信の条件の指定を取得する条件取得手段と、
取得した前記条件に従って、前記データベース内の前記拡散情報を選別する選別手段と、
をさらに備え、
前記情報交換手段は、前記データベース内の前記拡散情報のうち、選別された前記拡散情報を前記他の装置に送信する、
携帯端末装置。 The portable terminal device according to any one of claims 1 to 5,
Condition acquisition means for acquiring specification of conditions for information transmission to other devices;
Screening means for screening the diffusion information in the database according to the acquired condition;
Further comprising
The information exchange means transmits the spread information selected from the spread information in the database to the other device.
Mobile terminal device.
前記データベース内の前記特徴情報に対し、優先度の指定を取得する優先度取得手段をさらに備え、
前記更新手段は、取得した前記優先度を前記特徴情報に紐付けて前記データベースに登録し、
前記条件取得手段は、前記優先度に関する条件の指定を取得する、
携帯端末装置。 The mobile terminal device according to claim 6,
Priority acquisition means for acquiring priority designation for the feature information in the database,
The update means registers the acquired priority in the database in association with the feature information,
The condition acquisition means acquires a specification of a condition related to the priority;
Mobile terminal device.
前記属性検出手段により取得した前記照合用撮像画像の前記属性情報を提示する提示手段をさらに備える携帯端末装置。 The portable terminal device according to any one of claims 1 to 7,
A portable terminal device further comprising a presentation unit that presents the attribute information of the captured image for verification acquired by the attribute detection unit.
さらに、
前記照合手段は、前記照合用撮像画像の特徴情報と、所定の閾値以上の類似度を有する特徴情報を、前記照合用撮像画像と類似する特徴情報と特定し、前記類似度を出力し、
前記提示手段は、前記照合手段が出力した前記類似度を、前記照合用撮像画像の前記属性情報とともに提示する、
携帯端末装置。 The mobile terminal device according to claim 8, wherein
further,
The collation means identifies feature information of the captured image for collation and feature information having a similarity greater than or equal to a predetermined threshold as feature information similar to the captured image for collation, and outputs the similarity.
The presenting means presents the similarity output from the collation means together with the attribute information of the captured image for collation.
Mobile terminal device.
前記提示手段における前記位置情報または前記時刻情報の開示の詳細度レベルを所定の条件に従い制御する制御手段をさらに備える携帯端末装置。 In the portable terminal device according to claim 8 or 9,
A portable terminal device further comprising control means for controlling a level of detail of disclosure of the position information or the time information in the presenting means according to a predetermined condition.
さらに、
前記制御手段は、前記照合手段により特定された特徴情報と、前記照合用撮像画像の特徴情報との類似度に応じて、前記提示手段における前記位置情報または前記時刻情報の開示の詳細度レベルを制御する携帯端末装置。 The mobile terminal device according to claim 10,
further,
The control means sets a level of detail of disclosure of the position information or the time information in the presentation means according to the similarity between the feature information specified by the matching means and the feature information of the captured image for matching. A mobile terminal device to be controlled.
前記登録用撮像画像に写っている人物の安否情報を取得する安否情報取得手段をさらに備え、
前記安否情報取得手段は、取得した安否情報を、前記登録用撮像画像の特徴情報と紐付けて前記データベースに登録し、
前記属性検出手段は、照合により特定された特徴情報に紐付けられている安否情報を前記照合用撮像画像の属性情報として取得する携帯端末装置。 The mobile terminal device according to any one of claims 1 to 11,
A safety information acquisition means for acquiring safety information of a person shown in the captured image for registration;
The safety information acquisition means registers the acquired safety information in the database in association with the feature information of the captured image for registration,
The said attribute detection means is a portable terminal device which acquires the safety information linked | related with the characteristic information specified by collation as attribute information of the said captured image for collation.
複数の携帯端末装置がそれぞれ有するデータベース内の、特徴情報と、前記特徴情報に紐付けられる位置情報および時刻情報を、前記複数の携帯端末装置が交換する、
情報処理システム。 A plurality of portable terminal devices according to any one of claims 1 to 12,
The plurality of portable terminal devices exchange the feature information in the database respectively possessed by the plurality of portable terminal devices, and the position information and time information associated with the feature information.
Information processing system.
登録用および照合用の撮像画像から特徴情報を取得する手順、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得する手順、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報としてデータベースに保持する手順と、
他の装置に、前記データベースに保持されている前記拡散情報を送信するとともに、前記他の装置が保持している拡散情報を受信する手順、
前記他の装置から受信した拡散情報を前記データベースに新たに登録する手順、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合し、前記照合用撮像画像の特徴情報と類似する特徴情報を特定する手順、
前記データベースにおいて特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する手順、を実行させるためのプログラム。 On the computer,
Procedure for acquiring feature information from captured images for registration and verification,
A procedure for acquiring position information and time information related to the feature information acquired from the registered captured image;
A procedure for associating the feature information acquired from the registered captured image with the corresponding position information and the time information, and holding them in a database as diffusion information to be diffused;
A procedure for transmitting the spreading information held in the database to another device and receiving the spreading information held by the other device;
A procedure for newly registering spreading information received from the other device in the database;
A procedure for collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database, and identifying feature information similar to the feature information of the collated captured image;
The program for performing the procedure which acquires the positional information and time information linked | related with the characteristic information specified in the said database as attribute information of the said captured image for collation.
登録用の撮像画像から特徴情報を取得し、
前記登録用撮像画像から取得された前記特徴情報に関する位置情報および時刻情報を取得し、
前記登録用撮像画像から取得された前記特徴情報と、対応する前記位置情報および前記時刻情報とを紐付けて、拡散すべき拡散情報としてデータベースに登録し、
前記データベースに保持されている前記拡散情報を送信するとともに、他の装置が保持している拡散情報を受信して、拡散情報を交換し、
前記他の装置から受信した拡散情報を前記データベースに新たに登録し、
照合用の撮像画像から特徴情報を取得し、
前記照合用撮像画像から取得された前記特徴情報と前記データベースに前記拡散情報として保持される特徴情報とを照合して、前記照合用撮像画像の特徴情報と類似する特徴情報を特定し、
前記データベースにおいて特定された特徴情報と紐付けられている位置情報および時刻情報を前記照合用撮像画像の属性情報として取得する、
携帯端末装置の情報処理方法。 The mobile terminal device
Obtain feature information from the captured image for registration,
Obtaining position information and time information related to the feature information obtained from the registered captured image;
The feature information acquired from the registered captured image is associated with the corresponding position information and time information, and is registered in the database as diffusion information to be diffused.
While transmitting the spreading information held in the database, receiving spreading information held by other devices, exchanging spreading information,
Newly registering spreading information received from the other device in the database;
Obtain feature information from the captured image for verification,
Collating the feature information acquired from the collated captured image with the feature information held as the diffusion information in the database to identify feature information similar to the feature information of the collated captured image;
Obtaining position information and time information associated with the feature information specified in the database as attribute information of the verification captured image;
Information processing method for portable terminal device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014047462A JP2015173307A (en) | 2014-03-11 | 2014-03-11 | Mobile terminal device, information processing system, information processing method for mobile terminal device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014047462A JP2015173307A (en) | 2014-03-11 | 2014-03-11 | Mobile terminal device, information processing system, information processing method for mobile terminal device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015173307A true JP2015173307A (en) | 2015-10-01 |
Family
ID=54260402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014047462A Pending JP2015173307A (en) | 2014-03-11 | 2014-03-11 | Mobile terminal device, information processing system, information processing method for mobile terminal device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015173307A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6180008B1 (en) * | 2017-03-29 | 2017-08-16 | 学校法人福岡工業大学 | Portable terminal, system, and program for controlling transmission priority of data packet according to static state |
JP2018093354A (en) * | 2016-12-02 | 2018-06-14 | オムロン株式会社 | Matching device, terminal, sensor network system, matching method, and matching program |
US10769497B2 (en) | 2017-12-24 | 2020-09-08 | Olympus Corporation | Learning device, imaging device, and learning method |
US10819903B2 (en) | 2018-02-13 | 2020-10-27 | Olympus Corporation | Imaging device, information terminal, control method for imaging device, and control method for information terminal |
US10860890B2 (en) | 2018-06-04 | 2020-12-08 | Olympus Corporation | Learning management device, learning management method, and imaging device |
-
2014
- 2014-03-11 JP JP2014047462A patent/JP2015173307A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018093354A (en) * | 2016-12-02 | 2018-06-14 | オムロン株式会社 | Matching device, terminal, sensor network system, matching method, and matching program |
JP6180008B1 (en) * | 2017-03-29 | 2017-08-16 | 学校法人福岡工業大学 | Portable terminal, system, and program for controlling transmission priority of data packet according to static state |
JP2018170541A (en) * | 2017-03-29 | 2018-11-01 | 学校法人福岡工業大学 | Mobile terminal, system, and program for controlling transmission priority of data packet according to static state |
US10769497B2 (en) | 2017-12-24 | 2020-09-08 | Olympus Corporation | Learning device, imaging device, and learning method |
US10819903B2 (en) | 2018-02-13 | 2020-10-27 | Olympus Corporation | Imaging device, information terminal, control method for imaging device, and control method for information terminal |
US10860890B2 (en) | 2018-06-04 | 2020-12-08 | Olympus Corporation | Learning management device, learning management method, and imaging device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5823499B2 (en) | Content processing apparatus, content processing method, content processing program, and integrated circuit | |
US9980111B2 (en) | Mobile terminal device, call-to-action system, call-to-action method, call-to-action program, and safety verification system | |
JP2015173307A (en) | Mobile terminal device, information processing system, information processing method for mobile terminal device, and program | |
JP6223735B2 (en) | SEARCH CONTROL DEVICE, SEARCH CONTROL METHOD, AND PROGRAM | |
US9510129B2 (en) | Character hitchhike information processing device, character hitchhike information processing system, and computer readable medium | |
JP2012247841A (en) | Neighboring person specifying apparatus, neighboring person specifying method, neighboring person specifying program, and neighboring person specifying system | |
JP6776700B2 (en) | Disaster information management system and disaster information management method | |
JP6105248B2 (en) | Information processing system, information processing program, information processing apparatus, and information processing method | |
KR101693738B1 (en) | System and Method for Civil Complaint Sharing Service based on Location using Mobile | |
US6832101B1 (en) | Image registration server and an image mediation distributing system | |
JP4867295B2 (en) | Image management apparatus and image management program | |
EP3585040A1 (en) | Information processing device, information processing method, and program | |
JP5953891B2 (en) | Information communication system using regional information map and personal ID | |
US20170187720A1 (en) | Sharing files based on recipient-location criteria | |
JP2011039647A (en) | Device and method for providing information, terminal device, information processing method, and program | |
JP2008182428A (en) | Automatic image data transmission system, grouping method and apparatus, destination determination method and apparatus, as well as program | |
US10165019B2 (en) | Shared experience information construction system | |
JP2014106695A (en) | Information processor | |
CN110383799B (en) | Information processing terminal and automatic response method | |
JP2021192209A (en) | Behavior tracking system | |
JP7145589B2 (en) | Information provision system | |
JP2003078935A (en) | Information transmission method, information transmitter, and information transmission system | |
JP7093396B2 (en) | Information processing terminal and automatic response method | |
JP7392264B2 (en) | Information processing equipment and face recognition system | |
JP2015073277A (en) | Image management device and program |