JP7438797B2

JP7438797B2 - Information processing device, industry estimation method, industry estimation program, and its storage medium

Info

Publication number: JP7438797B2
Application number: JP2020042925A
Authority: JP
Inventors: 洋介太田
Original assignee: Toyota Mapmaster Inc
Current assignee: Toyota Mapmaster Inc
Priority date: 2020-03-12
Filing date: 2020-03-12
Publication date: 2024-02-27
Anticipated expiration: 2040-03-12
Also published as: JP2021144482A

Description

本発明は、車両の進行方向に対する他の車両の進入を予測できる情報処理装置、業種推定方法、業種推定プログラム、及び当該プログラムを記録した記録媒体に関する。 The present invention relates to an information processing device, an industry estimation method, an industry estimation program, and a recording medium on which the program is recorded, which can predict the approach of another vehicle in the direction of travel of a vehicle.

従来、各種の検索システムにおいて店舗等の検索を行う場合に、店舗の業種をクエリとして用いることがままある。そのためデータベースとして、店舗の業種を特定して、予め店舗ごとにその業種に係る情報を対応付けておく必要がある。特許文献１には、店舗の業種を特定する手法として、店舗の売り上げデータに含まれる売上商品データに基づいて店舗の業種を特定する手法が開示されている。また、特許文献２には、店舗を利用したユーザの購買履歴に基づいて店舗の業種を特定する手法が開示されている。 BACKGROUND ART Conventionally, when searching for a store or the like in various search systems, the industry type of the store is often used as a query. Therefore, as a database, it is necessary to specify the type of business of the store and associate information related to that type of business for each store in advance. Patent Document 1 discloses a method of identifying the industry of a store based on sales product data included in sales data of the store. Further, Patent Document 2 discloses a method for identifying the industry of a store based on the purchase history of a user who has used the store.

特開２０１６－６６２５１号公報JP2016-66251A 特開２０１６－９９７７７号公報JP2016-99777A

ところで、上記特許文献１や特許文献２に記載の技術では、店舗の売り上げデータを入手したり、ユーザの購買履歴情報を入手したりする必要があるため、各種の店舗の業種推定に用いるには現実的ではない。 By the way, with the techniques described in Patent Document 1 and Patent Document 2, it is necessary to obtain store sales data and user purchase history information, so it is difficult to use them for estimating the industry of various stores. It's not realistic.

そこで、本発明は、上述のような問題を解決するために、容易に取得することができる情報を用いて店舗の業種を推定することができる情報処理装置、業種推定方法及び業種推定プログラムを提供することを目的とする。 Therefore, in order to solve the above-mentioned problems, the present invention provides an information processing device, an industry estimation method, and an industry estimation program that can estimate the industry of a store using easily obtainable information. The purpose is to

上記課題を解決するために、本発明の一態様に係る情報処理装置は、施設の画像情報と、当該施設の業種の対応関係を学習した学習モデルを記憶する記憶部と、施設に関連する画像を取得する画像取得部と、画像取得部が取得した画像と、学習モデルとを用いて、画像取得部が取得した画像に対応する施設の業種を推定する推定部と、推定部が推定した少なくとも１つ以上の業種と、画像取得部が取得した画像に対応する施設の情報とを含む業種情報とを出力する出力部と、を備える。 In order to solve the above problems, an information processing device according to one aspect of the present invention includes a storage unit that stores a learning model that has learned the correspondence between image information of a facility and industry types of the facility, and an information processing device that stores image information of a facility and a learning model that has learned a correspondence relationship between industry types of the facility; an image acquisition unit that acquires an image, an estimation unit that uses the image acquired by the image acquisition unit and a learning model to estimate the industry type of the facility corresponding to the image acquired by the image acquisition unit; The apparatus includes an output unit that outputs industry information including one or more industry types and information on facilities corresponding to the images acquired by the image acquisition unit.

上記課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置が実行する施設の業種を推定する業種推定方法であって、施設に関連する画像を取得する画像取得ステップと、画像取得ステップが取得した画像と、施設の画像情報と当該施設の業種の対応関係を学習した学習モデルとを用いて、画像取得ステップが取得した画像に対応する施設の業種を推定する推定ステップと、推定ステップが推定した少なくとも１つ以上の業種と、画像取得ステップが取得した画像に対応する施設の情報とを含む業種情報とを出力する出力ステップと、を実行する。 In order to solve the above problems, an information processing method according to one aspect of the present invention is an industry type estimation method for estimating the industry type of a facility, which is executed by an information processing device, and includes an image acquisition step of acquiring an image related to the facility. and estimation for estimating the industry type of the facility corresponding to the image acquired by the image acquisition step, using the image acquired by the image acquisition step and a learning model that has learned the correspondence between the image information of the facility and the industry type of the facility. and an output step of outputting industry information including at least one industry estimated by the estimation step and information about the facility corresponding to the image acquired by the image acquisition step.

上記課題を解決するために、本発明の一態様に係る情報処理プログラムは、施設の業種を推定する業種推定プログラムであって、コンピュータに、施設に関連する画像を取得する画像取得機能と、画像取得機能が取得した画像と、施設の画像情報と当該施設の業種の対応関係を学習した学習モデルとを用いて、画像取得機能が取得した画像に対応する施設の業種を推定する推定機能と、推定機能が推定した少なくとも１つ以上の業種と、画像取得機能が取得した画像に対応する施設の情報とを含む業種情報とを出力する出力機能と、を実行させる。 In order to solve the above problems, an information processing program according to one aspect of the present invention is an industry type estimation program that estimates the industry type of a facility, and includes an image acquisition function that acquires an image related to the facility, and an image acquisition function that acquires an image related to the facility. an estimation function that estimates the industry type of the facility corresponding to the image acquired by the image acquisition function, using the image acquired by the acquisition function and a learning model that has learned the correspondence between the image information of the facility and the industry type of the facility; An output function for outputting industry information including at least one industry estimated by the estimation function and information on a facility corresponding to the image acquired by the image acquisition function is executed.

上記情報処理装置において、記憶部は、少なくとも複数の施設各々の営業日時に関する情報を含む施設情報を記憶し、情報処理装置は、人又は車両が移動した経路と、経路を移動した際の時刻を示す時刻情報とを含む経路情報を受信する受信部と、経路情報と施設情報とに基づいて、人又は車両が訪問した施設が、２種類以上の業種を有する施設であるか否かを判定する判定部と、画像取得部は、判定部により２種類以上の業種を有すると判定された施設の画像を取得することとしてもよい。 In the above information processing device, the storage unit stores facility information including information regarding business dates and times of at least each of the plurality of facilities, and the information processing device stores information on a route traveled by a person or a vehicle and a time at which the person or vehicle traveled the route. a receiving unit that receives route information including time information indicating the time information, and a receiving unit that determines whether a facility visited by a person or a vehicle is a facility that has two or more types of business based on the route information and facility information. The determination unit and the image acquisition unit may acquire images of facilities determined by the determination unit to have two or more types of business.

上記情報処理装置において、判定部は、施設の施設情報で示される営業時間外に、施設を訪問したことを示す経路情報がある場合に、当該施設が、業種が２種類以上ある施設であると判定することとしてもよい。 In the information processing device, the determining unit determines that the facility is a facility with two or more types of industry when there is route information indicating that the facility was visited outside of business hours indicated by the facility information of the facility. It may also be determined.

上記情報処理装置において、判定部は、施設の施設情報で示される営業時間外に、訪問したことを示す経路情報が複数ある場合に、当該施設が、業種が２種類以上ある施設であると判定することとしてもよい。 In the information processing device, the determination unit determines that the facility is a facility with two or more types of industry when there is multiple route information indicating that the facility was visited outside of business hours indicated by the facility information of the facility. You can also do it.

上記情報処理装置において、施設情報は、更に、営業時間を複数に区切った時間帯ごとの訪問者数に関する情報を含み、判定部は、施設情報と経路情報とに基づいて、訪問者数が所定以上増加した時間帯がある施設があった場合に、当該施設が、業種が２種類以上ある施設であると判定することとしてもよい。 In the above information processing device, the facility information further includes information regarding the number of visitors for each time zone in which the business hours are divided into a plurality of times, and the determination unit determines whether the number of visitors is determined based on the facility information and the route information. If there is a facility that has a time zone that has increased by more than 100%, it may be determined that the facility has two or more types of industry.

上記情報処理装置において、記憶部は、更に、複数の施設を連続で訪問する場合の訪問履歴と、連続で訪問した施設の業種とを対応付けた連続訪問情報を記憶し、推定部は、更に、経路情報が複数の施設を訪問していることを示し、かつ、複数の施設のうちの少なくとも一つの施設の業種が取得できる場合に、連続訪問情報を用いて、少なくとも一つの施設の前又は後に訪問した施設の業種を推定することとしてもよい。 In the information processing device, the storage unit further stores continuous visit information that associates a visit history when visiting a plurality of facilities consecutively with the industry type of the consecutively visited facilities, and the estimation unit further stores , If the route information indicates that multiple facilities are being visited, and the industry type of at least one of the multiple facilities can be obtained, consecutive visit information is used to The industry type of the facility visited later may be estimated.

上記情報処理装置において、施設情報は、さらに、施設の業種を示す情報が対応付けられており、出力部が出力した業種情報が示す施設に対して施設情報において対応付けられている業種に、推定部が推定した業種が対応付けられていなかった場合に、当該対応付けられていなかった業種を、施設の新たな業種として、施設情報に登録する登録部を備えることとしてもよい。 In the information processing device, the facility information is further associated with information indicating the industry of the facility, and the facility indicated by the industry information output by the output unit is estimated to be associated with the industry in the facility information. A registration unit may be provided that registers the uncorrelated industry in the facility information as a new industry of the facility when the industry estimated by the department is not matched.

上記情報処理装置において、画像取得部は、施設に関連する画像として、当該施設を訪問した車両の車載カメラにより撮像された画像を取得することとしてもよい。 In the information processing device, the image acquisition unit may acquire, as the image related to the facility, an image captured by an on-vehicle camera of a vehicle that visited the facility.

上記情報処理装置において、画像取得部は、施設に関連する画像として、少なくとも異なる時間に撮像された互いに異なる画像を取得することとしてもよい。 In the information processing device, the image acquisition unit may acquire at least different images taken at different times as the images related to the facility.

本発明の一態様に係る情報処理装置は、店舗を撮像した撮像画像という売り上げデータや購買履歴よりも入手が容易な情報を用いて、店舗の業種を推定することができる。 The information processing device according to one aspect of the present invention can estimate the industry type of a store using captured images of the store, which is information that is easier to obtain than sales data or purchase history.

情報処理装置の機能構成例を示すブロック図である。FIG. 2 is a block diagram showing an example of a functional configuration of an information processing device. 業種推定に係る処理の概要図である。It is a schematic diagram of processing related to industry type estimation. 施設情報のデータ構成例を示すデータ概念図である。FIG. 2 is a data conceptual diagram showing an example of a data structure of facility information. 教師データのデータ構成例を示すデータ概念図である。FIG. 2 is a data conceptual diagram showing an example of the data structure of teacher data. 情報処理装置の学習に係る動作例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to learning of the information processing device. 情報処理装置の推定に係る動作例を示すフローチャートである。3 is a flowchart illustrating an example of an operation related to estimation by the information processing device. 情報処理装置の施設の絞り込み処理に係る動作例を示すフローチャートである。12 is a flowchart illustrating an example of the operation of the information processing apparatus regarding facility narrowing down processing. 複数の施設を連続で訪問する場合の施設の対応関係を示す連続訪問情報のデータ構成例を示すデータ概念図である。FIG. 2 is a data conceptual diagram showing an example of the data structure of continuous visit information indicating the correspondence of facilities when visiting a plurality of facilities in succession. 複数の施設を連続で訪問した移動情報から施設の業種を特定する情報処理装置の動作例を示すフローチャートである。12 is a flowchart illustrating an example of the operation of an information processing device that identifies the industry type of a facility based on movement information obtained by consecutively visiting a plurality of facilities. 情報処理装置の他の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating another configuration example of the information processing device.

以下、本発明の一実施態様に係る情報処理装置について、図面を参照しながら詳細に説明する。 Hereinafter, an information processing device according to an embodiment of the present invention will be described in detail with reference to the drawings.

＜実施の形態１＞
＜情報処理装置の構成＞
本発明の一態様に係る情報処理装置は、施設の画像情報と、当該施設の業種の対応関係を学習した学習モデルを記憶する記憶部（図１の１０４参照）と、施設に関連する画像を取得する画像取得部（図１の１０５参照）と、画像取得部が取得した画像と、学習モデルとを用いて、画像取得部が取得した画像に対応する施設の業種を推定する推定部（図１の１０５参照）と、推定部が推定した少なくとも１つ以上の業種と、画像取得部が取得した画像に対応する施設の情報とを含む業種情報とを出力する出力部と（図１の１０３参照）、を備える。情報処理装置１００は、図２に示すように、施設に関連する撮像画像の入力を受け付けて、画像と業種の関係を学習した学習モデルを用いて、入力された撮像画像に関する施設の業種情報を推定する装置である。 <Embodiment 1>
<Configuration of information processing device>
An information processing device according to one aspect of the present invention includes a storage unit (see 104 in FIG. 1) that stores image information of a facility and a learning model that has learned the correspondence between industry types of the facility, and a storage unit that stores images related to the facility. an image acquisition unit (see 105 in Figure 1), an estimation unit (see 105 in Figure 1) that estimates the industry type of the facility corresponding to the image acquired by the image acquisition unit, using the image acquired by the image acquisition unit and the learning model; 1); and an output unit that outputs industry information including at least one industry estimated by the estimation unit and information on the facility corresponding to the image acquired by the image acquisition unit (103 in Figure 1); (see). As shown in FIG. 2, the information processing device 100 receives an input of a captured image related to a facility, and uses a learning model that has learned the relationship between the image and the industry to obtain industry type information of the facility regarding the input captured image. It is a device for estimating.

図１は、情報処理装置１００の機能構成例を示すブロック図である。図１に示すように、情報処理装置１００は、受信部１０１と、受付部１０２と、出力部１０３と、記憶部１０４と、ＣＰＵ１０５とを備える。情報処理装置１００は、一例として車両などに搭載されて経路案内をするためのナビゲーション用のデータベースに登録すべき情報を生成する装置であり、サーバ装置、ＰＣなどにより実現されるが、これらに限定するものではなく、スマートフォン等の携帯端末などにより実現されるものであってもよい。以下、各機能部について詳細に説明する。 FIG. 1 is a block diagram showing an example of the functional configuration of the information processing apparatus 100. As shown in FIG. 1, the information processing device 100 includes a receiving section 101, a receiving section 102, an output section 103, a storage section 104, and a CPU 105. The information processing device 100 is, for example, a device that is installed in a vehicle or the like and generates information to be registered in a navigation database for route guidance, and is realized by a server device, a PC, etc., but is not limited to these. It may be realized by a mobile terminal such as a smartphone instead of by a mobile terminal such as a smartphone. Each functional unit will be explained in detail below.

受信部１０１は、他の装置から通信により情報を受信する機能を有する。受信部１０１は、例えば、実際に自動車が走行した位置や車速などの情報を用いて生成された車両の走行履歴である走行履歴情報、所謂プローブ情報（プローブ交通情報）を受信する。また、受信部１０１は、人が移動した移動経路を示す経路情報を受信する。受信部１０１は、例えば、プローブ情報を、プローブ情報を収集、蓄積する道路交通情報通信システム（サーバ）等から受信する。受信部１０１は、取得したプローブ情報を、ＣＰＵ１０５に伝達する。また、受信部１０１は、施設の外観や内装、施設で提供される物品等の施設に関連する撮像画像を受信する。受信部１０１は、例えば、ユーザのＰＣやウェブ、フラッシュメモ等から撮像画像を受信する。受信部１０１は、受信した撮像画像を、ＣＰＵ１０５に伝達する。 The receiving unit 101 has a function of receiving information from other devices through communication. The receiving unit 101 receives, for example, driving history information, which is the driving history of a vehicle, generated using information such as the position where the car actually traveled and the vehicle speed, so-called probe information (probe traffic information). The receiving unit 101 also receives route information indicating a travel route traveled by a person. The receiving unit 101 receives probe information from, for example, a road traffic information communication system (server) that collects and stores probe information. The receiving unit 101 transmits the acquired probe information to the CPU 105. The receiving unit 101 also receives captured images related to the facility, such as the exterior and interior of the facility, and goods provided at the facility. The receiving unit 101 receives captured images from, for example, a user's PC, the web, a flash memo, or the like. The receiving unit 101 transmits the received captured image to the CPU 105.

受付部１０２は、情報処理装置１００のユーザからの入力を受け付けて、ＣＰＵ１０５に伝達する機能を有する。受付部１０２は、例えば、情報処理装置１００に備えられたハードウェアキーや、タッチキーなどのソフトキーなどにより実現することができる。受付部１０２は、受け付けた目的地を示す情報をＣＰＵ１０５に伝達する。なお、受付部１０２に対する入力は音声による入力であってもよい。 The receiving unit 102 has a function of receiving input from the user of the information processing apparatus 100 and transmitting the input to the CPU 105. The reception unit 102 can be realized by, for example, a hardware key provided in the information processing device 100 or a soft key such as a touch key. The reception unit 102 transmits the received information indicating the destination to the CPU 105. Note that the input to the reception unit 102 may be a voice input.

出力部１０３は、ＣＰＵ１０５からの指示に従って、指示されたデータを出力する機能を有する。出力部１０３は、例えば、施設の業種を示す業種情報を出力する。出力部１０３は、業種情報を、情報処理装置１００に接続されたモニタに画像情報（テキストデータでもよい）として出力することとしてもよいし、業種情報を示す音声データを情報処理装置１００に接続されたスピーカに出力することとしてもよいし、外部の装置に対して、通信により業種情報を送信することとしてもよい。即ち、出力部１０３は、ＣＰＵ１０５から指定された情報を、指定された宛先に出力する通信インターフェースとして機能する。 The output unit 103 has a function of outputting instructed data according to instructions from the CPU 105. The output unit 103 outputs, for example, industry information indicating the industry of the facility. The output unit 103 may output the industry information to a monitor connected to the information processing device 100 as image information (text data may be used), or may output audio data indicating the industry information to a monitor connected to the information processing device 100. The industry information may be output to an external speaker, or may be transmitted to an external device via communication. That is, the output unit 103 functions as a communication interface that outputs information specified by the CPU 105 to a specified destination.

記憶部１０４は、情報処理装置１００が動作するうえで必要とする各種のプログラム及び地図情報を含む各種のデータを記憶する記録媒体である。地図情報には、道路網に関する情報のほか、施設（ＰＯＩ（Points Of Interest）と呼称することもある）に関する情報が含まれる。施設に関する情報には、施設の業種を示す情報が含まれる。記憶部１０４は、例えば、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等により実現される。 The storage unit 104 is a recording medium that stores various programs and various data including map information necessary for the operation of the information processing apparatus 100. The map information includes information on facilities (sometimes referred to as POIs (Points of Interest)) in addition to information on road networks. The information regarding the facility includes information indicating the industry of the facility. The storage unit 104 is realized by, for example, an HDD (Hard Disc Drive), an SSD (Solid State Drive), a flash memory, or the like.

記憶部１０４は、学習モデル１４１と、施設情報１４２を記憶している。 The storage unit 104 stores a learning model 141 and facility information 142.

学習モデル１４１は、施設に関する撮像画像と、施設の業種との対応関係を学習した学習モデルである。学習モデル１４１は、撮像画像を入力として、入力された撮像画像に関する施設の業種を示す業種情報を出力するモデルである。学習モデル１４１は外部の装置が作成したものであってもよいし、情報処理装置１００が作成したものであってもよい。 The learning model 141 is a learning model that has learned the correspondence between captured images related to facilities and the industry types of the facilities. The learning model 141 is a model that receives a captured image as input and outputs industry information indicating the industry of the facility related to the input captured image. The learning model 141 may be created by an external device or may be created by the information processing device 100.

施設情報１４２は、既存の施設について、その施設名や営業時間、業種等の情報を含む施設に関するデータベースである。施設情報１４２の詳細については後述する。 The facility information 142 is a database related to existing facilities that includes information such as facility names, business hours, industry types, and the like. Details of the facility information 142 will be described later.

ＣＰＵ１０５は、記憶部１０４に記憶されている各種のプログラム及び各種のデータを利用して、情報処理装置１００が実行すべき処理を実行するプロセッサである。 The CPU 105 is a processor that uses various programs and various data stored in the storage unit 104 to execute processes that the information processing apparatus 100 should execute.

ＣＰＵ１０５は、情報処理装置１００の各部を制御し、施設の撮像画像を取得して、その施設の業種を推定する。とくに、ＣＰＵ１０５は、時間帯や曜日で営業形態を異ならせた、いわゆる、「二毛作ビジネス」を実施している施設を特定し、その業種を推定する。 The CPU 105 controls each part of the information processing apparatus 100, acquires a captured image of a facility, and estimates the industry type of the facility. In particular, the CPU 105 identifies facilities that operate a so-called "double cropping business" in which the business format differs depending on the time of day or day of the week, and estimates the type of business.

ＣＰＵ１０５は、施設に関する撮像画像を入力として、撮像画像に関する施設の業種を推定する推定部として機能する。ＣＰＵ１０５は、記憶部１４０に記憶されている学習モデル１４１に対して、取得した撮像画像を入力することで、入力した撮像画像に関する施設の業種を推定する。 The CPU 105 functions as an estimation unit that receives a captured image of the facility as input and estimates the industry type of the facility related to the captured image. The CPU 105 inputs the acquired captured image to the learning model 141 stored in the storage unit 140 to estimate the industry type of the facility related to the input captured image.

また、ＣＰＵ１０５は、推定部が推定した業種の情報を、対応する施設の業種として、地図情報あるいは検索用のデータベース等に登録する登録部として機能してもよい。 Further, the CPU 105 may function as a registration unit that registers information on the industry type estimated by the estimation unit as the industry type of the corresponding facility in map information, a search database, or the like.

また、ＣＰＵ１０５は、受信部１０１が受信しているプローブ情報または移動経路情報から、ユーザが施設を訪問したかどうか、そして、施設を訪問している場合に、その施設の営業態様が変化しているか否かを判定する判定部として機能する。 Further, the CPU 105 determines whether the user has visited a facility or not, based on the probe information or travel route information received by the receiving unit 101, and if the user has visited a facility, whether the business mode of the facility has changed. It functions as a determination unit that determines whether or not there is a person.

また、ＣＰＵ１０５は、少なくとも撮像画像と、当該撮像画像が示す施設の業種を示す業種情報と、を含む教師データとして、撮像画像と撮像が示す施設の業種との対応関係を学習した学習モデルを学習する学習部として機能してもよい。 The CPU 105 also learns a learning model that has learned the correspondence between the captured image and the industry of the facility indicated by the captured image, as training data including at least a captured image and industry information indicating the industry of the facility indicated by the captured image. It may also function as a learning department.

以上が情報処理装置１００の構成例である。 The above is an example of the configuration of the information processing device 100.

＜データ＞
ここで、施設情報１４２と、学習モデル１４１の元となる教師データについて説明する。 <Data>
Here, the facility information 142 and the teacher data on which the learning model 141 is based will be explained.

図３は、施設情報１４２のデータ構成例を示すデータ概念図である。図３に示すように、施設情報１４２は、施設名称３０１と、施設位置３０２と、営業時間３０３と、業種情報３０４と、画像情報３０５と、が対応付けられた情報である、 FIG. 3 is a data conceptual diagram showing an example of the data structure of the facility information 142. As shown in FIG. 3, the facility information 142 is information in which a facility name 301, a facility location 302, business hours 303, industry information 304, and image information 305 are associated with each other.

施設名称３０１は、施設を識別するための情報であり、施設の名称を示す情報である。 The facility name 301 is information for identifying a facility, and is information indicating the name of the facility.

施設位置３０２は、対応する施設名称３０１で示される施設の位置を示す情報であり、ここでは、経緯度情報で示している。施設位置３０２は、経緯度情報である必要はなく、施設の住所で示されてもよいし、経緯度の範囲で示されてもよい。 The facility location 302 is information indicating the location of the facility indicated by the corresponding facility name 301, and is indicated here by latitude and longitude information. The facility location 302 does not need to be latitude and longitude information, and may be indicated by the address of the facility or by a range of latitude and longitude.

営業時間３０３は、対応する施設名称３０１で示される施設が営業している日時を示す情報である。ここでは、営業している曜日とその時間帯で示しているが、これは、特定の日にちとその日の営業時間帯を示すものであってもよい。 Business hours 303 is information indicating the date and time when the facility indicated by the corresponding facility name 301 is open for business. Here, the days of the week and business hours are shown, but this may also indicate a specific day and business hours on that day.

業種情報３０４は、対応する施設名称３０１で示される施設の業種を示す情報である。業種情報３０４は、一つであってもよいし、二つ以上あってもよい。 Industry information 304 is information indicating the industry of the facility indicated by the corresponding facility name 301. There may be one type of industry information 304, or there may be two or more pieces of industry information 304.

画像情報３０５は、対応する施設名称３０１で示される施設に関する画像情報である。画像情報３０５は、例えば、施設の外観、内装、施設で提供しているサービスや商品、施設への道順等に関する画像や撮像画像である。 Image information 305 is image information regarding the facility indicated by the corresponding facility name 301. The image information 305 is, for example, an image or a captured image related to the exterior appearance and interior of the facility, services and products provided by the facility, directions to the facility, and the like.

図３に示す例では、施設名称３０１が、「Ａフレンチ」である施設の位置は、「（Ｘ１、Ｙ１）」であり、営業時間は、「月曜から土曜の１０時から２２時まで」となっている。そして、「Ａフレンチ」には業種情報３０４として、「レストラン、フレンチ」の情報が対応付けられ、画像情報３０５として、「ＰＡ００１．ｊｐｇ」等の画像が対応付けられている。 In the example shown in FIG. 3, the location of the facility whose facility name 301 is "A French" is "(X1, Y1)" and its business hours are "Monday to Saturday from 10:00 to 22:00". It has become. Then, "A French" is associated with information of "Restaurant, French" as industry information 304, and associated with an image such as "PA001.jpg" as image information 305.

施設情報１４２があることにより、施設の運用態様が変わった可能性がある施設を特定することができる。情報処理装置１００は、施設情報で示される位置にある施設を訪問しているプローブ情報があり、その訪問時間が施設情報で示される営業時間外であった場合に、施設の運用態様が変わった可能性がある By having the facility information 142, it is possible to identify a facility whose operation mode may have changed. The information processing device 100 determines that the operating mode of the facility has changed if there is probe information that the facility is visiting a facility located at the location indicated by the facility information, and the visit time is outside the business hours indicated by the facility information. there is a possibility

図４は、学習モデル１４１を生成する際に用いる教師データの一例を示している。図４は、教師データ４００のデータ構成例を示すデータ概念図である。 FIG. 4 shows an example of teacher data used when generating the learning model 141. FIG. 4 is a data conceptual diagram showing an example of the data structure of the teacher data 400.

図４に示すように、教師データ４００は、管理ＩＤ４０１と、画像データ４０２と、撮影日時４０３と、撮影場所４０４と、業種４０５と、が対応付けられた情報である。 As shown in FIG. 4, the teacher data 400 is information in which a management ID 401, image data 402, photographing date and time 403, photographing location 404, and industry type 405 are associated with each other.

図４に示す一行ずつが一つの教師データであり、教師データ４００はその集合である。教師データ４００は、画像データと業種との関係を学習するに足るだけの所定数以上の教師データを含んでいれば、いくつの教師データが含まれていてもよい。 Each line shown in FIG. 4 is one piece of teacher data, and the teacher data 400 is a collection thereof. The teacher data 400 may include any number of pieces of teacher data as long as it includes a predetermined number or more of pieces of teacher data that are sufficient to learn the relationship between image data and industry types.

管理ＩＤ４０１は、各教師データを個別に管理するための管理情報である。管理ＩＤ４０１は、学習の態様とはならない。 The management ID 401 is management information for individually managing each teacher data. Management ID 401 is not a learning mode.

画像データ４０２は、施設に関する撮像画像である。施設に関する撮像画像とは、上述の通り、施設の外観、内装、施設で提供されるサービスや商品、施設までの道程を撮像したものであってよい。画像データ４０２は、一例として、ドライブレコーダー等の車載カメラにより撮像された画像であってよいし、ユーザの端末により撮像された画像であってもよいし、ウェブから取得した画像であてもよい。 Image data 402 is a captured image regarding the facility. As described above, the captured images related to the facility may be images of the exterior, interior, services and products provided at the facility, and the route to the facility. The image data 402 may be, for example, an image captured by an in-vehicle camera such as a drive recorder, an image captured by a user's terminal, or an image obtained from the web.

撮影日時４０３は、対応する画像データ４０２が撮影された日時を示す情報である。 The photographing date and time 403 is information indicating the date and time when the corresponding image data 402 was photographed.

撮影場所４０４は、対応する画像データ４０２が撮影された場所を示す情報である。ここでは、経緯度情報で示す例を示しているが、これは住所であってもよい。 The photographing location 404 is information indicating the location where the corresponding image data 402 was photographed. Here, an example is shown using latitude and latitude information, but this may also be an address.

業種４０５は、対応する画像データ４０２が撮影対象としている施設の業種を示す情報である。業種４０５は、教師あり学習における、いわゆる、ラベルに相当する情報である。 The industry type 405 is information indicating the industry type of the facility that the corresponding image data 402 targets. The industry type 405 is information equivalent to a so-called label in supervised learning.

したがって、教師データ４００を用いて作成された学習モデル１４１は、施設に関する画像データと、その画像データが示す施設の業種と、の関係を学習した学習モデルとなり、画像データの入力を受け付けて、その画像データに関連する施設の業種を推定するモデルとなる。 Therefore, the learning model 141 created using the teacher data 400 is a learning model that has learned the relationship between image data regarding a facility and the industry type of the facility indicated by the image data, and accepts input of image data and This is a model that estimates the industry type of facilities related to image data.

なお、教師データ４００は、少なくとも画像データ４０２と、ラベルとして機能する業種４０５とがあればよく、その他の撮影日時４０３や撮影場所４０４等の情報は、必須の情報ではない。また、逆に教師データ４００には、図４に示した情報以外の情報も含まれてよく、例えば、撮影場所を訪問して撮像を行った人物の属性（例えば、性別や年齢）の情報が含まれてもよい。 Note that the teacher data 400 only needs to include at least the image data 402 and the industry type 405 that functions as a label, and other information such as the shooting date and time 403 and the shooting location 404 are not essential information. Conversely, the teacher data 400 may also include information other than the information shown in FIG. 4, such as information on the attributes (such as gender and age) of the person who visited the shooting location and took the image. May be included.

また、前述の通り、学習モデル１４１は、情報処理装置１００ではなく、他の装置が作成してもよく、他の装置が作成した学習モデル１４１を使って推定処理を行ってもよい。 Further, as described above, the learning model 141 may be created by another device instead of the information processing device 100, and the estimation process may be performed using the learning model 141 created by another device.

＜情報処理装置の動作＞
次に、情報処理装置１００の動作について説明する。 <Operation of information processing device>
Next, the operation of the information processing device 100 will be explained.

図５は、情報処理装置１００が学習モデル１４１を生成する処理を示すフローチャートである。 FIG. 5 is a flowchart showing a process in which the information processing apparatus 100 generates the learning model 141.

図５に示すように情報処理装置１００のＣＰＵ１０５は、教師データとして、少なくとも、施設に関する画像（例えば、施設の外観や内装、商品等の撮像画像）と、その画像データの施設の業種情報とが対応付けられたデータの入力を受け付ける（ステップＳ５０１）。業種情報は、画像を撮像したユーザが付与することとしてもよい。また、あるいは、業種情報は、画像がウェブサイト等から取得したものであれば、そのウェブサイトから特定される業種を、当該ウェブサイトから取得した画像に対応付けたものであってもよい。一例として、ＣＰＵ１０５は、図４に示されるような教師データ４００の入力を受け付ける。 As shown in FIG. 5, the CPU 105 of the information processing device 100 includes at least an image related to the facility (for example, a captured image of the facility's exterior, interior, products, etc.) and industry type information of the facility in the image data. The input of the associated data is accepted (step S501). The industry information may be provided by the user who captured the image. Alternatively, if the image is obtained from a website or the like, the industry information may be information that associates the industry specified from the website with the image obtained from the website. As an example, the CPU 105 receives input of teacher data 400 as shown in FIG.

ＣＰＵ１０５は、入力された教師データに基づき、施設に関する画像と、施設の業種との関係を学習し、学習モデル１４１を生成する（ステップＳ５０２）。ＣＰＵ１０５が用いる学習のアルゴリズムは、既存のアルゴリズムを用いることとしてよい。 Based on the input teacher data, the CPU 105 learns the relationship between images related to the facility and the industry of the facility, and generates the learning model 141 (step S502). The learning algorithm used by the CPU 105 may be an existing algorithm.

そして、ＣＰＵ１０５は生成した学習モデル１４１を、記憶部１０４に記憶し（ステップＳ５０３）、処理を終了する。 Then, the CPU 105 stores the generated learning model 141 in the storage unit 104 (step S503), and ends the process.

次に、学習モデル１４１を用いての施設の業種の推定処理について説明する。図６は、ＣＰＵ１０５の動作であって、画像に関連する施設の業種を推定する処理の動作例を示すフローチャートである。 Next, a process for estimating the industry of a facility using the learning model 141 will be described. FIG. 6 is a flowchart illustrating an example of the operation of the CPU 105, which is a process for estimating the industry type of a facility related to an image.

図６に示すように、ＣＰＵ１０５は、業種を推定したい処理対処の施設に関する画像情報の入力を受け付ける（ステップＳ６０１）。当該画像情報は、情報処理装置１００のオペレータにより入力されてもよいし、外部の装置から入力されてもよい。 As shown in FIG. 6, the CPU 105 receives an input of image information regarding a facility for processing whose industry type is to be estimated (step S601). The image information may be input by an operator of the information processing device 100 or may be input from an external device.

ＣＰＵ１０５は、入力された施設に関する画像を、学習モデル１４１に入力して、施設の業種を推定する（ステップＳ６０２）。学習モデル１４１は、一つの業種を一意に推定するものであってもよいし、複数の業種それぞれについて、各業種である可能性を示すパーセンテージを出力するものであってもよいし、そのパーセンテージが所定の閾値（例えば、５０％）を超えた全ての業種すべての情報を出力するものであってもよい。 The CPU 105 inputs the input image related to the facility to the learning model 141 to estimate the industry type of the facility (step S602). The learning model 141 may uniquely estimate one industry, or may output a percentage indicating the probability of each industry for each of multiple industries, or may output a percentage indicating the probability of each industry. It may be possible to output all information of all industries that exceed a predetermined threshold (for example, 50%).

そして、ＣＰＵ１０５は、推定した業種を示す業種情報を出力して（ステップＳ６０３）、処理を終了する。ここでいう出力として、ＣＰＵ１０５は、情報処理装置１００に接続されているモニタに画像情報として出力することとしてもよいし、音声によりスピーカから出力してもよい。また、ＣＰＵ１０５は、業種情報の出力に代えて（もしくは加えて）、推定した施設の業種の情報を、データベース、例えば、記憶部１０４に記憶されている地図情報に登録することとしてもよい。このようにして情報処理装置１００は、撮像画像から施設の業種を特定することができる。例えば、ナビゲーション装置により案内される施設の情報として、その業種を推定し、人の手によることなく業種の情報を登録することもできる。このとき、推定した業種が複数ある場合に、それら全てを登録することとしてよく、それらのうち、すでに登録済みのものがある場合には、登録済みのものを除いた業種を追加で登録することとしてよい。 Then, the CPU 105 outputs industry information indicating the estimated industry (step S603), and ends the process. As for the output here, the CPU 105 may output it as image information to a monitor connected to the information processing apparatus 100, or may output it as audio from a speaker. Further, instead of (or in addition to) outputting the industry type information, the CPU 105 may register the estimated industry type information of the facility in a database, for example, map information stored in the storage unit 104. In this way, the information processing device 100 can identify the industry type of the facility from the captured image. For example, as information on a facility guided by a navigation device, the type of industry can be estimated and the information on the type of industry can be registered without manual intervention. At this time, if there are multiple estimated industries, all of them may be registered, and if some of them are already registered, additional industries other than those already registered may be registered. may be used as

ところで、業種を推定する対象となる施設として、特に、二毛作ビジネスを展開している施設を特定したい場合がある。そこで、情報処理装置１００は、二毛作ビジネスを実行している施設を特定したうえで、その施設に関する画像を取得して業種を推定することとしてもよい。図７は、情報処理装置１００による施設が二毛作ビジネスを行っているかどうかを特定する処理を示すフローチャートである。 By the way, there are cases where it is desired to particularly identify facilities that are developing a double cropping business as the facilities whose industry is to be estimated. Therefore, the information processing device 100 may identify a facility that is conducting a double cropping business, and then acquire an image of the facility to estimate the type of business. FIG. 7 is a flowchart showing a process performed by the information processing apparatus 100 to identify whether a facility is conducting a double cropping business.

図７に示すように、情報処理装置１００は、同じ場所を訪問（あるいは通過）していることを示す時刻情報が対応付けられた移動経路情報を複数取得する（ステップＳ７０１）。この移動経路情報は、プローブ情報、即ち、車両の移動経路を示す情報であってもよいし、人が自身の端末のＧＰＳ等の測位システムにより取得された移動経路を示す情報であってもよい。 As shown in FIG. 7, the information processing apparatus 100 acquires a plurality of pieces of travel route information associated with time information indicating visiting (or passing through) the same place (step S701). This movement route information may be probe information, that is, information indicating the movement route of a vehicle, or may be information indicating a movement route obtained by a positioning system such as GPS of a person's own terminal. .

ＣＰＵ１０５は、取得した移動経路情報のうち、過去の移動経路情報が示す訪問時間と異なる施設があるかどうかを判定する（ステップＳ７０２）。この判定は、取得した移動経路情報から訪問した施設を特定し、特定した施設の営業時間外に訪問しているかどうかにより判定するものであってもよく、その両方であってもよい。 The CPU 105 determines whether there is a facility in the acquired travel route information that has a different visiting time than the past travel route information (step S702). This determination may be made by specifying the visited facility from the acquired travel route information and determining whether or not the facility is visited outside of business hours of the specified facility, or both may be made.

ＣＰＵ１０５は、過去の訪問時間と異なる時間に施設を訪れている移動経路情報があった場合に（ステップＳ７０２のＹＥＳ）、訪問している場所の画像データを取得する（ステップＳ７０３）。即ち、ＣＰＵ１０５は、二毛作ビジネスを行っている可能性がある施設に関する撮像画像を取得する。 If there is travel route information that shows the facility being visited at a time different from the past visit time (YES in step S702), the CPU 105 acquires image data of the place being visited (step S703). That is, the CPU 105 acquires captured images regarding facilities that may be conducting double cropping business.

そして、ＣＰＵ１０５は、図６に示した画像データを用いた業種の推定処理を、ステップ７０３で取得した画像のみを利用して推定処理を実行する（ステップＳ７０４）。 Then, the CPU 105 executes the industry type estimation process using the image data shown in FIG. 6 using only the image acquired in step 703 (step S704).

このようにして情報処理装置１００は、二毛作ビジネスを行っている施設を特定し、その業種を推定することができる。 In this way, the information processing device 100 can identify the facility that is conducting the double cropping business and estimate the type of business.

例えば、それまで夜の営業のみを行っていた居酒屋に、昼間も訪問しているユーザが複数いる場合に、その居酒屋が昼も営業を行っている可能性があると特定できる。そして、その上で、その居酒屋の撮像画像を得る、特に、昼間の撮像画像を得ることで、昼間の営業形態を特定し、特定した情報としての業種情報を地図情報等に登録することができるようになる。 For example, if a pub that was previously open only in the evenings has a plurality of users visiting it during the day, it can be determined that the pub may be open during the day as well. Then, by obtaining a captured image of the pub, especially a captured image during the daytime, it is possible to identify the business type during the daytime and register the business type information as the specified information in map information, etc. It becomes like this.

＜実施の形態１まとめ＞
本実施の形態１に係る情報処理装置１００は、施設に関する画像と、その施設の業種との関係を学習した学習モデル１４１を保持している。したがって、情報処理装置１００は、業種が判明していない施設に関する画像を入力することで、その施設の業種を特定することができる。 <Summary of Embodiment 1>
The information processing apparatus 100 according to the first embodiment holds a learning model 141 that has learned the relationship between images related to a facility and the industry of the facility. Therefore, the information processing apparatus 100 can specify the industry type of a facility by inputting an image related to a facility whose industry type is unknown.

また、情報処理装置１００は、施設を訪問する移動経路情報を取得し、その訪問時刻が、それまでの訪問時刻と異なる訪問時刻であった場合に、その施設が二毛作ビジネスを開始していると推定し、新たに開始したサービスの業種を推定することができる。特に、移動経路情報を入手するだけで二毛作ビジネスを行っている可能性のある施設を特定し、その業種を特定できるので、現地まで足を運んだり、二毛作ビジネスを行っている可能性のある施設を人が探索したりする必要がなくなる。 Further, the information processing device 100 acquires travel route information for visiting a facility, and if the visit time is different from the previous visit time, the information processing device 100 determines that the facility has started a double cropping business. It is possible to estimate the industry type of the newly started service. In particular, it is possible to identify facilities that may be engaged in double cropping business simply by obtaining movement route information, and identify the type of business. There is no need for people to explore.

＜実施の形態２＞
上記実施の形態１においては、施設に関する撮像画像を用いて、施設の業種を特定する手法について説明したが、本実施の形態２においては、ユーザの行動履歴に基づいて、施設の業種を特定する手法について説明する。ここでいう行動履歴とは、ユーザが複数の施設を連続して訪問した場合に、それらの施設の関連性に着目して、施設の業種を推定するものである。
＜構成＞ <Embodiment 2>
In Embodiment 1 above, a method of identifying the industry of a facility using a captured image of the facility has been described, but in Embodiment 2, the industry of the facility is identified based on the user's action history. Explain the method. The behavior history referred to here is used to estimate the industry type of a facility by focusing on the relevance of the facilities when the user visits a plurality of facilities in succession.
<Configuration>

情報処理装置１００の構成としては、基本的には。上記実施形態１に図１を用いて示した構成と同様である。そこで、ここでは、上記実施の形態１との差異点について説明する。 The basic configuration of the information processing device 100 is as follows. The configuration is the same as that shown in Embodiment 1 above using FIG. 1. Therefore, here, the differences from the first embodiment described above will be explained.

まず、記憶部１０４は、連続訪問情報８００を記憶している。連続訪問情報８００は、ユーザが複数の施設を連続して訪問する場合の、その施設の業種を規定した情報である。 First, the storage unit 104 stores continuous visit information 800. Continuous visit information 800 is information that defines the industry type of a facility when a user visits a plurality of facilities consecutively.

そして、ＣＰＵ１０５（推定部）は、移動経路情報から特定される施設に、業種が判明していない施設が有る場合に、その施設の業種を、連続訪問情報８００を参照して推定する。なお、移動経路情報は、プローブ情報であってもよいし、ユーザの端末により取得される移動経路情報であってもよい。 Then, when there is a facility whose business type is unknown among the facilities specified from the travel route information, the CPU 105 (estimation unit) estimates the business type of the facility by referring to the continuous visit information 800. Note that the moving route information may be probe information or may be moving route information acquired by a user's terminal.

＜データ＞
ここで、連続訪問情報８００について説明する。 <Data>
Here, continuous visit information 800 will be explained.

連続訪問情報８００は、管理ＩＤ８０１と、連続訪問施設８０２と、時間帯８０３と、エリア８０４と、が対応付けられた情報である。 Continuous visit information 800 is information in which a management ID 801, a continuously visited facility 802, a time zone 803, and an area 804 are associated with each other.

管理ＩＤ８０１は、各連続訪問情報を管理するための識別情報である。 Management ID 801 is identification information for managing each piece of continuous visit information.

連続訪問施設８０２は、ユーザが連続して訪問する可能性のある施設の業種を示す情報である。 Continuously visited facility 802 is information indicating the type of business of a facility that the user may visit consecutively.

時間帯８０３は、対応する管理ＩＤで示される連続訪問情報の訪問態様がユーザにより取られる可能性のある時間帯を示す情報である。 The time period 803 is information indicating a time period in which the user is likely to visit the continuous visit information indicated by the corresponding management ID.

エリア８０４は、対応する管理ＩＤで示される連続訪問情報の訪問態様がユーザにより実行される可能性の高い地域を示す情報である。エリア８０４は、実際の地名等の地域であってもよいし、職場周辺などの概念的な場所を示す情報であってもよい。 Area 804 is information indicating an area where the user is likely to perform the visiting mode of continuous visit information indicated by the corresponding management ID. The area 804 may be a region such as an actual place name, or may be information indicating a conceptual location such as around a workplace.

図８の例で言えば、管理ＩＤ「００４６」で示される連続訪問情報は、最初に、業種が「居酒屋」である施設を訪問し、その後で、業種が「ステーキハウス」である施設を訪問した情報であることを示している。そして、この訪問を行う可能性がある時間帯が、「２０～２４時」であり、「沖縄」で取られる可能性のある行動であることを示している。したがって、仮に、移動経路情報が、沖縄での移動を示し、その時間帯が２１時であり、複数の施設を訪問しており、そのうちの片方が「ステーキハウス」であって、その前に訪問した施設の業種が不明であれば、その施設の業種は、「居酒屋」であると、連続訪問情報８００から推定することができる。 In the example of FIG. 8, the continuous visit information indicated by the management ID "0046" first visits a facility whose industry is "Izakaya" and then visits a facility whose industry is "Steakhouse". This indicates that the information is The time period during which this visit is likely to take place is ``20:00 to 24:00,'' indicating that it is an action that may be taken in ``Okinawa.'' Therefore, if the travel route information indicates movement in Okinawa, the time zone is 21:00, and multiple facilities are visited, one of which is a "steak house", the visit was made before If the business type of the facility visited is unknown, it can be estimated from the continuous visit information 800 that the business type of the facility is "Izakaya."

連続訪問情報８００があることにより、情報処理装置１００は、ユーザが複数の施設を訪問していることがわかっており、それらの施設のうち、１以上の施設についての業種はわかっているものの、業種が特定できない施設がある場合に、その施設の業種を推定するために用いる情報である。 Due to the continuous visit information 800, the information processing device 100 knows that the user is visiting multiple facilities, and the type of business of one or more of those facilities is known. This information is used to estimate the industry of a facility when the industry cannot be specified.

＜動作＞
図９は、情報処理装置１００の、連続訪問情報８００を用いた施設の業種の推定処理の動作例を示すフローチャートである。 <Operation>
FIG. 9 is a flowchart illustrating an example of the operation of the information processing apparatus 100 in estimating the type of industry of a facility using the continuous visit information 800.

図９に示すように、情報処理装置１００のＣＰＵ１０５は、移動経路情報を取得する（ステップＳ９０１）。この取得は、情報処理装置１００のオペレータにより入力されてもよいし、外部の装置から取得したプローブ情報の入力であってもよい。 As shown in FIG. 9, the CPU 105 of the information processing device 100 acquires travel route information (step S901). This acquisition may be input by the operator of the information processing device 100, or may be input of probe information acquired from an external device.

ＣＰＵ１０５は、取得した移動経路情報から、訪問している複数の施設を特定する（ステップＳ９０２）。移動経路情報から施設を訪問しているかどうかは、例えば、同じ位置に所定時間（例えば、１０分など何らかの施設を訪問した場合にかかる可能性のある時間）以上、滞在しているかどうかにより、施設を訪問したかどうかを特定できる。 The CPU 105 identifies a plurality of facilities being visited from the acquired travel route information (step S902). Whether or not a facility is visited based on travel route information depends on, for example, whether or not the facility has been in the same location for a predetermined amount of time (e.g., the amount of time it would take to visit some facility, such as 10 minutes). can identify whether you have visited

ＣＰＵ１０５は、特定した複数の施設それぞれについて、業種を特定する（ステップＳ９０３）。具体的には、施設情報１４２を参照して、特定した施設の名称または場所に、業種情報３０４が対応付けられている業種を特定する。 The CPU 105 identifies the type of industry for each of the multiple identified facilities (step S903). Specifically, with reference to the facility information 142, the industry type in which the industry information 304 is associated with the name or location of the specified facility is specified.

ＣＰＵ１０５は、施設情報１４２により業種が特定できない施設があるか否かを判断する（ステップＳ９０４）。業種が特定できていない施設がない場合には（ステップＳ９０４のＮＯ）、処理を終了する。 The CPU 105 determines whether there is a facility whose industry type cannot be specified based on the facility information 142 (step S904). If there is no facility whose industry type has not been identified (NO in step S904), the process ends.

一方で、業種が特定できていない施設があった場合に（ステップＳ９０４のＹＥＳ）、その前後で訪問している施設の業種を特定する。そして、前後で訪問している施設の業種と、連続訪問情報８００を参照して、業種が不明であった施設の業種を特定する（ステップＳ９０５）。このとき、移動経路情報が示す訪問時間や、エリアによる絞り込みを行ってもよい。 On the other hand, if there is a facility whose industry type has not been identified (YES in step S904), the industry types of the facilities visited before and after that are identified. Then, by referring to the industry types of the facilities visited before and after and the continuous visit information 800, the industry type of the facility whose industry type is unknown is specified (step S905). At this time, the search may be narrowed down by visit time or area indicated by the travel route information.

ＣＰＵ１０５は、特定した業種情報を出力部１０３に伝達する。そして、出力部１０３は、特定した業種情報を出力し（ステップＳ９０６）、処理を終了する。なお、ＣＰＵ１０５は、推定した業種情報を出力するのではなく、推定した業種情報を、地図情報やナビゲーション用のデータベースに登録することとしてもよい。 The CPU 105 transmits the specified industry information to the output unit 103. Then, the output unit 103 outputs the specified industry information (step S906), and ends the process. Note that instead of outputting the estimated industry information, the CPU 105 may register the estimated industry information in a database for map information or navigation.

＜実施の形態２まとめ＞
本実施の形態に係る情報処理装置１００によれば、移動経路情報から複数の施設を連続して訪問していることが検出でき、かつ、それらの施設のうちの少なくとも１つの施設の業種が特定できる場合に、連続訪問情報８００を参照することで、業種が不明な施設の業種を推定することができる。 <Summary of Embodiment 2>
According to the information processing device 100 according to the present embodiment, it is possible to detect consecutive visits to a plurality of facilities from movement route information, and to identify the industry type of at least one of the facilities. If possible, by referring to the continuous visit information 800, it is possible to estimate the type of business of a facility whose type of business is unknown.

＜補足＞
上記実施の形態に係る情報処理装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。 <Supplement>
It goes without saying that the information processing apparatus according to the embodiment described above is not limited to the embodiment described above, and may be realized by other methods. Various modifications will be described below.

（１）上記実施の形態においては、情報処理装置は、二毛作ビジネスを展開しているなど営業形態に変化があった施設を特定するにあたって、過去と異なる時間帯に施設を訪問する移動経路情報が一つでもあった場合には、その移動経路情報で示される経路で訪問した可能性のある施設を、二毛作ビジネスを展開している可能性のある施設として特定したが、二毛作ビジネスを展開している施設の特定方法はこれに限定するものではない。以下、種々の特定方法について説明する。 (1) In the above embodiment, when identifying a facility whose business form has changed, such as developing a double cropping business, the information processing device collects travel route information for visiting the facility at a different time than in the past. If there was even one facility, we identified the facility that may have been visited along the route indicated by the travel route information as a facility that may be operating a double cropping business. The method for identifying the facility where the facility is located is not limited to this. Various identification methods will be explained below.

まず、施設が二毛作ビジネスを展開しているかどうかを特定するために参照する移動経路情報は複数あってよい。即ち、情報処理装置１００のＣＰＵ１０５は、施設を訪問している移動経路情報であって、過去と異なる時間帯に訪問している施設情報が複数（所定数（例えば、２０）以上）あった場合に、その施設が二毛作ビジネスを展開している可能性のある施設として特定することとしてもよい。また、ここでは、所定数としているが、これは、同じ施設を訪問している複数の移動経路情報を取得したとき、それらの移動経路情報のうち、所定割合以上の移動経路情報が、過去の訪問時間と異なる時間帯の訪問であった場合に、当該施設を営業形態が変化した施設であると特定してもよい。 First, there may be a plurality of movement route information that is referred to in order to identify whether a facility is developing a double cropping business. In other words, the CPU 105 of the information processing device 100 determines if there is a plurality of pieces of information (a predetermined number (for example, 20) or more) of the facilities visited at different times than in the past, which is travel route information about visiting facilities. In addition, the facility may be identified as a facility that may be developing a double cropping business. In addition, although the predetermined number is used here, this means that when multiple pieces of travel route information visiting the same facility are acquired, a predetermined percentage or more of the travel route information is from the past. If the visit occurred at a time different from the visit time, the facility may be identified as a facility whose business format has changed.

また、ＣＰＵ１０５は、施設が二毛作ビジネスを展開しているかどうかを、滞在時間の変化があるかどうかによって特定することとしてもよい。例えば、過去の滞在時間に特段の傾向がなかったのに、最近だと、多くの滞在者が２時間滞在していることが検知できた場合に、営業形態に変化があった可能性がある施設であると特定することとしてもよい。具体的には、移動経路情報を用いて、施設への滞在時間を特定する。滞在時間の特定は、移動経路情報が移動していない時間長を算出することで特定することができる。そして、過去の移動経路情報から特定される施設の滞在時間の平均値と、新たに取得して複数の移動経路情報から特定される同施設の滞在時間の平均値とを比較し、所定以上の差（例えば、１５分以上）があれば、営業形態に変化があった施設であると特定することとしてもよい。 Further, the CPU 105 may identify whether the facility is developing a double cropping business based on whether there is a change in the length of stay. For example, if there was no particular trend in the length of stay in the past, but recently it has been detected that many visitors have been staying for two hours, there may have been a change in the business format. It may also be possible to specify that it is a facility. Specifically, the travel route information is used to specify the length of stay at the facility. The stay time can be determined by calculating the length of time during which the travel route information does not move. Then, the average value of the stay time at the facility specified from past travel route information is compared with the average value of the stay time at the same facility identified from the newly acquired multiple travel route information, and the If there is a difference (for example, 15 minutes or more), the facility may be identified as having changed its business style.

また、ＣＰＵ１０５は、異なる時間帯で、滞在時間の異なる移動経路情報がある場合に、その施設を時間帯で営業形態を変えている二毛作ビジネスを展開している施設であると特定してもよい。例えば、１１時～１３時の時間帯での滞在時間が４０分である移動経路情報が複数ある一方で、１８時～２２時の時間帯での滞在時間が２時間３０分である移動経路情報が複数ある場合に、その施設を、二毛作ビジネスを展開している施設であると特定することとしてもよい。異なる時間帯で滞在時間に差があるかは、それぞれの時間帯での移動経路情報が示す滞在時間の平均値に、所定以上の差（例えば、２０分以上）があるかどうかで判定することとしてよい。 Furthermore, when there is travel route information with different stay times in different time zones, the CPU 105 may identify the facility as a facility that is developing a double cropping business that changes its business form depending on the time zone. . For example, while there is multiple pieces of travel route information in which the stay time is 40 minutes between 11:00 and 13:00, there is travel route information where the stay time is 2 hours and 30 minutes between 18:00 and 22:00. If there are multiple facilities, the facility may be identified as a facility that is developing a double cropping business. Whether there is a difference in sojourn time between different time zones is determined by whether there is a difference of more than a predetermined value (for example, 20 minutes or more) in the average value of the sojourn time indicated by the travel route information in each time zone. may be used as

また、これらの特定手法に対して、移動経路情報に移動したユーザの属性（年齢や性別など）が付与されていれば、その属性ごとで特定してもよい。即ち、特定の属性を有するユーザの移動経路情報のみが、過去の訪問時間や訪問時間帯と異なる訪問時間や訪問時間帯に訪問しているだけでも、その施設の営業形態に変化があったと特定してもよい。これにより、情報処理装置１００は、施設側で特定の年齢層であったり、性別に対して、今までしていなかったサービスを展開していることを検知できる可能性があり、その展開しているサービス（業種）を特定することができる。
（２）上記実施の形態においては、情報処理装置における施設の業種の推定処理の手法として、情報処理装置のプロセッサが業種推定プログラム等を実行することにより、作成することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能は１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図１０に示すように、情報処理装置１００は、受信回路１０１ａ、受付回路１０２ａ、出力回路１０３ａ、記憶回路１０４ａ、制御回路１０５ａ、とから構成されてよく、それぞれ、受信部１０１、受付部１０２、出力部１０３、記憶部１０４、ＣＰＵ１０５、に相当する。 Further, for these identification methods, if the attributes (age, gender, etc.) of the user who moved are added to the movement route information, the identification may be performed based on the attributes. In other words, even if only the movement route information of a user with a specific attribute shows that the user visits at a different visit time or visit time zone from the past visit time or visit time zone, it can be determined that there has been a change in the business style of the facility. You may. As a result, the information processing device 100 may be able to detect that the facility is providing services that have not been offered to a specific age group or gender, and the information processing device 100 may It is possible to identify the service (industry) in which the company is operating.
(2) In the above embodiment, as a method for estimating the industry type of a facility in the information processing device, the processor of the information processing device executes the industry type estimation program, etc. It may also be realized by a logic circuit (hardware) formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)) or a dedicated circuit. Further, these circuits may be realized by one or more integrated circuits, and the functions of the plurality of functional units shown in the above embodiments may be realized by one integrated circuit. LSI is sometimes called VLSI, super LSI, ultra LSI, etc. depending on the degree of integration. That is, as shown in FIG. 10, the information processing device 100 may include a reception circuit 101a, a reception circuit 102a, an output circuit 103a, a storage circuit 104a, and a control circuit 105a, each of which has a reception section 101 and a reception section. 102, output section 103, storage section 104, and CPU 105.

また、上記業種推定プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記業種推定プログラムは、当該業種推定プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。つまり、例えば、スマートフォン等の情報処理機器を利用して、ネットワーク上から業種推定プログラムをダウンロードして実行する構成としてもよい。本発明は、上記業種推定プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 Further, the industry estimation program may be recorded on a processor-readable recording medium, and the recording medium may be a "non-temporary tangible medium" such as a tape, a disk, a card, a semiconductor memory, a programmable logic A circuit or the like can be used. Further, the industry estimation program may be supplied to the processor via any transmission medium (communication network, broadcast waves, etc.) that can transmit the industry estimation program. That is, for example, the industry estimation program may be downloaded from a network and executed using an information processing device such as a smartphone. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the industry estimation program is embodied by electronic transmission.

なお、上記業種推定プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）、Ｃ＋＋、Ｐｙｔｈｏｎ、Ｒなどのオブジェクト指向プログラミング言語などを用いて実装できる。 The industry estimation program can be implemented using, for example, a script language such as ActionScript or JavaScript (registered trademark), or an object-oriented programming language such as Objective-C, Java (registered trademark), C++, Python, or R.

（３）上記実施の形態に示した各種の実施例や、＜補足＞に示した各種の例は適宜組み合わせることとしてもよい。また、各フローチャートに示した各動作は、結果として矛盾がなければその実行順序を入れ替えたり、並列に実行したりすることとしてもよい。 (3) The various examples shown in the above embodiments and the various examples shown in <Supplement> may be combined as appropriate. Furthermore, the operations shown in each flowchart may be rearranged in the order of execution or executed in parallel if there is no contradiction as a result.

１００情報処理装置
１０１受信部
１０２受付部
１０３出力部
１０４記憶部
１０５ＣＰＵ（画像取得部、推定部、判定部）
１４１学習モデル
１４２施設情報 100 Information processing device 101 Receiving unit 102 Reception unit 103 Output unit 104 Storage unit 105 CPU (image acquisition unit, estimation unit, determination unit)
141 Learning model 142 Facility information

Claims

施設の画像情報と、当該施設の業種の対応関係を学習した学習モデルを記憶する記憶部と、
施設に関連する画像を取得する画像取得部と、
前記画像取得部が取得した画像と、前記学習モデルとを用いて、前記画像取得部が取得した画像に対応する施設の業種を推定する推定部と、
前記推定部が推定した少なくとも１つ以上の業種を示す業種情報とを出力する出力部と、
を備える情報処理装置。 a storage unit that stores a learning model that has learned the correspondence relationship between the image information of the facility and the industry of the facility;
an image acquisition unit that acquires images related to the facility;
an estimation unit that uses the image acquired by the image acquisition unit and the learning model to estimate the industry type of the facility corresponding to the image acquired by the image acquisition unit;
an output unit that outputs industry information indicating at least one or more industries estimated by the estimation unit;
An information processing device comprising:

前記記憶部は、少なくとも複数の施設各々の営業日時に関する情報を含む施設情報を記憶し、
前記情報処理装置は、
人又は車両が移動した経路と、前記経路を移動した際の時刻を示す時刻情報とを含む経路情報を受信する受信部と、
前記経路情報と前記施設情報とに基づいて、前記人又は車両が訪問した施設が、２種類以上の業種を有する施設であるか否かを判定する判定部と、
前記画像取得部は、前記判定部により２種類以上の業種を有すると判定された施設に関連する画像を取得する
ことを特徴とする請求項１に記載の情報処理装置。 The storage unit stores facility information including information regarding business dates and times of at least each of the plurality of facilities,
The information processing device includes:
a receiving unit that receives route information including a route traveled by a person or vehicle and time information indicating the time when the person or vehicle traveled the route;
a determination unit that determines, based on the route information and the facility information, whether the facility visited by the person or vehicle is a facility that has two or more types of business;
The information processing apparatus according to claim 1, wherein the image acquisition unit acquires an image related to a facility determined by the determination unit to have two or more types of business.

前記判定部は、前記施設の前記施設情報で示される営業時間外に、前記施設を訪問したことを示す経路情報がある場合に、当該施設が、業種が２種類以上ある施設であると判定する
ことを特徴とする請求項２に記載の情報処理装置。 The determination unit determines that the facility is a facility that has two or more types of business when there is route information indicating that the facility was visited outside of the business hours indicated by the facility information of the facility. The information processing device according to claim 2, characterized in that:

前記判定部は、前記施設の前記施設情報で示される営業時間外に、訪問したことを示す経路情報が複数ある場合に、当該施設が、業種が２種類以上ある施設であると判定する
ことを特徴とする請求項３に記載の情報処理装置。 The determination unit determines that the facility is a facility with two or more types of business when there is a plurality of route information indicating that the facility was visited outside of business hours indicated by the facility information. The information processing device according to claim 3.

前記記憶部は、更に、複数の施設を連続で訪問する場合の訪問履歴と、連続で訪問した施設の業種とを対応付けた連続訪問情報を記憶し、
前記推定部は、更に、前記経路情報が複数の施設を訪問していることを示し、かつ、前記複数の施設のうちの少なくとも一つの施設の業種が取得できる場合に、前記連続訪問情報を用いて、前記少なくとも一つの施設の前又は後に訪問した施設の業種を推定する
ことを特徴とする請求項２～４のいずれか一項に記載の情報処理装置。 The storage unit further stores continuous visit information that associates a visit history in the case of consecutively visiting multiple facilities with the industry type of the consecutively visited facilities,
The estimating unit further uses the continuous visit information when the route information indicates that a plurality of facilities are visited and the industry type of at least one facility among the plurality of facilities can be obtained. The information processing device according to any one of claims 2 to 4 , wherein the information processing device estimates the type of business of a facility visited before or after the at least one facility.

前記施設情報は、さらに、前記施設の業種を示す情報が対応付けられており、
前記出力部が出力した業種情報が示す施設に対して前記施設情報において対応付けられている業種に、前記推定部が推定した業種が対応付けられていなかった場合に、当該対応付けられていなかった業種を、前記施設の新たな業種として、前記施設情報に登録する登録部を備えることを特徴とする請求項２～５のいずれか一項に記載の情報処理装置。 The facility information is further associated with information indicating the industry of the facility,
If the industry type estimated by the estimation unit is not associated with the industry type associated in the facility information with respect to the facility indicated by the industry information output by the output unit, the correspondence is not found. The information processing apparatus according to claim 2, further comprising a registration unit that registers a business type in the facility information as a new business type of the facility.

前記画像取得部は、前記施設に関連する画像として、当該施設を訪問した車両の車載カメラにより撮像された画像を取得する
ことを特徴とする請求項２～６のいずれか一項に記載の情報処理装置。 The information according to any one of claims 2 to 6 , wherein the image acquisition unit acquires, as an image related to the facility, an image captured by an on-vehicle camera of a vehicle that visited the facility. Processing equipment.

前記画像取得部は、前記施設に関連する画像として、少なくとも異なる時間に撮像された互いに異なる画像を取得する
ことを特徴とする請求項２～７のいずれか一項に記載の情報処理装置、 The information processing device according to any one of claims 2 to 7 , wherein the image acquisition unit acquires at least mutually different images taken at different times as images related to the facility.

情報処理装置が実行する施設の業種を推定する業種推定方法であって、
施設に関連する画像を取得する画像取得ステップと、
前記画像取得ステップが取得した画像と、施設の画像情報と当該施設の業種の対応関係を学習した学習モデルとを用いて、前記画像取得ステップが取得した画像に対応する施設の業種を推定する推定ステップと、
前記推定ステップが推定した少なくとも１つ以上の業種を示す業種情報とを出力する出力ステップと、
を実行する業種推定方法。 An industry type estimation method for estimating the industry type of a facility executed by an information processing device, the method comprising:
an image acquisition step of acquiring images related to the facility;
Estimating the industry type of the facility corresponding to the image acquired by the image acquisition step, using the image acquired by the image acquisition step and a learning model that has learned the correspondence between the image information of the facility and the industry type of the facility. step and
an output step of outputting industry information indicating at least one or more industries estimated in the estimation step;
An industry estimation method that performs

施設の業種を推定する業種推定プログラムであって、
コンピュータに、
施設に関連する画像を取得する画像取得機能と、
前記画像取得機能が取得した画像と、施設の画像情報と当該施設の業種の対応関係を学習した学習モデルとを用いて、前記画像取得機能が取得した画像に対応する施設の業種を推定する推定機能と、
前記推定機能が推定した少なくとも１つ以上の業種を示す業種情報とを出力する出力機能と、
を実行させる業種推定プログラム。 An industry estimation program for estimating the industry of a facility,
to the computer,
an image acquisition function that acquires images related to the facility;
Estimation of estimating the industry type of the facility corresponding to the image acquired by the image acquisition function, using the image acquired by the image acquisition function and a learning model that has learned the correspondence between the image information of the facility and the industry type of the facility. function and
an output function that outputs industry information indicating at least one or more industries estimated by the estimation function;
An industry estimation program that runs

請求項１０に記載の業種推定プログラムを記録した記録媒体。 A recording medium recording the industry estimation program according to claim 10 .