JP2019066817A - Control method, information processing apparatus, and control program - Google Patents

Control method, information processing apparatus, and control program Download PDF

Info

Publication number
JP2019066817A
JP2019066817A JP2018101057A JP2018101057A JP2019066817A JP 2019066817 A JP2019066817 A JP 2019066817A JP 2018101057 A JP2018101057 A JP 2018101057A JP 2018101057 A JP2018101057 A JP 2018101057A JP 2019066817 A JP2019066817 A JP 2019066817A
Authority
JP
Japan
Prior art keywords
information
registered
biometric information
language
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018101057A
Other languages
Japanese (ja)
Other versions
JP6611859B2 (en
Inventor
久雄 滝
Hisao Taki
久雄 滝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gourmet Navigator Inc
Original Assignee
Gourmet Navigator Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gourmet Navigator Inc filed Critical Gourmet Navigator Inc
Publication of JP2019066817A publication Critical patent/JP2019066817A/en
Application granted granted Critical
Publication of JP6611859B2 publication Critical patent/JP6611859B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

To provide a system having an output device which can be referred by a plurality of people, configured to output information so as to be understood by much more users.SOLUTION: A storage device 7 stores output information to be output to an output device 4, and stores a user table formed by registering registered biometric information of each of users and languages used by the users out of multiple language, in association with each other. An information processing apparatus 6 acquires input data including biometric information of a person, collates input biometric information detected from an input image with the registered biometric information of the users registered in the user table, calculates an evaluation value by language, on the basis of the number of languages registered in association with the registered biometric information of the users having succeeded in collation with the input biometric information detected from the input data, extracts a language out of the languages on the basis of the evaluation value, and outputs output information in the extracted language to the output device.SELECTED DRAWING: Figure 2

Description

本開示は、制御方法、情報処理装置及び制御プログラムに関する。   The present disclosure relates to a control method, an information processing apparatus, and a control program.

近年、複数の人物が往来する空間等に表示装置等の出力装置を配置して、その空間に往来する人物に対して店舗、施設又は商品等の広告を表示するデジタルサイネージのシステムが利用されている。   In recent years, a digital signage system has been used in which an output device such as a display device is disposed in a space in which a plurality of persons come and go, and an advertisement such as a store, a facility, or a product is displayed for the people in the space. There is.

特許文献１には、所定の領域に配置された複数のディスプレイ端末にタイムリーに映像や情報を配信することにより、顧客に店舗を広告するデジタルサイネージによる広告システムが開示されている。   Patent Document 1 discloses an advertising system by digital signage that advertises a shop to a customer by timely distributing images and information to a plurality of display terminals arranged in a predetermined area.

特開２０１０−２１０７８１号公報Unexamined-Japanese-Patent No. 2010-210781

特許文献１の広告システムは、顧客に対して店舗を広告することができる。デジタルサイネージのシステムでは、より多くのユーザに理解されるように情報を表示することが求められている。   The advertisement system of Patent Document 1 can advertise a store to a customer. Digital signage systems are required to display information for more users to understand.

制御方法、情報処理装置及び制御プログラムの目的は、複数の人物が参照可能な出力装置を有するシステムにおいて、より多くのユーザに理解されるように情報を出力することを可能とすることにある。   An object of a control method, an information processing apparatus and a control program is to enable output of information so as to be understood by more users in a system having an output device to which a plurality of persons can refer.

本実施形態の一側面に係る制御方法は、出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置が、人物の生体情報が含まれる入力データを取得し、入力データから検出された各入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、評価値に基づいて複数の言語の中から言語を抽出し、抽出された言語により出力情報を出力装置に出力することを含む。   A control method according to one aspect of the present embodiment is a control method of an information processing apparatus connectable to an output device and a storage device, and the storage device stores output information to be output to the output device, A user table in which registered biometric information of each user and a language used by each user in a plurality of languages are associated with each other is stored, and the information processing apparatus includes biometric information of a person. Input data is acquired, each input biometric information detected from the input data is compared with registered biometric information of each user registered in the user table, and each input biometric information detected from the input data for each of a plurality of languages The evaluation value is calculated based on the number registered in association with the registered biometric information of each user who has succeeded in matching with the language, the language is extracted from a plurality of languages based on the evaluation value, and the extracted language And outputting the force information to the output device.

また、制御方法において、抽出において、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数を評価値として算出し、複数の言語の中から評価値が最大である言語を抽出することが好ましい。   In addition, in the control method, in the extraction, the number registered in association with the registered biometric information of each user who succeeded in the collation with each input biometric information detected from the input data is calculated as an evaluation value. It is preferable to extract the language with the largest evaluation value from a plurality of languages.

また、制御方法において、抽出において、複数の言語の中から、出力装置が配置されている領域における公用語を除いて、言語を抽出することが好ましい。   In addition, in the control method, in the extraction, it is preferable to extract the language from among the plurality of languages except the official language in the area in which the output device is arranged.

また、制御方法において、記憶装置には、複数の言語毎に、各言語を使用する人種の行動パターンが記憶された言語テーブルが記憶され、抽出において、各言語に対応する行動パターンに基づいて、評価値を補正することが好ましい。   In the control method, the storage device stores, for each of a plurality of languages, a language table storing behavior patterns of races using each language, and in extraction, based on the behavior patterns corresponding to each language. It is preferable to correct the evaluation value.

また、制御方法において、出力装置は、表示装置であり、出力情報は、表示装置に表示する表示情報であり、登録生体情報は、登録顔情報であり、入力データは、撮像装置によって撮像された入力画像であり、入力生体情報は、入力顔情報であることが好ましい。   In the control method, the output device is a display device, the output information is display information to be displayed on the display device, the registered biometric information is registered face information, and the input data is captured by the imaging device. It is preferable that it is an input image and input biometric information is input face information.

また、制御方法において、情報処理装置は、複数の表示装置と接続可能であり、入力画像から検出された各入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録された数が多いほど、各言語により表示情報を表示する表示装置の数が多くなるように、複数の表示装置のそれぞれに表示情報を表示する言語を決定することが好ましい。   In addition, in the control method, the information processing apparatus is connectable to a plurality of display devices, and the number is registered in association with registered face information of each user who has successfully matched each input face information detected from the input image It is preferable to determine the language for displaying the display information on each of the plurality of display devices so that the number of display devices for displaying the display information in each language increases as the number of the display information increases.

また、制御方法において、抽出において、入力画像から検出された各入力顔情報との照合に成功した各ユーザが表示装置側を向いているか否かを判定し、入力画像から検出された各入力顔情報との照合に成功した各ユーザが表示装置側を向いているか否かに応じて、評価値を補正することが好ましい。   Further, in the control method, in extraction, it is determined whether or not each user who successfully matched the input face information detected from the input image faces the display device side, and each input face detected from the input image It is preferable to correct the evaluation value according to whether each user who successfully collated with the information is facing the display device.

また、制御方法において、照合において、入力生体情報との類似度が所定値以上である登録生体情報が複数存在する場合、類似度が所定値以上である登録生体情報の数に対する、当該登録生体情報の内の同一の言語に関連付けて登録された登録生体情報の数の比率が所定比率以上であるときは、当該入力生体情報と、当該同一の言語に関連付けられて登録された登録生体情報の内の特定の登録生体情報との照合に成功したと判定することが好ましい。   In addition, in the control method, when there is a plurality of registered biometric information whose similarity with the input biometric information is equal to or greater than a predetermined value in collation, the registered biometric information with respect to the number of registered biometric information whose similarity is equal to or greater than a predetermined value. When the ratio of the number of registered biometric information registered in association with the same language among is the predetermined ratio or more, the input biometric information and the registered biometric information registered in association with the same language It is preferable to determine that the matching with the specific registered biometric information of has succeeded.

また、本実施形態の一側面に係る情報処理装置は、出力装置及び記憶装置と接続可能な情報処理装置であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、人物の生体情報が含まれる入力データを取得する取得部と、入力データから検出された各入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、評価値に基づいて複数の言語の中から言語を抽出する抽出部と、抽出された言語により出力情報を出力装置に出力する出力制御部と、を有する。   Further, an information processing apparatus according to one aspect of the present embodiment is an information processing apparatus connectable to an output device and a storage device, and the storage device stores output information to be output to the output device, A user table in which registered biometric information of each user and a language used by each user in a plurality of languages are associated with each other is stored, and input data including biometric information of a person is acquired. An acquisition unit, a collation unit that collates each input biometric information detected from input data with registered biometric information of each user registered in the user table, and each input biometric detected from input data for each of a plurality of languages An extraction unit that calculates an evaluation value based on the number registered in association with registered biometric information of each user who has successfully collated with information, and extracts a language from a plurality of languages based on the evaluation value; Having an output controller for outputting the output information to the output device by the language has a.

また、本実施形態の一側面に係る制御プログラムは、出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置に、人物の生体情報が含まれる入力データを取得し、入力データから検出された各入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語毎に、入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、評価値に基づいて複数の言語の中から言語を抽出し、抽出された言語により出力情報を出力装置に出力することを実行させる。   A control program according to one aspect of the present embodiment is a control program of an information processing apparatus connectable to an output device and a storage device, and the storage device stores output information to be output to the output device. A user table in which registered biometric information of each user and a language used by each user in a plurality of languages are associated with each other is stored for each of a plurality of users, and the biometric information of a person is stored in the information processing apparatus. Input data included is acquired, each input biometric information detected from the input data is compared with registered biometric information of each user registered in the user table, and each input detected from the input data for each of a plurality of languages An evaluation value is calculated based on the number registered in association with the registered biometric information of each user who has successfully collated with the biometric information, and a language is extracted from a plurality of languages based on the evaluation value. To execute it to the output device output information by language.

また、本実施形態の一側面に係る制御方法は、出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置が、人物の生体情報が含まれる入力データを取得し、入力データから検出された入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語の中から、入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出し、抽出された言語により出力情報を出力装置に出力することを含むことを含む。   A control method according to one aspect of the present embodiment is a control method of an information processing apparatus connectable to an output device and a storage device, and the storage device stores output information to be output to the output device. A user table in which registered biometric information of each user and a language used by each user in a plurality of languages are associated with each other is stored for each of a plurality of users, and the information processing apparatus stores biometric information of a person. Input data included is acquired, input biometric information detected from input data is collated with registered biometric information of each user registered in the user table, and input biometric detected from input data among a plurality of languages The method includes extracting the registered language in association with the registered biometric information successfully collated with the information, and outputting the output information to the output device according to the extracted language.

また、本実施形態の一側面に係る情報処理装置は、出力装置及び記憶装置と接続可能な情報処理装置であって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、人物の生体情報が含まれる入力データを取得する取得部と、入力データから検出された入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、複数の言語の中から、入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出する抽出部と、抽出された言語により出力情報を出力装置に出力する出力制御部と、を有する。   Further, an information processing apparatus according to one aspect of the present embodiment is an information processing apparatus connectable to an output device and a storage device, and the storage device stores output information to be output to the output device, A user table in which registered biometric information of each user and a language used by each user in a plurality of languages are associated with each other is stored, and input data including biometric information of a person is acquired. Input biometric information detected from input data among an acquisition unit, a collation unit that collates input biometric information detected from input data with registered biometric information of each user registered in the user table, and a plurality of languages And an output control unit for outputting output information to an output device according to the extracted language.

また、本実施形態の一側面に係る制御プログラムは、出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、記憶装置には、出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、情報処理装置に、人物の生体情報が含まれる入力データを取得し、入力データから検出された入力生体情報を、ユーザテーブルに登録された各ユーザの登録生体情報と照合し、複数の言語の中から、入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出し、抽出された言語により出力情報を出力装置に出力することを実行させる。   A control program according to one aspect of the present embodiment is a control program of an information processing apparatus connectable to an output device and a storage device, and the storage device stores output information to be output to the output device. A user table in which registered biometric information of each user and a language used by each user in a plurality of languages are associated with each other is stored for each of a plurality of users, and the biometric information of a person is stored in the information processing apparatus. Input data included is acquired, input biometric information detected from input data is collated with registered biometric information of each user registered in the user table, and input biometric detected from input data among a plurality of languages The language registered in association with the registered biometric information successfully collated with the information is extracted, and the output information is output to the output device by the extracted language.

本実施形態に係る制御方法、情報処理装置及び制御プログラムによれば、複数の人物が参照可能な出力装置を有するシステムにおいて、より多くのユーザに理解されるように情報を出力することが可能となる。   According to a control method, an information processing apparatus, and a control program according to the present embodiment, it is possible to output information so as to be understood by more users in a system having an output device to which a plurality of persons can refer. Become.

情報提供システム１の概要について説明するための模式図である。FIG. 1 is a schematic view for explaining an outline of an information providing system 1; 情報提供システム１の概要について説明するための模式図である。FIG. 1 is a schematic view for explaining an outline of an information providing system 1; 情報提供システム１の概略構成の一例を示す図である。FIG. 1 is a diagram showing an example of a schematic configuration of an information providing system 1; （ａ）、（ｂ）は各種テーブルのデータ構造の一例を示す図である。(A), (b) is a figure which shows an example of the data structure of various tables. 言語テーブルのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of a language table. 情報処理装置６の概略構成の一例を示す図である。FIG. 2 is a diagram showing an example of a schematic configuration of an information processing device 6; 表示制御処理の動作の例を示すフローチャートである。It is a flow chart which shows an example of operation of display control processing. 表示装置４に表示される表示画面８００の一例を示す図である。FIG. 7 is a diagram showing an example of a display screen 800 displayed on the display device 4; 他の情報提供システム１１の概略構成の一例を示す図である。It is a figure which shows an example of schematic structure of the other information provision system. 他の情報処理装置１６の概略構成の一例を示す図である。FIG. 6 is a diagram illustrating an example of a schematic configuration of another information processing apparatus 16; 音声出力制御処理の動作の例を示すフローチャートである。It is a flowchart which shows the example of operation | movement of audio | voice output control processing.

以下、本開示の一側面に係る制御方法、情報処理装置及び制御プログラムについて図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。   Hereinafter, a control method, an information processing apparatus, and a control program according to an aspect of the present disclosure will be described with reference to the drawings. However, it should be noted that the technical scope of the present disclosure is not limited to those embodiments, but extends to the inventions described in the claims and the equivalents thereof.

（情報提供システムの概要）
以下、図１、２に示す模式図を参照して、情報提供システムの概要について説明する。 (Overview of information provision system)
Hereinafter, the outline of the information providing system will be described with reference to schematic diagrams shown in FIGS.

情報提供システムは、撮像装置、表示装置及び情報処理システムを有する。情報処理システムは、記憶装置及び情報処理装置を有する。情報処理装置は、撮像装置、表示装置及び記憶装置のそれぞれと通信接続可能である。表示装置は、例えばホテル、駅もしくは空港等のコンコース又はショッピングモール等、複数の人物が往来する空間に配置され、その空間に往来する人物に対して店舗、施設又は商品等の広告を表示するデジタルサイネージ装置である。撮像装置は、表示装置の近傍に、表示装置により表示された広告を閲覧する人物が往来する空間を撮像するように配置され、その空間を撮像した入力画像を生成する。記憶装置は、例えばデータベース装置であり、記憶装置には、表示装置に表示する広告等の表示情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録顔情報と、各ユーザが使用する使用言語とが関連付けられて登録されたユーザテーブルが記憶されている（図２）。   The information providing system includes an imaging device, a display device, and an information processing system. The information processing system includes a storage device and an information processing device. The information processing apparatus can be communicably connected to each of the imaging device, the display device, and the storage device. The display device is disposed, for example, in a space where a plurality of persons come and go, such as a concourse or a shopping mall such as a hotel, a station or an airport, and displays an advertisement such as a store, a facility, or goods for the persons who travel in the space. It is a digital signage device. The imaging device is disposed in the vicinity of the display device so as to capture a space in which a person who browses an advertisement displayed by the display device is trafficked, and generates an input image obtained by imaging the space. The storage device is, for example, a database device, and the storage device stores display information such as an advertisement to be displayed on the display device, and uses registered face information of each user and each user for each of a plurality of users. A user table registered in association with a language used is stored (FIG. 2).

情報処理装置は、撮像装置から入力画像を取得し、取得した入力画像から人物を検出する。そして、情報処理装置は、入力画像から検出された各人物の入力顔情報を、ユーザテーブルに登録された各ユーザの登録顔情報と照合する。情報処理装置は、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの使用言語としてユーザテーブルに登録されている数が最大である言語を抽出する。そして、情報処理装置は、抽出した言語により、表示情報を表示装置に表示する。   The information processing apparatus acquires an input image from the imaging apparatus, and detects a person from the acquired input image. Then, the information processing apparatus collates the input face information of each person detected from the input image with the registered face information of each user registered in the user table. The information processing apparatus extracts the language in which the number registered in the user table is the largest as the language used by each user who has successfully matched the input face information of each person detected from the input image. Then, the information processing apparatus displays the display information on the display device in the extracted language.

図１、２に示す例では、記憶装置には、使用言語が英語であるユーザＡと、使用言語が日本語であるユーザＢと、使用言語が英語であるユーザＣとが記憶され、入力画像にはユーザＡ、Ｂ、Ｃの三人が写っている。この場合、入力顔情報と登録顔情報の照合に成功した各ユーザＡ、Ｂ、Ｃの使用言語としてユーザテーブルに登録されている数が最大である英語が抽出され、英語により広告が表示装置に表示される。   In the example shown in FIGS. 1 and 2, the storage device stores user A whose language is English, user B whose language is Japanese, and user C whose language is English, and the input image There are three users A, B and C in FIG. In this case, as the language used by each of the users A, B, and C who successfully matched the input face information and the registered face information, the English language having the largest number registered in the user table is extracted, and the advertisement is displayed on the display device in English. Is displayed.

このように情報処理装置は、デジタルサイネージ装置が配置された空間を往来している人物の内の最も多くの人物が使用する言語により、デジタルサイネージ装置に情報を表示する。これにより、情報処理装置は、より多くのユーザに理解されるように情報を表示することが可能となる。   As described above, the information processing apparatus displays information on the digital signage apparatus in a language used by the largest number of persons traveling in the space where the digital signage apparatus is disposed. Thus, the information processing apparatus can display information so as to be understood by more users.

（情報提供システム１の構成）
図３は、情報提供システム１の概略構成の一例を示す図である。 (Configuration of information providing system 1)
FIG. 3 is a diagram showing an example of a schematic configuration of the information providing system 1.

情報提供システム１は、一又は複数の表示ユニット２と、情報処理システム３とを有する。   The information providing system 1 includes one or more display units 2 and an information processing system 3.

各表示ユニット２は、表示装置４と撮像装置５とを有する。情報処理システム３は、情報処理装置６とデータベース装置７とを有する。情報処理装置６は、各表示装置４、撮像装置５及びデータベース装置７と、イントラネット又はインターネット等のネットワーク８を介して相互に接続可能である。   Each display unit 2 includes a display device 4 and an imaging device 5. The information processing system 3 includes an information processing device 6 and a database device 7. The information processing device 6 is mutually connectable with each display device 4, the imaging device 5 and the database device 7 via a network 8 such as an intranet or the Internet.

表示装置４は、出力装置の一例である。表示装置４は、液晶ディスプレイ、有機ＥＬ（Electro−Luminescence）ディスプレイ等の表示部を有するデジタルサイネージ装置である。表示装置４は、複数の人物が往来する空間に配置され、その空間に往来する人物に対して店舗の広告等を表示する。表示装置４は、さらに、ＣＰＵ（Central Processing Unit）等の処理部、半導体メモリ等の記憶部及び通信部等を有する。処理部は、通信部を介して情報処理装置６から広告を表示するための表示データを受信して記憶部に記憶し、表示データに基づいて広告を表示部に表示する。   The display device 4 is an example of an output device. The display device 4 is a digital signage device having a display unit such as a liquid crystal display or an organic EL (Electro-Luminescence) display. The display device 4 is disposed in a space in which a plurality of persons come and go, and displays an advertisement or the like of a store for a person who comes and goes in the space. The display device 4 further includes a processing unit such as a central processing unit (CPU), a storage unit such as a semiconductor memory, a communication unit, and the like. The processing unit receives display data for displaying an advertisement from the information processing device 6 via the communication unit, stores the display data in the storage unit, and displays the advertisement on the display unit based on the display data.

撮像装置５は、入力装置の一例である。撮像装置５は、ＣＣＤ（Charge Coupled Device）素子またはＣ−ＭＯＳ（Complementary Metal Oxide Semiconductor）素子等の可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル変換するＡ／Ｄ変換器とを有するカメラである。撮像装置５は、同じ表示ユニット２に属する表示装置４の近傍に配置され、表示装置４により表示された広告を閲覧する人物が往来する空間を撮像するように配置される。撮像装置５は、その空間を撮像したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの画像に変換した入力画像を生成する。入力画像は、人物の生体情報が含まれる入力データの一例である。撮像装置５は、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等をさらに有する。処理部は、生成した入力画像を記憶部に記憶し、通信部を介して情報処理装置６に送信する。   The imaging device 5 is an example of an input device. The imaging device 5 is a photoelectric conversion element having sensitivity to visible light such as a CCD (Charge Coupled Device) element or a C-MOS (Complementary Metal Oxide Semiconductor) element, and an imaging optical system for forming an image on the photoelectric conversion element. It is a camera having a system and an A / D converter that amplifies an electric signal output from a photoelectric conversion element and converts the signal into an analog / digital signal. The imaging device 5 is disposed in the vicinity of the display device 4 belonging to the same display unit 2, and is disposed so as to image a space in which a person who browses the advertisement displayed by the display device 4 travels. The imaging device 5 generates an input image obtained by converting an image of each color of RGB obtained by imaging the space into a digital image in which each pixel has a luminance value in the range of 0 to 255. The input image is an example of input data including biometric information of a person. The imaging device 5 further includes a processing unit such as a CPU, a storage unit such as a semiconductor memory, a communication unit, and the like. The processing unit stores the generated input image in the storage unit, and transmits the generated input image to the information processing apparatus 6 via the communication unit.

データベース装置７は、記憶装置の一例であり、例えば半導体メモリ、磁気テープ装置、磁気ディスク装置又は光ディスク装置の内の少なくとも一つを備える記憶部を有する。記憶部は、データとして、後述する表示情報テーブル、ユーザテーブル及び言語テーブル等を記憶する。なお、本実施形態でいうテーブルは、データベースの形式の一例であり、データがデータベース装置７内にプールしているような形式であってもよい。データベース装置７は、ＣＰＵ等の処理部及び通信部等をさらに有する。処理部は、情報処理装置６からの要求に応じて、記憶部に記憶された各種情報を通信部を介して情報処理装置６に送信する。   The database device 7 is an example of a storage device, and includes, for example, a storage unit including at least one of a semiconductor memory, a magnetic tape device, a magnetic disk device, and an optical disk device. The storage unit stores, as data, a display information table, a user table, a language table, and the like described later. The table in the present embodiment is an example of the format of a database, and may be a format in which data is pooled in the database device 7. The database device 7 further includes a processing unit such as a CPU and a communication unit. The processing unit transmits various information stored in the storage unit to the information processing apparatus 6 via the communication unit in response to a request from the information processing apparatus 6.

（各種テーブルのデータ構造）
図４（ａ）、（ｂ）及び図５は、各種テーブルのデータ構造の一例を示す図である。なお、データベース装置７は、以下に説明する各種テーブルの一部又は全部を記憶せずに、情報処理装置６、又は、情報処理装置６と接続可能な他のデータベース装置が、これらの各種テーブルの一部又は全部を記憶してもよい。また、各テーブルに含まれる各情報は、テーブル以外の形式で記憶されてもよく、例えば、それぞれ独立して記憶されてもよい。 (Data structure of various tables)
FIG. 4A, FIG. 4B, and FIG. 5 are diagrams showing an example of the data structure of various tables. The database apparatus 7 does not store part or all of the various tables described below, and the information processing apparatus 6 or another database apparatus connectable to the information processing apparatus 6 can be used for these various tables. Part or all may be stored. Further, each information included in each table may be stored in a format other than the table, and may be stored independently, for example.

図４（ａ）には、表示情報テーブルが示されている。表示情報テーブルには、表示装置４に表示する表示情報毎に、各表示情報の識別情報（表示情報ＩＤ）、各表示情報を表示する表示装置４の識別情報（表示装置ＩＤ）及び表示内容等の各情報が関連付けて記憶されている。表示情報は、出力装置に出力する出力情報の一例である。表示情報は、例えば飲食店もしくは販売店等の店舗、ホテルもしくは映画館等の施設、又は、商品等の広告である。なお、表示情報は、道路もしくは路線等の案内、又は、公的機関によるお知らせ等でもよい。表示情報ＩＤは、各表示情報に一意に割り当てられた情報である。表示装置ＩＤは、各表示装置４に一意に割り当てられた情報である。単一の表示情報に関連付けられる表示装置４の数は一つに限定されず、二つ以上でもよい。   A display information table is shown in FIG. 4 (a). In the display information table, identification information (display information ID) of each display information, identification information (display device ID) of the display 4 displaying each display information, display content etc. for each display information to be displayed on the display device 4 Each information of is associated and stored. The display information is an example of output information to be output to the output device. The display information is, for example, a store such as a restaurant or a store, a facility such as a hotel or a movie theater, or an advertisement such as a product. The display information may be information such as a road or a route, or notification by a public organization. The display information ID is information uniquely assigned to each display information. The display device ID is information uniquely assigned to each display device 4. The number of display devices 4 associated with a single display information is not limited to one, and may be two or more.

表示内容は、表示装置４に表示される具体的な内容であり、情報提供システム１に登録されている複数の言語毎に、事前に登録されている。表示情報が店舗を広告対象とする広告である場合、表示内容として、例えば各店舗の名称、電話番号、住所、画像又はおすすめ料理もしくはおすすめ商品等の店舗情報が記憶される。表示情報が施設を広告対象とする広告である場合、表示内容として、例えば各施設の名称、電話番号、住所、画像又はおすすめポイント等の施設情報が記憶される。表示情報が商品を広告対象とする広告である場合、表示内容として、各商品の名称、画像又はおすすめポイント等の商品情報が記憶される。なお、表示情報が広告である場合、各表示情報と関連付けて広告対象（飲食店もしくは販売店等の店舗、ホテルもしくは映画館等の施設、又は、商品等）が記憶されてもよい。   The display content is specific content to be displayed on the display device 4 and is registered in advance for each of a plurality of languages registered in the information providing system 1. When the display information is an advertisement for advertising a store, for example, store information such as the name, telephone number, address, image or recommended food or recommended item of each store is stored as the display content. When the display information is an advertisement in which a facility is targeted for advertisement, facility information such as the name of each facility, a telephone number, an address, an image or a recommendation point is stored as the display content. When the display information is an advertisement for targeting a product, product information such as a name, an image or a recommendation point of each product is stored as the display content. When the display information is an advertisement, an advertisement target (store such as a restaurant or a store, a facility such as a hotel or a movie theater, or a product or the like) may be stored in association with each display information.

図４（ｂ）には、ユーザテーブルが示されている。ユーザテーブルには、情報提供システム１に登録されている複数のユーザ毎に、各ユーザの識別情報（ユーザＩＤ）、名前（ユーザ名）、登録顔情報、使用言語情報、スケジュール情報、閲覧情報及び利用情報等の各情報が関連付けて記憶されている。ユーザＩＤは、各ユーザに一意に割り当てられた情報である。顔情報は、生体情報の一例であり、登録顔情報は、登録生体情報の一例である。登録顔情報は、事前に登録された各ユーザの顔が撮像された登録顔画像、又は、登録顔画像における特徴点等を示す特徴情報である。使用言語情報は、情報提供システム１に登録されている複数の言語の内の各ユーザが使用する使用言語を示す。   The user table is shown in FIG. 4 (b). The user table includes, for each of a plurality of users registered in the information providing system 1, identification information (user ID), name (user name), registered face information, used language information, schedule information, browsing information, and the like of each user. Each information such as usage information is associated and stored. The user ID is information uniquely assigned to each user. The face information is an example of biometric information, and the registered face information is an example of registered biometric information. The registered face information is a registered face image obtained by capturing the face of each user registered in advance, or feature information indicating a feature point or the like in the registered face image. The language used information indicates the language used by each user of the plurality of languages registered in the information providing system 1.

スケジュール情報は、各ユーザの予定とその予定を実行する時刻を示す。データベース装置７は、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol, HTTP）等の通信プロトコルを用いて、各ユーザが所有する携帯端末（不図示）と通信を行い、スケジュールの設定及び閲覧を行うためのＷｅｂ画面をその携帯端末に提供する。スケジュール情報は、そのＷｅｂ画面を用いて、各ユーザが所有する携帯端末から、任意のタイミングで設定される。   The schedule information indicates the schedule of each user and the time to execute the schedule. The database device 7 communicates with a portable terminal (not shown) owned by each user using a communication protocol such as Hypertext Transfer Protocol (HTTP), and is a Web for setting and viewing a schedule. Provide a screen to the mobile terminal. The schedule information is set at an arbitrary timing from a portable terminal owned by each user using the Web screen.

閲覧情報は、各ユーザが過去に閲覧した表示情報（ＩＤ）とその表示情報を閲覧した時刻を示す。データベース装置７は、各ユーザが所有する携帯端末からの要求に応じて、記憶している表示情報を表示するためのＷｅｂ画面をその携帯端末に提供する。閲覧情報は、各ユーザが所有する携帯端末に、表示情報を表示するためのＷｅｂ画面が提供されたときに更新される。   The browsing information indicates the display information (ID) that each user browsed in the past and the time when the display information was browsed. In response to a request from a portable terminal owned by each user, the database device 7 provides the portable terminal with a Web screen for displaying the stored display information. The browsing information is updated when a web screen for displaying display information is provided on a mobile terminal owned by each user.

利用情報は、各ユーザが過去に利用した店舗もしくは施設又は購入した商品（ＩＤ）とその店舗もしくは施設を利用した時刻又は商品を購入した時刻を示す。データベース装置７は、各広告対象の店舗、施設もしくは各広告対象の商品を販売する店舗に設置された端末又は各店舗もしくは施設の関係者が所有する携帯端末（不図示）等と通信を行う。利用情報は、各ユーザが各店舗もしくは施設を利用したとき又は各商品を購入したときに各端末から設定される。   The usage information indicates a store or facility that each user has used in the past or a product (ID) purchased and the time at which the store or facility was used or the time at which the product was purchased. The database device 7 communicates with a terminal installed in a store, a facility or a store selling products targeted for advertisement, or a portable terminal (not shown) owned by a person concerned with the store or facility. The usage information is set from each terminal when each user uses each store or facility or when each product is purchased.

図５には、言語テーブルが示されている。言語テーブルには、情報提供システム１に登録されている複数の言語毎に、各言語の識別情報（言語ＩＤ）、名称（言語名）及び行動パターン情報等の各情報が関連付けて記憶されている。言語ＩＤは、各言語に一意に割り当てられた情報である。行動パターン情報は、各言語を使用する人種の行動パターンを示し、行動パターン情報として、各言語を使用する人種について一般的に知られている行動パターンが、情報提供システム１の管理者により事前に登録される。行動パターンは、例えば「朝食をとらない」又は「夕食を取る時間が遅い」等である。その場合、行動パターン情報として、例えば時間帯（ＡＭ６：００〜１２：００、ＰＭ１０：００〜１２：００等）と行動内容（食事しない、食事する等）とが関連付けて記憶されてもよい。なお、行動パターンは「特定の店舗、施設又は商品を利用する習慣を有する（又は有さない）」等でもよい。   A language table is shown in FIG. In the language table, each information such as identification information (language ID), name (language name) and action pattern information of each language is stored in association with each of a plurality of languages registered in the information providing system 1. . The language ID is information uniquely assigned to each language. The behavior pattern information indicates the behavior pattern of the race using each language, and the behavior pattern generally known about the race using each language is displayed by the administrator of the information providing system 1 as the behavior pattern information. Registered in advance. The behavior pattern is, for example, “do not take breakfast” or “late dinner time”. In that case, as the action pattern information, for example, a time zone (AM 6:00 to 12:00, PM 10:00 to 12:00, etc.) and an action content (not eating, eating, etc.) may be stored in association with each other. Note that the behavior pattern may be "having (or not having a habit of using a specific store, facility, or product)" or the like.

（情報処理装置６の概略構成）
図６は、情報処理装置６の概略構成の一例を示す図である。 (Schematic Configuration of Information Processing Device 6)
FIG. 6 is a diagram showing an example of a schematic configuration of the information processing device 6.

情報処理装置６は、サーバ又はパーソナルコンピュータ等であり、撮像装置５によって撮像された入力画像に写っている人物の内の最も多くの人物が使用する言語により、表示装置４に情報を表示させる。そのために、情報処理装置６は、通信部６１と、記憶部６２と、処理部６３とを備える。   The information processing device 6 is a server, a personal computer or the like, and causes the display device 4 to display information in a language used by the largest number of persons in the input image captured by the imaging device 5. For that purpose, the information processing device 6 includes a communication unit 61, a storage unit 62, and a processing unit 63.

通信部６１は、情報処理装置６をネットワーク８に接続するための通信インターフェース回路を有する。通信部６１は、撮像装置５又はデータベース装置７等から受信したデータを処理部６３に供給する。また、通信部６１は、処理部６３から供給されたデータを表示装置４等に送信する。   The communication unit 61 has a communication interface circuit for connecting the information processing device 6 to the network 8. The communication unit 61 supplies the data received from the imaging device 5 or the database device 7 to the processing unit 63. In addition, the communication unit 61 transmits the data supplied from the processing unit 63 to the display device 4 or the like.

記憶部６２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部６２は、処理部６３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部６２にインストールされてもよい。また、記憶部６２は、所定の処理に係る一時的なデータを一時的に記憶する。   The storage unit 62 includes, for example, at least one of a semiconductor memory, a magnetic disk drive, and an optical disk drive. The storage unit 62 stores a driver program, an operating system program, an application program, data and the like used for processing by the processing unit 63. Various programs are stored in the storage unit 62 from a computer-readable portable recording medium such as a compact disk read only memory (CD-ROM) or a digital versatile disk read only memory (DVD-ROM) using a known setup program or the like. May be installed on In addition, the storage unit 62 temporarily stores temporary data related to a predetermined process.

処理部６３は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部６３は、情報処理装置６の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部６３は、情報処理装置６の各種処理が記憶部６２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部６１等の動作を制御する。処理部６３は、記憶部６２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部６３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。   The processing unit 63 includes one or more processors and their peripheral circuits. The processing unit 63 centrally controls the overall operation of the information processing apparatus 6, and is, for example, a CPU. The processing unit 63 controls the operation of the communication unit 61 and the like so that various processes of the information processing device 6 are executed in an appropriate procedure based on a program or the like stored in the storage unit 62. The processing unit 63 executes a process based on a program (an operating system program, a driver program, an application program, etc.) stored in the storage unit 62. Further, the processing unit 63 can execute a plurality of programs (application programs and the like) in parallel.

処理部６３は、取得部６３１、検出部６３２、照合部６３３、抽出部６３４及び表示制御部６３５等を有する。表示制御部６３５は、出力情報を出力装置に出力する出力制御部の一例である。処理部６３が有するこれらの各部は、処理部６３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、処理部６３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして情報処理装置６に実装されてもよい。   The processing unit 63 includes an acquisition unit 631, a detection unit 632, a collation unit 633, an extraction unit 634, a display control unit 635, and the like. The display control unit 635 is an example of an output control unit that outputs output information to an output device. These units included in the processing unit 63 are functional modules implemented by a program executed on a processor included in the processing unit 63. Alternatively, these units included in the processing unit 63 may be implemented in the information processing apparatus 6 as independent integrated circuits, microprocessors, or firmware.

（情報処理装置６による表示制御処理の動作の例）
図７は、情報処理装置６による表示制御処理の動作の例を示すフローチャートである。この動作フローは、予め記憶部６２に記憶されているプログラムに基づいて、主に処理部６３により、情報処理装置６の各要素と協働して実行される。 (Example of operation of display control processing by information processing device 6)
FIG. 7 is a flowchart showing an example of operation of display control processing by the information processing device 6. The operation flow is mainly executed by the processing unit 63 in cooperation with each element of the information processing apparatus 6 based on a program stored in advance in the storage unit 62.

最初に、取得部６３１は、通信部６１を介して撮像装置５から、撮像装置５によって撮像された入力画像を取得し、記憶部６２に記憶する（ステップＳ１０１）。   First, the acquisition unit 631 acquires an input image captured by the imaging device 5 from the imaging device 5 via the communication unit 61, and stores the acquired input image in the storage unit 62 (step S101).

次に、検出部６３２は、取得した入力画像から人物を検出する（ステップＳ１０２）。検出部６３２は、例えばフレーム間差分処理又は背景差分処理等を利用して、撮像装置５から取得した複数の入力画像において輝度値の時間的な変化のある変化領域を抽出する。検出部６３２は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出することにより、入力画像から人物を検出する。   Next, the detection unit 632 detects a person from the acquired input image (step S102). The detection unit 632 extracts, for example, temporally changing change regions of luminance values in a plurality of input images acquired from the imaging device 5 using inter-frame difference processing, background difference processing, or the like. The detection unit 632 detects a person from the input image by extracting, as a person region, a change region that is considered to be a person from the feature amount such as the size of the change region among the extracted change regions.

次に、照合部６３３は、入力画像から検出された各人物の入力顔情報を、ユーザテーブルに登録された各ユーザの登録顔情報と照合し、各人物を特定する（ステップＳ１０３）。入力顔情報は、入力生体情報の一例である。照合部６３３は、検出部６３２により抽出された人物領域に対して周辺画素との輝度値の差が所定値以上であるエッジ画素を抽出する。照合部６３３は、抽出したエッジ画素から、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。照合部６３３は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出する。   Next, the collation unit 633 collates the input face information of each person detected from the input image with the registered face information of each user registered in the user table, and specifies each person (step S103). The input face information is an example of input biometric information. The matching unit 633 extracts an edge pixel in which the difference in luminance value between the surrounding area and the person area extracted by the detection unit 632 is equal to or more than a predetermined value. The matching unit 633 detects an elliptical edge distribution having a predetermined size and approximating the outline shape of the head from the extracted edge pixels, and extracts a region surrounded by the edge distribution as a face region. The matching unit 633 detects the edge distribution of the elliptical shape, for example, using a generalized Hough transform.

照合部６３３は、通信部６１を介してデータベース装置７から、情報提供システム１に登録されている各ユーザの登録顔情報を受信し、抽出した顔領域における入力顔情報と、受信した登録顔情報のそれぞれとの類似度を算出する。照合部６３３は、抽出した顔領域において人物の顔に特有の特徴量を算出し、抽出した顔領域から算出した特徴量と、受信した登録顔情報に基づく特徴量との差を正規化した値の逆数を類似度として算出する。特徴量は、例えば、目、鼻、口等の顔の特徴的な部位の位置及び／又は形状等である。照合部６３３は、例えば、顔領域に対してエッジ画素を抽出し、エッジ画素の位置及び／又はパターン等が、目、鼻、口等の部位について予め定められた条件を満たす場合にその位置を特徴量として算出する。なお、照合部６３３は、抽出した顔領域と、登録顔画像の正規化相互相関値を類似度として算出してもよい。   The collation unit 633 receives registered face information of each user registered in the information providing system 1 from the database device 7 through the communication unit 61, and receives input face information in the extracted face area and the received registered face information. Calculate the degree of similarity with each of the The matching unit 633 calculates a feature amount specific to the face of a person in the extracted face region, and normalizes the difference between the feature amount calculated from the extracted face region and the feature amount based on the received registered face information. The reciprocal of is calculated as the similarity. The feature amount is, for example, the position and / or shape of a characteristic part of the face such as the eyes, nose, and mouth. For example, the matching unit 633 extracts an edge pixel for the face area, and if the position and / or pattern of the edge pixel satisfies a predetermined condition for a part such as the eye, the nose, and the mouth, Calculated as a feature amount. The matching unit 633 may calculate the normalized cross-correlation value of the extracted face area and the registered face image as the degree of similarity.

照合部６３３は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、抽出した顔領域に写っている人物は、その類似度が算出された登録顔情報に対応するユーザであると特定し、照合に成功したと判定する。   If the highest similarity among the calculated similarities is equal to or greater than the predetermined threshold, the matching unit 633 is the user corresponding to the registered face information whose similarity is calculated, for the person appearing in the extracted face area. It is identified that there is, and it is determined that the matching is successful.

次に、抽出部６３４は、ユーザテーブルに登録されている各使用言語毎に、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録されている数に基づいて評価値を算出する（ステップＳ１０４）。例えば、抽出部６３４は、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録されている数を評価値として算出する。その場合、各言語の評価値は、入力画像に写っているユーザの内、各言語を使用するユーザの数を示している。   Next, the extraction unit 634 is registered for each language used registered in the user table in association with the registered face information of each user who successfully matched the input face information of each person detected from the input image. The evaluation value is calculated on the basis of the number (step S104). For example, the extraction unit 634 calculates, as an evaluation value, the number registered in association with the registered face information of each user who has succeeded in matching the input face information of each person detected from the input image. In that case, the evaluation value of each language indicates the number of users using each language among the users appearing in the input image.

次に、抽出部６３４は、各言語に対応する行動パターンに基づいて、各言語の評価値を補正する（ステップＳ１０５）。抽出部６３４は、通信部６１を介してデータベース装置７から、各言語に関連付けて言語テーブルに登録されている行動パターン情報を受信し、各言語に対応する行動パターンを特定する。   Next, the extraction unit 634 corrects the evaluation value of each language based on the action pattern corresponding to each language (step S105). The extraction unit 634 receives, from the database device 7 via the communication unit 61, behavior pattern information registered in the language table in association with each language, and identifies the behavior pattern corresponding to each language.

抽出部６３４は、例えば、表示情報が飲食店を広告対象とする広告である場合、現在時刻において食事を取るという行動パターンに対応する言語の評価値が、算出した値より大きくなるように補正する。または、抽出部６３４は、現在時刻において食事を取らないという行動パターンに対応する言語の評価値が、算出した値より小さくなるように補正する。また、抽出部６３４は、表示情報が広告である場合、その広告対象の店舗、施設又は商品を利用する習慣を有するという行動パターンに対応する言語の評価値が、算出した値より大きくなるように補正してもよい。または、抽出部６３４は、その広告対象の店舗、施設又は商品を利用する習慣を有さないという行動パターンに対応する言語の評価値が、算出した値より小さくなるように補正してもよい。これらにより、情報処理装置６は、表示装置４を閲覧している人物の内、より高い広告効果が得られる人物に対して、その人物が使用する言語により情報を表示することが可能となる。   For example, when the display information is an advertisement targeting a restaurant, the extraction unit 634 corrects the evaluation value of the language corresponding to the action pattern of taking a meal at the current time to be larger than the calculated value. . Alternatively, the extraction unit 634 corrects the evaluation value of the language corresponding to the action pattern of not eating a meal at the current time so as to be smaller than the calculated value. Further, when the display information is an advertisement, the extraction unit 634 is such that the evaluation value of the language corresponding to the action pattern of having a habit of using the store, the facility, or the product targeted for the advertisement becomes larger than the calculated value. It may be corrected. Alternatively, the extraction unit 634 may correct the evaluation value of the language corresponding to the behavior pattern of not having the habit of using the shop, the facility, or the product targeted for the advertisement smaller than the calculated value. As a result, the information processing apparatus 6 can display information in the language used by a person who can obtain a higher advertising effect among the people browsing the display device 4.

次に、抽出部６３４は、各使用言語の評価値に基づいて、情報提供システム１に登録されている複数の使用言語の中から言語を抽出する（ステップＳ１０６）。例えば、抽出部６３４は、情報提供システム１に登録されている複数の使用言語の中から評価値が最大である言語を抽出する。なお、抽出部６３４は、情報提供システム１に登録されている複数の使用言語の中から、表示装置４が配置されている領域における公用語を除いて言語を抽出してもよい。例えば、表示装置４が配置されている領域が日本である場合、抽出部６３４は、日本語を除いて言語を抽出する。これにより、表示装置４には、日本語以外の言語により表示情報が表示されるので、情報処理装置６は、日本国内の店舗、施設又は商品等に詳しい日本人より、それらに詳しくない外国人に優先的に理解されるように情報を表示することができる。   Next, the extraction unit 634 extracts a language from among the plurality of used languages registered in the information providing system 1 based on the evaluation value of each used language (step S106). For example, the extraction unit 634 extracts a language having the largest evaluation value from among a plurality of usage languages registered in the information providing system 1. The extraction unit 634 may extract the language from the plurality of usage languages registered in the information providing system 1 except for the official language in the area in which the display device 4 is disposed. For example, when the area in which the display device 4 is arranged is Japan, the extraction unit 634 extracts the language except Japanese. As a result, the display information is displayed on the display device 4 in a language other than Japanese. Therefore, the information processing device 6 is a foreigner who is not familiar with them than Japanese who are familiar with stores, facilities or products in Japan. The information can be displayed as it is understood with priority.

次に、表示制御部６３５は、抽出部６３４により抽出された言語により表示情報を表示するための表示データを生成し、生成した表示データを通信部６１を介して表示装置４に送信し、その表示情報を表示装置４に表示させ（ステップＳ１０７）、一連のステップを終了する。   Next, the display control unit 635 generates display data for displaying display information in the language extracted by the extraction unit 634, and transmits the generated display data to the display device 4 via the communication unit 61. The display information is displayed on the display device 4 (step S107), and the series of steps are ended.

表示制御部６３５は、入力画像を撮像した撮像装置５と同一の表示ユニット２に属する表示装置４に、抽出部６３４により抽出された言語により、その表示装置４に関連付けられた表示情報を表示するための表示データを送信する。なお、表示制御部６３５は、その表示情報と関連付けられた他の表示装置４にも同一の言語による表示データを送信してもよい。その場合、情報処理装置６は、各撮像装置５の撮像方向、及び、各表示装置４の配置位置等を予め記憶しておく。表示制御部６３５は、公知の画像処理技術を利用して、検出部６３２により検出された人物の追跡処理を実行し、その人物の進行方向を推定する。表示制御部６３５は、入力画像を撮像した撮像装置５に対して推定した進行方向側に配置され且つ入力画像を撮像した撮像装置５から所定距離内に配置された一又は複数の表示装置４に、同一の言語による表示データを送信する。   The display control unit 635 displays the display information associated with the display device 4 in the language extracted by the extraction unit 634 on the display device 4 belonging to the same display unit 2 as the imaging device 5 that has captured the input image. To send display data. The display control unit 635 may transmit display data in the same language to other display devices 4 associated with the display information. In that case, the information processing device 6 stores in advance the imaging direction of each imaging device 5, the arrangement position of each display device 4, and the like. The display control unit 635 executes tracking processing of the person detected by the detection unit 632 using a known image processing technology, and estimates the traveling direction of the person. The display control unit 635 is disposed on one or more display devices 4 disposed on the side of the traveling direction estimated with respect to the imaging device 5 that has captured the input image and disposed within a predetermined distance from the imaging device 5 that has captured the input image. Send display data in the same language.

また、表示制御部６３５は、同一の表示情報が関連付けられた複数の表示装置４のそれぞれに表示情報を表示する言語を、入力画像から検出された各言語を使用するユーザの数に応じて変更してもよい。例えば、表示制御部６３５は、入力画像から検出された各人物の入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録された数が多いほど、各言語により表示情報を表示する表示装置４の数が多くなるように、各表示装置４に表示情報を表示する言語を決定する。その場合、表示制御部６３５は、各言語により表示情報を表示させる表示装置４の数の比率を、入力画像から検出された各言語を使用するユーザの数の比率と同一になるように決定してもよい。例えば、入力画像に、英語を使用するユーザが３人含まれ、中国語を使用するユーザが２人含まれ、且つ、表示情報を表示する表示装置４が１０台存在する場合、表示制御部６３５は、６台の表示装置４には英語により表示情報を表示させ、４台の表示装置４には中国語により表示情報を表示させる。   In addition, the display control unit 635 changes the language in which display information is displayed on each of the plurality of display devices 4 associated with the same display information, in accordance with the number of users who use each language detected from the input image. You may For example, the display control unit 635 displays the display information in each language as the number registered in association with the registered face information of each user who successfully matched the input face information of each person detected from the input image increases. The language in which display information is displayed on each display device 4 is determined so that the number of display devices 4 to be displayed increases. In that case, the display control unit 635 determines the ratio of the number of display devices 4 displaying the display information in each language to be the same as the ratio of the number of users using each language detected from the input image. May be For example, in a case where the input image includes three users using English, two users using Chinese, and ten display devices 4 displaying display information, the display control unit 635 is included. The display information is displayed on the six display devices 4 in English, and the display information is displayed on the four display devices 4 in Chinese.

図８は、表示装置４に表示される表示画面８００の一例を示す図である。   FIG. 8 is a diagram showing an example of the display screen 800 displayed on the display device 4.

図８に示すように、表示画面８００には、抽出部６３４により抽出された言語により表示情報が表示される。例えば、表示情報が店舗の広告であり、抽出された言語が英語である場合、店舗の名称、電話番号、住所、画像及びおすすめ料理等の店舗情報が英語で表示される。   As shown in FIG. 8, display information is displayed on the display screen 800 in the language extracted by the extraction unit 634. For example, when the display information is an advertisement of a store and the extracted language is English, store information such as a store name, a phone number, an address, an image, and a recommended dish is displayed in English.

なお、情報処理装置６は、表示画面８００において、検出した各ユーザのユーザＩＤ及びその説明等を、抽出した言語により表示してもよい。これにより、ユーザは、自分に対して情報が表示されていることを認識し、表示された情報に興味を持つ可能性が高くなる。また、表示情報が広告である場合、データベース装置７は、ユーザテーブルにおいて、広告対象毎にユーザに関連する画像（例えば、店舗におけるユーザの担当者）を記憶しておき、情報処理装置６は、表示画面８００においてそのユーザに関連する画像を表示してもよい。これによっても、ユーザは、表示された広告に興味を持つ可能性が高くなる。   Note that the information processing device 6 may display the user ID of each detected user and the description thereof and the like on the display screen 800 in the extracted language. As a result, the user recognizes that information is being displayed to him / her, and the user is more likely to be interested in the displayed information. When the display information is an advertisement, the database device 7 stores an image (for example, a person in charge of the user at the store) in the user table for each advertisement target, and the information processing device 6 An image associated with the user may be displayed on display screen 800. This also increases the likelihood that the user is interested in the displayed advertisement.

また、情報処理装置６は、表示画面８００において、その広告の詳細を示すＷｅｂページのＵＲＬ（Uniform Resource Locator）及びその説明等を、抽出した言語により表示してもよい。これにより、表示画面８００を閲覧した人物は、そのＷｅｂページにアクセスして詳細な情報を取得することができ、情報処理装置６は利便性を向上させることが可能となる。   In addition, the information processing device 6 may display the URL (Uniform Resource Locator) of the Web page indicating the details of the advertisement, the description thereof, and the like on the display screen 800 in the extracted language. As a result, a person who browses the display screen 800 can access the Web page to acquire detailed information, and the information processing apparatus 6 can improve convenience.

また、表示情報が店舗の広告である場合、ステップＳ１０５において、抽出部６３４は、ユーザテーブルに記憶されたスケジュール情報に基づいて、各言語の評価値を補正してもよい。抽出部６３４は、通信部６１を介してデータベース装置７から、入力画像内で特定された各ユーザのスケジュール情報を受信し、受信したスケジュール情報に現在から所定時間（例えば１時間）内の予定が含まれるか否かを判定する。スケジュール情報に現在から所定時間内の予定が含まれる場合、抽出部６３４は、そのユーザに関連付けられた言語の評価値から所定値を減算する。所定値は０より大きく且つ１以下の値である。即ち、入力画像内に、現在から所定時間内に予定がないユーザが写っている場合、そのユーザの使用言語の評価値は１上昇するが、現在から所定時間内に予定があるユーザが写っている場合、そのユーザの使用言語の評価値が上昇する度合いは１未満となる。これにより、情報処理装置６は、既に予定があり来店が見込めないような、得られる広告効果が低いユーザが使用する言語を優先的に使用することを抑制できる。   When the display information is an advertisement of a store, the extraction unit 634 may correct the evaluation value of each language based on the schedule information stored in the user table in step S105. The extraction unit 634 receives the schedule information of each user specified in the input image from the database device 7 through the communication unit 61, and the received schedule information indicates a schedule within a predetermined time (for example, one hour) from the present. It is determined whether it is included. If the schedule information includes a schedule within a predetermined time from the present, the extraction unit 634 subtracts a predetermined value from the evaluation value of the language associated with the user. The predetermined value is a value greater than 0 and less than or equal to 1. That is, when there is a user who has no plan in the predetermined time from the present in the input image, the evaluation value of the language used by the user is increased by 1, but the user who has the plan in the predetermined time from the present is shown If the user's language is used, the evaluation value of the language used by the user is less than 1. As a result, the information processing apparatus 6 can suppress the preferential use of the language used by the user having a low obtained advertising effect, such as that the plan is already present and the visit to the store can not be expected.

また、ステップＳ１０５において、抽出部６３４は、ユーザテーブルに記憶された閲覧情報に基づいて、各言語の評価値を補正してもよい。抽出部６３４は、通信部６１を介してデータベース装置７から、入力画像内で特定された各ユーザの閲覧情報を受信し、受信した閲覧情報から、表示装置４に表示する表示情報を各ユーザが過去に閲覧したか否かを判定する。表示装置４に表示する表示情報を各ユーザが過去に閲覧している場合、抽出部６３４は、各ユーザに関連付けられた言語の評価値に所定値を加算する。所定値は０より大きく且つ１以下の値である。所定値は、その表示情報を各ユーザが過去に閲覧している回数が多いほど大きい値に設定されてもよい。これにより、情報処理装置６は、表示情報に興味を有しているユーザが使用する言語を優先的に使用することができる。   In addition, in step S105, the extraction unit 634 may correct the evaluation value of each language based on the browsing information stored in the user table. The extraction unit 634 receives the browsing information of each user specified in the input image from the database device 7 via the communication unit 61, and each user uses the received browsing information to display information to be displayed on the display device 4 Determine whether you have browsed in the past. When each user browses the display information displayed on the display device 4 in the past, the extraction unit 634 adds a predetermined value to the evaluation value of the language associated with each user. The predetermined value is a value greater than 0 and less than or equal to 1. The predetermined value may be set to a larger value as the number of times each user has viewed the display information in the past is larger. As a result, the information processing apparatus 6 can preferentially use the language used by the user who is interested in the display information.

また、表示情報が広告である場合、ステップＳ１０５において、抽出部６３４は、ユーザテーブルに記憶された利用情報に基づいて、各言語の評価値を補正してもよい。抽出部６３４は、入力画像内で特定された各ユーザの利用情報を受信し、受信した利用情報から、広告対象の店舗もしくは施設を各ユーザが過去に利用したか否か又は広告対象の商品を各ユーザが過去に購入したか否かを特定する。広告対象の店舗もしくは施設を各ユーザが過去に利用している場合、又は、広告対象の商品を各ユーザが過去に購入している場合、抽出部６３４は、各ユーザに関連付けられた言語の評価値に所定値を加算する。所定値は０より大きく且つ１以下の値である。所定値は、その広告対象を各ユーザが過去に利用又は購入した回数が多いほど大きい値に設定されてもよい。これにより、情報処理装置６は、表示情報に興味を有しているユーザが使用する言語を優先的に使用することができる。   When the display information is an advertisement, in step S105, the extraction unit 634 may correct the evaluation value of each language based on the usage information stored in the user table. The extraction unit 634 receives the usage information of each user specified in the input image, and based on the received usage information, whether each user has used a store or facility targeted for advertisement in the past or a product targeted for advertisement It specifies whether each user has purchased in the past. When each user has used a store or facility targeted for advertisement in the past, or when each user has purchased a product targeted for advertisement in the past, the extraction unit 634 evaluates the language associated with each user Add a predetermined value to the value. The predetermined value is a value greater than 0 and less than or equal to 1. The predetermined value may be set to a larger value as the number of times each user has used or purchased the advertisement target increases. As a result, the information processing apparatus 6 can preferentially use the language used by the user who is interested in the display information.

また、表示情報が店舗の広告である場合、ステップＳ１０５において、抽出部６３４は、怒っている、悲しんでいる、笑っている又は喜んでいる等の各ユーザの表情に基づいて、各言語の評価値を補正してもよい。その場合、抽出部６３４は、画像が入力された場合に、入力された画像に各表情を有する人物が写っている確からしさ、又は、入力された画像に写っている人物が各表情を有している度合い（怒っている度合い、笑っている度合い等）を出力するように事前学習された識別器を用いて、各ユーザの表情を特定する。この識別器は、例えばディープラーニング等により、特定の表情を有する人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。抽出部６３４は、入力画像から各人物領域を切出して識別器に入力し、識別器から出力された情報から、各ユーザの表情を特定する。   Also, if the display information is a store advertisement, in step S105, the extraction unit 634 evaluates each language based on the expressions of each user, such as angry, sad, laughing, or happy. The value may be corrected. In that case, when the image is input, the extraction unit 634 has certainty that the person who has each expression appears in the input image, or the person who appears in the input image has each expression. The facial expression of each user is specified using a classifier that has been learned in advance so as to output the degree of being angry (the degree of being angry, the degree of laughing, etc.). The discriminator is pre-learned using a plurality of images including a person having a specific facial expression, for example, by deep learning, and is stored in advance in the storage unit 62. The extraction unit 634 cuts out each person area from the input image and inputs it to the classifier, and specifies the facial expression of each user from the information output from the classifier.

抽出部６３４は、怒っている又は悲しんでいる等のネガティブな表情を有するユーザに関連付けられた言語の評価値から所定値を減算する。または、抽出部６３４は、笑っている又は喜んでいる等のポジティブな表情を有するユーザに関連付けられた言語の評価値に所定値を加算してもよい。所定値は０より大きく且つ１以下の値である。なお、所定値は、各ユーザが各表情を有している度合いが大きいほど大きい値に設定されてもよい。これにより、情報処理装置６は、広告を閲覧しそうにない、得られる広告効果が低いユーザが使用する言語を優先的に使用することを抑制し、広告対象を利用又は購入する可能性が高いユーザが使用する言語を優先的に使用することが可能となる。   The extraction unit 634 subtracts a predetermined value from the evaluation value of the language associated with the user having a negative expression such as angry or sad. Alternatively, the extraction unit 634 may add a predetermined value to the evaluation value of the language associated with the user who has a positive expression such as smiling or happy. The predetermined value is a value greater than 0 and less than or equal to 1. The predetermined value may be set to a larger value as the degree to which each user has each expression is larger. Thereby, the information processing apparatus 6 suppresses the preferential use of the language used by the user who is unlikely to browse the advertisement and has a low advertisement effect to be obtained, and the user who is highly likely to use or purchase the advertisement target It is possible to give priority to the language used by.

また、ステップＳ１０５において、抽出部６３４は、ユーザが正面（表示装置４側）を向いているか否かに応じて、各言語の評価値を補正してもよい。その場合、抽出部６３４は、画像が入力された場合に、入力された画像に正面を向いている人物が写っている確からしさを出力するように事前学習された識別器を用いて、各ユーザが正面を向いているか否かを判定する。この識別器は、例えばディープラーニング等により、正面を向いている人物が含まれる複数の画像を用いて事前学習され、予め記憶部６２に記憶される。抽出部６３４は、入力画像から各人物領域を切出して識別器に入力し、識別器から出力された情報から、各ユーザが正面を向いているか否かを判定する。   In addition, in step S105, the extraction unit 634 may correct the evaluation value of each language depending on whether the user is facing the front (display 4 side). In that case, the extraction unit 634 uses a classifier that has been learned in advance so as to output the likelihood that the person facing the front appears in the input image when the image is input. Determines whether or not the front is facing. The identifier is pre-learned using a plurality of images including a person facing the front, for example, by deep learning, and is stored in advance in the storage unit 62. The extraction unit 634 cuts out each person area from the input image and inputs it to the discriminator, and determines from the information output from the discriminator whether each user is facing forward.

抽出部６３４は、正面を向いていないユーザに関連付けられた言語の評価値から所定値を減算する。または、抽出部６３４は、正面を向いているユーザに関連付けられた言語の評価値に所定値を加算してもよい。所定値は０より大きく且つ１以下の値である。これにより、情報処理装置６は、広告を閲覧する可能性の低いユーザが使用する言語を優先的に使用することを抑制し、広告を閲覧する可能性の高いユーザが使用する言語を優先的に使用することが可能となる。   The extraction unit 634 subtracts a predetermined value from the evaluation value of the language associated with the user who is not facing the front. Alternatively, the extraction unit 634 may add a predetermined value to the evaluation value of the language associated with the user facing the front. The predetermined value is a value greater than 0 and less than or equal to 1. Thus, the information processing apparatus 6 suppresses the preferential use of the language used by the user having a low possibility of browsing the advertisement, and preferentially uses the language used by the user having a high probability of browsing the advertisement. It becomes possible to use.

また、抽出部６３４は、評価値の補正処理を実行せず、ステップＳ１０５の処理を省略してもよい。   In addition, the extraction unit 634 may omit the process of step S105 without executing the process of correcting the evaluation value.

また、照合部６３３は、生体情報として顔情報を用いる代わりに、虹彩情報等の他の情報を用いてもよい。その場合、データベース装置７は、ユーザテーブルにおいて、登録生体情報として登録顔情報の代わりに登録虹彩情報を記憶する。登録虹彩情報は、事前に登録された各ユーザの瞳孔の虹彩が撮像された登録虹彩画像、又は、登録虹彩画像における特徴点等を示す特徴情報である。   In addition, the collation unit 633 may use other information such as iris information instead of using face information as biological information. In that case, the database device 7 stores registered iris information as registered biological information in place of registered face information in the user table. The registration iris information is a registration iris image obtained by imaging the iris of the pupil of each user registered in advance, or feature information indicating a feature point or the like in the registration iris image.

ステップＳ１０３において、照合部６３３は、入力生体情報として入力画像から検出された各人物の入力虹彩情報を、ユーザテーブルに登録された各ユーザの登録虹彩情報と照合し、各人物を特定する。照合部６３３は、検出部６３２により抽出された人物領域に対して周辺画素との輝度値の差が所定値以上であるエッジ画素を抽出する。照合部６３３は、抽出したエッジ画素から、所定の大きさを有する、瞳孔の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を瞳孔領域として抽出する。照合部６３３は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出する。   In step S103, the collation unit 633 collates the input iris information of each person detected from the input image as the input biometric information with the registered iris information of each user registered in the user table, and specifies each person. The matching unit 633 extracts an edge pixel in which the difference in luminance value between the surrounding area and the person area extracted by the detection unit 632 is equal to or more than a predetermined value. The collation unit 633 detects an elliptical edge distribution having a predetermined size and approximating the contour of the pupil from the extracted edge pixels, and extracts a region surrounded by the edge distribution as a pupil region. The matching unit 633 detects the edge distribution of the elliptical shape, for example, using a generalized Hough transform.

照合部６３３は、通信部６１を介してデータベース装置７から、情報提供システム１に登録されている各ユーザの登録虹彩情報を受信し、抽出した瞳孔領域における入力虹彩情報と、受信した登録虹彩情報のそれぞれとの類似度を算出する。照合部６３３は、抽出した瞳孔領域において虹彩に特有の特徴量を算出し、抽出した瞳孔領域から算出した特徴量と、受信した登録虹彩情報に基づく特徴量との差を正規化した値の逆数を類似度として算出する。特徴量は、例えば、虹彩の特徴的な部位の位置及び／又は形状等である。照合部６３３は、例えば、瞳孔領域に対してエッジ画素を抽出し、エッジ画素の位置及び／又はパターン等が予め定められた条件を満たす場合にその位置を特徴量として算出する。なお、照合部６３３は、抽出した瞳孔領域と、登録虹彩画像の正規化相互相関値を類似度として算出してもよい。   The collation unit 633 receives registration iris information of each user registered in the information providing system 1 from the database device 7 through the communication unit 61, and inputs iris information in the extracted pupil area and the received registration iris information Calculate the degree of similarity with each of the The matching unit 633 calculates a feature amount unique to the iris in the extracted pupil region, and is an inverse of a value obtained by normalizing the difference between the feature amount calculated from the extracted pupil region and the feature amount based on the received registration iris information Is calculated as the similarity. The feature amount is, for example, the position and / or shape of a characteristic portion of the iris. For example, the matching unit 633 extracts an edge pixel with respect to the pupil region, and calculates the position as a feature amount when the position and / or the pattern of the edge pixel satisfy a predetermined condition. The matching unit 633 may calculate the normalized cross-correlation value of the extracted pupil area and the registered iris image as the similarity.

照合部６３３は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、抽出した瞳孔領域に対応する人物は、その類似度が算出された登録虹彩情報に対応するユーザであると特定し、照合に成功したと判定する。   If the highest similarity among the calculated similarities is equal to or higher than the predetermined threshold value, the matching unit 633 is a user corresponding to the registered iris information for which the similarity is calculated. It is determined that the verification is successful.

一方、ステップＳ１０４において、抽出部６３４は、ユーザテーブルに登録されている各使用言語毎に、入力画像から検出された各人物の入力虹彩情報との照合に成功した各ユーザの登録虹彩情報と関連付けて登録されている数に基づいて評価値を算出する。   On the other hand, in step S104, the extraction unit 634 associates, for each language used registered in the user table, the registered iris information of each user who successfully matched the input iris information of each person detected from the input image. The evaluation value is calculated based on the number registered.

以上詳述したとおり、情報処理装置６は、複数の人物が閲覧可能な表示装置４（デジタルサイネージ）を有する情報提供システム１において、表示装置４が配置された空間を往来している人物の内の最も多くの人物が使用する言語により、表示装置４に情報を表示する。これにより、情報処理装置６は、より多くのユーザに理解されるように情報を表示（出力）することが可能となる。   As described above in detail, in the information providing system 1 having the display device 4 (digital signage) which can be browsed by a plurality of persons, the information processing device 6 is one of the persons who travels the space where the display device 4 is disposed. The information is displayed on the display device 4 in the language used by the most people. As a result, the information processing apparatus 6 can display (output) information so as to be understood by more users.

（他の情報提供システム１１の構成）
図３は、他の情報提供システム１１の概略構成の一例を示す図である。 (Configuration of Other Information Providing System 11)
FIG. 3 is a diagram showing an example of a schematic configuration of another information providing system 11.

情報提供システム１１は、情報提供システム１と比較して、表示ユニット２の代わりに音声出力ユニット１２を有し、情報処理装置６の代わりに情報処理装置１６を有し、データベース装置７の代わりにデータベース装置１７を有する。情報提供システム１１は、生体情報として顔情報等の画像情報を用いる代わりに、声紋情報等の音声情報を用いる。   The information providing system 11 has an audio output unit 12 in place of the display unit 2 as compared with the information providing system 1, has an information processing device 16 in place of the information processing device 6, and has an alternative to the database device 7. A database device 17 is provided. The information providing system 11 uses voice information such as voiceprint information instead of using image information such as face information as biological information.

音声出力ユニット１２は、例えば切符等の券売機、飲料等の自動販売機等である。音声出力ユニット１２は、音声出力装置１４と音声入力装置１５とを有する。   The voice output unit 12 is, for example, a ticket vending machine such as a ticket or a vending machine such as a beverage. The audio output unit 12 has an audio output device 14 and an audio input device 15.

音声出力装置１４は、出力装置の一例である。音声出力装置１４は、スピーカ等の音声出力部を有する。音声出力装置１４は、複数の人物が存在する空間に配置され、その空間に存在する人物に対して、券売機又は自動販売機を利用するためのガイダンス等を音声出力する。音声出力装置１４は、さらに、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等を有する。処理部は、通信部を介して情報処理装置１６からガイダンスを音声出力するための音声出力データを受信して記憶部に記憶し、音声出力データに基づいてガイダンスを音声出力部から音声出力する。   The voice output device 14 is an example of an output device. The audio output device 14 has an audio output unit such as a speaker. The voice output device 14 is disposed in a space in which a plurality of persons exist, and outputs voice and the like guidance for using the ticket vending machine or the vending machine to the persons present in the space. The voice output device 14 further includes a processing unit such as a CPU, a storage unit such as a semiconductor memory, a communication unit, and the like. The processing unit receives voice output data for voice output of guidance from the information processing apparatus 16 via the communication unit, stores the voice output data in the storage unit, and voice-outputs the guidance from the voice output unit based on the voice output data.

音声入力装置１５は、入力装置の一例である。音声入力装置１５は、集音した音声をアナログの電気信号に変換するマイクロフォンと、マイクロフォンから出力された電気信号を増幅し、アナログ／デジタル変換するＡ／Ｄ変換器とを有する。音声入力装置１５は、同じ音声出力ユニット１２に属する音声出力装置１４の近傍に配置され、音声出力装置１４から音声出力されたガイダンスを聴取する人物が存在する空間の音声を集音するように配置される。音声入力装置１５は、その空間から取得したアナログ音声をデジタル音声に変換した入力音声を生成する。入力音声は、入力データの一例である。音声入力装置１５は、ＣＰＵ等の処理部、半導体メモリ等の記憶部及び通信部等をさらに有する。処理部は、生成した入力音声を記憶部に記憶し、通信部を介して情報処理装置１６に送信する。   The voice input device 15 is an example of an input device. The voice input device 15 has a microphone that converts the collected voice into an analog electrical signal, and an A / D converter that amplifies the electrical signal output from the microphone and converts it into an analog / digital signal. The voice input device 15 is disposed in the vicinity of the voice output device 14 belonging to the same voice output unit 12 and is disposed so as to collect voice in a space where a person who listens to the guidance voice-outputted from the voice output device 14 exists. Be done. The voice input device 15 generates an input voice obtained by converting an analog voice acquired from the space into a digital voice. Input speech is an example of input data. The voice input device 15 further includes a processing unit such as a CPU, a storage unit such as a semiconductor memory, a communication unit, and the like. The processing unit stores the generated input voice in the storage unit, and transmits the generated input voice to the information processing apparatus 16 via the communication unit.

データベース装置１７は、データベース装置７と同様の構成を有する。但し、データベース装置１７は、表示情報テーブルの代わりに、音声出力情報テーブルを記憶する。音声出力情報テーブルには、音声出力装置１４から出力する音声出力情報毎に、各音声出力情報の識別情報（音声出力情報ＩＤ）、各音声出力情報を出力する音声出力装置１４の識別情報（音声出力装置ＩＤ）及び出力内容等の各情報が関連付けて記憶されている。音声出力情報は、出力装置に出力する出力情報の一例である。音声出力情報は、例えば券売機又は自動販売機を利用するためのガイダンス等である。音声出力情報ＩＤは、各音声出力情報に一意に割り当てられた情報である。音声出力装置ＩＤは、各音声出力装置１４に一意に割り当てられた情報である。   The database device 17 has the same configuration as the database device 7. However, the database device 17 stores an audio output information table instead of the display information table. In the voice output information table, identification information (voice output information ID) of each voice output information and identification information of voice output device 14 for outputting each voice output information for each voice output information output from the voice output device 14 Each information such as output device ID) and output contents is stored in association with each other. The voice output information is an example of output information to be output to the output device. The voice output information is, for example, guidance for using a ticket vending machine or a vending machine. The voice output information ID is information uniquely assigned to each voice output information. The voice output device ID is information uniquely assigned to each voice output device 14.

また、データベース装置１７は、ユーザテーブルにおいて、登録生体情報として、登録顔情報を記憶する代わりに、登録声紋情報を記憶する。登録声紋情報は、事前に登録された各ユーザの声紋（サウンドスペクトログラム）のパターン、又は、そのパターンにおける音声特徴等を示す特徴情報である。声紋のパターンは、各ユーザが発する音声に応じた音声信号の成分を時間軸及び周波数軸からなる２次元のグラフ上に分布したパターンである。なお、ユーザテーブルにおいて、ユーザ毎に、それぞれ異なる発話内容に対応する複数の登録声紋情報が記憶されてもよい。   Further, the database device 17 stores registered voiceprint information as registered biometric information in the user table instead of storing registered face information. The registered voiceprint information is a pattern of a voiceprint (sound spectrogram) of each user registered in advance, or feature information indicating voice characteristics and the like in the pattern. The voiceprint pattern is a pattern in which components of a voice signal according to voices emitted by each user are distributed on a two-dimensional graph composed of a time axis and a frequency axis. A plurality of registered voiceprint information corresponding to different utterance contents may be stored for each user in the user table.

（他の情報処理装置１６の概略構成）
図１０は、他の情報処理装置１６の概略構成の一例を示す図である。情報処理装置１６は、情報処理装置１６は、情報処理装置６と同様の構成を有する。但し、情報処理装置１６は、出力制御部として、表示制御部６３５の代わりに音声出力制御部１６３５を有する。 (Schematic Configuration of Other Information Processing Apparatus 16)
FIG. 10 is a diagram showing an example of a schematic configuration of another information processing apparatus 16. The information processing apparatus 16 has the same configuration as the information processing apparatus 6. However, the information processing apparatus 16 includes an audio output control unit 1635 as an output control unit instead of the display control unit 635.

（情報処理装置１６による表示制御処理の動作の例）
図１１は、情報処理装置１６による音声出力制御処理の動作の例を示すフローチャートである。この動作フローは、予め記憶部６２に記憶されているプログラムに基づいて、主に処理部６３により、情報処理装置１６の各要素と協働して実行される。 (Example of operation of display control processing by information processing device 16)
FIG. 11 is a flowchart illustrating an example of the operation of the audio output control process by the information processing device 16. The operation flow is mainly executed by the processing unit 63 in cooperation with each element of the information processing apparatus 16 based on a program stored in advance in the storage unit 62.

最初に、取得部６３１は、入力生体情報として、通信部６１を介して音声入力装置１５から、音声入力装置１５によって集音された入力音声を取得し、記憶部６２に記憶する（ステップＳ２０１）。   First, the acquisition unit 631 acquires the input voice collected by the voice input device 15 from the voice input device 15 through the communication unit 61 as input biometric information, and stores the input voice in the storage unit 62 (step S201). .

次に、照合部６３３は、入力音声から入力生体情報として検出された入力声紋情報を、ユーザテーブルに登録された各ユーザの登録声紋情報と照合し、入力音声に対応する各人物を特定する（ステップＳ２０２）。照合部６３３は、入力音声を所定期間毎に解析し、閾値以上の音圧（振幅）を有する期間における声紋（サウンドスペクトログラム）を入力声紋情報として検出する。   Next, the collation unit 633 collates the input voiceprint information detected as input biometric information from the input voice with the registered voiceprint information of each user registered in the user table, and specifies each person corresponding to the input voice ( Step S202). The collation unit 633 analyzes the input speech every predetermined period, and detects a voiceprint (sound spectrogram) in a period having a sound pressure (amplitude) equal to or more than a threshold as input voiceprint information.

照合部６３３は、通信部６１を介してデータベース装置１７から、情報提供システム１に登録されている各ユーザの登録声紋情報を受信し、検出した入力声紋情報と、受信した登録声紋情報のそれぞれとの類似度を算出する。照合部６３３は、検出した入力声紋情報から所定の音声特徴を算出し、検出した入力声紋情報から算出した音声特徴と、受信した登録声紋情報に基づく音声特徴との差を正規化した値の逆数を類似度として算出する。音声特徴は、例えば、時間軸及び周波数軸からなる２次元のグラフ上に分布された声紋のパターンの位置及び／又は形状等である。なお、照合部６３３は、入力声紋情報が示す声紋のパターンと、登録声紋情報が示す声紋のパターンの正規化相互相関値を類似度として算出してもよい。   The collation unit 633 receives registration voiceprint information of each user registered in the information providing system 1 from the database device 17 through the communication unit 61, and detects each of the detected input voiceprint information and the received registration voiceprint information. Calculate the similarity of The collation unit 633 calculates a predetermined voice feature from the detected input voiceprint information, and is a reciprocal of a value obtained by normalizing the difference between the voice feature calculated from the detected input voiceprint information and the voice feature based on the received registered voiceprint information. Is calculated as the similarity. The voice feature is, for example, the position and / or shape of a voiceprint pattern distributed on a two-dimensional graph consisting of a time axis and a frequency axis. The matching unit 633 may calculate the normalized cross-correlation value of the voiceprint pattern indicated by the input voiceprint information and the voiceprint pattern indicated by the registered voiceprint information as the similarity.

照合部６３３は、算出した類似度の中で最も高い類似度が所定閾値以上である場合、その入力声紋情報に対応する人物は、その類似度が算出された登録声紋情報に対応するユーザであると特定し、照合に成功したと判定する。   If the highest similarity among the calculated similarities is equal to or greater than the predetermined threshold, the matching unit 633 is a user corresponding to the registered voiceprint information for which the similarity is calculated. It is determined that the verification is successful.

次に、抽出部６３４は、ユーザテーブルに登録されている各使用言語毎に、入力音声から検出された各入力声紋情報との照合に成功した各ユーザの登録声紋情報と関連付けて登録されている数に基づいて評価値を算出する（ステップＳ２０３）。例えば、抽出部６３４は、入力音声から検出された各入力声紋情報との照合に成功した各ユーザの登録声紋情報と関連付けて登録されている数を評価値として算出する。   Next, the extraction unit 634 is registered in association with the registered voiceprint information of each user who successfully matched the input voiceprint information detected from the input voice for each language used registered in the user table. An evaluation value is calculated based on the number (step S203). For example, the extraction unit 634 calculates, as an evaluation value, the number registered in association with the registered voiceprint information of each user who has succeeded in matching the input voiceprint information detected from the input voice.

次に、抽出部６３４は、ステップＳ１０５と同様にして、各言語に対応する行動パターンに基づいて、各言語の評価値を補正する（ステップＳ２０４）。例えば、抽出部６３４は、音声出力ユニット１２が自動販売機である場合に、その自動販売機で販売する商品を利用する習慣を有さないという行動パターンに対応する言語の評価値が、算出した値より小さくなるように補正する。   Next, the extraction unit 634 corrects the evaluation value of each language based on the action pattern corresponding to each language, as in step S105 (step S204). For example, when the voice output unit 12 is a vending machine, the extraction unit 634 calculates the evaluation value of the language corresponding to the behavior pattern that there is no habit of using the product sold by the vending machine. Make corrections to be smaller than the value.

次に、抽出部６３４は、ステップＳ１０６と同様にして、各使用言語の評価値に基づいて、情報提供システム１に登録されている複数の使用言語の中から言語を抽出する（ステップＳ２０５）。   Next, the extraction unit 634 extracts a language from the plurality of used languages registered in the information providing system 1 based on the evaluation value of each used language, as in step S106 (step S205).

次に、音声出力制御部１６３５は、抽出部６３４により抽出された言語により音声出力情報を出力するための音声出力データを生成し、生成した音声出力データを通信部６１を介して音声出力装置１４に送信し、その音声出力情報を音声出力装置１４から出力させ（ステップＳ２０６）、一連のステップを終了する。   Next, the audio output control unit 1635 generates audio output data for outputting audio output information in the language extracted by the extraction unit 634, and the generated audio output data is transmitted to the audio output device 14 via the communication unit 61. , And the voice output information is output from the voice output device 14 (step S206), and the series of steps are completed.

音声出力制御部１６３５は、入力音声を集音した音声入力装置１５と同一の音声出力ユニット１２に属する音声出力装置１４に、抽出部６３４により抽出された言語により、その音声出力装置１４に関連付けられた音声出力情報を音声出力するための音声出力データを送信する。   The voice output control unit 1635 associates the voice output device 14 belonging to the same voice output unit 12 as the voice input device 15 that has collected the input voice with the voice output device 14 in the language extracted by the extraction unit 634. The voice output data for voice output of the voice output information is transmitted.

以上詳述したとおり、情報処理装置１６は、複数の人物が聴取可能な音声出力装置１４を有する情報提供システム１において、音声出力装置１４が配置された空間に存在する人物の内の最も多くの人物が使用する言語により、音声出力装置１４から音声情報を出力する。例えば、券売機、自動販売機等の前に、様々な言語を使用する複数の人物が存在する場合、情報処理装置１６は、最も多くの人物が使用する言語により、ガイダンスを音声出力する。これにより、情報処理装置１６は、より多くのユーザに理解されるように情報を出力することが可能となる。   As described above in detail, in the information providing system 1 having the audio output device 14 that can be heard by a plurality of persons, the information processing device 16 is the largest number of persons among the persons present in the space where the audio output device 14 is disposed. Audio information is output from the audio output device 14 according to the language used by the person. For example, when there are a plurality of persons using various languages in front of a ticket vending machine, a vending machine, etc., the information processing apparatus 16 outputs voice according to the language used by the largest number of persons. Thus, the information processing device 16 can output information so as to be understood by more users.

（他の変形例）
なお、情報処理装置６又は１６とデータベース装置７又は１７は、同一の装置として構成されてもよい。その場合、情報処理装置６又は１６の記憶部６２に、データベース装置７又は１７が記憶している各テーブルが記憶され、情報処理装置６又は１６は記憶部６２から各テーブルを読み出すことにより、各テーブルに含まれる各情報を取得する。 (Other modifications)
Note that the information processing device 6 or 16 and the database device 7 or 17 may be configured as the same device. In that case, each table stored in the database device 7 or 17 is stored in the storage unit 62 of the information processing device 6 or 16, and each information processing device 6 or 16 reads each table from the storage unit 62. Get each information included in the table.

また、情報処理装置６と、表示装置４及び／又は撮像装置５とは、同一の装置として構成されてもよい。その場合、情報処理装置６の各部と、表示装置４及び／又は撮像装置５の各部とはバスを介して接続され、情報処理装置６はバスを介して表示装置４及び／又は撮像装置５と各種データを送受信する。   Further, the information processing device 6 and the display device 4 and / or the imaging device 5 may be configured as the same device. In that case, each part of the information processing device 6 and each part of the display device 4 and / or the imaging device 5 are connected via a bus, and the information processing device 6 is connected to the display device 4 and / or the imaging device 5 via the bus. Send and receive various data.

同様に、情報処理装置１６と、音声出力装置１４及び／又は音声入力装置１５とは、同一の装置として構成されてもよい。その場合、情報処理装置１６の各部と、音声出力装置１４及び／又は音声入力装置１５の各部とはバスを介して接続され、情報処理装置１６はバスを介して音声出力装置１４及び／又は音声入力装置１５と各種データを送受信する。   Similarly, the information processing device 16 and the voice output device 14 and / or the voice input device 15 may be configured as the same device. In that case, each part of the information processing device 16 and each part of the voice output device 14 and / or the voice input device 15 are connected via a bus, and the information processing device 16 is connected via the bus to the voice output device 14 and / or voice. It transmits and receives various data to and from the input device 15.

また、情報提供システム１は、出力装置として、表示装置４の代わりに音声出力装置１４を有してもよい。その場合、データベース装置７は、表示情報テーブルの代わりに音声出力情報テーブルを有し、情報処理装置６は、表示制御部６３５の代わりに音声出力制御部１６３５を有する。ステップＳ１０７において、音声出力制御部１６３５は、抽出部６３４により抽出された言語により音声出力情報を出力するための音声出力データを生成し、生成した音声出力データを通信部６１を介して音声出力装置１４に送信し、その音声出力情報を音声出力装置１４から出力させる。   Further, the information providing system 1 may have an audio output device 14 instead of the display device 4 as an output device. In that case, the database device 7 has an audio output information table instead of the display information table, and the information processing device 6 has an audio output control unit 1635 instead of the display control unit 635. In step S107, the audio output control unit 1635 generates audio output data for outputting audio output information in the language extracted by the extraction unit 634, and the generated audio output data is output to the audio output device via the communication unit 61. The voice output information is transmitted from the voice output device 14.

同様に、情報提供システム１１は、出力装置として、音声出力装置１４の代わりに表示装置４を有してもよい。その場合、データベース装置１７は、音声出力情報テーブルの代わりに表示情報テーブルを有し、情報処理装置１６は、音声出力制御部１６３５の代わりに表示制御部６３５を有する。ステップＳ２０６において、表示制御部６３５は、抽出部６３４により抽出された言語により表示情報を表示するための表示データを生成し、生成した表示データを通信部６１を介して表示装置４に送信し、その表示情報を表示装置４に表示させる。   Similarly, the information providing system 11 may have a display device 4 instead of the audio output device 14 as an output device. In that case, the database device 17 has a display information table instead of the voice output information table, and the information processing device 16 has a display control unit 635 instead of the voice output control unit 1635. In step S206, the display control unit 635 generates display data for displaying display information in the language extracted by the extraction unit 634, and transmits the generated display data to the display device 4 via the communication unit 61. The display information is displayed on the display device 4.

また、入力データに含まれる生体情報は、複数でなく、一つでもよい。その場合、抽出部６３４は、複数の言語の中から、入力データから検出された人物の入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出する。表示制御部６３５は、その抽出された言語により表示情報を表示装置４に表示させる。または、音声出力制御部１６３５は、その抽出された言語により音声出力情報を音声出力装置１４から出力させる。   Moreover, the biometric information contained in input data may not be plural but one. In that case, the extraction unit 634 extracts, from among the plurality of languages, the language registered in association with the registered biometric information that has successfully matched the input biometric information of the person detected from the input data. The display control unit 635 causes the display device 4 to display the display information in the extracted language. Alternatively, the audio output control unit 1635 causes the audio output device 14 to output audio output information according to the extracted language.

また、照合部６３３は、入力生体情報と複数の登録生体情報との照合結果を用いて、入力生体情報と各登録生体情報との照合に成功したか否かを判定してもよい。上記したように、照合部６３３は、入力生体情報と各登録生体情報について算出した類似度の中で最も高い類似度が所定閾値以上である場合、その入力生体情報に対応する人物は、その類似度が算出された登録生体情報に対応するユーザであると特定し、照合に成功したと判定する。一方、照合部６３３は、算出した最も高い類似度が所定閾値未満である場合、類似度が所定閾値より低い所定値以上である登録生体情報を抽出し、類似度が所定値以上である登録生体情報が複数存在するか否かを判定する。   The matching unit 633 may also use the matching result of the input biometric information and the plurality of pieces of registered biometric information to determine whether the matching of the input biometric information with each piece of registered biometric information has succeeded. As described above, when the highest similarity among the similarity calculated for the input biometric information and each registered biometric information is equal to or greater than the predetermined threshold, the matching unit 633 determines that the person corresponding to the input biometric information is the same. It is determined that the user corresponds to the registered biometric information whose degree is calculated, and it is determined that the matching is successful. On the other hand, when the highest similarity calculated is less than the predetermined threshold, the collation unit 633 extracts registered biometric information having the similarity equal to or higher than the predetermined value lower than the predetermined threshold, and registered biometrics having the similarity equal to or higher than the predetermined value. It is determined whether there is a plurality of pieces of information.

類似度が所定値以上である登録生体情報が複数存在する場合、照合部６３３は、各言語毎に、類似度が所定値以上である登録生体情報の数に対する、類似度が所定値以上である登録生体情報の内の各言語に関連付けて登録された登録生体情報の数の比率を算出する。照合部６３３は、算出した比率の中で最も高い比率が所定比率（例えば７０％）以上であるときは、その入力生体情報と、その言語に関連付けられて登録された登録生体情報の内の特定の登録生体情報との照合に成功したと判定する。例えば、照合部６３３は、その入力生体情報と、その言語に関連付けられて登録された登録生体情報の中で類似度が最も高い登録生体情報との照合に成功したと判定する。   If there is a plurality of registered biometric information in which the degree of similarity is equal to or greater than a predetermined value, the matching unit 633 has the similarity to the number of pieces of registered biometric information in which the degree of similarity is equal to or greater than a predetermined value. The ratio of the number of registered biometric information registered in association with each language in the registered biometric information is calculated. If the highest ratio among the calculated ratios is equal to or greater than a predetermined ratio (for example, 70%), the collation unit 633 identifies the input biometric information and the registered biometric information registered in association with the language. It is determined that the collation with the registered biometric information of has succeeded. For example, the matching unit 633 determines that the matching of the input biometric information with the registered biometric information having the highest similarity among the registered biometric information associated with the language is successful.

このように、照合部６３３は、類似度が所定値以上である登録生体情報の数に対する、その登録生体情報の内の同一の言語に関連付けて登録された登録生体情報の数の比率が所定比率以上であるときは、照合に成功したと判定する。この場合、照合部６３３は、仮に入力生体情報に対応する人物自体の特定を誤っていたとしても、その人物が使用する言語を正しく特定している可能性が高い。したがって、情報処理装置６又は１６は、入力生体情報と複数の登録生体情報との照合結果を用いることにより、入力生体情報に対応する人物が使用する言語を精度良く特定することが可能となる。   In this manner, the matching unit 633 is configured such that the ratio of the number of registered biometric information registered in association with the same language in the registered biometric information to the number of registered biometric information having a similarity degree equal to or more than a predetermined value is a predetermined ratio If it is above, it is determined that the matching is successful. In this case, even if the matching unit 633 incorrectly identifies the person corresponding to the input biometric information, there is a high possibility that the language used by the person is correctly identified. Therefore, the information processing apparatus 6 or 16 can specify the language used by the person corresponding to the input biometric information with high accuracy by using the collation result of the input biometric information and the plurality of registered biometric information.

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。   It is to be understood that one of ordinary skill in the art can add various changes, substitutions, and alterations thereto without departing from the spirit and scope of the present invention.

４ 表示装置
５ 撮像装置
６、１６ 情報処理装置
７ データベース装置
６３１ 取得部
６３２ 検出部
６３３ 照合部
６３４ 抽出部
６３５ 表示制御部
１４ 音声出力装置
１５ 音声入力装置
１６３５ 音声出力制御部 REFERENCE SIGNS LIST 4 display device 5 imaging device 6, 16 information processing device 7 database device 631 acquisition unit 632 detection unit 633 verification unit 634 extraction unit 635 display control unit 14 audio output device 15 audio input device 1635 audio output control unit

Claims (13)

出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、
前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
前記情報処理装置が、
人物の生体情報が含まれる入力データを取得し、
前記入力データから検出された各入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合し、
前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、前記評価値に基づいて前記複数の言語の中から言語を抽出し、
前記抽出された言語により前記出力情報を前記出力装置に出力する、
ことを含むことを特徴とする情報処理装置の制御方法。 A control method of an information processing apparatus connectable to an output device and a storage device, comprising:
The storage device stores output information to be output to the output device, and for each of a plurality of users, registered biometric information of each user is associated with a language used by each of the plurality of languages. The registered user table is stored,
The information processing apparatus
Acquire input data that contains biometric information of a person,
Each input biometric information detected from the input data is collated with registered biometric information of each user registered in the user table;
For each of the plurality of languages, an evaluation value is calculated based on the number registered in association with the registered biometric information of each user who succeeded in matching with each input biometric information detected from the input data, and the evaluation value is calculated Extract a language from the plurality of languages based on
Outputting the output information to the output device according to the extracted language;
Control method of an information processing apparatus characterized by including; 前記抽出において、前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数を前記評価値として算出し、前記複数の言語の中から前記評価値が最大である言語を抽出する、請求項１に記載の制御方法。   In the extraction, for each of the plurality of languages, a number registered in association with registered biometric information of each user who has succeeded in matching with each input biometric information detected from the input data is calculated as the evaluation value, The control method according to claim 1, wherein a language with the largest evaluation value is extracted from a plurality of languages. 前記抽出において、前記複数の言語の中から、前記出力装置が配置されている領域における公用語を除いて、言語を抽出する、請求項１または２に記載の制御方法。   The control method according to claim 1 or 2, wherein in the extraction, the language is extracted from among the plurality of languages except an official language in a region where the output device is arranged. 前記記憶装置には、複数の言語毎に、各言語を使用する人種の行動パターンが記憶された言語テーブルが記憶され、
前記抽出において、各言語に対応する前記行動パターンに基づいて、前記評価値を補正する、請求項１〜３の何れか一項に記載の制御方法。 The storage device stores, for each of a plurality of languages, a language table in which behavioral patterns of races using each language are stored.
The control method according to any one of claims 1 to 3, wherein in the extraction, the evaluation value is corrected based on the behavior pattern corresponding to each language. 前記出力装置は、表示装置であり、
前記出力情報は、前記表示装置に表示する表示情報であり、
前記登録生体情報は、登録顔情報であり、
前記入力データは、撮像装置によって撮像された入力画像であり、
前記入力生体情報は、入力顔情報である、請求項１〜４の何れか一項に記載の制御方法。 The output device is a display device,
The output information is display information to be displayed on the display device,
The registered biometric information is registered face information,
The input data is an input image captured by an imaging device,
The control method according to any one of claims 1 to 4, wherein the input biometric information is input face information. 前記情報処理装置は、複数の前記表示装置と接続可能であり、
前記入力画像から検出された各入力顔情報との照合に成功した各ユーザの登録顔情報と関連付けて登録された数が多いほど、各言語により前記表示情報を表示する表示装置の数が多くなるように、前記複数の表示装置のそれぞれに前記表示情報を表示する言語を決定する、請求項５に記載の制御方法。 The information processing apparatus can be connected to a plurality of the display devices,
The larger the number registered in association with the registered face information of each user who successfully matched the input face information detected from the input image, the larger the number of display devices displaying the display information in each language The control method according to claim 5, wherein a language in which the display information is displayed is determined on each of the plurality of display devices. 前記抽出において、前記入力画像から検出された各入力顔情報との照合に成功した各ユーザが前記表示装置側を向いているか否かを判定し、前記入力画像から検出された各入力顔情報との照合に成功した各ユーザが前記表示装置側を向いているか否かに応じて、前記評価値を補正する、請求項５または６に記載の制御方法。   In the extraction, it is determined whether or not each user who successfully matched the input face information detected from the input image faces the display device side, and each input face information detected from the input image The control method according to claim 5 or 6, wherein the evaluation value is corrected in accordance with whether or not each user who succeeded in the collation is facing the display device side. 前記照合において、前記入力生体情報との類似度が所定値以上である登録生体情報が複数存在する場合、前記類似度が前記所定値以上である登録生体情報の数に対する、当該登録生体情報の内の同一の言語に関連付けて登録された登録生体情報の数の比率が所定比率以上であるときは、当該入力生体情報と、当該同一の言語に関連付けられて登録された登録生体情報の内の特定の登録生体情報との照合に成功したと判定する、請求項１〜７の何れか一項に記載の制御方法。   In the collation, when there is a plurality of registered biometric information whose similarity to the input biometric information is equal to or greater than a predetermined value, the number of registered biometric information with respect to the number of registered biometric information whose similarity is equal to or greater than the predetermined value When the ratio of the number of registered biometric information registered in association with the same language is equal to or greater than a predetermined ratio, the input biometric information and a specific one of the registered biometric information registered in association with the same language The control method according to any one of claims 1 to 7, wherein it is determined that the collation with the registered biometric information is successful. 出力装置及び記憶装置と接続可能な情報処理装置であって、
前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
人物の生体情報が含まれる入力データを取得する取得部と、
前記入力データから検出された各入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、
前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、前記評価値に基づいて前記複数の言語の中から言語を抽出する抽出部と、
前記抽出された言語により前記出力情報を前記出力装置に出力する出力制御部と、
を有することを特徴とする情報処理装置。 An information processing apparatus connectable to an output device and a storage device,
The storage device stores output information to be output to the output device, and for each of a plurality of users, registered biometric information of each user is associated with a language used by each of the plurality of languages. The registered user table is stored,
An acquisition unit for acquiring input data including biometric information of a person;
A collation unit that collates each input biometric information detected from the input data with registered biometric information of each user registered in the user table;
For each of the plurality of languages, an evaluation value is calculated based on the number registered in association with the registered biometric information of each user who succeeded in matching with each input biometric information detected from the input data, and the evaluation value is calculated An extraction unit which extracts a language from the plurality of languages based on
An output control unit that outputs the output information to the output device according to the extracted language;
An information processing apparatus comprising: 出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、
前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
前記情報処理装置に、
人物の生体情報が含まれる入力データを取得し、
前記入力データから検出された各入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合し、
前記複数の言語毎に、前記入力データから検出された各入力生体情報との照合に成功した各ユーザの登録生体情報と関連付けて登録された数に基づいて評価値を算出し、前記評価値に基づいて前記複数の言語の中から言語を抽出し、
前記抽出された言語により前記出力情報を前記出力装置に出力する、
ことを実行させることを特徴とする制御プログラム。 A control program of an information processing apparatus connectable to an output device and a storage device, the control program comprising:
The storage device stores output information to be output to the output device, and for each of a plurality of users, registered biometric information of each user is associated with a language used by each of the plurality of languages. The registered user table is stored,
In the information processing apparatus,
Acquire input data that contains biometric information of a person,
Each input biometric information detected from the input data is collated with registered biometric information of each user registered in the user table;
For each of the plurality of languages, an evaluation value is calculated based on the number registered in association with the registered biometric information of each user who succeeded in matching with each input biometric information detected from the input data, and the evaluation value is calculated Extract a language from the plurality of languages based on
Outputting the output information to the output device according to the extracted language;
A control program characterized in that it performs. 出力装置及び記憶装置と接続可能な情報処理装置の制御方法であって、
前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
前記情報処理装置が、
人物の生体情報が含まれる入力データを取得し、
前記入力データから検出された入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合し、
前記複数の言語の中から、前記入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出し、
前記抽出された言語により前記出力情報を前記出力装置に出力する、
ことを含むことを特徴とする情報処理装置の制御方法。 A control method of an information processing apparatus connectable to an output device and a storage device, comprising:
The storage device stores output information to be output to the output device, and for each of a plurality of users, registered biometric information of each user is associated with a language used by each of the plurality of languages. The registered user table is stored,
The information processing apparatus
Acquire input data that contains biometric information of a person,
The input biometric information detected from the input data is collated with the registered biometric information of each user registered in the user table,
From the plurality of languages, a language registered in association with registered biometric information that has been successfully collated with the input biometric information detected from the input data is extracted,
Outputting the output information to the output device according to the extracted language;
Control method of an information processing apparatus characterized by including; 出力装置及び記憶装置と接続可能な情報処理装置であって、
前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
人物の生体情報が含まれる入力データを取得する取得部と、
前記入力データから検出された入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合する照合部と、
前記複数の言語の中から、前記入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出する抽出部と、
前記抽出された言語により前記出力情報を前記出力装置に出力する出力制御部と、
を有することを特徴とする情報処理装置。 An information processing apparatus connectable to an output device and a storage device,
The storage device stores output information to be output to the output device, and for each of a plurality of users, registered biometric information of each user is associated with a language used by each of the plurality of languages. The registered user table is stored,
An acquisition unit for acquiring input data including biometric information of a person;
A collation unit which collates input biometric information detected from the input data with registered biometric information of each user registered in the user table;
An extraction unit that extracts, from among the plurality of languages, a language registered in association with registered biometric information that has been successfully collated with the input biometric information detected from the input data;
An output control unit that outputs the output information to the output device according to the extracted language;
An information processing apparatus comprising: 出力装置及び記憶装置と接続可能な情報処理装置の制御プログラムであって、
前記記憶装置には、前記出力装置に出力する出力情報が記憶されるとともに、複数のユーザ毎に、各ユーザの登録生体情報と、複数の言語の内の各ユーザが使用する言語とが関連付けて登録されたユーザテーブルが記憶され、
前記情報処理装置に、
人物の生体情報が含まれる入力データを取得し、
前記入力データから検出された入力生体情報を、前記ユーザテーブルに登録された各ユーザの登録生体情報と照合し、
前記複数の言語の中から、前記入力データから検出された入力生体情報との照合に成功した登録生体情報と関連付けて登録された言語を抽出し、
前記抽出された言語により前記出力情報を前記出力装置に出力する、
ことを実行させることを特徴とする制御プログラム。 A control program of an information processing apparatus connectable to an output device and a storage device, the control program comprising:
The storage device stores output information to be output to the output device, and for each of a plurality of users, registered biometric information of each user is associated with a language used by each of the plurality of languages. The registered user table is stored,
In the information processing apparatus,
Acquire input data that contains biometric information of a person,
The input biometric information detected from the input data is collated with the registered biometric information of each user registered in the user table,
From the plurality of languages, a language registered in association with registered biometric information that has been successfully collated with the input biometric information detected from the input data is extracted,
Outputting the output information to the output device according to the extracted language;
A control program characterized in that it performs.
JP2018101057A 2017-10-02 2018-05-25 Control method, information processing apparatus, and control program Active JP6611859B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017192964 2017-10-02
JP2017192964 2017-10-02

Publications (2)

Publication Number Publication Date
JP2019066817A true JP2019066817A (en) 2019-04-25
JP6611859B2 JP6611859B2 (en) 2019-11-27

Family

ID=66340588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018101057A Active JP6611859B2 (en) 2017-10-02 2018-05-25 Control method, information processing apparatus, and control program

Country Status (1)

Country Link
JP (1) JP6611859B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275935A (en) * 2004-03-25 2005-10-06 Omron Corp Terminal device
JP2015219768A (en) * 2014-05-19 2015-12-07 ソニー株式会社 Information processing system, storage medium, and information processing method
US20160027046A1 (en) * 2014-07-24 2016-01-28 Samsung Electronics Co., Ltd. Method and device for playing advertisements based on relationship information between viewers
JP2017009777A (en) * 2015-06-22 2017-01-12 セイコーエプソン株式会社 Display device, control method of display device, display system and program
WO2018146846A1 (en) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 Information display device and information display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005275935A (en) * 2004-03-25 2005-10-06 Omron Corp Terminal device
JP2015219768A (en) * 2014-05-19 2015-12-07 ソニー株式会社 Information processing system, storage medium, and information processing method
US20160027046A1 (en) * 2014-07-24 2016-01-28 Samsung Electronics Co., Ltd. Method and device for playing advertisements based on relationship information between viewers
JP2017009777A (en) * 2015-06-22 2017-01-12 セイコーエプソン株式会社 Display device, control method of display device, display system and program
WO2018146846A1 (en) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 Information display device and information display system

Also Published As

Publication number Publication date
JP6611859B2 (en) 2019-11-27

Similar Documents

Publication Publication Date Title
JP6611772B2 (en) Control method, information processing apparatus, and control program
JP6267861B2 (en) Usage measurement techniques and systems for interactive advertising
US10341544B2 (en) Determining a matching score between users of wearable camera systems
US10592929B2 (en) Systems and methods for delivering content
JP4165095B2 (en) Information providing apparatus and information providing method
US9530144B2 (en) Content output device, content output method, content output program, and recording medium having content output program recorded thereon
WO2018012924A1 (en) Augmented reality device and operation thereof
US20130044922A1 (en) Information processing device, information processing method, program, and information processing system
KR20160013266A (en) Personalized advertisement selection system and method
WO2016203718A1 (en) Facial recognition system, facial recognition server, and customer information presentation method
CN107766403B (en) Photo album processing method, mobile terminal and computer readable storage medium
CN104021398A (en) Wearable intelligent device and method for assisting identity recognition
JP2010113313A (en) Electronic advertisement apparatus, electronic advertisement method and program
CN114168644A (en) Interaction method, equipment and system for exhibition scene
US20130229342A1 (en) Information providing system, information providing method, information processing apparatus, method of controlling the same, and control program
CN111339420A (en) Image processing method, image processing device, electronic equipment and storage medium
Yu et al. AI-based targeted advertising system
JP2017156514A (en) Electronic signboard system
US8311839B2 (en) Device and method for selective image display in response to detected voice characteristics
JP5339631B2 (en) Digital photo display apparatus, system and program having display
JP7110738B2 (en) Information processing device, program and information processing system
CN113850627A (en) Elevator advertisement display method and device and electronic equipment
JP6611859B2 (en) Control method, information processing apparatus, and control program
JP2009289183A (en) Content providing system, content providing method and program
CN113724454B (en) Interaction method of mobile equipment, device and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R150 Certificate of patent or registration of utility model

Ref document number: 6611859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250