JP5518919B2

JP5518919B2 - 顔登録装置、プログラムおよび顔登録方法

Info

Publication number: JP5518919B2
Application number: JP2012044207A
Authority: JP
Inventors: 大介山本; 優佳小林; 豪田崎
Original assignee: Toshiba Corp; Toshiba TEC Corp
Current assignee: Toshiba Corp; Toshiba TEC Corp
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2014-06-11
Anticipated expiration: 2032-02-29
Also published as: JP2013182325A

Description

本発明の実施形態は、顔登録装置、プログラムおよび顔登録方法に関する。

従来、人型のロボットに顔認識技術を適用して、来訪者を識別して個別に対応することができる受付案内システムが開示されている。

一般の顔認識技術においては、顔の登録には顔画像とその顔画像に対応付けする名前・ＩＤなどの入力が必要なため、特に銀行、病院、店舗などの各種施設内などの不特定多数の人が多く存在する環境では、オフラインでの登録が必須となっている。

そこで、従来技術においては、腕部を有するロボットが来訪者と握手する際に、顔画像を撮像し、顔の登録を行うようにしている。

特開２００５−１９３３５１号公報

しかしながら、従来技術においては、ロボットが来訪者と握手するという特殊環境を利用して顔画像を撮像しており、決してスムーズな顔画像取得方法とはなっていない。

実施形態の顔登録装置は、該装置の周囲の状況を撮像する撮像手段と、前記撮像手段で撮像した画像から人物の顔領域を検出する顔検出手段と、所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声を出力する音声出力手段とを備える。また、前記音声出力手段による前記呼び掛け音声の出力前後における前記顔検出手段による前記人物の顔領域の変化に基づいて、前記呼び掛け内容に対して反応した顔画像を検出する反応検出手段と前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔画像が複数だった場合に、前記反応検出手段で検出した呼び掛け内容に対して反応した複数の顔画像の内、一の顔画像を選択する選択処理を実行する選択手段と、前記反応検出手段で検出した前記顔画像または前記選択手段で選択した前記顔画像と、前記呼び掛け内容とを対応付けて登録する顔登録手段と、を備える。

実施形態のプログラムは、周囲の状況を撮像する撮像手段を備える顔登録装置を制御するコンピュータを、前記撮像手段で撮像した画像から人物の顔領域を検出する顔検出手段と、所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声を出力する音声出力手段と、として機能させる。また、コンピュータを、前記音声出力手段による前記呼び掛け音声の出力前後における前記顔検出手段による前記人物の顔領域の変化に基づいて、前記呼び掛け内容に対して反応した顔画像を検出する反応検出手段と、前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔画像が複数だった場合に、前記反応検出手段で検出した呼び掛け内容に対して反応した複数の顔画像の内、一の顔画像を選択する選択処理を実行する選択手段と、前記反応検出手段で検出した前記顔画像または前記選択手段で選択した前記顔画像と、前記呼び掛け内容とを対応付けて登録する顔登録手段と、として機能させる。

実施形態の顔登録方法は、周囲の状況を撮像する撮像手段を備える顔登録装置で実行される顔登録方法であって、顔検出手段が、前記撮像手段で撮像した画像から人物の顔領域を検出する工程と、音声出力手段が、所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声を出力する工程と、を含む。また、反応検出手段が、前記音声出力手段による前記呼び掛け音声の出力前後における前記顔検出手段による前記人物の顔領域の変化に基づいて、前記呼び掛け内容に対して反応した顔画像を検出する工程と、選択手段が、前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔画像が複数だった場合に、前記反応検出手段で検出した呼び掛け内容に対して反応した複数の顔画像の内、一の顔画像を選択する選択処理を実行する工程と、顔登録手段が、前記反応検出手段で検出した前記顔画像または前記選択手段で選択した前記顔画像と、前記呼び掛け内容とを対応付けて登録する工程と、を含む。

実施形態にかかる顔登録装置の外観を示す斜視図である。情報処理装置の電装系の構成を示すブロック図である。アシスト装置の構成を機能的に示すブロック図である。人物検出部の機能構成を示す機能ブロック図である。呼び掛けデータＤＢのデータ例を示す模式図である。顔登録処理における機能構成を示す機能ブロック図である。顔登録処理の流れを示すフローチャートである。顔検出手段の機能構成を示す機能ブロック図である。

図１は、実施形態にかかる顔登録装置１の外観を示す斜視図である。この顔登録装置１は、銀行、病院、店舗などの各種施設内などで利用されるものであって、例えば顧客と対面した状態で、顧客の顔登録を行う情報端末である。なお、顔登録装置１は必ずしも顧客と向かい合っている状態である必要はなく、後述する人物検出部２９（図３参照）や顔検出手段８１（図６参照）によって検出が可能な状態であれば足りる。このような顔登録装置１は、顧客の顔登録の主体となる情報処理装置２と、マスコットロボット等と称される人型や動物型の擬人的なアシスト装置３と、を備えている。

まず、情報処理装置２について説明する。情報処理装置２は、例えばポイントサービス装置としても機能する。図１に示すように、情報処理装置２は、筐体４の上面にアシスト装置３を載置している。

また、情報処理装置２は、筐体４に、所定の情報をカラー画像で表示可能なＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）や有機ＥＬディスプレイなどで構成された表示装置５、この表示装置５の表示面に重ねて配置されるものであって例えば抵抗膜式のタッチパネル６、非接触型無線ＩＣカードである会員カードや携帯電話との間でデータの授受を行うカードリーダ７、例えば各種チケット等を発行するための発行口８等を備えている。カードリーダ７は、非接触ＩＣカードや携帯電話と無線通信を確立し、非接触ＩＣカードや携帯電話に対して情報を読む。非接触ＩＣカードや携帯電話は、一例として現金と等価な価値を有する電子マネーや会員番号を記憶保存することが可能である。図１中、カードリーダ７の内部に図示しないアンテナが内蔵され、このアンテナを介して非接触ＩＣカードや携帯電話との間の無線通信が確立される。また、カードリーダ７は、カードに書かれたバーコードや２次元コードを読むコードリーダであっても良い。

このような情報処理装置２の電装系は図２に示すように構成されている。ここで、図２は情報処理装置２の電装系の構成を示すブロック図である。

図２に示すように、情報処理装置２は、ＣＰＵ（Central Processing Unit）、制御プログラムを格納するＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されるコンピュータ構成の情報処理制御部１１と、不揮発性ＲＯＭやＨＤＤ（Hard Disk Drive）等で構成されるメモリ部１２とを保有し、バス１３を介して接続された通信部１４を介してアシスト装置３との間で相互にオンライン通信を実行し得るように構成されている。

また、情報処理制御部１１には、バス１３及びＩ／Ｏ機器制御部１５を介して、前述した表示装置５、タッチパネル６、カードリーダ７が接続され、さらに、プリンタ９が接続されている。このプリンタ９は筐体４に内蔵され、情報処理制御部１１の制御によって、例えば各種チケット等を印刷し発行口８から発行する。表示装置５は、情報処理制御部１１の制御によって、ユーザに対する可視的なガイダンス情報として画像やメッセージを表示する。

メモリ部１２は、後述する顔登録処理による顔画像と顔特徴情報と各種情報とを対応付けて記憶するＤＢとしても機能する。

続いて、アシスト装置３について説明する。ここで、図３はアシスト装置３の構成を機能的に示すブロック図である。図１及び図３に示すように、アシスト装置３は、主に、頭部２０と、胴体部２１とを備えている。

さらに、アシスト装置３は、図１及び図３に示すように、頭部２０にカメラ部２３を備え、胴体部２１にマイク２４と、スピーカ２５と、通信部２６と、操作部２７とを備えている。また、アシスト装置３は、胴体部２１の内部に、画像処理部２８と、人物検出部２９と、音声認識部３０と、動作制御部３１と、記憶部３２と、これらのハードウェアを統括的に制御する統括制御部３３とを備える。統括制御部３３は、ＣＰＵ、制御プログラムを格納するＲＯＭ、ＲＡＭ等で構成されるコンピュータ構成となっている。

なお、アシスト装置３は、ＲＯＭにプログラムが記憶された状態にて販売や譲渡がなされても良いし、記憶媒体に記憶された状態や通信回線を介した通信により販売または譲渡されたプログラムが任意にアシスト装置３にインストールされても良い。なお、上記の記憶媒体としては、磁気ディスク、光磁気ディスク、光ディスク、あるいは半導体メモリなどのあらゆる種類のものを利用できる。

カメラ部２３は、ＣＣＤセンサなどの撮像素子を有した撮像手段として機能するものであって、アシスト装置３の周囲の状況を撮像する。画像処理部２８は、カメラ部２３によって撮像された映像を画像処理してデジタル画像に変換する。

人物検出部２９は、銀行、病院、店舗などの各種施設における来訪者の識別を担うものであって、画像処理部２８によって処理された画像から顔登録装置１の前に立つ人物を検出する。人物の検出手法としては、例えば特開２００５−１６５４４７号公報に開示された技術を用いることができる。概略的には、図４に示すように、人物検出部２９は、顔領域検出部５１、顔特徴抽出部５２、照合演算部５３、結果出力部５４を有している。なお、人物検出部２９は、統括制御部３３のＣＰＵがプログラムに従って実行することによって実現されるものであっても良い。

顔領域検出部５１は、画像処理部２８により入力された画像から人物の顔領域を検出する。顔特徴抽出部５２は、顔領域検出部５１により検出された顔領域内の顔の特徴情報を抽出する。

照合演算部５３は、顔特徴抽出部５２により抽出された顔特徴情報と、メモリ部１２に記憶された各個人の個人顔特徴情報とを照合することにより両情報の類似度を求め、この求めた類似度のうち所定値以上の類似度および当該所定値以上の類似度が得られた個人顔特徴情報に対応させてメモリ部１２に保持されている人物の各種情報を出力する。結果出力部５４は、照合演算部５３の演算結果を出力する。

また、図１及び図３に示すように、アシスト装置３の胴体部２１の一部に動作機構４０が形成されており、動作制御部３１は、動作機構４０の駆動を制御する。ここで、動作機構４０は、例えば羽形状の構造体であって、動作制御部３１の制御によって上下方向に羽ばたく動作を実行することが可能である。

加えて、アシスト装置３の胴体部２１の一部に動作機構５０が形成されており、動作制御部３１は、動作機構５０の駆動も制御する。ここで、動作機構５０は、例えば頭部２０を横方向及び縦方向に動作させる機構であって、動作制御部３１の制御によって頭部２０の横振り動作、頭部２０の縦振り動作、頭部２０の縦振りおよび横振りの複合動作を実行することが可能である。

スピーカ２５は、ユーザに対し音声によるメッセージや報知音等を出力する。通信部２６は、情報処理装置２との間で相互に情報のやり取りを行うために設けられている。マイク２４は、アシスト装置３の周囲の音や人物の発する声を集音する。操作部２７は、スピーカ２５より出力される情報などに基づいて、ユーザがキー操作により情報を入力するためのものである。

音声認識部３０は、マイク２４を介して入力された音声信号を入力として、集音された人物の音声と対応する文字や単語列の音声認識結果を生成する。音声認識部３０は、マイク２４を介して入力された音声信号に対して言語辞書との比較を行うことにより利用者の発話内容を認識する。なお、音声認識部３０は、日本語、英語、中国語の３カ国語にそれぞれ対応して、言語毎の辞書（日本語辞書、英語辞書および中国語辞書）を記憶する辞書メモリを備える。

記憶部３２には、呼び掛け内容を記憶する呼び掛けデータデータベース（以下、呼び掛けデータＤＢという）６０が記憶されている。図５は、呼び掛けデータＤＢ６０のデータ例を示す模式図である。図５に示すように、呼び掛けデータＤＢ６０は、後述する顔登録処理を実行する際に利用するためのものであってデータ番号がそれぞれ付与された一つの呼び掛けデータについて日本語、英語、中国語の３カ国語を設定している。例えば、日本語で「○○を説明します。興味のある人は集まってください」という呼び掛けデータに対して、英語および中国語に翻訳した呼び掛けデータも設定されている。なお、呼び掛けデータは、テキスト情報を音声信号に変換する音声合成処理を施すものであっても良いし、予め用意した音声信号を再生するものであっても良い。なお、音声合成の技術は、すでに確立しており、そのソフトウェアも市販されているので、その説明は省略する。

次に、顔登録装置１が実行する機能について説明する。前述したように、この顔登録装置１は、顧客と対面した状態で、顧客の顔登録を行う情報端末である。概略的には、顔登録装置１は、銀行、病院、店舗などの各種施設の受付での呼び掛けによる該当者の顔登録を想定している。

ここで、図６は顔登録処理における機能構成を示す機能ブロック図、図７は顔登録処理の流れを示すフローチャートである。

アシスト装置３の統括制御部３３のＣＰＵで実行されるプログラムは、図６に示すような各部（顔検出手段８１、音声出力手段８２、反応検出手段８３、顔登録手段８４、選択手段８５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵがＲＯＭからプログラムを読み出して実行することにより上記各部がＲＡＭ上にロードされ、顔検出手段８１、音声出力手段８２、反応検出手段８３、顔登録手段８４、選択手段８５がＲＡＭ上に生成されるようになっている。

図７のフローチャートに示すように、顔登録装置１のアシスト装置３は、電源がＯＮされると、一定の間隔で頭部２０に設けられたカメラ部２３および画像処理部２８を介して取得されている撮像画像から、顔検出手段８１が人物の顔を検出する（ステップＳ１）。

顔検出手段８１は、画像処理部２８によって処理された画像から顔登録装置１の前に立つ人物の顔を検出する。人物の顔の検出手法としては、例えば特開２００５−１６５４４７号公報に開示された技術を用いることができる。概略的には、図８に示すように、顔検出手段８１は、顔領域検出部８１１、顔特徴抽出部８１２、個人顔特徴作成部８１３を有している。また、顔領域の検出方法として、予め人物領域の検出を行い、顔を捉えられなくても、人物領域の頭部から得ても良い。人物領域検出方法としては、例えば特開２００９−７５８６８号公報に開示された技術を用いることができる。

顔領域検出部８１１は、画像処理部２８により入力された画像から人物の顔領域を検出する。顔特徴抽出部８１２は、顔領域検出部８１１により検出された顔領域内の顔の特徴情報を抽出する。個人顔特徴作成部８１３は、各個人の顔の特徴情報を作成する。

次いで、音声出力手段８２が、所定のタイミングで、所定のデータ番号の呼び掛け内容を呼び掛けデータＤＢ６０から取得して、スピーカ２５を介して呼び掛け音声を出力する（ステップＳ２のＹｅｓ）。これにより、顔登録装置１のアシスト装置３は、“○○さん”、“○○を説明します。興味のある人は集まってください”などの呼び掛け内容をユーザに呼びかける。なお、呼び掛け内容の出力順および出力タイミングは、予め決まっているものでも良いし、ランダムに決まるものであっても良い。また、“○○さん”というような呼び掛け内容については、操作部２７からユーザがキー操作により適宜入力することによって出力されるものであっても良い。

ステップＳ２の呼び掛け音声の出力後、顔検出手段８１が、撮像画像から再び人物の顔を検出し（ステップＳ３）、反応検出手段８３が、呼び掛け音声の出力に際して呼び掛け内容に対して反応した顔の顔画像を検出する（ステップＳ４）。

反応検出手段８３は、例えばステップＳ１で検出した人物の顔の特徴情報とステップＳ３で検出した人物の顔の特徴情報との差分をとり、予め定められた閾値以上の変化があった人物を呼び掛けに対して反応して振り向いた人物として検出し、また、新たに顔が検出された人物を呼び掛けに対して反応して歩いてきた人物として検出する。

なお、反応検出手段８３における反応の検出方法は、顔の特徴情報でなくても、オプティカルフローによる画像変化、画像差分情報による変化領域の抽出などでもよい。

反応検出手段８３は、呼び掛け内容に対して反応した顔の顔画像を検出できなかった場合（ステップＳ５のＮｏ）、ステップＳ１に戻って、一定の間隔で頭部２０に設けられたカメラ部２３および画像処理部２８を介して取得されている撮像画像から、顔検出手段８１が人物の顔を検出する（ステップＳ１）。

一方、反応検出手段８３は、呼び掛け内容に対して反応した顔の顔画像を検出できた場合（ステップＳ５のＹｅｓ）、呼び掛け内容に対して反応した人物が１名だけだった場合には（ステップＳ６のＹｅｓ）、顔登録手段８４が、反応検出手段８３で検出した顔画像と呼び掛け内容を対応付けてメモリ部１２に登録する（ステップＳ７）。例えば、“○○を説明します。興味のある人は集まってください”と音声出力した場合には、反応検出手段８３で検出した顔画像の人物を、「○○に興味がある」という呼び掛け内容を嗜好情報として登録する。

なお、音声出力手段８２は、呼び掛け内容として言語を変えるようにしても良い。ある言語（例えば、中国語）で“こっち見て”と呼び掛けた際、反応する人は、ある言語を話す人（例えば、中国語を話す人）であることが想定される。そこで、音声出力手段８２は、特定言語で話し掛け、反応検出の有無を反応検出手段８３で検出する。この場合、顔登録手段８４は、反応検出手段８３で検出した顔画像と、顔特徴情報と、呼び掛け内容および呼び掛けた言語を対応付けてメモリ部１２に登録する。

一方、反応検出手段８３が呼び掛け内容に対して反応した顔の顔画像を検出できた場合であって（ステップＳ５のＹｅｓ）、呼び掛け内容に対して反応した人物が複数名だった場合には（ステップＳ６のＮｏ）、複数名の顔画像の全てを選択してもよいが、選択手段８５が、反応検出手段８３で検出した呼び掛け内容に対して反応した複数名の顔画像の内、一の顔画像を選択する選択処理を実行してもよい（ステップＳ８）。

一例としては、選択手段８５は、顔の選択に、顔領域の変化（大きさの変化、向きの変化、位置の変化）を利用する。例えば、顔が大きくなったり、顔の向きが正面になったり、撮像画像の真ん中に位置したりした顔を選択する。また、選択手段８５は、反応検出手段８３で検出した呼び掛け内容に対して反応した人の顔画像の内、最も変化が大きいものに限定して選択するようにしても良い。

別の一例としては、例えば音声出力手段８２が“○○を説明します。興味のある人は集まってください”と音声出力した場合に、選択手段８５は、検出された顔の１つが画像中心になるようにカメラ部２３を備えた頭部２０を動作機構５０を介して動作させて（本実施形態においては、頭部２０に備えられたカメラ部２３と対象となる人物の目を合わせる位置（対象となる人物の顔画像が画像中心になる位置）に動作させる）、再度、音声出力手段８２によって音声出力（例えば、“○○に興味ありますか。”）を行い、質問に対して適切な回答が（例えば“はい”など）マイク２４を介して入力された音声信号に対する音声認識部３０の音声認識において認識された場合に、画像中央にいる検出された顔画像を選択する。

以上のようにして反応検出手段８３で検出した呼び掛け内容に対して反応した複数の顔の顔画像の内、一の顔画像が選択されると、顔登録手段８４が、選択手段８５で選択された顔画像と呼び掛け内容を対応付けてメモリ部１２に登録する（ステップＳ７）。

このように、本実施形態の顔登録装置によれば、所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声の出力前後におけるカメラ部２３で撮像した画像から人物の顔領域の変化に基づいて、呼び掛け内容に対して反応した顔画像を検出し、検出した顔画像と呼び掛け内容とを対応付けて登録することにより、従来、自らが登録しない限り利用できなかった顔情報を使ったサービスを、より簡単に自動的に扱うことが可能となる。例えば、銀行・病院・医院などの受付システムでの呼び出しや、店舗などのサイネージにおける顧客情報収集、来店数に応じたサービス提供や、ＡＴＭなどでの不審者検出に役立てることが可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１顔登録装置
２３撮像手段
３０音声認識部
５０動作機構
８１顔検出手段
８２音声出力手段
８３反応検出手段
８４顔登録手段
８５選択手段

Claims

該装置の周囲の状況を撮像する撮像手段と、
前記撮像手段で撮像した画像から人物の顔領域を検出する顔検出手段と、
所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声を出力する音声出力手段と、
前記音声出力手段による前記呼び掛け音声の出力前後における前記顔検出手段による前記人物の顔領域の変化に基づいて、前記呼び掛け内容に対して反応した顔画像を検出する反応検出手段と、
前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔画像が複数だった場合に、前記反応検出手段で検出した呼び掛け内容に対して反応した複数の顔画像の内、一の顔画像を選択する選択処理を実行する選択手段と、
前記反応検出手段で検出した前記顔画像または前記選択手段で選択した前記顔画像と、前記呼び掛け内容とを対応付けて登録する顔登録手段と、
を備える顔登録装置。
前記反応検出手段は、前記呼び掛け音声の出力前後における前記人物の顔領域の変化について予め定められた閾値以上の変化があった人物を前記呼び掛け内容に対して反応して振り向いた人物として検出する、
請求項１記載の顔登録装置。
前記反応検出手段は、前記呼び掛け音声の出力後に新たに前記人物の顔領域が検出された人物を前記呼び掛け内容に対して反応した人物として検出する、
請求項１記載の顔登録装置。
前記選択手段は、前記人物の顔領域の変化を選択に利用する、
請求項１記載の顔登録装置。
前記選択手段は、前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔の顔画像の内、最も変化が大きいものに限定して選択する、
請求項１記載の顔登録装置。
前記撮像手段の位置を移動させる動作機構と、
入力された音声信号の音声認識を行う音声認識部と、
を備え、
前記選択手段は、前記反応検出手段で検出した前記呼び掛け内容に対して反応した前記顔画像の１つが画像の略中心に位置するように前記撮像手段を動作させ、再度、前記音声出力手段によって所定の呼び掛け内容にかかる呼び掛け音声を出力し、前記音声認識部を介して所望の回答が音声認識された場合に、前記顔画像を選択する、
請求項１記載の顔登録装置。
周囲の状況を撮像する撮像手段を備える顔登録装置を制御するコンピュータを、
前記撮像手段で撮像した画像から人物の顔領域を検出する顔検出手段と、
所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声を出力する音声出力手段と、
前記音声出力手段による前記呼び掛け音声の出力前後における前記顔検出手段による前記人物の顔領域の変化に基づいて、前記呼び掛け内容に対して反応した顔画像を検出する反応検出手段と、
前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔画像が複数だった場合に、前記反応検出手段で検出した呼び掛け内容に対して反応した複数の顔画像の内、一の顔画像を選択する選択処理を実行する選択手段と、
前記反応検出手段で検出した前記顔画像または前記選択手段で選択した前記顔画像と、前記呼び掛け内容とを対応付けて登録する顔登録手段と、
として機能させるためのプログラム。
周囲の状況を撮像する撮像手段を備える顔登録装置で実行される顔登録方法であって、
顔検出手段が、前記撮像手段で撮像した画像から人物の顔領域を検出する工程と、
音声出力手段が、所定のタイミングで所定の呼び掛け内容にかかる呼び掛け音声を出力する工程と、
反応検出手段が、前記音声出力手段による前記呼び掛け音声の出力前後における前記顔検出手段による前記人物の顔領域の変化に基づいて、前記呼び掛け内容に対して反応した顔画像を検出する工程と、
選択手段が、前記反応検出手段で検出した前記呼び掛け内容に対して反応した顔画像が複数だった場合に、前記反応検出手段で検出した呼び掛け内容に対して反応した複数の顔画像の内、一の顔画像を選択する選択処理を実行する工程と、
顔登録手段が、前記反応検出手段で検出した前記顔画像または前記選択手段で選択した前記顔画像と、前記呼び掛け内容とを対応付けて登録する工程と、
を含む顔登録方法。