JP7140963B2 - 判定プログラム、判定方法および判定装置 - Google Patents
判定プログラム、判定方法および判定装置 Download PDFInfo
- Publication number
- JP7140963B2 JP7140963B2 JP2018091283A JP2018091283A JP7140963B2 JP 7140963 B2 JP7140963 B2 JP 7140963B2 JP 2018091283 A JP2018091283 A JP 2018091283A JP 2018091283 A JP2018091283 A JP 2018091283A JP 7140963 B2 JP7140963 B2 JP 7140963B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- gazes
- interest
- display
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 description 45
- 230000010365 information processing Effects 0.000 description 44
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 26
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101100006960 Caenorhabditis elegans let-2 gene Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
さらに、1つの案では、上記判定プログラムにしたがった処理と同様の処理を実行する判定装置が提供される。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る判定装置の構成例および処理例を示す図である。図1に示す判定装置1は、ある対象物に対する人物からの視線の検出結果に基づいて、その人物の対象物に対する関心度を判定するための装置である。図1では例として、対象物2a~2cが配列されており、これらのうち対象物2aに対する人物3の関心度が判定されるものとする。また、例として、対象物2a~2cの近傍には、人物3の視線を検出するための視線センサ4が配置されているものとする。
図1に示すテーブル5では、注視が判定される時刻ごとに、その時点での注視回数が対応付けられている。また、注視回数の欄に矢印が記載されている場合、矢印の前が回数補正部1bによる補正前の注視回数を示し、矢印の後が補正後の注視回数を示す。このテーブル5では、例として、時刻t1~t7のうち、時刻t1,t3,t5~t7において、人物3が対象物2aを注視したと判定されたものとする。また、時刻t7において、対象物2aに対する人物3の関心が高まったものとする。例えば、対象物2aが商品の場合、時刻t7において、商品の購入を決めた、商品を手にとろうとした、商品の詳細を知りたいと思った、というような人物3の心の動きが生じたものとする。
図2は、第2の実施の形態に係る商品案内システムの構成例を示す図である。図2に示す商品案内システムは、情報処理装置100、ディスプレイ210および視線センサ220を含む。
前述のように、ディスプレイ210には、複数の商品のそれぞれについての商品情報が表示される。本実施の形態では例として、商品情報として商品の画像が表示されるものとする。また、本実施の形態では、ディスプレイ210の表示面の座標平面上(すなわち、表示画像の座標平面上)に、表示された商品の画像に対応する商品領域が商品ごとに設定される。商品領域は、対応する商品を顧客が注視したかを判定するために利用される。
図4は、関心が高まった場合の処理の一例を示す図である。情報処理装置100は、例えば、ある商品に対する関心が高まったと判定した場合、その商品についてあらかじめ決められた情報をディスプレイ210に表示させる。図4は、商品画像214に対する関心が高まった場合に、対応する商品を説明するための情報214bが表示された例を示している。この例の他、情報処理装置100は、例えば、商品の拡大画像、商品と合わせて購入を勧める他の商品に関する情報などをディスプレイ210に表示させることもできる。
図5は、陳列された商品に対する関心度を判定する場合について説明するための図である。図5の例では、商品311~314が陳列されるとともに、それらの近くに視線センサ220が設置され、顧客300の視線を検出できるようになっている。このような場合、例えば、顧客300と商品311~314との間に、商品311~314の並列方向にほぼ平行な仮想平面が設定される。そして、仮想平面上における、顧客300から仮想平面を介して商品が視認できる範囲に、その商品に対応する商品領域が設定される。図5の例では、商品311~314にそれぞれ対応する商品領域311a~314aが設定されている。
情報処理装置100は、例えば、図6に示すようなコンピュータとして実現される。情報処理装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはPLD(Programmable Logic Device)である。また、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。
RAM102は、情報処理装置100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
以上のようなハードウェア構成によって、情報処理装置100の処理機能を実現することができる。
赤外線LED221は、顧客に対して赤外光を照射する。この赤外光は、顧客の瞳孔中に生じる角膜反射像(プルキニエ像)を得るためのものである。広角カメラ222は、少なくとも顧客の顔全体を撮像できるような広角の視野を有する。広角カメラ222は固定されているので、広角カメラ222の視野も固定されている。狭角カメラ223は、広角カメラ222と比較して狭角な視野を有し、顧客の顔のパーツ、具体的には目領域を撮像する。また、狭角カメラ223は、ズーム機構を備えている。狭角カメラ223の撮像方向は、図示しないアクチュエータによって変化するようになっており、これにより、狭角カメラ223の撮像方向を目領域に追随させることができる。
図7は、情報処理装置が備える処理機能の構成例を示す図である。情報処理装置100は、記憶部110、視線検出部121、商品注視判定部122、注視回数補正部123、関心状態判定部124および商品情報表示制御部125を有する。なお、商品注視判定部122、注視回数補正部123、関心状態判定部124は、それぞれ図1に示した計数部1a、回数補正部1b、判定部1cの一例である。
目視点座標管理テーブル112には、視線検出部121によって検出された目視点の座標が、その検出時刻とともに登録される。また、目視点座標管理テーブル112には、商品注視判定部122により、目視点の検出時刻に顧客がいずれかの商品を注視したと判定された場合、注視された商品の識別情報が時刻と対応付けて登録される。
商品情報管理テーブル114には、商品に対する顧客の関心が高まった場合にディスプレイ210に表示させる情報が、商品ごとに登録されている。
前述のように、関心状態判定部124は、注視回数管理テーブル113に登録された、ある商品についての注視回数が閾値を超えた場合に、その商品に対する顧客の関心が高まったと判定する。注視回数は、基本的に、顧客が商品領域を注視するたびにカウントアップされていく。
上記のように、ある商品に対する関心が高まっていくと、注視点はその商品に対応する商品領域に徐々に集中していく。すなわち、関心が高まっていくのに連れて、直近の期間における注視回数(すなわち、注視頻度)が徐々に増加していく。このことから、注視回数補正部123は、関心状態判定部124で実行される閾値判定に対して、一定時間前における注視頻度より直近の注視頻度の方が大きな影響を与えるように、現在の注視回数を補正する。
図12は、注視回数の遷移例を示す図である。また、図13は、ある時刻での注視回数の計数値を示す図である。図13(A)は、時刻T7における注視回数を示し、図13(B)は、時刻T13における注視回数を示す。
図14は、視線検出の処理手順を示すフローチャートの例である。なお、図14の初期状態では、視線センサ220の広角カメラ222による撮像画像から、顧客の顔が検出されていない状態であるとする。
図15、図16は、関心状態の判定処理手順を示すフローチャートの例である。
[ステップS31]注視回数補正部123は、商品を1つ選択する。
[ステップS32]注視回数補正部123は、目視点座標管理テーブル112に登録された商品IDに基づき、時間TM2だけ前の時刻において、ステップS31で選択された商品が注視されたかを判定する。目視点座標管理テーブル112における、時間TM2だけ前のレコードに、ステップS31で選択された商品の商品IDが登録されていた場合に、商品が注視されたと判定される。また、時間TM2は、例えば、注視判定の周期(時間TM1)の倍数(ただし、2倍以上)に設定される。注視回数補正部123は、該当する商品が注視された場合、ステップS33の処理を実行し、該当する商品が注視されていない場合、ステップS34の処理を実行する。
<変形例1>
ディスプレイ210に表示される商品の個数が多いほど、関心を持つ商品が絞り込まれるまでの時間が長くなる可能性がある。そのため、関心を持つ商品が絞り込まれるまでの間に、商品間を視線が頻繁に移動して、その結果として各商品の注視回数が均等に増加していく可能性がある。そこで、商品の個数が多いほど、図16のステップS35において関心が高まったかを判定するための閾値THを、高い値に設定してもよい。
前述のように、複数の商品が表示されている場合、最初は商品間で視線が頻繁に移動するが、その後、視線が注がれる対象は徐々に絞り込まれていく。そこで、時間が経過するほど、図16のステップS35において関心が高まったかを判定するための閾値THを、高い値に設定してもよい。
[ステップS34a]関心状態判定部124は、図15のステップS21で目視点座標の取得を開始してからの経過時間に基づいて、閾値THを決定する。
以上の変形例2によれば、複数の商品の中から特定の商品に対する関心が高まった場合でも、関心が高まった商品を正確に判定できる。
変形例3では、関心が高まったと判定された商品の近くに、その商品に関する商品情報を表示させる。これにより、顧客の視線移動を少なくして商品情報の視認を容易にし、顧客の利便性を高める。
図20の例では、衣服を着せた2体のマネキン321,322を並べて配置する。この場合、マネキン321,322に着せた衣服が商品となる。また、この例では、上記の1台のディスプレイ210に代えて、2台のディスプレイ210a,210bが用いられる。ディスプレイ210aはマネキン321の近くに配置され、ディスプレイ210bはマネキン322の近くに配置される。これにより、マネキン321に着せた商品に関する商品情報をディスプレイ210aに表示させ、マネキン322に着せた商品に関する商品情報をディスプレイ210bに表示させる。
変形例3の関心状態判定処理では、図15のステップS21~S29、および図16のステップS31~S35が実行される。そして、ステップS35において「No」と判定された場合、図16と同様にステップS37が実行される。一方、ステップS35において「Yes」と判定された場合、以下のステップS41が実行される。
例えば、顧客が商品に近づき、やがて顧客が商品の前に位置する。このとき、視線検出部121によって顧客の顔が検出され、図14のステップS11で「Yes」と判定される。すると、商品情報表示制御部125は、図23に示すように、ディスプレイ210a,210bの一方(ここではディスプレイ210bとする)に案内情報241を表示させ、顧客の視線をディスプレイ210bに誘導する。続けて、商品情報表示制御部125は、同じディスプレイ210bに案内情報242を表示させ、陳列されている商品を見るように顧客に促す。さらに続けて、商品情報表示制御部125は、図24に示すように、案内情報243a,243bを表示させるとともに、各商品を指し示す矢印244a~244fを表示させる。矢印244a~244fは、それぞれ図20の表示領域231~236に表示される。このとき、顧客の関心が高まったかを判定する処理(図15のステップS21~S29,図16のS31~S35)が実行される。
1a 計数部
1b 回数補正部
1c 判定部
2a~2c 対象物
3 人物
4 視線センサ
5 テーブル
Claims (4)
- コンピュータに、
複数の対象物のそれぞれについて、
人物の視線の検出結果に基づいて、前記人物が前記複数の対象物のうち対応する対象物を注視した注視回数を計数し、
所定時間前の時刻に前記対応する対象物が注視されていた場合に当該対象物に対応する前記注視回数が減算されるように、前記注視回数を補正し、
前記複数の対象物に含まれる対象物の個数が多いほど高い値に設定される閾値に基づき、前記対応する対象物についての補正後の前記注視回数が前記閾値を超えた場合に、前記人物の当該対象物に対する関心度が高まったことを示す情報を出力する 、
処理を実行させる判定プログラム。 - 前記注視回数の計数では、一定時間間隔で前記人物が前記対応する対象物を注視したかを判定し、注視したと判定された場合に当該対象物に対応する前記注視回数を増加させ、
前記注視回数の補正では、前記一定時間間隔で、現在時刻から前記所定時間前の時刻に前記対応する対象物が注視されていたかを判定し、注視されていた場合に、当該対象物に対応する前記注視回数から所定の値を減算する、
請求項1記載の判定プログラム。 - コンピュータが、
複数の対象物のそれぞれについて、
人物の視線の検出結果に基づいて、前記人物が前記複数の対象物のうち対応する対象物を注視した注視回数を計数し、
所定時間前の時刻に前記対応する対象物が注視されていた場合に当該対象物に対応する前記注視回数が減算されるように、前記注視回数を補正し、
前記複数の対象物に含まれる対象物の個数が多いほど高い値に設定される閾値に基づき、前記対応する対象物についての補正後の前記注視回数が前記閾値を超えた場合に、前記人物の当該対象物に対する関心度が高まったことを示す情報を出力する 、
判定方法。 - 複数の対象物のそれぞれについて、
人物の視線の検出結果に基づいて、前記人物が前記複数の対象物のうち対応する対象物を注視した注視回数を計数し、
所定時間前の時刻に前記対応する対象物が注視されていた場合に当該対象物に対応する前記注視回数が減算されるように、前記注視回数を補正し、
前記複数の対象物に含まれる対象物の個数が多いほど高い値に設定される閾値に基づき、前記対応する対象物についての補正後の前記注視回数が前記閾値を超えた場合に、前記人物の当該対象物に対する関心度が高まったことを示す情報を出力する、処理部 、
を有する判定装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018063441 | 2018-03-29 | ||
JP2018063441 | 2018-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019175413A JP2019175413A (ja) | 2019-10-10 |
JP7140963B2 true JP7140963B2 (ja) | 2022-09-22 |
Family
ID=68167052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018091283A Active JP7140963B2 (ja) | 2018-03-29 | 2018-05-10 | 判定プログラム、判定方法および判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7140963B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7247784B2 (ja) * | 2019-06-26 | 2023-03-29 | トヨタ紡織株式会社 | 興味推定システム |
JPWO2022075377A1 (ja) * | 2020-10-07 | 2022-04-14 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010004118A (ja) | 2008-06-18 | 2010-01-07 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
JP2010049498A (ja) | 2008-08-21 | 2010-03-04 | Fujitsu Ltd | 情報検索装置、情報検索方法及び情報検索プログラム |
JP2012022589A (ja) | 2010-07-16 | 2012-02-02 | Hitachi Ltd | 商品選択支援方法 |
-
2018
- 2018-05-10 JP JP2018091283A patent/JP7140963B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010004118A (ja) | 2008-06-18 | 2010-01-07 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
JP2010049498A (ja) | 2008-08-21 | 2010-03-04 | Fujitsu Ltd | 情報検索装置、情報検索方法及び情報検索プログラム |
JP2012022589A (ja) | 2010-07-16 | 2012-02-02 | Hitachi Ltd | 商品選択支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019175413A (ja) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230404296A1 (en) | Image display device, image display system, image display method, and program | |
JP6649306B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9582070B2 (en) | Detecting user input provided to a projected user interface | |
EP2905680B1 (en) | Information processing apparatus, information processing method, and program | |
JP5418093B2 (ja) | 表示装置および制御方法 | |
JP6707940B2 (ja) | 情報処理装置及びプログラム | |
RU2609100C2 (ru) | Способ содействия обнаружению желаемого предмета в месте хранения | |
US20180321739A1 (en) | Electronic device and method for controlling display | |
JP2018099317A (ja) | 陳列棚、陳列棚システム、情報処理装置及びプログラム | |
US10600065B2 (en) | Information processing apparatus for performing customer gaze analysis | |
JP2015141572A (ja) | 商品情報提供方法、商品情報提供装置および商品情報提供プログラム | |
JP7140963B2 (ja) | 判定プログラム、判定方法および判定装置 | |
WO2017163879A1 (ja) | 行動分析装置、行動分析システム、行動分析方法及びプログラム | |
JP2016076109A (ja) | 顧客購買意思予測装置及び顧客購買意思予測方法 | |
JP2010055248A (ja) | 客層付販売情報生成システム | |
WO2019135313A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN104731314A (zh) | 使用面向运动的生物计量数据提供最后已知浏览位置提示 | |
US9619707B2 (en) | Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium | |
KR101396488B1 (ko) | 신호 입력 장치 및 신호 입력 방법 | |
JP2024041880A5 (ja) | 電子機器、およびプログラム | |
JP6476678B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20240070637A1 (en) | Self-Checkout System | |
JP6007758B2 (ja) | ユーザ操作端末装置、ユーザ操作端末プログラム | |
US10719703B2 (en) | Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus | |
WO2019176281A1 (ja) | 表示制御装置、自動販売機、表示制御方法、及び表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210218 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7140963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |