JPH06162A - 視線情報解析装置 - Google Patents
視線情報解析装置Info
- Publication number
- JPH06162A JPH06162A JP4162806A JP16280692A JPH06162A JP H06162 A JPH06162 A JP H06162A JP 4162806 A JP4162806 A JP 4162806A JP 16280692 A JP16280692 A JP 16280692A JP H06162 A JPH06162 A JP H06162A
- Authority
- JP
- Japan
- Prior art keywords
- image
- eyeball
- function
- eye movement
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
(57)【要約】
【目的】 この発明は人の画像に対する客観的な評価方
法がより広範囲に柔軟に適用できるように、画像内容と
眼球運動の相関を見出すアルゴリズムと、眼球運動を時
系列的に解析し、その特徴量を見出すアルゴリズムとを
備えた視線情報解析装置を提供することを主要な特徴と
する。 【構成】 眼球運動検出装置3によって眼球1の運動を
検出し、解析装置5によって検出された眼球の時系列変
化を周波数領域で解析し、画像入力部7から入力された
表示される画像の内容を表示内容解析装置8で解析し、
両者を統合解析部6で統合処理することにより、被験者
の心理的な観察状態,画像に対する客観的な評価につい
て信頼性の高いデータを得る。
法がより広範囲に柔軟に適用できるように、画像内容と
眼球運動の相関を見出すアルゴリズムと、眼球運動を時
系列的に解析し、その特徴量を見出すアルゴリズムとを
備えた視線情報解析装置を提供することを主要な特徴と
する。 【構成】 眼球運動検出装置3によって眼球1の運動を
検出し、解析装置5によって検出された眼球の時系列変
化を周波数領域で解析し、画像入力部7から入力された
表示される画像の内容を表示内容解析装置8で解析し、
両者を統合解析部6で統合処理することにより、被験者
の心理的な観察状態,画像に対する客観的な評価につい
て信頼性の高いデータを得る。
Description
【0001】
【産業上の利用分野】この発明は視線情報解析装置に関
し、特に、観察者に提示される画像内容と、観察者の眼
球運動の不随意的な挙動とがお互いに強い相関があるこ
とを利用し、眼球運動の時系列的な変化を解析すること
により、実像と画像を観察した場合の観察者の心理的な
状態を予測あるいは客観的評価をするような視線情報解
析装置に関する。
し、特に、観察者に提示される画像内容と、観察者の眼
球運動の不随意的な挙動とがお互いに強い相関があるこ
とを利用し、眼球運動の時系列的な変化を解析すること
により、実像と画像を観察した場合の観察者の心理的な
状態を予測あるいは客観的評価をするような視線情報解
析装置に関する。
【0002】
【従来の技術】視線の動きには、随意的な成分と不随意
的な成分が含まれていることが知られている。特に、眼
球運動の不随意的な挙動を指標とした画像評価が近年盛
んになってきている。その多くは、検出された眼球の速
度,注視時間を主な評価尺度として解析が行なわれてい
る。また、解析の方法は、特定時間、継続的に検出され
た挙動成分を積分した形で捉えていた。この時間につい
ても、定性的な根拠もなかったため、解析する時間領域
の長さに依存して、解析結果に違いが生じる場合がある
という問題点があった。さらに、提示した画像内容を解
析し、眼球運動との定量的な相関を求めたものもなかっ
たため、検出された眼球の挙動を解析する際、かなりお
おまかな傾向を記述するにとどまっていた。
的な成分が含まれていることが知られている。特に、眼
球運動の不随意的な挙動を指標とした画像評価が近年盛
んになってきている。その多くは、検出された眼球の速
度,注視時間を主な評価尺度として解析が行なわれてい
る。また、解析の方法は、特定時間、継続的に検出され
た挙動成分を積分した形で捉えていた。この時間につい
ても、定性的な根拠もなかったため、解析する時間領域
の長さに依存して、解析結果に違いが生じる場合がある
という問題点があった。さらに、提示した画像内容を解
析し、眼球運動との定量的な相関を求めたものもなかっ
たため、検出された眼球の挙動を解析する際、かなりお
おまかな傾向を記述するにとどまっていた。
【0003】図9は従来の視線情報解析装置の概要を示
す図である。図9を参照して、特定の間、被験者は提示
された画像2を自然な状態で観察している。このとき、
眼球運動検出装置3によって被験者の眼球1の変位が検
出され、メモリ4に蓄えられるか、あるいは解析装置5
によって実時間で眼球1の移動速度,注視時間がモニタ
リングされる。あるいは、特定の時間分のデータを一括
して、周波数領域に移して解析することが中心的に行な
われている。
す図である。図9を参照して、特定の間、被験者は提示
された画像2を自然な状態で観察している。このとき、
眼球運動検出装置3によって被験者の眼球1の変位が検
出され、メモリ4に蓄えられるか、あるいは解析装置5
によって実時間で眼球1の移動速度,注視時間がモニタ
リングされる。あるいは、特定の時間分のデータを一括
して、周波数領域に移して解析することが中心的に行な
われている。
【0004】
【発明が解決しようとする課題】従来より、視覚実験で
は眼球運動を眼球運動検出装置3で検出し、その挙動を
何らかの尺度により解析が行なわれている。しかしなが
ら、被験者に提示した画像内容との相関付けを厳密に行
なった例はなく、その解析の方法に関しても、特定の時
間測定された結果についてのものはあるが、刻々と変化
する眼球運動の挙動を解析したものはなかった。眼球運
動と表示内容を相関付ける意義については、1つには動
画像表示を行なったような場合、シーンが変化したとき
の眼球運動との対応付けを説明するのに必要である。表
示される画像が静止画像であっても、特定の観察時間に
おいては、刻々と被験者の興味の対象が変わっていく、
画像内容の精細さに応じた眼球運動の挙動に変化が生じ
たりする点、など動画像の場合と同様にして、静止画像
の場合についても、上述に述べたような対応付けは必要
である。よって、視線の情報を解析するために、統合解
析部を備えることが必要である。
は眼球運動を眼球運動検出装置3で検出し、その挙動を
何らかの尺度により解析が行なわれている。しかしなが
ら、被験者に提示した画像内容との相関付けを厳密に行
なった例はなく、その解析の方法に関しても、特定の時
間測定された結果についてのものはあるが、刻々と変化
する眼球運動の挙動を解析したものはなかった。眼球運
動と表示内容を相関付ける意義については、1つには動
画像表示を行なったような場合、シーンが変化したとき
の眼球運動との対応付けを説明するのに必要である。表
示される画像が静止画像であっても、特定の観察時間に
おいては、刻々と被験者の興味の対象が変わっていく、
画像内容の精細さに応じた眼球運動の挙動に変化が生じ
たりする点、など動画像の場合と同様にして、静止画像
の場合についても、上述に述べたような対応付けは必要
である。よって、視線の情報を解析するために、統合解
析部を備えることが必要である。
【0005】しかしながら、上述のごとく、従来の眼球
を指標とした画像評価の方法は、画像内容を解析し、眼
球運動とを定量的に相関付けたものではなく、また、眼
球運動の挙動を時系列的に解析したものではなかった。
を指標とした画像評価の方法は、画像内容を解析し、眼
球運動とを定量的に相関付けたものではなく、また、眼
球運動の挙動を時系列的に解析したものではなかった。
【0006】それゆえに、この発明の主たる目的は、人
の画像に対する客観的な評価方法がより広範囲に、柔軟
に適用できるように、画像内容と眼球運動の相関を見出
すアルゴリズムと、眼球運動を時系列的に解析し、その
特徴量を見出すアルゴリズムとを備えた視線情報解析装
置を提供することである。
の画像に対する客観的な評価方法がより広範囲に、柔軟
に適用できるように、画像内容と眼球運動の相関を見出
すアルゴリズムと、眼球運動を時系列的に解析し、その
特徴量を見出すアルゴリズムとを備えた視線情報解析装
置を提供することである。
【0007】
【課題を解決するための手段】この発明は視線情報解析
装置であって、眼球の任意の移動量を検出する眼球運動
検出手段と、検出された時間空間上の眼球の挙動データ
を適当な長さのセグメントに分割し、分割された区間毎
に周波数空間に変換し、時系列的な解析をするための解
析手段と、入力された画像を解析し、その解析結果に応
じて画像の持つ異なる複数の特徴量に対して、それぞれ
に重み付けを行ない、その画像の特徴を表現する関数を
記述する関数記述手段と、解析手段による解析結果と関
数記述手段によって記述された結果とを、それぞれの項
目についての関数で一意に結びつけて予測関数を記述し
て統合する統合手段と、統合手段によって記述された画
像内容と眼球の挙動についての予測関数に基づき、画像
内容が既知で眼球の挙動が未知の場合、または眼球の挙
動が既知で画像の内容が未知の場合、それぞれの未知量
を予め記述された予測関数で推定する推定手段を備えて
構成される。
装置であって、眼球の任意の移動量を検出する眼球運動
検出手段と、検出された時間空間上の眼球の挙動データ
を適当な長さのセグメントに分割し、分割された区間毎
に周波数空間に変換し、時系列的な解析をするための解
析手段と、入力された画像を解析し、その解析結果に応
じて画像の持つ異なる複数の特徴量に対して、それぞれ
に重み付けを行ない、その画像の特徴を表現する関数を
記述する関数記述手段と、解析手段による解析結果と関
数記述手段によって記述された結果とを、それぞれの項
目についての関数で一意に結びつけて予測関数を記述し
て統合する統合手段と、統合手段によって記述された画
像内容と眼球の挙動についての予測関数に基づき、画像
内容が既知で眼球の挙動が未知の場合、または眼球の挙
動が既知で画像の内容が未知の場合、それぞれの未知量
を予め記述された予測関数で推定する推定手段を備えて
構成される。
【0008】
【作用】この発明にかかる視線情報解析装置は、画像を
評価しようとする被験者の意思決定過程を、眼球運動の
時間軸上で見たその挙動の変化と、提示される画像内容
と眼球運動との相関付けから推定し、人の画像に対する
客観的な評価結果を得る。
評価しようとする被験者の意思決定過程を、眼球運動の
時間軸上で見たその挙動の変化と、提示される画像内容
と眼球運動との相関付けから推定し、人の画像に対する
客観的な評価結果を得る。
【0009】
【実施例】図1はこの発明の一実施例の概略ブロック図
である。図1を参照して、眼球運動検出装置3は眼球1
の任意の移動量を検出するものであり、その検出出力は
解析装置5に与えられる。解析装置5は眼球運動検出装
置3で検出された眼球運動の変位情報を適当なセグメン
ト長に分割し、分割された時間領域の各セグメントを周
波数領域へ変換する。解析装置5による解析結果は統合
解析部6に与えられる。
である。図1を参照して、眼球運動検出装置3は眼球1
の任意の移動量を検出するものであり、その検出出力は
解析装置5に与えられる。解析装置5は眼球運動検出装
置3で検出された眼球運動の変位情報を適当なセグメン
ト長に分割し、分割された時間領域の各セグメントを周
波数領域へ変換する。解析装置5による解析結果は統合
解析部6に与えられる。
【0010】一方、画像入力部7は、表示すべき画像を
入力するものであり、入力された画像は表示内容解析装
置8に与えられ、画像の特徴量が解析される。その解析
結果は統合解析部6に与えられる。また、表示内容解析
装置8から画像情報が表示装置9に与えられ、画像2が
提示される。
入力するものであり、入力された画像は表示内容解析装
置8に与えられ、画像の特徴量が解析される。その解析
結果は統合解析部6に与えられる。また、表示内容解析
装置8から画像情報が表示装置9に与えられ、画像2が
提示される。
【0011】統合解析部6は解析装置5から与えられた
眼球運動の解析結果と、表示内容解析装置8から与えら
れた表示内容の解析結果とに基づいて、それぞれの項目
についての関数で一意に結びつけて予測関数を記述して
統合する。さらに、統合解析部6は、予測関数に基づ
き、画像内容が既知で、眼球の挙動が未知の場合、また
は眼球の挙動が既知で、画像の内容が未知の場合、それ
ぞれの未知量を予め記述された予測関数で推定する。
眼球運動の解析結果と、表示内容解析装置8から与えら
れた表示内容の解析結果とに基づいて、それぞれの項目
についての関数で一意に結びつけて予測関数を記述して
統合する。さらに、統合解析部6は、予測関数に基づ
き、画像内容が既知で、眼球の挙動が未知の場合、また
は眼球の挙動が既知で、画像の内容が未知の場合、それ
ぞれの未知量を予め記述された予測関数で推定する。
【0012】図2は図1に示した解析装置5による眼球
運動の時系列データのセグメント化とその解析方法につ
いて説明するための図である。図2(a)に示すよう
に、有限長の眼球の変位データ11は、特定の長さのセ
グメントdk (k=1,2…n)で切取られる。ただ
し、各セグメントの長さは一定である。各セグメントの
データは、図2(b)に示すように、分解能の良好な最
大エントロピー法により、周波数領域のデータ12に変
換される。変換された各セグメントのデータDk(k=
1,2…n)は、図2(c)に示すように、周波数軸,
パワースペクトル軸,時間軸の3軸の三次元表示データ
13として表現される。
運動の時系列データのセグメント化とその解析方法につ
いて説明するための図である。図2(a)に示すよう
に、有限長の眼球の変位データ11は、特定の長さのセ
グメントdk (k=1,2…n)で切取られる。ただ
し、各セグメントの長さは一定である。各セグメントの
データは、図2(b)に示すように、分解能の良好な最
大エントロピー法により、周波数領域のデータ12に変
換される。変換された各セグメントのデータDk(k=
1,2…n)は、図2(c)に示すように、周波数軸,
パワースペクトル軸,時間軸の3軸の三次元表示データ
13として表現される。
【0013】このグラフから、画像を観察している場
合、観察者の意思決定過程を初めとして、逆にどのよう
なテクスチャー画像を観察しているかを推定することが
可能となる。すなわち、どのくらいの時間に、どれだけ
の周波数帯域が得られるか、または特定の周波数がどの
時間で生じるのか、パワースペクトルのピークはどのよ
うなものかなど、従来になく、解析に必要な評価尺度が
増える点において、有効である。
合、観察者の意思決定過程を初めとして、逆にどのよう
なテクスチャー画像を観察しているかを推定することが
可能となる。すなわち、どのくらいの時間に、どれだけ
の周波数帯域が得られるか、または特定の周波数がどの
時間で生じるのか、パワースペクトルのピークはどのよ
うなものかなど、従来になく、解析に必要な評価尺度が
増える点において、有効である。
【0014】図3は図1に示した統合解析部における眼
球運動と画像内容の関数を決定する方法を説明するため
の図である。図3を参照して、統合解析部6は眼球運動
時系列変化検出系と画像特徴量時系列変化検出系とを含
む。このために、統合解析部6は眼球運動時系列変化検
出部61と画像特徴量時系列変化検出部62とを含む。
これらの特徴量を定量的に結びつけるため、予め定める
規則にしたがって変数が割当てられる。眼球運動時系列
変化検出部61で検出された眼球運動時系列変化に対し
て割当部63によって変数Aが割当てられ、画像特徴量
時系列変化検出部62で検出された画像特徴量時系列変
化に対して変数割当部64によって変数Bが割当てられ
る。眼球運動に関しての変数の割当ては、3(x,y,
z)軸上に展開された眼球の時系列的な挙動65に関し
て、その関数をG1(x,y,z)とし、この関数を別
な関数G2で近似する場合(66)に得られる係数列b
1,b2,b3,…bnを示す。2つの関数の近似の方
法は、2つの関数の差の二乗(|G1 −G2 |2 )が最
小67になる問題を解くことによる。ニュートンラプラ
ス法などにより、近似解として、b1,b2,b3,…
bn68が得られ、関数G2の係数a1,a2,…an
が決定される。
球運動と画像内容の関数を決定する方法を説明するため
の図である。図3を参照して、統合解析部6は眼球運動
時系列変化検出系と画像特徴量時系列変化検出系とを含
む。このために、統合解析部6は眼球運動時系列変化検
出部61と画像特徴量時系列変化検出部62とを含む。
これらの特徴量を定量的に結びつけるため、予め定める
規則にしたがって変数が割当てられる。眼球運動時系列
変化検出部61で検出された眼球運動時系列変化に対し
て割当部63によって変数Aが割当てられ、画像特徴量
時系列変化検出部62で検出された画像特徴量時系列変
化に対して変数割当部64によって変数Bが割当てられ
る。眼球運動に関しての変数の割当ては、3(x,y,
z)軸上に展開された眼球の時系列的な挙動65に関し
て、その関数をG1(x,y,z)とし、この関数を別
な関数G2で近似する場合(66)に得られる係数列b
1,b2,b3,…bnを示す。2つの関数の近似の方
法は、2つの関数の差の二乗(|G1 −G2 |2 )が最
小67になる問題を解くことによる。ニュートンラプラ
ス法などにより、近似解として、b1,b2,b3,…
bn68が得られ、関数G2の係数a1,a2,…an
が決定される。
【0015】このようにして、特定の画像に対する眼球
運動の時空間関数が決定される。次に、画像内容につい
ては、画像のf1:粗さ,f2:コントラスト,f3:
色合い,f4:テクスチャーというような項目69につ
いて評価式がたてられる。そして、線形の自己回帰モデ
ル式70によって重み付けパラメータc1,c2,…c
mで1つの関数G3で画像の特徴量が表現される。ただ
し、動画像の場合は、各項目に関する方程式f1,f
2,…fnは、時間の関数として表現できる。
運動の時空間関数が決定される。次に、画像内容につい
ては、画像のf1:粗さ,f2:コントラスト,f3:
色合い,f4:テクスチャーというような項目69につ
いて評価式がたてられる。そして、線形の自己回帰モデ
ル式70によって重み付けパラメータc1,c2,…c
mで1つの関数G3で画像の特徴量が表現される。ただ
し、動画像の場合は、各項目に関する方程式f1,f
2,…fnは、時間の関数として表現できる。
【0016】図4は単純なパターンにおける眼球運動と
画像内容との相関の例を説明するための図である。この
図4に示した例は、図4(c)に示す斜め状のテクスチ
ャー画像41を被験者に観察させた場合に、図4
(a),(b)に示すように眼球運動のスペクトル解析
結果40が得られる。眼球の成分間には、図4(a)に
示すx成分の方が、図4(b)に示すy成分よりも周波
数帯域が広いという偏りが生じている。画像内容をその
分散で比較すると、眼球運動の偏りに応じてx成分の方
が大きいものであった。この結果から、たとえば眼球の
各成分の最大周波数成分fx,fyの比と画像の分散値
の比を取ると、図4(d)に示すように、一定の関係が
算出される。
画像内容との相関の例を説明するための図である。この
図4に示した例は、図4(c)に示す斜め状のテクスチ
ャー画像41を被験者に観察させた場合に、図4
(a),(b)に示すように眼球運動のスペクトル解析
結果40が得られる。眼球の成分間には、図4(a)に
示すx成分の方が、図4(b)に示すy成分よりも周波
数帯域が広いという偏りが生じている。画像内容をその
分散で比較すると、眼球運動の偏りに応じてx成分の方
が大きいものであった。この結果から、たとえば眼球の
各成分の最大周波数成分fx,fyの比と画像の分散値
の比を取ると、図4(d)に示すように、一定の関係が
算出される。
【0017】図5は車のようなパターンを提示したとき
の眼球運動と画像内容との相関の例を説明するための図
である。図5(c)に示すように、複数の車のエッジ画
像51を被験者に観察させた場合の眼球運動のスペクト
ル解析結果は図5(a),(b)に示すようになった。
この実験の場合、図5(a)に示すように眼球のx成分
および図5(b)に示すy成分は、図5(d)に示すよ
うに、その周波数帯域を時間方向で見ると、繰返し広く
なったり、狭くなったりしているのがわかる。仮に、時
間軸方向で解析を行ない終わらない場合は、このような
眼球運動の独特の振る舞いについては、決して見出すこ
とができないと言える。これは、ちょうど各成分につい
て、平均をとった操作結果に等しい。このようにして処
理した結果について、両者を比較すると、画像と眼球運
動の間には一定の関係があることがわかる。
の眼球運動と画像内容との相関の例を説明するための図
である。図5(c)に示すように、複数の車のエッジ画
像51を被験者に観察させた場合の眼球運動のスペクト
ル解析結果は図5(a),(b)に示すようになった。
この実験の場合、図5(a)に示すように眼球のx成分
および図5(b)に示すy成分は、図5(d)に示すよ
うに、その周波数帯域を時間方向で見ると、繰返し広く
なったり、狭くなったりしているのがわかる。仮に、時
間軸方向で解析を行ない終わらない場合は、このような
眼球運動の独特の振る舞いについては、決して見出すこ
とができないと言える。これは、ちょうど各成分につい
て、平均をとった操作結果に等しい。このようにして処
理した結果について、両者を比較すると、画像と眼球運
動の間には一定の関係があることがわかる。
【0018】なお、眼球の各時間区間での周波数の最大
値と、時間軸とでグラフを記述した後、前述のごとく特
定の1つの関数でfx,fyを近似表現できる。同様
に、パワースペクトルの最大値と時間軸とのグラフも1
つの表現として表現でき、解析結果を扱いやすくするこ
とができる。
値と、時間軸とでグラフを記述した後、前述のごとく特
定の1つの関数でfx,fyを近似表現できる。同様
に、パワースペクトルの最大値と時間軸とのグラフも1
つの表現として表現でき、解析結果を扱いやすくするこ
とができる。
【0019】図6は眼球運動の時系列データのセグメン
ト化とその解析方法を説明するための図である。図6
(a)に示すある風景の原画像70と、図6(b)に示
すそのエッジ画像71について、画像の特徴量gi (i
=1,5)が算出される(bi(i=1,10))。次
に、眼球運動を解析した結果について、図6(c),
(d)に示す。それぞれの画像の場合について、周波数
帯域,パワースペクトラムと時間軸についてグラフに表
現すると、図6(e),(f)に示すようになる。図6
(e)と(f)とを対比すると明らかなように、周波
数,パワースペクトルの時間変位には明らかな違いがあ
る。原画像の場合は、単峰性のピークがあるのに対し
て、エッジ画像の場合には振動的な結果となっているの
がわかる。画像内容と眼球の相関については、特に、エ
ッジ画像のような場合には、定量的にいって画像の特徴
量g2,g3が他の特徴量に比べてかなり大きく、その
ときの眼球運動は周波数,パワースペクトルを尺度とし
た場合、振動的な関係となることがわかる。
ト化とその解析方法を説明するための図である。図6
(a)に示すある風景の原画像70と、図6(b)に示
すそのエッジ画像71について、画像の特徴量gi (i
=1,5)が算出される(bi(i=1,10))。次
に、眼球運動を解析した結果について、図6(c),
(d)に示す。それぞれの画像の場合について、周波数
帯域,パワースペクトラムと時間軸についてグラフに表
現すると、図6(e),(f)に示すようになる。図6
(e)と(f)とを対比すると明らかなように、周波
数,パワースペクトルの時間変位には明らかな違いがあ
る。原画像の場合は、単峰性のピークがあるのに対し
て、エッジ画像の場合には振動的な結果となっているの
がわかる。画像内容と眼球の相関については、特に、エ
ッジ画像のような場合には、定量的にいって画像の特徴
量g2,g3が他の特徴量に比べてかなり大きく、その
ときの眼球運動は周波数,パワースペクトルを尺度とし
た場合、振動的な関係となることがわかる。
【0020】図7は画像内容と眼球の挙動に関しての予
想関数を作成する例を説明するための図である。この図
7においては、画像内容と眼球の挙動の関係について、
2つの例を示している。関数f1,f2は、それぞれw
1,w2のベクトルで表わされているような予め視覚実
験で確められている相互関係に基づいて、算術的に決定
されたものである。この△印および●印は、それぞれ予
測関数により推定された値である。すなわち、関数v=
f(u)において、集合w1に決定された関数f1が記
述できた場合、u3の場合についてvが推定され、v3
が既知の場合はuが推定される。関数f2の場合につい
ても同様にして求められる。
想関数を作成する例を説明するための図である。この図
7においては、画像内容と眼球の挙動の関係について、
2つの例を示している。関数f1,f2は、それぞれw
1,w2のベクトルで表わされているような予め視覚実
験で確められている相互関係に基づいて、算術的に決定
されたものである。この△印および●印は、それぞれ予
測関数により推定された値である。すなわち、関数v=
f(u)において、集合w1に決定された関数f1が記
述できた場合、u3の場合についてvが推定され、v3
が既知の場合はuが推定される。関数f2の場合につい
ても同様にして求められる。
【0021】図8は画像内容または眼球の挙動が未知の
場合の予測関数を用いた推定とその応用例を示す図であ
る。眼球の挙動に応じた画像を提示しようとするような
視線制御系を有する装置において、画像内容が既知の場
合、視線により制御を行なおうとする観察者に画像を提
示する直前に、関数に基づいて眼球の挙動を推定したと
する。このような制御系では、制御の時間遅れが問題と
なっているため、このような方式で画像内容と眼球運動
との相関が予めわかっていると、ある程度、生理的な根
拠に基づいた新しい方式で、眼球の規則を予測できて時
間遅れ問題を回避できる。
場合の予測関数を用いた推定とその応用例を示す図であ
る。眼球の挙動に応じた画像を提示しようとするような
視線制御系を有する装置において、画像内容が既知の場
合、視線により制御を行なおうとする観察者に画像を提
示する直前に、関数に基づいて眼球の挙動を推定したと
する。このような制御系では、制御の時間遅れが問題と
なっているため、このような方式で画像内容と眼球運動
との相関が予めわかっていると、ある程度、生理的な根
拠に基づいた新しい方式で、眼球の規則を予測できて時
間遅れ問題を回避できる。
【0022】次の例として、画像が何らかの目的で評価
を行なう場合がある。この場合は、前述の説明とは逆
に、眼球の挙動が既知で、画像内容が未知の場合であ
る。同様にして、予測関数が定まっているとして観察者
が評価を行なおうとしている画像内容を推定するとす
る。従来より、一般に観察者の主観的な画像に対する評
価結果はばらついており、何らかの手法により信頼性を
高める必要があった。あらかじめ求められている客観的
な画像内容と眼球の挙動との相関を指標にすれば、評価
された結果に対する信頼性自体に対して評価ができる。
を行なう場合がある。この場合は、前述の説明とは逆
に、眼球の挙動が既知で、画像内容が未知の場合であ
る。同様にして、予測関数が定まっているとして観察者
が評価を行なおうとしている画像内容を推定するとす
る。従来より、一般に観察者の主観的な画像に対する評
価結果はばらついており、何らかの手法により信頼性を
高める必要があった。あらかじめ求められている客観的
な画像内容と眼球の挙動との相関を指標にすれば、評価
された結果に対する信頼性自体に対して評価ができる。
【0023】
【発明の効果】以上のように、この発明によれば、眼球
運動を検出し、検出された眼球の時系列変化を周波数領
域で表示し、また表示される画像の内容を解析し、両者
を統合処理することにより、被験者の心理的な観察状
態,画像に対する客観的な評価について、従来になく容
易に信頼性の高いデータを得ることができる。
運動を検出し、検出された眼球の時系列変化を周波数領
域で表示し、また表示される画像の内容を解析し、両者
を統合処理することにより、被験者の心理的な観察状
態,画像に対する客観的な評価について、従来になく容
易に信頼性の高いデータを得ることができる。
【図1】この発明の一実施例の概略ブロック図である。
【図2】この発明の一実施例における眼球運動の時系列
データのセグメント化とその解析方法を説明するための
図である。
データのセグメント化とその解析方法を説明するための
図である。
【図3】図1に示した統合解析部における眼球運動と画
像内容の関数決定方法を説明するための図である。
像内容の関数決定方法を説明するための図である。
【図4】単純なパターンでの眼球運動と画像内容との相
関の例を示す図である。
関の例を示す図である。
【図5】車のようなパターンを提示したときの眼球運動
と画像内容との相関の例を示す図である。
と画像内容との相関の例を示す図である。
【図6】同一内容でテクスチャーの異なる画像を提示し
たときの眼球運動と画像内容との相関の例を示す図であ
る。
たときの眼球運動と画像内容との相関の例を示す図であ
る。
【図7】画像内容と眼球の挙動に関しての予測関数の作
成例を示す図である。
成例を示す図である。
【図8】画像内容または眼球の挙動が未知の場合の予測
関数を用いた推定とその応用例を示す図である。
関数を用いた推定とその応用例を示す図である。
【図9】従来の視線情報解析装置の概略ブロック図であ
る。
る。
1 眼球 2 画像 3 眼球運動検出装置 5 解析装置 6 統合解析部 7 画像入力部 8 表示内容解析装置 9 表示装置
Claims (1)
- 【請求項1】 眼球の任意の移動量を検出する眼球運動
検出手段、 前記眼球運動検出手段によって検出された時間空間上の
眼球の挙動データを適当な長さのセグメントに分割し、
分割された区間毎に周波数空間に変換し、時系列的な解
析をするための解析手段、 入力された画像を解析し、その解析結果に応じて、画像
の持つ異なる複数の特徴量に対して、それぞれに重み付
けを行ない、該画像の特徴を表現する関数を記述する関
数記述手段、 前記解析手段による解析結果と、前記関数記述手段によ
って記述された結果とを、それぞれの項目についての関
数で一意に結びつけて予測関数を記述し、統合する統合
手段、および前記統合手段によって記述された前記画像
内容と眼球の挙動についての予測関数に基づき、前記画
像内容が既知で前記眼球の挙動が未知の場合、または前
記眼球の挙動が既知で前記画像の内容が未知の場合、そ
れぞれの未知量を予め記述された予測関数で推定する推
定手段を備えた、視線情報解析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4162806A JPH0653106B2 (ja) | 1992-06-22 | 1992-06-22 | 視線情報解析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4162806A JPH0653106B2 (ja) | 1992-06-22 | 1992-06-22 | 視線情報解析装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06162A true JPH06162A (ja) | 1994-01-11 |
JPH0653106B2 JPH0653106B2 (ja) | 1994-07-20 |
Family
ID=15761579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4162806A Expired - Fee Related JPH0653106B2 (ja) | 1992-06-22 | 1992-06-22 | 視線情報解析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0653106B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321621A (ja) * | 2003-04-25 | 2004-11-18 | Tadahiko Fukuda | 戸惑い検出方法及び戸惑い検出プログラム |
JP2008502990A (ja) * | 2004-06-18 | 2008-01-31 | トビイ テクノロジー アーベー | 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム |
US7407288B2 (en) | 2003-10-29 | 2008-08-05 | Seiko Epson Corporation | Eye-flow guiding level calculating system, eye-flow guiding level calculating program, and eye-flow guiding level calculating method |
US7460708B2 (en) | 2003-11-25 | 2008-12-02 | Seiko Epson Corporation | System, program, and method for generating visual-guidance information |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
US7931602B2 (en) | 2004-03-24 | 2011-04-26 | Seiko Epson Corporation | Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method |
US8070906B2 (en) | 2000-06-21 | 2011-12-06 | E. I. Du Pont De Nemours And Company | Process for improving the emission of electron field emitters |
JP2013240469A (ja) * | 2012-05-21 | 2013-12-05 | Tokyo Institute Of Technology | 注意位置推定装置 |
KR101417470B1 (ko) * | 2012-12-12 | 2014-07-08 | 현대자동차주식회사 | 응시 대상 확인 장치 및 방법 |
JP2015503414A (ja) * | 2012-01-05 | 2015-02-02 | ユニバーシティー コート オブ ザユニバーシティー オブ アバディーン | 精神医学的評価用装置および方法 |
KR101879387B1 (ko) * | 2017-03-27 | 2018-07-18 | 고상걸 | 시선 방향 추적결과의 교정 방법 |
CN110897608A (zh) * | 2019-12-15 | 2020-03-24 | 深圳市具安科技有限公司 | 斑马鱼眼动分析方法、装置及计算机设备 |
-
1992
- 1992-06-22 JP JP4162806A patent/JPH0653106B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8070906B2 (en) | 2000-06-21 | 2011-12-06 | E. I. Du Pont De Nemours And Company | Process for improving the emission of electron field emitters |
JP2004321621A (ja) * | 2003-04-25 | 2004-11-18 | Tadahiko Fukuda | 戸惑い検出方法及び戸惑い検出プログラム |
US7407288B2 (en) | 2003-10-29 | 2008-08-05 | Seiko Epson Corporation | Eye-flow guiding level calculating system, eye-flow guiding level calculating program, and eye-flow guiding level calculating method |
US7460708B2 (en) | 2003-11-25 | 2008-12-02 | Seiko Epson Corporation | System, program, and method for generating visual-guidance information |
US7931602B2 (en) | 2004-03-24 | 2011-04-26 | Seiko Epson Corporation | Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method |
JP2008502990A (ja) * | 2004-06-18 | 2008-01-31 | トビイ テクノロジー アーベー | 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム |
JP2010094493A (ja) * | 2008-09-22 | 2010-04-30 | Koichi Kikuchi | 視認情景に対する視認者情感判定装置 |
JP2015503414A (ja) * | 2012-01-05 | 2015-02-02 | ユニバーシティー コート オブ ザユニバーシティー オブ アバディーン | 精神医学的評価用装置および方法 |
JP2013240469A (ja) * | 2012-05-21 | 2013-12-05 | Tokyo Institute Of Technology | 注意位置推定装置 |
KR101417470B1 (ko) * | 2012-12-12 | 2014-07-08 | 현대자동차주식회사 | 응시 대상 확인 장치 및 방법 |
US9400552B2 (en) | 2012-12-12 | 2016-07-26 | Hyundai Motor Company | Apparatus and method for checking gaze object |
KR101879387B1 (ko) * | 2017-03-27 | 2018-07-18 | 고상걸 | 시선 방향 추적결과의 교정 방법 |
CN110897608A (zh) * | 2019-12-15 | 2020-03-24 | 深圳市具安科技有限公司 | 斑马鱼眼动分析方法、装置及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
JPH0653106B2 (ja) | 1994-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4761924B2 (ja) | 肌状態診断システムおよび美容のためのカウンセリングシステム | |
KR101158156B1 (ko) | 피부상태 진단시스템 및 미용을 위한 카운셀러 시스템 | |
JPH06162A (ja) | 視線情報解析装置 | |
KR102265525B1 (ko) | 인공지능 기반의 피부 진단 방법 및 시스템 | |
DE102018108778A1 (de) | Beschleunigungs- und Verzögerungssteuereinheit | |
EP1346662A1 (en) | Mascara selecting method, mascara selecting system, and mascara counseling tool | |
JP2022111309A (ja) | 化粧料の使用触感を評価する方法、及び化粧料の使用触感を評価する装置 | |
WO2019235614A1 (ja) | 関係性分析装置、関係性分析方法および記録媒体 | |
JP2010104754A (ja) | 情動分析装置 | |
JP7017711B2 (ja) | 関係性分析装置、関係性分析方法およびプログラム | |
US9080854B2 (en) | Tactile surface texture characterisation method | |
JP2009032033A (ja) | 動作境界検出方法および作業分析システム | |
KR20190014728A (ko) | 적외선 영상을 이용한 연속적인 피부 상태 측정 방법 | |
Copeland et al. | Evaluation of image metrics for target discrimination using psychophysical experiments | |
US10964062B2 (en) | Skin evaluation device, skin evaluation method, and skin evaluation program | |
EP1043663A1 (en) | Mathematical relation identification apparatus and method | |
KR102506606B1 (ko) | 메이크업 시뮬레이션 방법 | |
JPH02271211A (ja) | 塗装鮮映性評価方法 | |
JP7164553B2 (ja) | 毛髪の運動特性を測定する装置及び方法 | |
JP7419787B2 (ja) | 時系列データ解析装置 | |
US11587450B2 (en) | Apparatus for evaluating contextual learning | |
JP2019192072A (ja) | 情報処理装置及びプログラム | |
JP2671666B2 (ja) | 感性評価装置 | |
KR100197715B1 (ko) | 퍼지원리를 이용한 세정도 판별방법 | |
KR20230059886A (ko) | 화장품 두께 예측 알고리즘 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19950207 |
|
LAPS | Cancellation because of no payment of annual fees |