JP2005182746A - 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 - Google Patents
視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 Download PDFInfo
- Publication number
- JP2005182746A JP2005182746A JP2004211525A JP2004211525A JP2005182746A JP 2005182746 A JP2005182746 A JP 2005182746A JP 2004211525 A JP2004211525 A JP 2004211525A JP 2004211525 A JP2004211525 A JP 2004211525A JP 2005182746 A JP2005182746 A JP 2005182746A
- Authority
- JP
- Japan
- Prior art keywords
- line
- guidance information
- sight guidance
- attention
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【解決手段】 レイアウト装置100は、レイアウト画像を複数の領域に区分し、画像データに基づいて各部分領域の注目度特徴量および位置情報を算出し、算出した注目度特徴量に重み付けを行う。次いで、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、重み付けした注目度特徴量および算出した位置情報に基づいて視線誘導特徴空間のなかから各部分領域の基準点を検出する。そして、検出した各基準点間の距離を算出し、算出した基準点間距離に基づいて視線誘導情報を生成する。視線誘導情報は、始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路となる。
【選択図】 図2
Description
特許文献1記載の発明は、眼球運動検出装置によって眼球の運動を検出し、解析装置によって検出された眼球の時系列変化を周波数領域で解析し、画像入力部から入力された表示される画像の内容を表示内容解析装置で解析し、両者を統合解析部で統合処理することにより、被験者の心理的な観察状態、画像に対する客観的な評価について信頼性の高いデータを得る。
しかしながら、学習という方法を採用しているため、与えられた画像特徴量が学習済みのものであれば適切なアイフローが得られるが、学習済みのものでなければ適切なアイフローを得ることができない。そのため、数多くの学習を経なければ十分な信頼性が得られないという問題があった。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得手段と、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得手段と、前記注目度特徴量取得手段で取得した注目度特徴量および前記位置情報取得手段で取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフロー(視線誘導情報)を定量的に求めることができるという効果が得られる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができるという効果も得られる。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出手段と、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出手段と、前記注目度特徴量算出手段で算出した注目度特徴量および前記位置情報算出手段で算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフローを定量的に求めることができるという効果が得られる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができるという効果も得られる。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができるという効果が得られる。
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができるという効果が得られる。
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出手段と、前記基準点検出手段で検出した各基準点間の距離を算出する基準点間距離算出手段とを備え、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて前記視線誘導情報を生成するようになっていることを特徴とする。
これにより、部分領域の注目度合いおよび位置を視線誘導特徴空間上の距離として表現して視線誘導情報が生成されるので、部分領域の注目度合いおよび位置を比較的適切に視線誘導情報の生成に反映させることができる。したがって、さらに適切なアイフローを求めることができるという効果が得られる。
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
これにより、視線誘導情報を参照すれば、部分領域間を視線がどのように誘導されやすいかを把握しやすくなるという効果が得られる。
前記視線誘導情報生成手段は、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする。
これにより、注目度合いの大きい領域から注目度合いの小さい領域へと視線が誘導されやすいという特性を利用して視線誘導経路が形成されるので、さらに適切なアイフローを求めることができるという効果が得られる。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として前記視線誘導経路を形成するようになっていることを特徴とする。
これにより、デザイナその他の編集者の主観に左右されることなく、部分領域の客観的な特徴に基づいて始点部分領域が検出されるので、アイフローの始点を定量的に求めることができるという効果が得られる。
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができるという効果が得られる。
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更手段を備えることを特徴とする。
このような構成であれば、縮尺変更手段により、視線誘導特徴空間の各軸のうちいずれかの縮尺が変更される。
これにより、部分領域の注目度合いおよび位置をどのような割合で視線誘導情報の生成に反映させるかを調整することができるという効果が得られる。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
ここで、注目度特徴量取得ステップは、部分領域の注目度特徴量を取得すればどのような形態であってもよく、例えば、入力装置等から注目度特徴量を入力してもよいし、外部の端末等から注目度特徴量を獲得してもよいし、画像データ等に基づいて注目度特徴量を算出してもよい。すなわち、取得には、少なくとも入力、獲得および算出が含まれる。以下、発明21の視線誘導情報生成方法において同じである。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出ステップと、前記基準点検出ステップで検出した各基準点間の距離を算出する基準点間距離算出ステップとからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて前記視線誘導情報を生成することを特徴とする。
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成することを特徴とする。
前記視線誘導情報生成ステップは、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として前記視線誘導経路を形成することを特徴とする。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更ステップからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明10の視線誘導情報生成システムと同等の作用および効果が得られる。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする。
これにより、発明1の視線誘導情報生成システムと同等の効果が得られる。
画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする。
これにより、発明2の視線誘導情報生成システムと同等の効果が得られる。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出ステップを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明3の視線誘導情報生成システムと同等の効果が得られる。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
これにより、発明4の視線誘導情報生成システムと同等の効果が得られる。
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出ステップと、前記基準点検出ステップで検出した各基準点間の距離を算出する基準点間距離算出ステップとを含み、
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて前記視線誘導情報を生成することを特徴とする。
これにより、発明5の視線誘導情報生成システムと同等の効果が得られる。
前記視線誘導情報生成ステップは、前記基準点間距離算出ステップで算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明6の視線誘導情報生成システムと同等の効果が得られる。
前記視線誘導情報生成ステップは、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成することを特徴とする。
これにより、発明7の視線誘導情報生成システムと同等の効果が得られる。
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出ステップを含み、
前記視線誘導情報生成ステップは、前記始点部分領域検出ステップで検出した始点部分領域を始点として前記視線誘導経路を形成することを特徴とする。
これにより、発明8の視線誘導情報生成システムと同等の効果が得られる。
前記始点部分領域検出ステップは、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出することを特徴とする。
これにより、発明9の視線誘導情報生成システムと同等の効果が得られる。
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更ステップを含むことを特徴とする。
これにより、発明10の視線誘導情報生成システムと同等の効果が得られる。
本実施の形態は、本発明に係る視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法を、複数のレイアウト要素が配置されたレイアウト画像において、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する場合について適用したものである。
図1は、視線誘導特徴空間における各レイアウト要素の分布を示す図である。
レイアウト画像300には、図1に示すように、タイトルA、本文B、写真Cおよび写真Dの4つのレイアウト要素が配置されている。ここで、3次元空間からなる視線誘導特徴空間を定義する。視線誘導特徴空間は、レイアウト画像300の横方向および縦方向をそれぞれX軸およびY軸に割り当て、レイアウト要素を注目する度合いを示す注目度特徴量をZ軸に割り当ててなる。図1の例では、レイアウト要素の重心からZ軸方向に引き出した点線の端点の高さが注目度特徴量の大きさを示しているため、タイトルAの注目度特徴量が最も大きく、次いで写真D、写真C、本文Bの順で注目度特徴量が大きくなっている。
単純に注目度特徴量が大きい順に視線誘導経路を形成した場合は、図2に示すように、注目度特徴量が最も大きいタイトルAを始点として、写真D、写真Cおよび本文Bの順で各レイアウト要素を順次通過する視線誘導経路302を形成することができる。しかしながら、タイトルAと写真Dとが離れているため、必ずしもその順で視線が誘導されるとは限らない。なお、図2では、説明を簡単にするため、写真Cまでしか視線誘導経路302を示していないが、実際は、写真Cからさらに本文Bまで視線誘導経路302が続いている。
そこで、注目度特徴量だけでなくレイアウト要素の位置を考慮して視線誘導経路を形成するのが適切である。その場合は、図3に示すように、タイトルAを始点として、写真C、写真Dおよび本文Bの順で各レイアウト要素を順次通過する視線誘導経路304を形成することができる。なお、レイアウト要素の注目度特徴量および位置によっては、レイアウト要素の位置を考慮しても視線誘導経路302になることがある。なお、図3では、説明を簡単にするため、写真Dまでしか視線誘導経路304を示していないが、実際は、写真Dからさらに本文Bまで視線誘導経路304が続いている。
次に、本発明を適用するレイアウト装置100の構成を図4を参照しながら説明する。
図4は、レイアウト装置100の構成を示すブロック図である。
CPU30は、マイクロプロセッシングユニット(MPU)等からなり、ROM32の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図5のフローチャートに示す視線誘導情報生成処理を実行するようになっている。
視線誘導情報生成処理は、レイアウト要素間を視線がどのように誘導されるかを示す視線誘導情報を生成する処理であって、CPU30において実行されると、図5に示すように、まず、ステップS100に移行するようになっている。
ステップS100では、画像データを記憶装置42から読み出し、ステップS102に移行して、読み出した画像データに基づいてレイアウト画像を複数の領域に区分し、ステップS104に移行する。
ステップS108では、算出した注目度特徴量に重み付けを行うことにより視線誘導特徴空間のZ軸の縮尺を変更し、ステップS110に移行して、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、ステップS112に移行する。
ステップS116では、算出した基準点間距離に基づいて視線誘導経路を示す視線誘導情報を生成し、一連の処理を終了して元の処理に復帰させる。
図6は、レイアウト画像310を複数の領域に区分する場合を示す図である。
レイアウト画像310には、図6に示すように、4つのレイアウト要素400〜406が縦長の矩形領域に配置されている。図6においては、レイアウト要素400が上方に配置され、レイアウト要素402,404がレイアウト要素400の下方に左から順に横並びに配置されている。また、レイアウト要素406がレイアウト要素404の下方に配置されている。
レイアウト画像320には、図7に示すように、5つのレイアウト要素410〜418が横長の矩形領域に配置されている。図7においては、レイアウト要素410〜414が上半分の領域に左から順に横並びに配置され、レイアウト要素416,418が下半分の領域に左から順に横並びに配置されている。
以下、レイアウト画像310およびレイアウト画像320を例にとって図5の各ステップの具体的な処理を説明する。
ステップS104では、部分領域のなかから利用者が注目すると思われる箇所(以下、注目領域という。)を抽出し、注目領域を注目する度合いを注目度特徴量として算出する。本実施の形態では、注目領域の抽出基準として「誘目度」という概念を用いる。誘目度の算出方法は、例えば、特許文献2および3に詳細に開示されている。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ(模様)の異質度をさらに含むので、この4つの異質度の少なくとも1つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判定することができる。
また、誘目度の評価は、以下の手順により行う。
(1)最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。領域分割の方法には、1997IEEEにおいてW.Y.MaやB.S.Manjunathらが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した"edge flow"に基づく境界検出方法が適用される。
(2)次に、分割した図領域を抽出し、領域の誘目度を評価する。
最初に、各領域の異質性誘目度を求める。この場合、色の異質度、テクスチャの異質度、形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
(3)また、原画像から誘目度を評価したパターン図を生成する。
図8は、レイアウト画像310の各部分領域A〜Dの注目度特徴量を算出する場合を示す図である。
図9は、レイアウト画像320の各部分領域a〜eの注目度特徴量を算出する場合を示す図である。
なお、注目度特徴量を算出する技術としては、様々な公知技術を応用することができる。例えば、下記文献(1)、(2)に開示されているように、画像中の不連続部分や濃淡情報に基づいて注目領域を求める技術、下記文献(3)、(4)に開示されているように、輝度情報をもとに情報量を算出することにより注目領域を求める技術、および下記文献(5)〜(7)に開示されているように、誘目度に基づいて注目領域を求める技術がある。
(1)Ruggero Milanese, "Detecting Salient Regions in an Image: From Biological Evidence to Computer Implementation", Ph.D Theses, the University of Geneva, 1993.
(2)Laurent Itti, Christof Koch and Ernst Niebur, "A Model of Saliency-based Visual Attention for Rapid Scene Analysis", IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, 1998.
(3)Martin Jagersand: Saliency Maps and Attention Selection in Scale and Spatial Coordinates: An Information Theoretic Approach, Proc.ICCV'95, pp.195-202, 1995.
(4)竹内義則、大西昇、杉江昇、「情報理論に基づいたアクティブビジョンシステム」, 信学論 D-II, Vol.J81-D-II, No.2, pp.323-330, 1998.
(5)田中昭二、井上正之、井上誠喜、中津良平、「誘目性に寄与する物理的特徴量を基にした画像注目領域の抽出」, 映情学誌, Vol.52, No.6, pp.881-890, 1998.
(6)Shoji Tanaka, Seiji Inokuchi and Yuichi Iwadate, "A Figure Extraxtion Method based on the Color and Texture Contrasts of Regions", IAPR ICIAP'99, 1999.(To appear in September)
(7)田中昭二、井口征士、岩館祐一、中津良平、「画像領域の色およびテクスチャのコントラストを特徴量とした図領域の抽出」、情報処理学会誌、Vol.40、No.8、1999.(1999年8月掲載予定)
次に、ステップS106の位置情報算出処理を図10および図11を参照しながら詳細に説明する。
位置情報を求めるには、レイアウト画像310のサイズを定義する必要がある。レイアウト画像310の横方向の長さを「20」、縦方向の長さを「30」と定義した場合、部分領域A〜Dの位置情報は、図10に示すように、部分領域A〜Dの重心位置をとって、それぞれ(10,5)、(5,15)、(15,10)および(15,25)となっている。ここで、位置情報のうち第1要素は、視線誘導特徴空間のX軸の座標を示し、第2要素は、視線誘導特徴空間のY軸の座標を示している。
レイアウト画像320の横方向の長さを「20」、縦方向の長さを「10」と定義した場合、部分領域a〜eの位置情報は、図11に示すように、部分領域a〜eの重心位置をとって、それぞれ(5,4)、(10,3)、(15,3)、(8,8)および(15,7)となっている。
図12は、注目度特徴量のスケールが位置情報に対して極端に小さい場合の視線誘導特徴空間を示す図である。
注目度特徴量および位置情報をXYZ軸に割り当てて視線誘導特徴空間を定義する場合、図12に示すように、注目度特徴量および位置情報の単位系によってはスケールがまったく異なるため、単純にそのままの値を割り当てると、適切なアイフローを求めることができない可能性がある。例えば、注目度特徴量のスケールが位置情報に対して極端に大きい場合は、視線誘導情報の生成に位置情報を反映させることができず、逆に、注目度特徴量のスケールが位置情報に対して極端に小さい場合は、視線誘導情報の生成に注目度特徴量を反映させることができない。
そこで、ステップS108では、図13に示すように、算出した注目度特徴量に重み付けを行うことにより視線誘導特徴空間のZ軸の縮尺を変更し、注目度特徴量および位置情報のスケールが同程度となるように調整する。
図14においては、フィールドX,Yが位置情報の第1要素および第2要素を示し、フィールドZがステップS104で算出した注目度特徴量を示し、フィールドZ’が重み付けした注目度特徴量を示している。図8および図10の算出結果から、注目度特徴量が「0」〜「10」の範囲をとるのに対して位置情報が「0」〜「30」の範囲をとることが分かるので、下式(1)により、注目度特徴量に3倍の重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。したがって、視線誘導特徴空間のX軸およびY軸には、フィールドX,Yの値が割り当てられ、視線誘導特徴空間のZ軸には、フィールドZ’の値が割り当てられることになる。
Z’=3×Z …(1)
図15は、レイアウト画像320の各部分領域a〜eについて注目度特徴量および位置情報、並びに重み付けした注目度特徴量を示した表である。
ステップS110では、ステップS104で算出した注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域を始点部分領域として検出する。
図16は、レイアウト画像310の部分領域A〜Dのなかから始点部分領域を検出する場合を示す図である。
図17は、レイアウト画像320の部分領域a〜eのなかから始点部分領域を検出する場合を示す図である。
次に、ステップS112の基準点検出処理を図18および図19を参照しながら詳細に説明する。
図18は、レイアウト画像310の各部分領域A〜Dの基準点を示した表である。
各部分領域A〜Dの基準点は、図18に示すように、それぞれ(10,5,27)、(5,15,9)、(15,10,15)および(15,25,24)として検出される。
各部分領域a〜eの基準点は、図19に示すように、それぞれ(5,4,27)、(10,3,21)、(15,3,15)、(8,8,6)および(15,7,12)として検出される。
次に、ステップS114の基準点間距離算出処理を図20および図21を参照しながら詳細に説明する。
部分領域Aの基準点と部分領域B〜Dの基準点とのユークリッド距離は、図20に示すように、それぞれ「26.48」、「9.27」および「20.83」となる。部分領域Bの基準点と部分領域C,Dの基準点とのユークリッド距離は、それぞれ「21.19」および「25.32」となる。部分領域Cの基準点と部分領域Dの基準点とのユークリッド距離は、「15.30」となる。
部分領域aの基準点と部分領域b〜eの基準点とのユークリッド距離は、図21に示すように、それぞれ「10.34」、「18.06」、「24.52」および「12.04」となる。部分領域bの基準点と部分領域c〜eの基準点とのユークリッド距離は、それぞれ「7.81」、「15.94」および「7.07」となる。部分領域cの基準点と部分領域d,eの基準点とのユークリッド距離は、それぞれ「12.45」および「9.85」となる。部分領域dの基準点と部分領域eの基準点とのユークリッド距離は、「19.34」となる。
ステップS116では、複数の部分領域のうち始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成する。
図16の検出結果から、部分領域Aが始点部分領域となる。そして、図20の算出結果から、部分領域Aからみて基準点間距離が最も小さい部分領域が部分領域Cとなる。同様に、既に選択した部分領域を除き、部分領域Cからみて基準点間距離が最も小さい部分領域が部分領域Dとなる。したがって、視線誘導経路は、図22に示すように、部分領域A、部分領域C、部分領域Dおよび部分領域Bの順で各部分領域A〜Dを順次通過する経路312として形成される。図22の例では、視線誘導経路312を示す視線誘導情報が実線矢印として表示されている。
図17の検出結果から、部分領域aが始点部分領域となる。そして、図21の算出結果から、部分領域aからみて基準点間距離が最も小さい部分領域が部分領域bとなる。同様に、既に選択した部分領域を除き、部分領域bからみて基準点間距離が最も小さい部分領域が部分領域eとなり、既に選択した部分領域を除き、部分領域eからみて基準点間距離が最も小さい部分領域が部分領域cとなる。したがって、視線誘導経路は、図23に示すように、部分領域a、部分領域b、部分領域e、部分領域cおよび部分領域dの順で各部分領域a〜eを順次通過する経路322として形成される。図23の例では、視線誘導経路322を示す視線誘導情報が実線矢印として表示されている。
レイアウト装置100では、ステップS100,S102を経て、画像データが読み出され、読み出された画像データに基づいてレイアウト画像が複数の領域に区分される。次いで、ステップS104〜S108を経て、読み出された画像データに基づいて各部分領域の注目度特徴量および位置情報が算出され、算出された注目度特徴量に重み付けが行われる。
これにより、編集者の主観に左右されることなく、部分領域の客観的な情報や特徴に基づいて視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを定量的に算出することができる。また、部分領域の注目度合いのほか部分領域の位置を考慮して視線誘導情報が生成されるので、部分領域間を視線がどのように誘導されやすいかを比較的適切に算出することができる。したがって、従来に比して、比較的適切なアイフローを定量的に求めることができる。
さらに、学習という方法により視線誘導度を算出するものではないので、適切なアイフローを比較的確実に求めることができる。
これにより、部分領域の注目度合いおよび位置を視線誘導特徴空間上の距離として表現して視線誘導情報が生成されるので、部分領域の注目度合いおよび位置を比較的適切に視線誘導情報の生成に反映させることができる。したがって、さらに適切なアイフローを求めることができる。
これにより、視線誘導情報を参照すれば、部分領域間を視線がどのように誘導されやすいかを把握しやすくなる。
さらに、本実施の形態では、複数の部分領域のうち所定の始点部分領域を始点とし、前段の部分領域からみて基準点間距離が最も小さい部分領域を次段の部分領域として、各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっている。
さらに、本実施の形態では、算出した注目度特徴量に基づいて複数の部分領域のなかから始点部分領域を検出し、検出した始点部分領域を始点として視線誘導経路を形成するようになっている。
さらに、本実施の形態では、算出した注目度特徴量に基づいて、複数の部分領域のうち注目度特徴量が最も大きい領域を始点部分領域として検出するようになっている。
これにより、最初に画像を見たときに注目度合いが最も大きい領域に視線が誘導されやすいという特性を利用して始点部分領域が検出されるので、アイフローの始点を比較的適切に求めることができる。
これにより、部分領域の注目度合いおよび位置をどのような割合で視線誘導情報の生成に反映させるかを調整することができる。
上記実施の形態において、ステップS104は、発明1の注目度特徴量取得手段、発明2の注目度特徴量算出手段、発明11若しくは21の注目度特徴量取得ステップ、または発明12若しくは22の注目度特徴量算出ステップに対応し、ステップS106は、発明1の位置情報取得手段、発明2の位置情報算出手段、発明11若しくは21の位置情報取得ステップ、または発明12若しくは22の位置情報算出ステップに対応している。また、ステップS116は、発明1ないし3、5ないし8の視線誘導情報生成手段、または発明11ないし13、15ないし18、21ないし23、25ないし28の視線誘導情報生成ステップに対応し、ステップS110は、発明3、4、8若しくは9の始点部分領域検出手段、または発明13、14、18、19、23、24、28若しくは29の始点部分領域検出ステップに対応している。
Fechnerの法則では、図24に示すように、刺激Iに対して感覚量が対数関数的に変化し、刺激Iが大きい領域では、感覚量が飽和することが分かる。したがって、Fechnerの法則を注目度特徴量変換処理に応用した場合、上式(1)は、下式(3)に置き換えることができる。
Z’=log(Z) …(3)
例えば、賑やかなレイアウト画像において、全体に賑やかなレイアウト要素が配置されているところに、注目度特徴量の大きいレイアウト要素を配置しても、全体に埋もれてしまい、単体で見たときほど目立たない状況がある。これは、対数関数モデルであると考えることができる。
図25は、レイアウト画像310の各部分領域A〜Dについて注目度特徴量および位置情報、並びに対数関数モデルにより重み付けした注目度特徴量を示した表である。
図25においては、フィールドX,Yが位置情報の第1要素および第2要素を示し、フィールドZがステップS104で算出した注目度特徴量を示し、フィールドZ’が対数関数モデルにより重み付けした注目度特徴量を示している。下式(4)により、注目度特徴量に対数関数モデルによる重み付けを行うことにより注目度特徴量および位置情報のスケールが同程度となるように調整する。下式(4)において、log(Z)の値に乗算している係数は、注目度特徴量および位置情報のスケールを調整するための重み付け係数である。
Z’=30×log(Z) …(4)
注目度特徴量に対する重み付けの結果は、図25に示すように、部分領域A〜Dについてそれぞれ「28.63」、「23.34」、「25.35」および「27.09」となる。
部分領域Aの基準点と部分領域B〜Dの基準点とのユークリッド距離は、図26に示すように、それぞれ「11.76」、「7.26」および「20.62」となる。部分領域Bの基準点と部分領域C,Dの基準点とのユークリッド距離は、それぞれ「19.81」および「22.96」となる。部分領域Cの基準点と部分領域Dの基準点とのユークリッド距離は、「25.88」となる。
図16の検出結果から、部分領域Aが始点部分領域となる。そして、図26の算出結果から、部分領域Aからみて基準点間距離が最も小さい部分領域が部分領域Cとなる。同様に、既に選択した部分領域を除き、部分領域Cからみて基準点間距離が最も小さい部分領域が部分領域Bとなる。したがって、視線誘導経路は、図27に示すように、部分領域A、部分領域C、部分領域Bおよび部分領域Dの順で各部分領域A〜Dを順次通過する経路314として形成される。図27の例では、視線誘導経路314を示す視線誘導情報が実線矢印として表示されている。
Stevenの法則では、図28に示すように、刺激Iに対して感覚量が指数関数的に変化する。したがって、Stevenの法則を注目度特徴量変換処理に応用した場合、上式(1)は、下式(5)に置き換えることができる。
Z’=Zn …(5)
これにより、人間の感覚特性に従って部分領域間を視線がどのように誘導されやすいかを算出することができる。したがって、さらに適切なアイフローを求めることができる。
図29は、X軸、Y軸およびζ軸が互いに直交する3次元空間において、下式(6)の2つの式で囲まれる空間を示したものである。
ζ=−0.2×X2−0.2×Y2 …(6)
XY平面と上式(6)の2つの式で囲まれる空間は、ドーム型の頂点を視点の中心として外側に向かうほど出力が小さくなるような変換ができる曲面を有している。このような曲面を注目度特徴量変換処理に応用した場合、上式(1)は、下式(7)に置き換えることができる。
Z’=ζ×Z …(7)
これにより、人間の視覚特性に従って部分領域間を視線がどのように誘導されやすいかを算出することができる。したがって、さらに適切なアイフローを求めることができる。
また、上記実施の形態においては、各部分領域の注目度特徴量および位置情報を算出するように構成したが、これに限らず、各部分領域の注目度特徴量および位置情報を入力装置等から入力するように構成することもできるし、外部の端末等から獲得するように構成することもできる。
ここで、記憶媒体とは、RAM、ROM等の半導体記憶媒体、FD、HD等の磁気記憶型記憶媒体、CD、CDV、LD、DVD等の光学的読取方式記憶媒体、MO等の磁気記憶型/光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
Claims (14)
- 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得手段と、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得手段と、前記注目度特徴量取得手段で取得した注目度特徴量および前記位置情報取得手段で取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする視線誘導情報生成システム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成システムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出手段と、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出手段と、前記注目度特徴量算出手段で算出した注目度特徴量および前記位置情報算出手段で算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成手段とを備えることを特徴とする視線誘導情報生成システム。 - 請求項1および2のいずれか1項において、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として視線を誘導する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項3において、
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項1および2のいずれか1項において、
さらに、前記注目度特徴量および前記位置情報の各要素を異なる軸に割り当ててなる視線誘導特徴空間のなかから前記各部分領域の基準点を検出する基準点検出手段と、前記基準点検出手段で検出した各基準点間の距離を算出する基準点間距離算出手段とを備え、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて前記視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項5において、
前記視線誘導情報生成手段は、前記基準点間距離算出手段で算出した基準点間距離に基づいて、前記各部分領域を順次通過する視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項6において、
前記視線誘導情報生成手段は、前記複数の部分領域のうち所定の始点部分領域を始点とし、前段の前記部分領域からみて前記基準点間距離が最も小さい部分領域を次段の前記部分領域として、前記各部分領域を順次通過する視線誘導経路を形成し、形成した視線誘導経路を示す視線誘導情報を生成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項7において、
さらに、前記注目度特徴量に基づいて前記複数の部分領域のなかから前記始点部分領域を検出する始点部分領域検出手段を備え、
前記視線誘導情報生成手段は、前記始点部分領域検出手段で検出した始点部分領域を始点として前記視線誘導経路を形成するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項8において、
前記始点部分領域検出手段は、前記注目度特徴量に基づいて、前記複数の部分領域のうち前記注目度特徴量が最も大きい領域を前記始点部分領域として検出するようになっていることを特徴とする視線誘導情報生成システム。 - 請求項5ないし9のいずれか1項において、
前記視線誘導特徴空間の各軸のうちいずれかの縮尺を変更する縮尺変更手段を備えることを特徴とする視線誘導情報生成システム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする視線誘導情報生成プログラム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成プログラムであって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする視線誘導情報生成プログラム。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記部分領域を注目する度合いを示す注目度特徴量を取得する注目度特徴量取得ステップと、前記部分領域の前記画像における位置を示す位置情報を取得する位置情報取得ステップと、前記注目度特徴量取得ステップで取得した注目度特徴量および前記位置情報取得ステップで取得した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする視線誘導情報生成方法。 - 画像を複数の領域に区分したときのそれら部分領域間を視線がどのように誘導されるかを示す視線誘導情報を生成する視線誘導情報生成方法であって、
前記各部分領域について当該部分領域を注目する度合いを示す注目度特徴量を算出する注目度特徴量算出ステップと、前記各部分領域について当該部分領域の前記画像における位置を示す位置情報を算出する位置情報算出ステップと、前記注目度特徴量算出ステップで算出した注目度特徴量および前記位置情報算出ステップで算出した位置情報に基づいて前記視線誘導情報を生成する視線誘導情報生成ステップとを含むことを特徴とする視線誘導情報生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004211525A JP4396430B2 (ja) | 2003-11-25 | 2004-07-20 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
US10/996,588 US7460708B2 (en) | 2003-11-25 | 2004-11-26 | System, program, and method for generating visual-guidance information |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003394235 | 2003-11-25 | ||
JP2004211525A JP4396430B2 (ja) | 2003-11-25 | 2004-07-20 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005182746A true JP2005182746A (ja) | 2005-07-07 |
JP4396430B2 JP4396430B2 (ja) | 2010-01-13 |
Family
ID=34797177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004211525A Expired - Fee Related JP4396430B2 (ja) | 2003-11-25 | 2004-07-20 | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7460708B2 (ja) |
JP (1) | JP4396430B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4896160B2 (ja) * | 2006-02-03 | 2012-03-14 | トムソン ライセンシング | マルチメディア文書の目立ち領域を確認する方法、広告文書を生成する方法、インターネットサイトの目立ち領域を自動確認する方法及び関連コンピュータプログラム |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020154833A1 (en) * | 2001-03-08 | 2002-10-24 | Christof Koch | Computation of intrinsic perceptual saliency in visual environments, and applications |
JP2006304265A (ja) * | 2005-03-25 | 2006-11-02 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム |
JP4774816B2 (ja) * | 2005-04-07 | 2011-09-14 | ソニー株式会社 | 画像処理装置,画像処理方法,およびコンピュータプログラム。 |
US7595809B2 (en) * | 2005-05-11 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Method and system for determining an occlusion cost for concurrently presenting one or more images in a shared viewing region |
US7602157B2 (en) * | 2005-12-28 | 2009-10-13 | Flyback Energy, Inc. | Supply architecture for inductive loads |
US20070156382A1 (en) * | 2005-12-29 | 2007-07-05 | Graham James L Ii | Systems and methods for designing experiments |
KR100750633B1 (ko) * | 2006-04-18 | 2007-08-20 | 삼성전자주식회사 | 휴대 단말기 간의 캐릭터 전이 시스템 및 방법 |
US7620267B2 (en) * | 2006-04-28 | 2009-11-17 | Hewlett-Packard Development Company, L.P. | Collage generation with occlusion costing |
TWI403912B (zh) * | 2006-06-08 | 2013-08-01 | Univ Nat Chiao Tung | 圖像檢索之方法及系統 |
US7668400B2 (en) * | 2006-07-31 | 2010-02-23 | Hewlett-Packard Development Company, L.P. | Image layout constraint generation |
US20080101761A1 (en) * | 2006-10-31 | 2008-05-01 | Simon Widdowson | Weighted occlusion costing |
AU2008272901B2 (en) | 2007-07-03 | 2011-03-17 | 3M Innovative Properties Company | System and method for assigning pieces of content to time-slots samples for measuring effects of the assigned content |
EP2179393A4 (en) * | 2007-07-03 | 2012-05-30 | 3M Innovative Properties Co | SYSTEM AND METHOD FOR PRODUCING TIMELINE SAMPLES TO WHICH CONTENT MAY BE ASSIGNED, FOR MEASURING EFFECTS OF THE CONTENTS OF THE CONTENTS |
US20090012847A1 (en) * | 2007-07-03 | 2009-01-08 | 3M Innovative Properties Company | System and method for assessing effectiveness of communication content |
CN101919150B (zh) * | 2007-09-18 | 2013-12-18 | 菲莱贝克能源公司 | 从局部能源产生具有低谐波畸变的交流功率的电流波形结构 |
EP2386098A4 (en) * | 2009-01-07 | 2014-08-20 | 3M Innovative Properties Co | SYSTEM AND METHOD FOR THE SIMULTANEOUS PERFORMANCE OF CAUSE-EFFECT EXPERIMENTS ON CONTENTS AND ADAPTING THE CONTENT OF DISTRIBUTION TO OPTIMIZING BUSINESS OBJECTIVES |
CA2785715A1 (en) * | 2009-12-28 | 2011-07-28 | Paul M. Babcock | Controllable universal supply with reactive power management |
US8860273B2 (en) * | 2009-12-28 | 2014-10-14 | Flyback Energy, Inc. | External field interaction motor |
WO2011152893A1 (en) * | 2010-02-10 | 2011-12-08 | California Institute Of Technology | Methods and systems for generating saliency models through linear and/or nonlinear integration |
CN102779338B (zh) * | 2011-05-13 | 2017-05-17 | 欧姆龙株式会社 | 图像处理方法和图像处理装置 |
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
CN103035003B (zh) * | 2012-12-11 | 2015-09-09 | 华为技术有限公司 | 一种实现增强现实的方法及装置 |
US9298980B1 (en) * | 2013-03-07 | 2016-03-29 | Amazon Technologies, Inc. | Image preprocessing for character recognition |
JP6338429B2 (ja) * | 2014-04-15 | 2018-06-06 | キヤノン株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
CN104966307B (zh) * | 2015-07-10 | 2019-03-01 | 成都品果科技有限公司 | 一种基于实时跟踪的ar方法 |
DE102016210288A1 (de) * | 2016-06-10 | 2017-12-14 | Volkswagen Aktiengesellschaft | Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung |
US20180225554A1 (en) * | 2017-02-06 | 2018-08-09 | Honda Motor Co., Ltd. | Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture |
CN111723715B (zh) * | 2020-06-10 | 2022-03-15 | 东北石油大学 | 一种视频显著性检测方法及装置、电子设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0653106B2 (ja) | 1992-06-22 | 1994-07-20 | 株式会社エイ・ティ・アール通信システム研究所 | 視線情報解析装置 |
US5757963A (en) * | 1994-09-30 | 1998-05-26 | Xerox Corporation | Method and apparatus for complex column segmentation by major white region pattern matching |
JP3482923B2 (ja) | 1999-10-28 | 2004-01-06 | セイコーエプソン株式会社 | 自動構図決定装置 |
EP1281164B1 (en) * | 2000-02-17 | 2015-05-27 | BRITISH TELECOMMUNICATIONS public limited company | Visual attention location system |
US20040013302A1 (en) * | 2001-12-04 | 2004-01-22 | Yue Ma | Document classification and labeling using layout graph matching |
US7400761B2 (en) * | 2003-09-30 | 2008-07-15 | Microsoft Corporation | Contrast-based image attention analysis framework |
US7471827B2 (en) * | 2003-10-16 | 2008-12-30 | Microsoft Corporation | Automatic browsing path generation to present image areas with high attention value as a function of space and time |
-
2004
- 2004-07-20 JP JP2004211525A patent/JP4396430B2/ja not_active Expired - Fee Related
- 2004-11-26 US US10/996,588 patent/US7460708B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4896160B2 (ja) * | 2006-02-03 | 2012-03-14 | トムソン ライセンシング | マルチメディア文書の目立ち領域を確認する方法、広告文書を生成する方法、インターネットサイトの目立ち領域を自動確認する方法及び関連コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20050163344A1 (en) | 2005-07-28 |
JP4396430B2 (ja) | 2010-01-13 |
US7460708B2 (en) | 2008-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4396430B2 (ja) | 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法 | |
US7931602B2 (en) | Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method | |
CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
JP6000602B2 (ja) | 体検出方法及び物体検出装置 | |
US8331619B2 (en) | Image processing apparatus and image processing method | |
CN101685542B (zh) | 电子设备、模糊图像分拣方法 | |
US8207987B2 (en) | Method and apparatus for producing digital cartoons | |
US20130108175A1 (en) | Image Recomposition From Face Detection And Facial Features | |
CN108885794A (zh) | 在用户的真实人体模型上虚拟试穿衣服 | |
CN109325988A (zh) | 一种面部表情合成方法、装置及电子设备 | |
WO2013062775A1 (en) | Image recomposition using face detection | |
JP2004361987A (ja) | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 | |
US20130108164A1 (en) | Image Recomposition From Face Detection And Facial Features | |
CN110413816A (zh) | 彩色草图图像搜索 | |
US20130108171A1 (en) | Image Recomposition From Face Detection And Facial Features | |
KR20140004230A (ko) | 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 | |
US9569850B2 (en) | System and method for automatically determining pose of a shape | |
JP2006268843A (ja) | 電子アルバム編集システム、電子アルバム編集方法、及び電子アルバム編集プログラム | |
US20130108166A1 (en) | Image Recomposition From Face Detection And Facial Features | |
CN111814573A (zh) | 一种人脸信息的检测方法、装置、终端设备及存储介质 | |
US20150003681A1 (en) | Image processing apparatus and image processing method | |
US9025835B2 (en) | Image recomposition from face detection and facial features | |
WO2021163075A1 (en) | Computer aided systems and methods for creating custom products | |
JP2005071344A (ja) | 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体 | |
JP6197063B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090929 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091012 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |