JP4579529B2 - 視覚的特性を自動的に選択して背景に対して目標を強調表示する方法 - Google Patents

視覚的特性を自動的に選択して背景に対して目標を強調表示する方法 Download PDF

Info

Publication number
JP4579529B2
JP4579529B2 JP2003420197A JP2003420197A JP4579529B2 JP 4579529 B2 JP4579529 B2 JP 4579529B2 JP 2003420197 A JP2003420197 A JP 2003420197A JP 2003420197 A JP2003420197 A JP 2003420197A JP 4579529 B2 JP4579529 B2 JP 4579529B2
Authority
JP
Japan
Prior art keywords
saliency
target
color
covariance
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003420197A
Other languages
English (en)
Other versions
JP2004199695A (ja
Inventor
イー ローゼンホルツ ルース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2004199695A publication Critical patent/JP2004199695A/ja
Application granted granted Critical
Publication of JP4579529B2 publication Critical patent/JP4579529B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/18105Extraction of features or characteristics of the image related to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、一般に、観察者に対して表示された文書の視覚的特性に関する。
インターネット上で視覚的に強調したウェブページを展開することは、表示装置上で特定の項目に注意を引き付けるための努力である。このような方法には、点滅するアイコンや動くアイコンなどの、時間的に変動する視覚的な刺激や、警報などの音声刺激が含まれる。ユーザが経験を積むにつれ、このような刺激に引き付けられるよりも、不快感を生じることがある。
最近は、ウェブページ等の表示された文書上の特定の項目を識別するためのより巧妙な方法が開発されている。この様な方法の一つには、特定の項目を強調表示することが含まれる。この強調表示は、その特定の項目を取り囲む色の塊を用いてなされる。この色の塊は、その項目に対すると共に背景に対して対照をなす。この項目を、背景と対照をなす色の外郭線により取り囲むことができる。
この方法で用いるのに適当な色は、グラフィックアートの経験があり、背景と、注意を引くべき項目との特性に基づいて賢明な評価をするための十分な時間のある人により選択され得る。
R. Rosenholtz「Search Asymmetries? What Search Asymmetries?」,Perception and Psychophysics, 63(3),476-489,2001 A.Woodruff, et al. 「Using Thumbnails to Search the Web」, SIGCHI 2001,198-205,2001.
しかしながら、グラフィックアーティストの活動は、しばしば利用できないか、あるいはまかないきれない。このことは、プロジェクトのための予算がグラフィックアーティストを利用するには不足であることにより生じるかもしれない。このことは、また、プロジェクトの大きさが、グラフィックアーティストが全ての文書を有効に検討し修正するには大きすぎるか、あるいは、プロジェクトが動的に変化する表示を含み、その表示の全ての可能な概観を説明するためのグラフィックアーティストの努力を複雑にしてしまうことによっても生じるかもしれない。
目標の背景に対する視覚的特性のパラメータを自動的に選択して、視聴者が目標を識別して目標に注意を向けるのを容易にすることは、システムと方法にとって有用であると思われる。このようなシステムと方法は、背景中の注意拡散物による注意拡散の影響を和らげるものと思われる。
このような視覚的特性のパラメータは、特定の値に設定された、特定の色相、影、きめ、大きさ、形状又は動きを含むことができる。このような選択は、目標と背景との間の顕著性に基づくことができる。このようなシステム又は方法によれば、手動で操作する場合に較べて安いコストで、幅広い種類のアプリケーションの視覚的特性を選択することを促進することができる。
本発明は、背景内の特定の文書の項目に注意が向けられるように、文書の観察者に対して、自動的に色又はその代わりの視覚的な対比を自動的に推奨するシステム、方法及び道具を提供する。
本発明においては、顕著性は、領域の逆共分散に基づいて決定される。差異は、その領域の目標特性と平均特性との間で決定される。顕著性は受入れ基準と比較され、顕著性が受入れ基準を満たす場合には受入れの一つを生じ、満たさない場合には拒絶を生じる。そして、目標特性が調節される。そして、受入れ基準が満たされない場合には、これらのステップが繰り返される。一旦受入れ基準が満たされると、目標特性が出力される。
次に、共分散が決定される。共分散は反転され、逆共分散が生成される。目標特性が、座標の中点値とその領域の平均値との間で座標に沿って対向する方向における差に基づいて評価される。平均特性と目標特性との差が、次に決定される。この差は転置され、差の転置行列を生成する。この差を乗じた逆共分散を前記差の転置行列に乗じた積を用いて顕著性を決定する。
本発明のこれらの特徴と利点とその他の特徴と利点とは、本発明によるシステムと方法の種々の典型的な実施の形態に関する以下の詳細な説明に記述され、あるいはその詳細な説明から明らかである。
本発明のシステム又は方法によれば、手動で操作する場合に較べて安いコストで、幅広い種類のアプリケーションの視覚的特性を選択することを促進することができる。
背景中でクラッタが紛れてしまうにも拘らず、視聴者の注意を目標に向けるために特定の色、又はその代わりの視覚的に弁別する特性を推奨することは、人間の視覚的な応答についての研究から集められた情報を用いる。目標は、目立たせるアイコンやテキストを覆うようにアイコン、テキスト又は強調表示を表すことができる。紛らわせる特徴は、背景又は背景のマスク部の内部の注意拡散物であり得る。
人間の視覚の研究により、注意を引く強さにより特徴付ける場合、顕著性は、(a)注意拡散物から目標がより多く区別できるようになるときに増大し、(b)視認性又は注意拡散物の「拡散」が増大するときに減少する。様々な典型的な実施の形態において、特性には、適用可能なパレットから選択した色が含まれる。他の種々の典型的な実施の形態においては、特性には、視覚的に区別できるようにする他の特徴が含まれる。
十分に選択された刺激の特徴は、目標と複数の注意拡散物との間で、刺激により駆動される注意力を引き付けるために、人の視覚的区別を助長することができる。このような注意は、観察者に対して意味論的な値により注意を引く項目とは異なるものとして、刺激の特徴に由来する。アイコン、テキスト又は何らかの他の項目に注意を引き付けるための刺激は、大きさ、形状、色、不透明度、色相(又は色調)、飽和度(又は彩度)、値(又は輝度/セード)、明るさ(又は輝度)、表面のきめ(例えば、透かし模様、鏡面又は拡散反射度、モアレ)、焦点(鋭い、柔らかい)、相対位置、運動速度及び/又は移動方向のおける区別又は周期的な交代を含むことができる。
種々の代表的な実施の形態において、区別を提供するのに用いられる視覚的な特徴は、色であり、このことにより、受け入れることのできる顕著性を有する利用可能な色に対する調査が導かれる。適当な色を同定するために、本発明によるシステムと方法は、適当な色空間又は色座標系内のあるシーン又は集成中の色を表す。この適当な色空間は、色は任意の適当な色空間中に写像できるが、理想的には、人の反応に対して知覚的に意味のあるものである。種々の典型的な実施の形態において、選択すべき色空間は、1976年の照明に関する国際委員会の直交座標系L***に基づいたCIELABである。明るさL*は、黒と白との間の相対的なグレースケールを表す。二つの対向するスケールが、色相と彩度とを表す。a*スケールは、色相の赤をa+、色相の緑をa−で定量化する。b*スケールは、色相の黄をb+、色相の青をb−で定量化する。a*とb*の絶対値は、彩度に対応する。
動的刺激に対する視覚座標系等の多次元特徴空間を定義できる。このような特徴空間は、少なくとも四つの座標w〜z、wは輝度、xは色相、yは飽和度、zは速度(方向又は絶対値)、を含み得るであろう。
図1は、背景110を有する文書100の第1の典型的な実施の形態を示す。文書100と背景110に重畳されたものの中で、注意を引き付けるべき一個以上の注意拡散物120と対象物130とが存在する。文書100は、例えば、ハイパーテキスト作成言語や拡張マーク付け言語を用いて定義されたウェブページ、写真、ビデオゲーム表示、ビューグラフ文書、ワープロ文字列又は一組の符号化された命令を表すことができる。
目的物130と背景110とは、一以上の独立のパターン、きめ、色及び/又は他の視覚的に認識できる特徴を有する。図1に示すように、対象物130と注意拡散物120との間の形状とパターンとの差異は、説明の目的のためにのみ人為的に意味が付与され、限定するものではない。対象物130の取り囲みは外郭線140であり、外郭線140は目標を表す。外郭線140は、パターン、色及び/又は他の視覚的な特徴を有する。これらのものは、背景110と注意拡散物120とに対して対照をなすように選択される。外郭線140の視覚的特徴を選択する主な基準には、観察者の注意を対象物130に引き付けることを促進することが含まれる。ウェブページのような静的な表示文書に対しては、色の選択は、観察者の注意を引き付ける十分な差異を提供することができよう。開ループ動的シミュレーション等の動的表示においては、位置等の時間変化パラメータを、観察者の注意を引くのに用いることができよう。
図2は、注意拡散物220を有する背景210を有する文書200の第2の典型的な実施の形態を示す。前景230が、背景210に対して文書200中に現れる。背景210と前景230とは、独立したパターン、色及び/又は他の視覚的特徴を有する。目標を表す強調表示240が、特定の視覚的特徴を備えて前景230を取り囲む。強調表示240のための視覚的特徴は、注意拡散物220を有する背景210と前景230との両者に対して対照をなすように選択される。種々の典型的な実施の形態において、強調表示240の代わりに、対照及び/又は幾つかの関連する質を改善するように選択される視覚的特徴を用いて、目標を前景230により表すことができよう。
視覚的特徴を選択する基準には、前景230を不明瞭にすることを避けることと共に、前景230に観察者の注意を引くことを促進することが含まれる。テキストを含む前景230に対して、強調表示240の視覚的な特性は、前景230と強調表示240との間に適当なコントラストを生じさせ、テキストの読み易さを改善するように選択される。他の環境においては、強調表示240と背景210との間のコントラストは、顕著性の基礎を提供できる。
一般に、種々の典型的な実施の形態において、外郭線140又は強調表示240に対する視覚的特性は、この外郭線140又は強調表示240に注意を引き付けるように自動的に選択される。視覚的特性の選択は、対象物130、背景110及び210、前景230及び/又は注意拡散物120及び220の視覚的特性に基づく。
特定の目標の視覚的特性の顕著性又は顕著性は、顕著性が高くなればなる程、その視覚的特性が、対象物、背景、前景及び/又は全ての注意拡散物等の他の表示された視覚的特性を有する表示中に現れたときに、観察者の注意を多く引くように決定される。一つの視覚的特性を自動的に選択でき、あるいは多数の視覚的特性の選択肢を観察者に提供することができる。種々の典型的な実施の形態において、視覚的特性は、文書を表示させることのできる領域内の利用可能なパレットから選択される色である。
図3は、一組の着色領域300を表し、一組の候補色相の典型的な一実施の形態を示す。これらの色相には、黄310、赤320、緑330、シアン340及びマゼンタ350が含まれる。ただし、所望により、他の色相も、これらの色相に代わり、又はこれらの色相に付け加えることができる。これにより、これらの色により強調表示された暗色のテキストの読み易さが助長される。グループ300中に示された色は、強調表示ペン中の色の類似している。
図4は、選択したテキストが拡大され、強調表示された状態の文書360の第1の典型的な実施の形態を示す。背景370は、彩度を減じたウェブページを示す。多数の黄色の強調表示380が、テキスト“recipe”を含み、一方、多数の赤の強調表示390がテキスト“pound cake”を含む。これらの強調表示は、製菓工程を探索するサーチエンジンから決定された。図5は、選択したテキストが拡大され、強調表示された状態の文書400の第2の典型的な実施の形態を示す。背景410は、彩度を減じたウェブページを示す。多数の黄色の強調表示420が、テキスト“halcion”を含み、一方、多数の赤の強調表示430がテキスト“side effects”を含む。これらの強調表示は、薬理学に適用されたサーチエンジンから決定された。
図3〜5に示すように、ウェブページ等の文書の集成の全体に渡って単一の選択を均一に適用するよりもむしろ、文書の集成の中で各文書に対して異なった強調表示の色を選択することができる。さらに、3次元空間中での探索を、最善の色、最善の飽和度、又は特定の事前選択候補色に対して遂行できる。「飛び出し」の程度も、スライダバーにより提示され、観察者が、読み易さと顕著性との間で相殺取引を選択することができるようにするかもしれない。ウェブページは、様々なプラットフォーム上にインストールされた種々のソフトウェアドライバにより駆動される種々の文書モニタ上で見ることができるので、このようなモニタの較正への依存性は、ユーザが操作した基準の修正によりユーザの好みを適応させることができるように、注意深く和らげられるべきである。
コンピュータモニタ上の一群のm画素等の離散化された領域にとって、各画素は、画素i=1,2,...,mからの数列量xiにより記述することができる。量xiは単一の特性に対するスカラー量に対応することができるが、数列j=1,2,...nを、色の用途に対して、n個の異なった色のパラメータに対して用いてもよい。画素群を表す色空間をn行m列のn×m行列中に表現できる。3個の直交座標中で、L***色に対する画素量xijを、3×m行列の要素により表現できる。
Figure 0004579529
種々の典型的な実施の形態において、離散化領域に現れた色が一旦表されたならば、これらの色の値の算術平均値μを決定できる。種々の典型的な実施の形態において、平均値μは、中央値、モード、変動範囲の中点値、又は代わりとなる位置の統計的測定値を表すことができ、本明細書の文脈において、幅広く取り扱われるべきである。離散化領域に対する種々の典型的な実施の形態において、平均値μは、画素群中に現れる色要素xiの平均値に対応し、その離散化領域内の背景と注意拡散物の両者を含むことができる。
種々の典型的な実施の形態において、平均値μは、単一の特性に対するスカラー値に対応することができるが、色に対する平均値μは、ベクトル又は複数のn行を有する1列行列として特徴付けられる。n×1ベクトル内の各スカラー要素は、μ1,μ2,...μnに対応する1,2,...,nからの色座標の下付文字jによりμjと表すことができる。平均値μjは、次式のように、各色座標jに対して独立に、画素量xiから決定できる。
Figure 0004579529
種々の典型的実施の形態において、加重係数ωを、領域の平均値μにより表されるその領域の選択部分に対して割り当てることができる。強調表示された領域により囲まれる離散化領域のテキストに対して、その強調表示された領域に対する色変数を背景に対して対照をなすようにすべきであるが、また、前景のテキストを目立たなくすることは避けるべきである。離散化領域の背景は、低彩度、即ち低飽和度、であってよいが、強調表示された領域は、低不透明度、即ち半透明性、で、テキストの読みやすさを保証しなければならない。背景から強調表示された領域を区別する視聴者の能力に関する注意拡散物の効果は、他の背景画素よりも注意拡散物に大きな割合で一致させることにより、強調することができる。したがって、離散化領域の各画素における各座標の量に、各加重係数に対する画素特性に基づいた加重係数を乗じることができる。また、バイアス係数ξを雑音調整のために加えることができる。各色座標に対する加重平均μiを加重画素量ωii及びバイアスξから、各色座標jとは独立に、次式のように決定できる。
Figure 0004579529
3個の直交座標のL***色のために、平均値μをj座標に対する3×1ベクトル行列により表すことができる。種々の典型的な実施の形態において、この色空間の平均値を、μLとしてのL*、μaとしてのa*、μbとしてのb*の値により定量化できる。種々の典型的な実施の形態において、L***色に対するベクトル行列は、次式で表せる。
Figure 0004579529
さらに、空間内で色の変動を定量化する色の共分散Σを決定できる。一般に、共分散Σは、平均値μの周辺の量の間の相関の測定値を表す。より一般的には、しかしながら、共分散Σは、ほぼ平均値μに等しい量の散布度又は変動性の測定値を提供する。共分散Σに対する適当な測定値は、その散布度に対する大きさと方向性の双方を提供できる。n次元色空間内の変数j及びkに対して、共分散要素Σjkを次式の如く表すことができる。
Figure 0004579529
平均値μを用いた場合、共分散Σはスカラー値に対応することができる。しかし、種々の典型的な実施の形態において、共分散Σは、n×n行列として特徴付けられ、時にはテンソル配列として表示される。n×n行列中の各要素値Σjkは、要素Σ11,Σ12,...,Σ1n,Σ21,Σ22,...,Σ2n,Σn1,Σn2,...,Σnnに対応する1,2,...,nから座標j及びkの二重の下付文字により表すことができる。座標j及びk間の正の相関を零より大きい共分散値で表す。このことは、正のj方向と、正のk方向に増加する画素値に対応する。同様に、負の相関を、零より小さい共分散値により表し、一方、座標j及びkの間の独立性を零の共分散により表す。
内部雑音項も式(5)の右辺の共分散Σに付け加えることができる。このようなバイアス項ξにより、人の視覚系において認められる雑音を説明できる。L***色に対して、この雑音項は、適当に近似できる。この雑音項は、表示された特徴についての人の視覚系による観察における雑音を表すことができる。さらに、雑音を加えることは、共分散行列が、零又は零に近い特定値を避ける共分散要素中の値を提供することにより共分散行列が必然的であることを保証することもできる。加重係数ωも選択された共分散要素に適用できる。
式(5)中で参照された共分散は、量、即ちその領域中の一組の特徴、の周りの最適の楕円を表す。共分散は、i=1,2,...,m及びj,k=1,2,...,nの全ての値に対する最大絶対差│(xij−xik)│であることができる。この共分散は、前記量の間のユークリッド距離等の散布度を特徴付けるための異なった関数であることができる。このユークリッド距離は、次式のように、ユークリッド行列D中の要素Dijとして表現することができる。
Figure 0004579529
共分散Σ行列の第1行は、それ自身に関するL*の値によりΣLLとして定量化できる。また、a*に関してΣLaとして、及びb*に関してΣLbとして、定量化できる。同様に、第2行、第3行を定量化することにより、次式の形のL***色に対する共分散行列の典型的な一実施の形態が導かれる。
Figure 0004579529
平均値μと共分散Σとが領域を特徴付けるが、目標Tの色は、平均値μと同一の次元のn×1行列又はベクトルにより特徴付けられる。顕著性は、その領域の背景中における注意拡散物の分布の平均値μに較べて、特定の目標の色Tのマハラノビス(Mahalanobis)距離Δとして定義される。分布の散布度は、共分散Σ、ユークリッド距離D又は全ての他の適当な既知のあるいはデータの散布度に関する後に開発される測定により表すことができる。
マハラノビス距離Δは、色選択方法のための一連の行列乗算操作により表すことができる。次式のように、顕著性表現を、マハラノビス距離Δの2乗から決定できる。
Figure 0004579529
ベクトル差(T−μ)が、式(4)からの各ベクトル成分に対する目標Tと領域の平均値μとの間のコントラストを表し、n×1行列又はベクトルを形成する。L***色に対して、そのベクトル差が次式のように書ける。
Figure 0004579529
式(9)から、このベクトル差の転置行列(T−μ)’が、1×n補集合を生じ、単一の行行列を形成する。スカラー差にとって、この転置行列はそれ自身であろう。L***色に対して、この転置行列(T−μ)’は次式で表される。
Figure 0004579529
差(T−μ)は、ベクトルであろうとスカラーであろうと、目標と注意拡散物との間の最小距離を表す。差(T−μ)は、目標と注意拡散物との間の差、例えば、目標と注意拡散物との最大距離、を表す他の関数であることができる。
共分散Σの逆行列Σ-1を行列逆転技術により決定できる。スカラー共分散Σに対しては、その逆元は基礎スカラー共分散Σの逆数である。マハラノビス距離Δで表された顕著性は、共分散の逆元を乗じ、次にベクトル差を乗じたベクトル差の転置行列である。式(8)中のこれらの行列乗算の結果、マハラノビス距離の2乗に対するスカラー積Δ2が生じる。
この技術を用いて計算された顕著性値が大きくなればなる程、目標の色Tが、平均値μと共分散Σとを有する色の背景表示中に現れたときに、観察者の注意を引く可能性が高くなる。目標の顕著性の測定として、目標特徴ベクトルと平均注意拡散物特徴ベクトルとの間の標準偏差の数を用いることが必須である。かくして、目標が突極していればいるほど、即ちマハラノビス距離Δが大きければ大きいほど、観察者が、注意拡散物の背景中から目標に気付くまたは目標を発見するのが容易になる。
この代わりに、顕著性を、小波に基づいた突極点検出又は代替濾波技術等のほかの方法により測定できる。種々の典型的な実施の形態において、スカラー動作のための特徴づけは、(T−μ)等の差、共分散Σ等の負の散布度、及びこの散布度により除算された差に基づいている。種々の他の典型的な実施の形態において、顕著性は、行列形式の散布度の逆元を乗算した差に基づいて決定できる。種々の典型的な実施の形態において、差に対して正の加重が印加され、散布度に対して負の加重が印加される。
***色に対して、式(4)〜(8)に略述したように、完全な顕著性の決定を行なうことなく、例えば、目標Tの色特性と中点の周囲の領域の平均値μとを比較することにより、高いレベルの顕著性を同定できる。例えば、明度L*は、黒(零)から白(100)に亘り、中間の灰色(50)で中点を取る。a*軸とb*軸との両者は零に中点を有し、彩度とは何ら関連付けられていない。
かくして、背景が高い平均明度を有する場合、即ちμL>50の場合、は、顕著性の高い値は目標の低い明度、即ちTL<50、に対応する。逆の場合も成り立つ。同様に、背景の平均値が緑、即ちμa<0、及び黄、即ちμb>0の場合は、顕著性の高い値が、赤が多い、即ちμa>0、目標及び/又は緑が多い、即ちμb<0、目標に対応する。逆の場合も成り立つ。この結果、顕著性の目標の色に対する第1の評価は、例えば、TL=100‐μL、Ta=−μa及びTb=−μbとしての値を含むことができる。
平均値μは、1以上の加重係数ωを用いて、目標Tの顕著性を比較する領域の測定値を調節することができる。強調表示されたテキスト例に対して、明度L*を強調表示を強調するのに用いることができ、一方、色相値a*及びb*は背景を強調するのに用いることができる。強調表示を第1の目標として取り扱うことができ、一方、テキストを、事前に選択された色特性を有する第2の目標として取り扱うことができる。そして、連結した顕著性の比較を、強調表示色の選択、及び理想的には最適化するのに用いることができる。1以上の加重係数も、空間的に隣り合う色に対する傾向を明らかにするのに用いて、空間的に目標からより離れている色よりも、目標の色の顕著性に対してより多くの効果を上げることができる。
図6は、一領域中の色の選択の方法の典型的な一実施の形態を略述するフローチャートである。ステップS100で開始し、動作はステップS110に続く。ステップS110で、領域を特徴付け、その領域のために算術平均値μを決定する。次に、ステップS120で、逆共分散Σを決定する。そして、ステップS130で、目標ベクトルTに対する初期評価を、選択的に平均値μに基づいて、決定する。初期評価は、座標の対応する中点から平均座標の2倍を減算することにより決定される。動作は、そして、ステップS140に続く。
ステップS140において、差(T−μ)を決定する。種々の典型的な実施の形態において、例えば、差をベクトルとして定義するときは、差(T−μ)も転置する。そして、ステップS150において、マハラノビス距離Δを、その領域中の目標Tの顕著性に対するスカラー測定値として決定する。次に、ステップS160において、決定した顕著性を受入れ基準に対して比較する。そして、ステップS170において、比較の結果、顕著性を受け入れることができるか否か決定する。顕著性を受け入れることができない場合には、動作はステップS180に続く。そうでなければ、動作はステップS190に飛び越す。
ステップS180において、目標の値を調整する。種々の典型的な実施の形態において、少なくとも一つの座標に沿って目標の値を増加させて変化させることにより、目標の値を調整する。このように増加させて変化させることは、現在の目標の値と座標値の平均値μとの間の色空間での差に基づいて行なうことができる。その代わりに、目標の値を無作為に変化させることができる。新しい候補の目標の値は、全ての所望の適当な技術に従って選択してよい。動作は、そして、ステップS140に戻る。この工程は、顕著性が受入れ基準を満たすまで無限に繰り返される。その代わりに、所定の処理条件を越えた後は、状態メッセージ及び/又は現在の目標値を伴って、この工程を中断することができる。それに反して、ステップS190においては、ステップS130又はステップS180で決定した目標値を出力する。その顕著性が1以上の基準又は全ての基準を満たす場合には、基準を満たしている現在の目標の値を出力する。動作は、そして、ステップS200へ続く。ステップS200では、この方法の動作を終了する。
図7は、領域ステップS110を特徴付ける方法の典型的な一実施の形態をより詳細に略述するフローチャートである。図7に示すように、動作はステップS110で始まり、ステップS112に続く。ステップS112で領域を離散化する。次に、ステップS114で、離散化した領域の特性の平均値を決定する。動作は、そして、ステップS120に戻る。領域の離散化を望まない場合にはステップS112を省略できることを認識すべきである。
図8は、ステップS120の逆共分散を決定する方法の典型的な一実施の形態をより詳細に略述するフローチャートである。図8に示すように、動作はステップS120で開始し、ステップS122に続く。ステップS122では共分散Σを決定する。次に、ステップS124では、共分散Σの逆Σ-1を決定する。動作は、そしてステップS130に戻る。
図9は、差(T−μ)を決定する方法(ステップS140)の典型的な一実施の形態をより詳細に略述するフローチャートである。図9に示すように、この方法の動作は、ステップS140で始まり、ステップS142に続く。ステップS142では、目標特性Tと平均特性μとの間の差(T−μ)を決定する。次に、ステプS144においては、差の転置行列(T−μ)’を決定する。動作は、そして、ステップS150に戻る。差(T−μ)がベクトルである場合には、ステップS144が特に有用であることを認識すべきである。しかし、ステップS144は選択自由であり、したがって省略することも可能であることを認識すべきである。
これらの方法を、全てのプラットフォーム上でこのような機能を適当に行う色の小さな収集物を生成することにより、ウェブ上で安全な色パレットを生成するのにも適用できる。例えば、www.slashdot.org/articles/00/09/08/1622204.shtml及びwww.hotwired.lycos.com/webmonkey/00/37/index2a.html?tw=design.のURLアドレスのウェブページを参照せよ。
本発明を、上に略述した典型的な実施の形態に関連して説明したが、多くの代替、修正及び変形が当業者には明白であろう。したがって、本発明のこれらの典型的な実施の形態は、上に述べたように、例証であるよう意図されており、限定的なものではない。本発明の精神と範囲から逸脱することなく、種々の変形をなすことが可能である。
本発明の方法の種々の典型的な実施の形態は、以下の図面に関して詳細に説明される。
目標を取り囲む外郭線を用いて、背景に対する目標を有する文書を表示する典型的一実施の形態を示す図である。 目標を取り囲む強調表示を用いて、背景に対する目標を有する文書を表示する典型的一実施の形態を示す図である。 本発明に従って、強調表示、外郭線又は目標に対して選択できる目標の色から、色を集めたものの典型的一実施の形態を示す図である。 本発明に従って、コールアウト及び/又はオーバーレイを用いて表示されるテキストを有する彩度を減少させた色の文書の典型的一実施の形態を示す図である。 本発明に従って、コールアウト及び/又はオーバーレイを用いて表示されるテキストを有する彩度を減少させた色の文書の典型的な第2の実施の形態を示す図である。 本発明に係る方法の一つの典型的な実施の形態を略述するフローチャートである。 本発明に係る図6の領域を特徴付ける方法の一つの典型的な実施の形態をより詳細に略述するフローチャートである。 本発明に係る図6の逆共分散を決定する方法の一つの代表的な実施の形態をより詳細に略述するフローチャートである。 本発明に係る図6の目標と平均値との差を決定する方法の一つの代表的な実施の形態をより詳細に略述するフローチャートである。
符号の説明
100,200,360,400 文書、110,210,370,410 背景、120,220 注意拡散物、130 対象物、140 外郭線、230 前景、240,380,390,420,430 強調表示、300 着色領域。

Claims (3)

  1. 文書の観察者に対して与えられる色相、影、きめ、大きさ、形状、動きなどの一領域内の視覚的特性を選択するための方法であって、
    前記方法は、文書あるいは文書の一部の観察者に対して与えられる対象物を示す特徴空間の色を選択するための方法であ
    該領域ある文書あるいは文書の一部の逆共分散と、背景内の特定の文書の項目に注意が向けられる程度に十分な顕著性を有する視覚特性である目標特性と該領域の平均特性との差とに基づいて顕著性を決定するステップと、
    少なくとも一つの受入れ基準に対して該顕著性を比較するステップと、
    前記顕著性が前記少なくとも一つの受入れ基準を満足しない場合に、前記目標特性を調節し、前記顕著性の決定ステップと、該顕著性の比較ステップとを繰り返すステップと、
    前記顕著性が前記少なくとも一つの受入れ基準を満足する場合に、前記目標特性を出力することで前記視覚的特性を選択するステップと
    を備え、
    顕著性を決定するステップは、
    前記領域の色の平均特性を決定するステップと、
    前記領域の色の共分散を決定するステップと、
    該共分散を逆にして、逆共分散を生成するステップと、
    目標特性としての目標色のベクトルを評価するステップと、
    前記平均特性と前記評価された目標特性との差を決定するステップと、
    該差を転置し、差の転置行列を生成するステップと、
    該差を乗じた前記逆共分散を、前記差の転置行列に乗じて得られる積を決定して前記顕著性を生成するステップと
    を備えたことを特徴とする方法。
  2. 請求項1に記載の方法であって、
    顕著性を決定するステップは、マハラノビス距離を決定するステップを含むことを特徴とする方法。
  3. 請求項2に記載の方法であって、
    マハラノビス距離を決定するステップは、次式の数列を決定するステップを含むことを特徴とする方法。
    Δ2=(T−μ)’Σ-1(T−μ)
    ここで、
    Δはマハラノビス距離、
    Tは目標特性、
    μは平均特性、
    Σ-1は逆共分散
    である。
JP2003420197A 2002-12-18 2003-12-17 視覚的特性を自動的に選択して背景に対して目標を強調表示する方法 Expired - Fee Related JP4579529B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/321,662 US7130461B2 (en) 2002-12-18 2002-12-18 Systems and method for automatically choosing visual characteristics to highlight a target against a background

Publications (2)

Publication Number Publication Date
JP2004199695A JP2004199695A (ja) 2004-07-15
JP4579529B2 true JP4579529B2 (ja) 2010-11-10

Family

ID=32592948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003420197A Expired - Fee Related JP4579529B2 (ja) 2002-12-18 2003-12-17 視覚的特性を自動的に選択して背景に対して目標を強調表示する方法

Country Status (5)

Country Link
US (1) US7130461B2 (ja)
JP (1) JP4579529B2 (ja)
BR (1) BRPI0306042B1 (ja)
CA (1) CA2452961C (ja)
MX (1) MXPA03011504A (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162052B2 (en) 1998-04-16 2007-01-09 Digimarc Corporation Steganographically encoding specular surfaces
US7532740B2 (en) 1998-09-25 2009-05-12 Digimarc Corporation Method and apparatus for embedding auxiliary information within original data
US20050223343A1 (en) * 2004-03-31 2005-10-06 Travis Amy D Cursor controlled shared display area
GB2417808A (en) * 2004-09-02 2006-03-08 Hewlett Packard Development Co Document creation system
EP1684262A1 (en) * 2005-01-21 2006-07-26 Research In Motion Limited Device and Method for Controlling the Display of Electronic Information
US7627059B2 (en) * 2005-04-05 2009-12-01 Samsung Electronics Co., Ltd. Method of robust timing detection and carrier frequency offset estimation for OFDM systems
US7616699B2 (en) * 2005-04-12 2009-11-10 Samsung Electronics Co., Ltd. Method of soft bit metric calculation with direct matrix inversion MIMO detection
FR2888375A1 (fr) * 2005-07-06 2007-01-12 Thomson Licensing Sa Procede d'obtention d'une carte de saillance a partir d'une pluralite de cartes de saillances etablies a partir de grandeurs visuelles differentes
US20070019242A1 (en) * 2005-07-22 2007-01-25 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US7751506B2 (en) 2005-12-01 2010-07-06 Samsung Electronics Co., Ltd. Method for the soft bit metric calculation with linear MIMO detection for LDPC codes
US20070156382A1 (en) * 2005-12-29 2007-07-05 Graham James L Ii Systems and methods for designing experiments
US7738139B2 (en) * 2006-01-30 2010-06-15 Microsoft Corporation Inking on photographs
CN100545865C (zh) * 2007-01-24 2009-09-30 中国科学院自动化研究所 一种对图像初始分割边界进行优化的自动分割方法
US20090012847A1 (en) * 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for assessing effectiveness of communication content
WO2009006545A2 (en) * 2007-07-03 2009-01-08 3M Innovative Properties Company System and method for generating time-slot samples to which content may be assigned for measuring effects of the assigned content
KR20100039875A (ko) * 2007-07-03 2010-04-16 쓰리엠 이노베이티브 프로퍼티즈 컴파니 배정된 컨텐츠의 효과를 측정하기 위해 컨텐츠를 시간 슬롯 샘플에 배정하는 시스템 및 방법
JP5082676B2 (ja) * 2007-08-23 2012-11-28 株式会社サタケ 光学式穀物選別機
US7936923B2 (en) * 2007-08-31 2011-05-03 Seiko Epson Corporation Image background suppression
US7974437B2 (en) * 2007-11-19 2011-07-05 Seiko Epson Corporation Identifying steganographic data in an image
US8081823B2 (en) * 2007-11-20 2011-12-20 Seiko Epson Corporation Segmenting a string using similarity values
US8031905B2 (en) * 2007-11-21 2011-10-04 Seiko Epson Corporation Extracting data from images
US8243981B2 (en) * 2007-11-26 2012-08-14 Seiko Epson Corporation Identifying embedded data in an image
US8009862B2 (en) * 2007-11-27 2011-08-30 Seiko Epson Corporation Embedding data in images
EP2240796A4 (en) * 2008-01-22 2012-07-11 Magna Int Inc USE OF A SINGLE CAMERA FOR SEVERAL TRAVEL SUPPORT SERVICES, PARKING AIDS, CLUTCH ASSIST AND TAILGATE PROTECTION
GB0905317D0 (en) * 2008-07-14 2009-05-13 Musion Ip Ltd Video processing and telepresence system and method
KR20110086010A (ko) 2008-10-03 2011-07-27 쓰리엠 이노베이티브 프로퍼티즈 컴파니 장면을 최적화하기 위한 시스템 및 방법
US8478111B2 (en) * 2008-10-03 2013-07-02 3M Innovative Properties Company Systems and methods for optimizing a scene
JP5486006B2 (ja) 2008-10-03 2014-05-07 スリーエム イノベイティブ プロパティズ カンパニー 堅牢性を評価するシステム及び方法
CN102341820B (zh) * 2009-01-07 2015-11-25 3M创新有限公司 用于同时进行关于内容有效性的因果实验和调整内容分配以优化商业目标的***和方法
US8264499B1 (en) 2009-06-02 2012-09-11 Sprint Communications Company L.P. Enhancing viewability of information presented on a mobile device
WO2010140291A1 (ja) * 2009-06-02 2010-12-09 日本電気株式会社 情報処理装置
JP5170043B2 (ja) * 2009-09-15 2013-03-27 コニカミノルタビジネステクノロジーズ株式会社 画像投影システム、画像投影方法および画像投影プログラム
US8830164B2 (en) 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
CN102271262B (zh) * 2010-06-04 2015-05-13 三星电子株式会社 用于3d显示的基于多线索的视频处理方法
CN102779338B (zh) * 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US8890886B2 (en) 2011-09-02 2014-11-18 Microsoft Corporation User interface with color themes based on input image data
AU2011254040B2 (en) * 2011-12-14 2015-03-12 Canon Kabushiki Kaisha Method, apparatus and system for determining a saliency map for an input image
JP5994287B2 (ja) * 2012-02-29 2016-09-21 株式会社リコー 画像処理装置、及び無色トナー画像の表示方法
FR2995433B1 (fr) * 2012-09-11 2016-09-02 Arjowiggins Security Procede d'authentification d'un element de securite par superposition de n images partagees en couleur et element de securite mettant en œuvre ce procede
US9671941B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Graphical behaviors for recognition interfaces
JP6495254B2 (ja) 2013-06-12 2019-04-03 スリーエム イノベイティブ プロパティズ カンパニー 視覚的注意モデリングの結果の提示
EP2819095A1 (en) * 2013-06-24 2014-12-31 Thomson Licensing Method and apparatus for inserting a virtual object in a video
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
CN104331390B (zh) * 2014-11-18 2018-09-11 网易(杭州)网络有限公司 一种筛选文本的方法及装置
US20160358592A1 (en) * 2015-06-05 2016-12-08 Apple Inc. Text legibility over images
EP3255556A1 (de) * 2016-06-10 2017-12-13 Renato Casutt Schnell-lese-verfahren und -system für text
CN110865856B (zh) * 2018-08-27 2022-04-22 华为技术有限公司 一种界面元素颜色显示方法及装置
US11392762B2 (en) * 2018-10-26 2022-07-19 Cimpress Schweiz Gmbh Technologies for managing dynamic design templates
DE112021002152T5 (de) * 2020-04-03 2023-02-09 Cimpress Schweiz Gmbh Systeme und verfahren zum verwalten digitaler designformate bei einer vielzahl von onlinediensten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339498A (ja) * 1999-05-31 2000-12-08 Minolta Co Ltd 3次元形状データ処理装置
JP2002032766A (ja) * 2000-07-18 2002-01-31 Matsushita Electric Ind Co Ltd 画像認識装置及びその方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4732660B2 (ja) * 2000-02-17 2011-07-27 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビジュアルアテンションシステム
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7051040B2 (en) * 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339498A (ja) * 1999-05-31 2000-12-08 Minolta Co Ltd 3次元形状データ処理装置
JP2002032766A (ja) * 2000-07-18 2002-01-31 Matsushita Electric Ind Co Ltd 画像認識装置及びその方法

Also Published As

Publication number Publication date
BRPI0306042B1 (pt) 2016-04-12
BR0306042A (pt) 2004-08-31
MXPA03011504A (es) 2004-09-10
JP2004199695A (ja) 2004-07-15
US20040120574A1 (en) 2004-06-24
CA2452961A1 (en) 2004-06-18
US7130461B2 (en) 2006-10-31
CA2452961C (en) 2008-04-08

Similar Documents

Publication Publication Date Title
JP4579529B2 (ja) 視覚的特性を自動的に選択して背景に対して目標を強調表示する方法
Micallef et al. Towards perceptual optimization of the visual design of scatterplots
Rogowitz et al. The" which blair project": A quick visual method for evaluating perceptual color maps
Shacked et al. Automatic lighting design using a perceptual quality metric
Vangorp et al. The influence of shape on the perception of material reflectance
Silva et al. Using color in visualization: A survey
Rheingans Task-based color scale design
Mittelstädt et al. Methods for compensating contrast effects in information visualization
Hagerhall et al. Fractal dimension of landscape silhouette outlines as a predictor of landscape preference
US7480405B2 (en) Methods for selecting high visual contrast colors in user-interface design
JP2539158B2 (ja) 自動イメ―ジ強調のための装置および方法
JPWO2008156147A1 (ja) 塗色データベースの作成方法及びそのデータベースを用いた検索方法、並びにそれらのシステム、プログラム及び記録媒体
Peterson An evaluation of unclassed crossed-line choropleth mapping
Sandnes Understanding WCAG2. 0 Colour Contrast Requirements Through 3D Colour Space Visualisation
Schulze-Wollgast et al. Enhancing visual exploration by appropriate color coding
US5552805A (en) Method and system for displaying blended colors
EP3624432A1 (en) Color processing program, color processing method, chromatic sensation examination system, output system, color vision correction image processing system, and color vision simulation image processing system
Qureshi et al. A comprehensive performance evaluation of objective quality metrics for contrast enhancement techniques
Bergner et al. A practical approach to spectral volume rendering
Mahalakshmi et al. Automated crop inspection and pest control using image processing
Hynek et al. Pixel-based analysis of information dashboard attributes
Armstrong et al. Package ‘DAMisc’
Montag The use of color in multidimensional graphical information display
Morimoto et al. Color and gloss constancy under diverse lighting environments
Rogowitz et al. Visual cues for data mining

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100826

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees