JP2016530595A - 視覚的注意モデリングの結果の提示 - Google Patents
視覚的注意モデリングの結果の提示 Download PDFInfo
- Publication number
- JP2016530595A JP2016530595A JP2016519536A JP2016519536A JP2016530595A JP 2016530595 A JP2016530595 A JP 2016530595A JP 2016519536 A JP2016519536 A JP 2016519536A JP 2016519536 A JP2016519536 A JP 2016519536A JP 2016530595 A JP2016530595 A JP 2016530595A
- Authority
- JP
- Japan
- Prior art keywords
- visual
- feature
- region
- scene
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000005094 computer simulation Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003705 neurological process Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (24)
- プロセッサ及びメモリを有するコンピュータを用いて、場面の領域内の視覚的特徴のインパクトを評価するための方法であって、
場面の視覚的表現を受信することと、
前記場面内の少なくとも1つの選択領域を示す領域選択データを受信することと、
前記プロセッサを使用して、視覚的注意モデルを前記視覚的表現に適用し、前記少なくとも1つの選択領域の視覚的目立ち度を決定することと、
前記プロセッサを使用して、前記少なくとも1つの選択領域と関連付けられている複数の視覚的特徴と関連付けられている特徴関連データを計算することと、
前記視覚的目立ち度及び前記特徴関連データに基づいて、前記少なくとも1つの選択領域内の前記視覚的特徴のうちの少なくとも1つが前記視覚的目立ち度に及ぼす特徴インパクトを評価することと、を含む、方法。 - 前記プロセッサによって、前記特徴インパクトを示す視覚的標識をレンダリングすることを更に含む、請求項1に記載の方法。
- 前記視覚的標識が、色、数字、及び文字のうちの少なくとも1つを含む、請求項2に記載の方法。
- 処理装置によって、前記視覚的標識を含むレポートを作成することを更に含む、請求項2に記載の方法。
- 前記視覚的特徴が、コントラスト、輝度、色、顔、エッジ、テキスト、動作、空間周波数、向き、形状、サイズ、及びそれらの組み合わせを含む、請求項1に記載の方法。
- 前記コントラストが、赤色−緑色コントラスト又は青色−黄色コントラストである、請求項5に記載の方法。
- 前記領域選択データが、ユーザー入力に基づく、請求項1に記載の方法。
- 前記領域選択データが、コンピューティングデバイスによるアルゴリズム選択に基づく、請求項1に記載の方法。
- 前記視覚的表現が、画像、動画、画像のメタデータ、又は動画のメタデータを含む、請求項1に記載の方法。
- 前記特徴インパクトが、数値によって表される、請求項1に記載の方法。
- 前記特徴インパクトが、パーセンテージによって表される、請求項1に記載の方法。
- 前記視覚的目立ち度が、数値、画像、パーセンテージ、又はそれらの組み合わせによって表される、請求項1に記載の方法。
- 視覚的注意モデル(VAM)の結果を提示するためのシステムであって、
場面の視覚的表現、及び前記場面内の選択領域を示す領域選択データを受信するように構成された入力モジュールと、
視覚的注意モデルを前記視覚的表現に適用し、前記選択領域の視覚的目立ち度を決定するように構成されたVAMモジュールであって、前記選択領域の視覚的特徴と関連付けられている特徴関連データを計算するように更に構成された、VAMモジュールと、
前記視覚的目立ち度及び前記特徴関連データに基づいて、前記選択領域の前記視覚的目立ち度に対する前記視覚的特徴の貢献度を推定するように構成された出力モジュールと、を含む、システム。 - 前記視覚的特徴の前記貢献度を示す視覚的標識を生成するように構成された提示モジュールを更に含む、請求項13に記載のシステム。
- 前記視覚的標識が、色、数字、及び文字のうちの少なくとも1つを含む、請求項14に記載のシステム。
- 前記処理装置によって、前記視覚的標識を含むレポートを作成することを更に含む、請求項14に記載のシステム。
- 前記視覚的特徴が、コントラスト、輝度、色、顔、エッジ、テキスト、動作、空間周波数、向き、形状、サイズ、又はそれらの組み合わせである、請求項13に記載のシステム。
- 前記コントラストが、赤色−緑色コントラスト又は青色−黄色コントラストである、請求項17に記載のシステム。
- 前記領域選択データが、ユーザー入力に基づく、請求項13に記載のシステム。
- 前記領域選択データが、コンピューティングデバイスによるアルゴリズム選択に基づく、請求項13に記載のシステム。
- 前記視覚的表現が、画像、動画、画像のメタデータ、又は動画のメタデータを含む、請求項13に記載のシステム。
- 前記視覚的特徴の前記貢献度が、数値によって表される、請求項13に記載のシステム。
- 前記視覚的特徴の前記貢献度が、パーセンテージによって表される、請求項13に記載のシステム。
- 前記視覚的目立ち度が、数値、画像、パーセンテージ、又はそれらの組み合わせによって表される、請求項13に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361834271P | 2013-06-12 | 2013-06-12 | |
US61/834,271 | 2013-06-12 | ||
PCT/US2014/040440 WO2014200742A1 (en) | 2013-06-12 | 2014-06-02 | Presenting results of visual attention modeling |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016530595A true JP2016530595A (ja) | 2016-09-29 |
JP6495254B2 JP6495254B2 (ja) | 2019-04-03 |
Family
ID=52022662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016519536A Expired - Fee Related JP6495254B2 (ja) | 2013-06-12 | 2014-06-02 | 視覚的注意モデリングの結果の提示 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10176396B2 (ja) |
EP (2) | EP3008665A4 (ja) |
JP (1) | JP6495254B2 (ja) |
WO (1) | WO2014200742A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2960854A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and device for determining a set of modifiable elements in a group of pictures |
US11113598B2 (en) | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
US20170032280A1 (en) * | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
DE102016210288A1 (de) * | 2016-06-10 | 2017-12-14 | Volkswagen Aktiengesellschaft | Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung |
JP6798183B2 (ja) * | 2016-08-04 | 2020-12-09 | 株式会社リコー | 画像解析装置、画像解析方法およびプログラム |
CN109284749A (zh) | 2017-07-19 | 2019-01-29 | 微软技术许可有限责任公司 | 精细化图像识别 |
CN109658455B (zh) * | 2017-10-11 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 图像处理方法和处理设备 |
CN110688292B (zh) * | 2018-07-04 | 2023-11-24 | 葛建新 | 一种基于注意机制的软件测试视觉检测方法 |
CN109509222B (zh) * | 2018-10-26 | 2020-11-03 | 北京陌上花科技有限公司 | 直线类物体的检测方法及装置 |
US20210264161A1 (en) * | 2018-12-28 | 2021-08-26 | Vizit Labs, Inc. | Systems and methods for image or video performance heat map generation |
CN110287760A (zh) * | 2019-03-28 | 2019-09-27 | 电子科技大学 | 一种基于深度学习的人脸五官点遮挡检测方法 |
CN110781846B (zh) * | 2019-10-30 | 2021-02-09 | 江苏开放大学(江苏城市职业学院) | 一种融合视觉广度特点的视觉注意计算方法 |
US20230386005A1 (en) | 2022-05-31 | 2023-11-30 | Konica Minolta, Inc. | Saliency analysis system, saliency analysis method and recording medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012504828A (ja) * | 2008-10-03 | 2012-02-23 | スリーエム イノベイティブ プロパティズ カンパニー | シーンを最適化するシステム及び方法 |
JP2013012124A (ja) * | 2011-06-30 | 2013-01-17 | Nikon Corp | 画像処理装置、撮像装置およびプログラム |
US8369652B1 (en) * | 2008-06-16 | 2013-02-05 | Hrl Laboratories, Llc | Visual attention system for salient regions in imagery |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6320976B1 (en) * | 1999-04-01 | 2001-11-20 | Siemens Corporate Research, Inc. | Computer-assisted diagnosis method and system for automatically determining diagnostic saliency of digital images |
US7130461B2 (en) * | 2002-12-18 | 2006-10-31 | Xerox Corporation | Systems and method for automatically choosing visual characteristics to highlight a target against a background |
GB2417808A (en) * | 2004-09-02 | 2006-03-08 | Hewlett Packard Development Co | Document creation system |
EP1836682B1 (en) * | 2005-01-10 | 2011-05-25 | Thomson Licensing | Device and method for creating a saliency map of an image |
US8363939B1 (en) * | 2006-10-06 | 2013-01-29 | Hrl Laboratories, Llc | Visual attention and segmentation system |
US7940985B2 (en) * | 2007-06-06 | 2011-05-10 | Microsoft Corporation | Salient object detection |
US8687844B2 (en) * | 2008-06-13 | 2014-04-01 | Raytheon Company | Visual detection system for identifying objects within region of interest |
US8577156B2 (en) * | 2008-10-03 | 2013-11-05 | 3M Innovative Properties Company | Systems and methods for multi-perspective scene analysis |
WO2011152893A1 (en) * | 2010-02-10 | 2011-12-08 | California Institute Of Technology | Methods and systems for generating saliency models through linear and/or nonlinear integration |
US20130158963A1 (en) | 2010-07-07 | 2013-06-20 | 3M Innovative Properties Company | Systems and methods for improving visual attention models |
AU2011254040B2 (en) * | 2011-12-14 | 2015-03-12 | Canon Kabushiki Kaisha | Method, apparatus and system for determining a saliency map for an input image |
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
US9298980B1 (en) * | 2013-03-07 | 2016-03-29 | Amazon Technologies, Inc. | Image preprocessing for character recognition |
-
2014
- 2014-06-02 JP JP2016519536A patent/JP6495254B2/ja not_active Expired - Fee Related
- 2014-06-02 US US14/896,701 patent/US10176396B2/en active Active
- 2014-06-02 EP EP14810266.8A patent/EP3008665A4/en not_active Withdrawn
- 2014-06-02 EP EP21194889.8A patent/EP3992921A1/en active Pending
- 2014-06-02 WO PCT/US2014/040440 patent/WO2014200742A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8369652B1 (en) * | 2008-06-16 | 2013-02-05 | Hrl Laboratories, Llc | Visual attention system for salient regions in imagery |
JP2012504828A (ja) * | 2008-10-03 | 2012-02-23 | スリーエム イノベイティブ プロパティズ カンパニー | シーンを最適化するシステム及び方法 |
JP2013012124A (ja) * | 2011-06-30 | 2013-01-17 | Nikon Corp | 画像処理装置、撮像装置およびプログラム |
Non-Patent Citations (3)
Title |
---|
梅田 修一, 小峯 一晃, 森田 寿哉: "視覚探索課題におけるサッカード潜時からの顕著性パラメータ導出", 映像情報メディア学会 2010年年次大会講演予稿集 [CD−ROM], JPN6018017154, 2 August 2010 (2010-08-02), JP, ISSN: 0003795911 * |
石飛 次郎, コー ユエンシュアン, 前田 純治: "注視モデルに基づく画像内の主要な物体の自動検出", 電子情報通信学会技術研究報告, vol. 第112巻/第433号, JPN6018017153, 11 February 2013 (2013-02-11), JP, pages 83 - 88, ISSN: 0003795910 * |
高柳 陽平, 小篠 裕子, 榎並 直子, 有木 康雄: "人検出のための動的顕著性マップモデルの構築", 電子情報通信学会技術研究報告, vol. 第112巻/第386号, JPN6018017152, 16 January 2013 (2013-01-16), JP, pages 187 - 191, ISSN: 0003795909 * |
Also Published As
Publication number | Publication date |
---|---|
EP3008665A1 (en) | 2016-04-20 |
WO2014200742A1 (en) | 2014-12-18 |
JP6495254B2 (ja) | 2019-04-03 |
US10176396B2 (en) | 2019-01-08 |
US20160132749A1 (en) | 2016-05-12 |
EP3992921A1 (en) | 2022-05-04 |
EP3008665A4 (en) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6495254B2 (ja) | 視覚的注意モデリングの結果の提示 | |
AU2009298428B2 (en) | Systems and methods for optimizing a scene | |
US8442328B2 (en) | Systems and methods for evaluating robustness of saliency predictions of regions in a scene | |
EP2356631B1 (en) | Systems and methods for evaluating robustness | |
AU2009298438B2 (en) | Systems and methods for multi-perspective scene analysis | |
AU2011276637B2 (en) | Systems and methods for improving visual attention models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170210 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6495254 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |