JP6011154B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP6011154B2 JP6011154B2 JP2012184949A JP2012184949A JP6011154B2 JP 6011154 B2 JP6011154 B2 JP 6011154B2 JP 2012184949 A JP2012184949 A JP 2012184949A JP 2012184949 A JP2012184949 A JP 2012184949A JP 6011154 B2 JP6011154 B2 JP 6011154B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- user
- unit
- target object
- recognition target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000033001 locomotion Effects 0.000 claims description 257
- 239000013598 vector Substances 0.000 claims description 179
- 230000008859 change Effects 0.000 claims description 102
- 238000004364 calculation method Methods 0.000 claims description 73
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 description 52
- 238000003860 storage Methods 0.000 description 42
- 230000002123 temporal effect Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 31
- 230000009471 action Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 210000003679 cervix uteri Anatomy 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000000189 Persea borbonia Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Description
(数1)
但し、HM(f)は、第1の動きベクトルの時間変化パターンのfフレームにおける動きベクトル量、HT(f)は、第2の動きベクトルの時間変化パターンのfフレームにおける動きベクトル量、ΣfH(f)は、所定のフレーム数での動きベクトル量の総和を示す。
(数2)
但し、Tiは、ユーザ動作i(i=1〜n)回目の第2の動きベクトルの時間変化パターンの始点と終点により規定される動作時間を示し、Taveは、ユーザ動作をn回実施した時の第2の動きベクトルの時間変化パターンの始点と終点により規定される動作時間の平均時間を示す。なお、上述の(数2)で算出される分散σを評価値2とする。
この場合は、分散σは、次式によって表現される。
(数3)
但し、Tfiは、ユーザ動作の往路におけるi(i=1〜n)回目の第2の動きベクトルの時間変化パターンの往路の始点と終点により規定される第1の動作時間を示す。Triは、ユーザ動作の復路におけるi回目の第2の動きベクトルの時間変化パターンの始点と終点により規定される動作時間を示す。Tfi-aveは、ユーザ動作をn回実施した時のTfiの平均時間を示し、Tri-aveは、Triの平均時間を示す。なお、上述の(数2)で算出される分散σを評価値3とする。
(付記1)
ユーザに拘持され、前記ユーザの視野方向の画像データを取得する取得部と、
前記画像データに含まれる認識対象物体を認識する認識部と、
前記認識部が認識した前記認識対象物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、前記位置変動量から前記認識部が認識した前記認識対象物体の動きベクトルを算出する第1算出部と、
前記動きベクトルに基づいて前記ユーザの動作方向を判定する判定部と、
前記判定部が判定した前記ユーザの動作方向毎の前記動きベクトルの分散を算出する第2算出部と、
前記ユーザの動作方向により選択される複数の選択情報を、前記分散に基づいて所定の位置に表示する表示部と、
を備えることを特徴とする画像処理装置。
(付記2)
前記画像処理装置は、認識対象物体の特徴点を記憶する記憶部にアクセス可能であり、
前記認識部は、前記画像データから特徴点を抽出し、抽出した特徴点と前記認識対象物体の特徴点を対応付けることによって、前記画像データに含まれる前記認識対象物体を認識することを特徴とする付記1記載の画像処理装置。
(付記3)
前記記憶部は、前記複数の選択情報にそれぞれ対応付けられた前記認識対象物体に関する付帯情報を更に記憶しており、
前記表示部は、前記選択部が選択した前記一つの選択情報に基づいて、前記付帯情報を表示することを特徴とする付記1記載の画像処理装置。
(付記4)
前記判定部は、前記ユーザの動作と前記動きベクトルを予め対応付けた第1の動きベクトルの時間変化パターンと、
前記第1算出部が算出する動きベクトルを所定時間に渡って算出することで生成される第2の動きベクトルの時間変化パターンとの類似度を比較することにより、前記ユーザの動作方向を判定することを特徴とする付記1記載の画像処理装置。
(付記5)
前記第2の動きベクトルの時間変化パターンは、前記動きベクトルの往復動によって規定され、
前記第2算出部は、前記第2の動きベクトルの時間変化パターンの往路の始点と終点により規定される第1の動作時間と、
前記第2の動きベクトルの時間変化パターンの復路の始点と終点により規定される第2の動作時間との比率に基づいて前記分散を算出し、
前記表示部は、前記選択部によって選択された回数と前記分散に基づいて、前記複数の選択情報を表示させる位置を変更することを特徴とする付記3記載の画像処理装置。
(付記6)
前記第2算出部は、前記第2の動きベクトルの時間変化パターンの始点と終点により規定される第3の動作時間に基づいて前記分散を算出し、
前記表示部は、前記選択部によって選択された回数と前記分散に基づいて、前記複数の選択情報を表示させる位置を変更することを特徴とする付記4記載の画像処理装置。
(付記7)
前記第2算出部は、前記類似度に基づいて前記分散を算出し、
前記表示部は、前記選択部によって選択された回数と前記分散に基づいて、前記複数の選択情報を表示させる位置を変更することを特徴とする付記4記載の画像処理装置。
(付記8)
前記表示部は、前記認識部が所定の時間以内に前記認識対象物体を認識しない場合に、前記複数の選択情報を表示させる位置を変更することを特徴とする付記5ないし付記7にいずれか一つに記載の画像処理装置。
(付記9)
前記表示部は、前記認識部が認識した第1の認識対象物体と異なる第2の認識対象物体を認識した場合に、前記複数の選択情報を表示させる位置を変更することを特徴とする付記5ないし付記7にいずれか一つに記載の画像処理装置。
(付記10)
前記認識部は、前記認識対象物体の位置変動量または、前記認識対象物体の面積変動量を前記複数の画像データからそれぞれ算出し、前記位置変動量または前記面積変動量に基づいて前記ユーザが注視する物体を認識することを特徴とする付記1記載の画像処理装置。
(付記11)
前記算出部は、前記画像データに含まれる前記認識対象物体の位置を、前記認識対象物体の特徴点から特定し、位置を特定した前記認識対象物体を包含する少なくとも4つの端点の位置変動量を、前記特徴点の位置変動量として算出することを特徴とする付記1に記載の画像処理装置。
(付記12)
ユーザに拘持される取得部から、前記ユーザの視野方向の画像データを取得し、
前記画像データに含まれる認識対象物体を認識し、
前記認識対象物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、
前記位置変動量から前記認識対象物体の動きベクトルを算出し、
前記動きベクトルに基づいて前記ユーザの動作方向を判定し、
判定した前記ユーザの動作方向毎の前記動きベクトルの分散を算出し、
前記ユーザの動作方向により選択される複数の選択情報を、前記分散に基づいて所定の位置に表示する
ことを含むことを特徴とする画像処理方法。
(付記13)
コンピュータに、
ユーザに拘持される取得部から、前記ユーザの視野方向の画像データを取得し、
前記画像データに含まれる認識対象物体を認識し、
前記認識対象物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、
前記位置変動量から前記認識対象物体の動きベクトルを算出し、
前記動きベクトルに基づいて前記ユーザの動作方向を判定し、
判定した前記ユーザの動作方向毎の前記動きベクトルの分散を算出し、
前記ユーザの動作方向により選択される複数の選択情報を、前記分散に基づいて所定の位置に表示する
ことを実行させることを特徴とする画像処理プログラム。
2 記憶部
3 取得部
4 認識部
5 第1算出部
6 判定部
7 第2算出部
8 表示部
9 制御部
Claims (6)
- ユーザの頭部に拘持され、前記ユーザの視野方向の画像データを取得する取得部と、
前記画像データに含まれる認識対象物体を認識する認識部と、
前記認識部が認識した前記認識対象物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、前記位置変動量から前記認識部が認識した前記認識対象物体の動きベクトルを算出する第1算出部と、
前記動きベクトルに基づいて前記ユーザの動作方向を判定する判定部と、
前記判定部が判定した前記ユーザの動作方向毎に、同一方向への動作を複数回行ったときの前記動きベクトルのばらつき度合いを示す分散を算出する第2算出部と、
算出した前記分散が小さい前記ユーザの動作方向に選択回数が多い選択情報を対応付け、算出した前記分散が大きい前記ユーザの動作方向に選択回数が少ない選択情報を対応付け、所定の位置に表示する表示部と
を備えることを特徴とする画像処理装置。 - 前記判定部は、前記ユーザの動作と前記動きベクトルを予め対応付けた第1の動きベクトルの時間変化パターンと、
前記第1算出部が算出する動きベクトルを所定時間に渡って算出することで生成される第2の動きベクトルの時間変化パターンとの類似度を比較することにより、前記ユーザの動作方向を判定することを特徴とする請求項1記載の画像処理装置。 - 前記第2の動きベクトルの時間変化パターンは、前記動きベクトルの往復動によって規定され、
前記第2算出部は、前記第2の動きベクトルの時間変化パターンの往路の始点と終点により規定される第1の動作時間と、
前記第2の動きベクトルの時間変化パターンの復路の始点と終点により規定される第2の動作時間との比率に基づいて前記分散を算出し、
前記表示部は、前記選択部によって選択された回数と前記分散に基づいて、前記複数の選択情報を表示させる位置を変更することを特徴とする請求項2記載の画像処理装置。 - 前記表示部は、前記認識部が所定の時間以内に前記認識対象物体を認識しない場合に、前記複数の選択情報を表示させる位置を変更することを特徴とする請求項3に記載の画像処理装置。
- 前記表示部は、前記認識部が認識した第1の認識対象物体と異なる第2の認識対象物体を認識した場合に、前記複数の選択情報を表示させる位置を変更することを特徴とする請求項3に記載の画像処理装置。
- ユーザの頭部に拘持される取得部から、前記ユーザの視野方向の画像データを取得し、
前記画像データに含まれる認識対象物体を認識し、
前記認識対象物体に対応する特徴点の位置変動量を、取得時間が異なる複数の前記画像データから算出し、
前記位置変動量から前記認識対象物体の動きベクトルを算出し、
前記動きベクトルに基づいて前記ユーザの動作方向を判定し、
判定した前記ユーザの動作方向毎に、同一方向への動作を複数回行ったときの前記動きベクトルのばらつき度合いを示す分散を算出し、
算出した前記分散が小さい前記ユーザの動作方向に選択回数が多い選択情報を対応付け、算出した前記分散が大きい前記ユーザの動作方向に選択回数が少ない選択情報を対応付け、所定の位置に表示する
ことを含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012184949A JP6011154B2 (ja) | 2012-08-24 | 2012-08-24 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012184949A JP6011154B2 (ja) | 2012-08-24 | 2012-08-24 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014044476A JP2014044476A (ja) | 2014-03-13 |
JP6011154B2 true JP6011154B2 (ja) | 2016-10-19 |
Family
ID=50395719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012184949A Expired - Fee Related JP6011154B2 (ja) | 2012-08-24 | 2012-08-24 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6011154B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6657838B2 (ja) * | 2015-11-19 | 2020-03-04 | 株式会社大林組 | 長尺材測位支援装置 |
WO2018069981A1 (ja) * | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
JP2019016316A (ja) * | 2017-07-11 | 2019-01-31 | 株式会社日立エルジーデータストレージ | 表示システム、及び表示システムの表示制御方法 |
WO2019186622A1 (ja) * | 2018-03-26 | 2019-10-03 | 楽天株式会社 | 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185442A (ja) * | 1997-09-03 | 1999-03-30 | Sanyo Electric Co Ltd | 情報出力装置 |
JP2002281200A (ja) * | 2001-03-21 | 2002-09-27 | Kyocera Mita Corp | 画像形成装置 |
JP4245516B2 (ja) * | 2004-06-07 | 2009-03-25 | 日本電信電話株式会社 | 映像データへの情報書き込み支援方法、装置、およびプログラム |
JP4711885B2 (ja) * | 2006-05-25 | 2011-06-29 | 三菱電機株式会社 | 遠隔操作装置及び方法 |
JP5448073B2 (ja) * | 2010-01-12 | 2014-03-19 | 任天堂株式会社 | 情報処理装置、情報処理プログラム、情報処理システム、および、選択対象の選択方法 |
JP5743416B2 (ja) * | 2010-03-29 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP5735866B2 (ja) * | 2011-06-20 | 2015-06-17 | 任天堂株式会社 | 情報処理システムおよびプログラム |
-
2012
- 2012-08-24 JP JP2012184949A patent/JP6011154B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014044476A (ja) | 2014-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5780142B2 (ja) | 画像処理装置、画像処理方法 | |
US11106920B2 (en) | People flow estimation device, display control device, people flow estimation method, and recording medium | |
CN106415445B (zh) | 用于观看者关注区域估计的技术 | |
EP3195595B1 (en) | Technologies for adjusting a perspective of a captured image for display | |
US8644551B2 (en) | Systems and methods for tracking natural planar shapes for augmented reality applications | |
JP6015250B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6075110B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20150145762A1 (en) | Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program | |
US10331209B2 (en) | Gaze direction mapping | |
KR20090119107A (ko) | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 | |
CN108198044A (zh) | 商品信息的展示方法、装置、介质及电子设备 | |
JP6011154B2 (ja) | 画像処理装置、画像処理方法 | |
US9619707B2 (en) | Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium | |
JP2021531589A (ja) | 目標対象の動作認識方法、装置及び電子機器 | |
US20150304549A1 (en) | Image photographing device and method for same | |
JP6290020B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20180150999A1 (en) | Image display apparatus, image display method, and system | |
US20150116473A1 (en) | Information processing apparatus, information processing method, and program | |
WO2016152830A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN115168628A (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
US11269405B2 (en) | Gaze direction mapping | |
WO2023007730A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、及び記録媒体 | |
JP3224399U (ja) | 化粧評価装置および化粧評価システム | |
JP6514386B1 (ja) | プログラム、記録媒体及び画像生成方法 | |
KR20150087666A (ko) | 휴대 단말의 입력 인터페이스 제공 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150512 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6011154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |