JP6029294B2 - 映像提示装置および映像提示プログラム - Google Patents
映像提示装置および映像提示プログラム Download PDFInfo
- Publication number
- JP6029294B2 JP6029294B2 JP2012050585A JP2012050585A JP6029294B2 JP 6029294 B2 JP6029294 B2 JP 6029294B2 JP 2012050585 A JP2012050585 A JP 2012050585A JP 2012050585 A JP2012050585 A JP 2012050585A JP 6029294 B2 JP6029294 B2 JP 6029294B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- viewer
- display device
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 89
- 230000000007 visual effect Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 59
- 230000002093 peripheral effect Effects 0.000 claims description 47
- 238000003384 imaging method Methods 0.000 claims description 46
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000002123 temporal effect Effects 0.000 claims description 35
- 238000012935 Averaging Methods 0.000 claims description 34
- 210000005252 bulbus oculi Anatomy 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000012546 transfer Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
Description
本発明の第1実施形態に係る映像提示装置10の構成について、図1〜図6を参照しながら説明する。映像提示装置10は、図1に示すように、視聴者Aに対して表示装置50を介して映像を提示するものである。映像提示装置10は、具体的には図1に示すように、表示装置50によって映像を視聴する視聴者Aの視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、表示装置50を介して、当該映像を視聴者Aに提示する。
加算処理手段13は、領域判定手段12によって閾値D0未満である(すなわち視野の中心領域内)と判定された画素位置P(x,y,t)に表示される映像の画素について、フレーム加算処理、すなわち前フレームにおける同一位置の画素と加算平均処理(図6参照)を行うことで時間解像度を低下させる。加算処理手段13は、より具体的には以下の式(3)に示すように、時間方向のローパスフィルター処理(前フレームとの加算平均処理)を行い、表示データPframe_avg(x,y,t)を算出する。
加算処理手段13は、領域判定手段12によって閾値D0を超える(すなわち視野の周辺領域内)と判定された画素位置P(x,y,t)に表示される映像の画素について、画素加算処理、すなわち同一フレームにおける周辺位置の画素との加算平均処理(図6参照)を行うことで空間解像度を低下させる。加算処理手段13は、より具体的には以下の式(4)に示すように、空間方向のローパスフィルター処理(周辺4画素加算平均処理)を行い、表示データP2d_avg(x,y,t)を算出する。
以下、本発明の第2実施形態に係る映像提示装置10Aについて、図8を参照しながら説明する。映像提示装置10Aは、図8に示すように、領域判定手段12の代わりに領域判定手段12Aを備え、視聴距離算出手段14をさらに備えている以外は、第1実施形態に係る映像提示装置10と同様の構成を備えている。従って、以下の説明では、映像提示装置10との相違点を中心に説明を行い、当該映像提示装置10と重複する構成および映像提示装置10Aの動作については詳細説明を省略する。
以下、本発明の第3実施形態に係る映像提示装置10Bについて、図9〜図11を参照しながら説明する。映像提示装置10Bは、図9に示すように、加算処理手段13の代わりに撮像素子15を備える以外は、第1実施形態に係る映像提示装置10と同様の構成を備えている。従って、以下の説明では、映像提示装置10との相違点を中心に説明を行い、当該映像提示装置10と重複する構成および映像提示装置10Bの動作については詳細説明を省略する。
フレーム加算処理において、図10に示すように、撮像素子15内部の各画素(光電変換部151)の蓄積電荷は、通常動作では読み出し動作後、リセットトランジスタ155によってリセット電位にリセットされる。このリセットトランジスタ155を操作し、読み出し操作およびリセット操作を行わない場合、光電変換部151の蓄積電荷は次のフレームも蓄積動作を継続する。そして、これを適当なフレーム分蓄積した後に読み出すと、読み出した画素信号はフレーム蓄積された画素信号となるため、撮像素子15内部でフレーム加算処置を行うことが可能となる。なお、これらのリセットトランジスタ155のスイッチ制御は、領域判定手段12の判定結果に含まれる制御信号によって操作される。
画素加算処理において、図11に示すように、撮像素子15内部の各画素(光電変換部151)からの読み出しは、転送ゲートトランジスタ152(gate1〜4)を経て、共通の電荷電圧変換部153(フローティングディフュージョン)に転送されて読み出される。転送ゲートトランジスタ152(gate1〜4)のon/offを制御する選択トランジスタ154(Gate switch1〜4)を操作することにより、任意の組み合わせで画素混合、すなわち画素加算を行うことが可能となる。例えば選択トランジスタ154のGate switch1とGate switch2とを同時にonとすると、水平方向の2画素の蓄積電荷が同時に電荷電圧変換部153に転送され、画素加算処理されることになる。同様に、選択トランジスタ154のGate switch1とGate switch3とを同時にonすると、直画素加算、選択トランジスタ154のGate switch1〜4を同時にonすると4画素加算となる。なお、これらの選択トランジスタ154のスイッチ制御は、領域判定手段12の判定結果に含まれる制御信号によって操作される。
以下、本発明の第4実施形態に係る映像提示装置10Cについて、図12および図13を参照しながら説明する。映像提示装置10Cは、図12に示すように、領域判定手段12の代わりに領域判定手段12Bを備える以外は、第1実施形態に係る映像提示装置10と同様の構成を備えている。従って、以下の説明では、映像提示装置10との相違点を中心に説明を行い、当該映像提示装置10と重複する構成および映像提示装置10Cの動作については詳細説明を省略する。
ここで、前記した映像提示装置10,10Cは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
10,10A,10B,10C 映像提示装置
11 視線算出手段
12,12A,12B 領域判定手段
13 加算処理手段
14 視聴距離算出手段
15 撮像素子
151 光電変換部(フォトダイオード)
152 転送ゲートトランジスタ
153 電荷電圧変換部
154 選択トランジスタ
155 リセットトランジスタ
20 撮像装置(眼球撮像装置)
30,30A 撮像装置(映像撮像装置)
40 映像再生装置
50 表示装置
60 ゲーム装置
A 視聴者
D0 閾値
Claims (5)
- 映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置であって、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段と、
前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する領域判定手段と、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段と、
を備えることを特徴とする映像提示装置。 - 前記撮像装置によって撮影された映像から、前記視聴者と前記表示装置との距離である視聴距離を算出する視聴距離算出手段を備え、
前記領域判定手段は、前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、前記視聴距離に応じて設定された領域範囲に含まれるか否かを判定することを特徴とする請求項1に記載の映像提示装置。 - 映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示する映像提示装置であって、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段と、
前記表示装置に映像を出力するドライビングシミュレーションのゲーム装置から車の走行速度に関する情報が入力され、前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め前記走行速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定する領域判定手段と、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素位置に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段と、
を備えることを特徴とする映像提示装置。 - 映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示するために、コンピュータを、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段、
前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め設定された領域範囲に含まれるか否かを判定する領域判定手段、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段、
として機能させるための映像提示プログラム。 - 映像を視聴する視聴者の視野を認識し、当該視野の中心領域と周辺領域とで解像度の異なる映像を生成し、当該映像を、表示装置を介して視聴者に提示するために、コンピュータを、
前記視聴者の眼球を撮影する撮像装置によって撮影された映像から、前記表示装置の画面上における前記視聴者の視線位置を算出する視線算出手段、
前記表示装置に映像を出力するドライビングシミュレーションのゲーム装置から車の走行速度に関する情報が入力され、前記表示装置の画面上におけるそれぞれの画素が、前記視聴者の視線位置を中心とした、予め前記走行速度に関する情報に応じて設定された領域範囲に含まれるか否かを判定する領域判定手段、
前記領域判定手段によって前記領域範囲に含まれると判定された画素位置に表示される映像の画素について、前フレームにおける同一位置の画素と加算平均処理を行うことで時間解像度を低下させ、前記領域判定手段によって前記領域範囲に含まれないと判定された画素位置に表示される映像の画素について、同一フレームにおける周辺位置の画素との加算平均処理を行うことで空間解像度を低下させる加算処理手段、
として機能させるための映像提示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012050585A JP6029294B2 (ja) | 2012-03-07 | 2012-03-07 | 映像提示装置および映像提示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012050585A JP6029294B2 (ja) | 2012-03-07 | 2012-03-07 | 映像提示装置および映像提示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013186254A JP2013186254A (ja) | 2013-09-19 |
JP6029294B2 true JP6029294B2 (ja) | 2016-11-24 |
Family
ID=49387741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012050585A Active JP6029294B2 (ja) | 2012-03-07 | 2012-03-07 | 映像提示装置および映像提示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6029294B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015101189A (ja) * | 2013-11-25 | 2015-06-04 | パイオニア株式会社 | 車載表示装置、ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体 |
WO2015100573A1 (zh) * | 2013-12-31 | 2015-07-09 | 华为终端有限公司 | 一种显示刷新方法和终端 |
JP6644371B2 (ja) * | 2014-12-17 | 2020-02-12 | マクセル株式会社 | 映像表示装置 |
JP2016218341A (ja) * | 2015-05-25 | 2016-12-22 | 日本放送協会 | 画像信号生成装置、及び、表示装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2873832B2 (ja) * | 1989-07-24 | 1999-03-24 | 株式会社エヌ・ティ・ティ・データ | 画像伝送方式 |
JPH08163556A (ja) * | 1994-11-30 | 1996-06-21 | Canon Inc | 映像通信装置および映像通信システム |
JP2000132152A (ja) * | 1998-10-27 | 2000-05-12 | Sharp Corp | 表示装置 |
JP3442736B2 (ja) * | 2000-11-30 | 2003-09-02 | コナミ株式会社 | 画像処理装置、画像処理方法及び情報記憶媒体 |
US7068813B2 (en) * | 2001-03-28 | 2006-06-27 | Koninklijke Philips Electronics N.V. | Method and apparatus for eye gazing smart display |
JP2003032541A (ja) * | 2001-07-17 | 2003-01-31 | Canon Inc | 画像処理装置及びシステム |
JP2003048453A (ja) * | 2001-08-06 | 2003-02-18 | Nissan Motor Co Ltd | 車両用表示装置 |
JP3556660B1 (ja) * | 2003-03-31 | 2004-08-18 | コナミ株式会社 | 画像生成装置、荷重表示方法、ならびに、プログラム |
JP4578197B2 (ja) * | 2004-09-29 | 2010-11-10 | 三洋電機株式会社 | 画像表示装置 |
JP4830384B2 (ja) * | 2004-12-03 | 2011-12-07 | 日産自動車株式会社 | 情報表示方法、表示制御装置、情報表示装置 |
JP2009527978A (ja) * | 2006-02-24 | 2009-07-30 | サムスン エレクトロニクス カンパニー リミテッド | 画像の符号化、復号化方法及び装置 |
JP5086711B2 (ja) * | 2007-07-11 | 2012-11-28 | シャープ株式会社 | 映像表示装置 |
JP5511361B2 (ja) * | 2009-12-22 | 2014-06-04 | キヤノン株式会社 | 画像表示装置およびその制御方法、プログラム |
-
2012
- 2012-03-07 JP JP2012050585A patent/JP6029294B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013186254A (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5497758B2 (ja) | 立体視画像表示装置 | |
US20120105657A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
US7932934B2 (en) | Image processing method and imaging apparatus using the same | |
US11176747B2 (en) | Information processing apparatus and information processing method | |
JP7282798B2 (ja) | 撮影装置、画像処理方法、及び、プログラム | |
JP5047344B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6029294B2 (ja) | 映像提示装置および映像提示プログラム | |
US11640058B2 (en) | Image processing method, image processing apparatus, and head-mounted display | |
US11126001B2 (en) | Image generating apparatus, head-mounted display, content processing system and image displaying method | |
US8390709B2 (en) | Camera and method for adjusting photographing time and mode | |
TWI449408B (zh) | 三維影像擷取方法與裝置及三維影像顯示裝置 | |
US20130343635A1 (en) | Image processing apparatus, image processing method, and program | |
WO2017187508A1 (ja) | 表示処理装置および撮像装置 | |
JP2013201688A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
EP2438572A1 (en) | Generating images with different fields of view | |
TW201943269A (zh) | 雙通道影像縮放系統及其方法 | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
JP2012253531A (ja) | 撮像装置、撮像方法および画像処理装置 | |
JP2015026891A (ja) | 画像処理装置および記憶媒体 | |
JP2011066498A (ja) | 画像処理装置及び車載用撮像システム | |
CN109196579A (zh) | 影像显示装置、影像显示装置的控制方法及影像显示装置的控制程序 | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
JP7533483B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
TWI484816B (zh) | 被動式立體影像系統及其影像處理方法 | |
WO2021054235A1 (ja) | 撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6029294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |