JP6011072B2 - 制御装置、及びプログラム - Google Patents
制御装置、及びプログラム Download PDFInfo
- Publication number
- JP6011072B2 JP6011072B2 JP2012146953A JP2012146953A JP6011072B2 JP 6011072 B2 JP6011072 B2 JP 6011072B2 JP 2012146953 A JP2012146953 A JP 2012146953A JP 2012146953 A JP2012146953 A JP 2012146953A JP 6011072 B2 JP6011072 B2 JP 6011072B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- image
- image data
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 claims description 219
- 238000006073 displacement reaction Methods 0.000 claims description 93
- 230000003287 optical effect Effects 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 description 156
- 238000004891 communication Methods 0.000 description 75
- 230000000875 corresponding effect Effects 0.000 description 25
- 210000003128 head Anatomy 0.000 description 20
- 230000001133 acceleration Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 206010025482 malaise Diseases 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000001962 electrophoresis Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
また、一方で、撮像装置などの情報入出力装置では、映像を拡大して撮像する場合などに手振れにより発生する映像のブレを低減させる技術(防振技術)が知られている。
図1は、本実施形態のヘッドマウントディスプレイの斜視図である。図2は、ヘッドマウントディスプレイを背面側から見た斜視図である。図3は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。図4は、ディスプレイ本体20の水平断面図である。
なお、図1及び図2では、ディスプレイ本体20の長手方向をY軸方向、ヘッドバンド40がユーザーの頭部を挟持する方向をX軸方向としている。
ディスプレイ本体20は、図1に示すように、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部21と、装置本体部21の先端に連結された表示部60とを有する。
メインスイッチ28は、ディスプレイ本体20の電源のオンオフ操作を行うスイッチである。タッチスイッチ34は、表面に手指等で触れることによりヘッドマウントディスプレイ1の各種操作を行うことができるタッチパネルである。集音マイク24は、環境音を収集する外部マイクである。
USBコネクター25はUSB(Universal Serial Bus)デバイスの接続端子である。本実施形態では、例えば、図5に示すリモコン(リモートコントローラー)140が接続される。
ビデオコネクター27は、映像入出力端子である。
本実施形態の場合、カメラ64の撮像方向は、ユーザーの視線方向と一致するように設定される。撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ64を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル63に表示させる。これにより、カメラ64に調整機構を設けることなくユーザー正面の映像の撮像、表示が可能となる。
ヘッドバンド40は、図2に示すように、ユーザーの頭部を挟持する一対のヘッドパット(装着部材)46、47と、第1ヘッドバンド43と、第2ヘッドバンド44と、回動機構56、57とを備えている。
リモコン140は、筐体140Aと、タッチパッド141と、操作スイッチ147と、USBコネクター142と、インジケーター143a、143b、143cと、取付クリップ144と、インジケータースイッチ150とを備えている。
また、USBコネクター142は、リモコン140がバッテリーを内蔵している場合には、装置本体部21への給電端子として用いることもできる。リモコン140のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ1は、装置本体部21のバッテリー容量を小さくでき、装置本体部21を小型軽量化することができる。
ステレオイヤホン100は、コネクター101と、ケーブル102と、第1スピーカー103と、第2スピーカー104と、集音マイク105と、複数のクリップ106とを有している。
ヘッドマウントディスプレイ1には、処理部123を中心として種々の電気回路が備えられている。ヘッドマウントディスプレイ1は、例えば、バックライト62、表示パネル63、カメラ64、撮像素子72、デコーダー121、フラッシュメモリー122、処理部123、LCDドライバ125、BLドライバ126、メモリー127、エンコーダー129、メインスイッチ28、操作スイッチ30、タッチスイッチ34、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138、加速度センサー132、地磁気センサー133、角速度センサー134、及びGPSセンサー135を備えている。
なお、本実施形態において、カメラ64、撮像素子72、処理部123、メモリー127、エンコーダー129、メインスイッチ28、操作スイッチ30、タッチスイッチ34、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138、加速度センサー132、地磁気センサー133、角速度センサー134、及びGPSセンサー135が入出力装置200(情報入出力装置)に対応する。すなわち、入出力装置200は、カメラ64、撮像素子72、処理部123、メモリー127、エンコーダー129、メインスイッチ28、操作スイッチ30、タッチスイッチ34、BT通信回路130、WiFi通信回路131、3G/LTE通信回路138、加速度センサー132、地磁気センサー133、角速度センサー134、及びGPSセンサー135を備えている。
スピーカーアンプ162は、音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー23及び前方スピーカー70に接続されている。
電源回路120は、処理部123から供給される制御信号に基づいて、バッテリー33から供給された電力の制御(例えば、電圧の変換、供給オンオフ)を行う。
全体の電源のオンオフを行うメインスイッチ28や、画面内でのポインティング操作を行うための操作スイッチ30、あるいはタッチ操作により各種操作を行うタッチスイッチ34がユーザーに操作されると、これらのスイッチから操作に基づく制御信号が処理部123へ出力される。処理部123は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
WiFi通信回路131は、他の機器との無線LAN通信(IEEE 802.11)を行うための通信回路である。
3G/LTE通信回路138は、他の機器との移動通信を行うための通信回路である。
ここで、本実施形態において、BT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138は、画像処理部205が出力する画像データを入出力装置200の外部に送信する送信部に対応する。
地磁気センサー133(方向検出部)は、ヘッドマウントディスプレイ1の方角検出に用いられる。例えば、地磁気センサー133は、カメラ64の方向(例、方位情報)を検出する。地磁気センサー133は、検出した方位情報を処理部123に供給する。
なお、本実施形態において、加速度センサー132又は地磁気センサー133は、方向検出部に対応し、カメラ64の方向を検出する。
また、例えば、地磁気センサー133は、後述するブレ検出(振れ検出)に用いられてもよい。この場合、地磁気センサー133は、カメラ64の光軸の変位を方位情報の変化として検出する変位検出部に対応する。ここで、カメラ64の光軸の変位とは、ユーザーの頭部の揺れ(振れ)により、カメラ64が有する光学系に生じる光軸のずれのことである。すなわち、カメラ64の光軸の変位は、被写体像にブレを生じさせるカメラ64の撮像方向のずれを示している。
GPSセンサー135(位置検出部)は、GPS(Global Positioning System)を利用した測位検出に用いられる。例えば、GPSセンサー135は、カメラ64の位置(例、緯度経度)を検出する。GPSセンサー135は、検出したカメラ64の位置(例、緯度経度)を処理部123に供給する。
心拍数センサー137は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。心拍数センサー137は、検出したユーザーの心拍数を処理部123に供給する。
レーザー発振器73は、上述したように表示パネル63に表示された画像内の所定の位置に対応するターゲットにレーザー光(スポット光)を照射する。
また、処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データをフラッシュメモリー122に記憶させる。処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データを、LCDドライバ125を介して表示パネル63に表示させる。処理部123は、例えば、カメラ64、撮像素子72、又はビデオコネクター27からエンコーダー129を介して供給された映像(画像)データをBT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138を介して他の機器に送信する。
また、処理部123は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
処理部123は、例えば、振れ補正部201、ズーム制御部202、付加情報取得部203、AR位置補正部204、画像処理部205、表示制御部206、及びハイパスフィルタ207を備えている。
また、振れ補正部201は、この振れ補正の際に、ハイパスフィルタ207によってフィルタ処理された光軸の変位に応じて、カメラ64が撮像する画像の揺れを補正する。このことにより、光軸の変位のうち、パン操作などによる光軸の変位を除いた、ユーザーの頭の振れなどによる、補正の対象となる光軸の変位を適切に抽出することが可能になる。
なお、ここで、AR位置補正部204は、ハイパスフィルタ207によってフィルタ処理した光軸の変位に応じて、付加情報を重畳する位置を補正する。このことにより、光軸の変位のうち、パン操作などによる光軸の変位を除いた、ユーザーの頭の振れなどによる光軸の変位を抽出することが可能になる。すなわち、AR位置補正部204は、このような振れ補正部201の補正対象となる光軸の変位に対して、適切に付加情報を重畳する位置を補正することができる。
また、表示制御部206は、例えば、BT通信回路130、WiFi通信回路131、又は3G/LTE通信回路138によって送信させる画像データに対応する撮像画像をカメラ64が撮像する場合に、振れ補正部201を動作させる。
また、表示制御部206は、例えば、フラッシュメモリー122によって記憶(記録)される画像データに対応する撮像画像をカメラ64が撮像する場合に、振れ補正部201を動作させる。
なお、表示制御部206は、上述したように、振れ補正部201が動作している場合に、AR位置補正部204に対して付加情報を重畳する位置を補正させる。
なお、ハイパスフィルタ207は、デジタル信号処理によってフィルタ処理を実現するものであってもよいし、アナログ信号処理によってフィルタ処理を実現するものであってもよい。
この図においてヘッドマウントディスプレイをHMDと表記する。なお、HMD1は、ユーザー(本人)が使用するヘッドマウントディスプレイであり、HMD500は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。
この図においてヘッドマウントディスプレイをHMDと表記する。なお、HMD1は、ユーザー(本人)が使用するヘッドマウントディスプレイであり、HMD500は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。
記憶部212には、各端末から受信した画像データ(動画、静止画)、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録が記録(記憶)されている。
通信インタフェース213は、例えば、WiFi通信回路、3G通信回路、LTE通信回路、有線LAN回路等を備えている。
まず、ヘッドマウントディスプレイ1におけるヘッドバンド40の動作等について、図9を参照しつつ説明する。
図9は、本実施形態におけるヘッドバンド40の動作を説明する説明図である。
例えば、右眼観察形態から左眼観察形態へ切り替えるには、ヘッドバンド40に連結されたディスプレイ本体20を、ディスプレイヒンジ61の回転軸回り(図示A方向)に180°程度回転させる。また、ヘッドバンド40において、第2ヘッドバンド44を回動機構56,57の軸回りに揺動させ、第1ヘッドバンド43に対して反対側に移動させる。この操作により、図3(B)に示すように、ユーザーの左眼側にディスプレイ本体20が配置され、しかも第2ヘッドバンド44がユーザーの後頭部側に配置された左眼観察形態に切り替えることができる。
図9に示す円弧高さr1は、同軸に配置された回動機構56、57の回転軸Lの中央位置Cから第1ヘッドバンド43までの距離の最大値である。また円弧高さr2は、回転軸Lの中央位置Cから第2ヘッドバンド44までの距離の最大値である。
図10は、本実施形態におけるヘッドマウントディスプレイ1の動作の一例を示す図である。図10は、ユーザーの眼前に広がる景色V1に対して、カメラ64で撮像(撮影)された撮像画像(映像)G14と、GPSセンサー135及び地磁気センサー133により取得した位置情報及び方位情報に基づいて、取得した付加情報を表示パネル63に表示する場合の一例を示している。
例えば、図10に示すように、ユーザーの前面には対象物である山OB1及び山OB2が存在している。画像処理部205は、付加情報取得部203によってネットワークを経由して取得された山OB1の名称である「○○山」といった地形情報I1を撮像画像G14に重畳させる。すなわち、付加情報取得部203は、加速度センサー132及び地磁気センサー133によって検出されたカメラ64の方向と、GPSセンサー135によって検出されたカメラ64の位置(緯度経度情報)とに基づいてネットワークを経由して付加情報(「○○山」という地形情報I1)を取得する。画像処理部205は、撮像画像G14に付加情報(「○○山」という地形情報I1)を重畳させる。そして、表示制御部206は、この付加情報を重畳した画像データを表示パネル63に表示させる。
また、図10において、枠G13は、ヘッドマウントディスプレイ1を装着したユーザーの頭が回転(光軸が変位)し、カメラ64の方向がdx及びdyだけずれた場合に、振れ補正を行わずに読み出される範囲を示している。
図11は、実施施形態におけるヘッドマウントディスプレイ1の動作の一例を示すフローチャートである。
次に、処理部123のズーム制御部202は、電子ズーム倍率を所定の倍率に設定する(ステップS102)。すなわち、ズーム制御部202は、電子ズームの手法を用いて、カメラ64の読み出し範囲(枠G10)のうちの枠G11の範囲の画像を撮像画像としてカメラ64から読み出す。なお、枠G11の範囲は、表示倍率(変更倍率)“1”となる範囲であり、この枠G11の範囲は、表示パネル63に表示させた場合に、ユーザーが肉眼で観察する風景と同じ倍率に表示されるように設定されている。
このように、このように、ヘッドマウントディスプレイ1は、起動時に、ユーザーが実際の肉眼による視界と同じ倍率で画像が表示されるように制御される。これにより、ユーザーは、カメラ64が何処を向いているのかを容易に把握することが可能となっている。
ここでは、付加情報取得部203は、まず、山OB1における山頂部の画面上の座標(X1,Y1)を次のように算出する。
例えば、カメラ64の仰角が0度、すなわち水平である場合、且つ、カメラ64から山OB1までの距離が10Km(キロメートル)、山OB1の高さが800m、ユーザー(カメラ64)が位置している標高が500mである場合に、付加情報取得部203は、OB1の山頂の仰角θ1を以下の式(2)により算出する。
ここで、地形情報I1は、山頂位置に表示するのではなく、例えば、左右方向(水平方向)はそのままに、高さ方向を山頂より50画素ほど離した山OB1の上空に表示した方が好ましい。そこで、付加情報取得部203は、地形情報I1の表示位置(X2,Y2)を以下の式(4)及び式(5)により算出する。
Y2=Y1+50 ・・・(5)
次に、表示制御部206は、ズーム倍率(変更倍率)が所定の変更倍率より大きいか否か、画像を録画しているか否か、又は画像をHMD500或いはサーバー210に配信中か否かを判定する(ステップS113)。
例えば、表示制御部206は、ズーム倍率(変更倍率)が1倍より大きいか否かを判定する。ここで、ズーム処理による表示倍率(変更倍率)が、ユーザーが肉眼で観察する場合よりも大きく表示パネル63に景色が表示される場合には、カメラ64を保持するユーザーの頭部の振れ(ブレ)などによって表示範囲の揺れが発生する。このような画像(映像)をユーザーが見た場合には、いわゆる映像酔いなどの不快な症状を発症することがある。そこで、表示制御部206は、ズーム倍率が1倍より大きい場合(ステップS113:Yes)に、処理をステップS114に進め、振れ補正部201に対して振れ補正処理(防振処理)を開始させる。また、表示制御部206は、表示制御部206は、ズーム倍率が1倍以下の場合(ステップS113:No)に、処理をステップS119に進める。
なお、ヘッドマウントディスプレイ1は、表示倍率が1以下の場合、且つ、画像(映像)を他の端末などに送信したり、録画(記録)したりする必要の無い場合には、撮像画像がブレる(揺れる)ことによってユーザーが画像酔いを起こすことはない。そのため、このような場合に、表示制御部206は、振れ補正処理(防振処理)を実行させない。
例えば、図10に示す一例は、カメラ64が枠G12の方向を向いている状態において、ユーザーの頭部の振れが生じて、枠G13の方向をカメラ64が向いてしまった場合を示している。この場合、振れ補正部201は、算出した補正値(dX,dY)に基づいて、枠G13より補正値(dX,dY)だけずれた枠G12を切り出し画面(撮像画像)として読み出す。このことにより、入出力装置200は、振れ(揺れ)のない撮像画像を出力する。つまり、ユーザーには、振れ(揺れ)のない撮像画像が供給される。
また、上述のステップS119とステップS120との処理において、表示制御部206は、撮像画像と付加情報を重畳させた画像データとを個別(2回に分けて)に表示パネル63に表示させる一例を説明したが、付加情報を重畳させた画像データを一度に表示パネル63に表示させてもよい。
これにより、本実施形態における入出力装置200は、例えば、振れ補正処理(防振処理)を実行する場合であっても、正しい位置に付加情報を表示させることができる。したがって、本実施形態における入出力装置200は、映像酔いなどの不快な症状を発症することを低減することができるので、利便性を向上させることができる。
これにより、本実施形態における入出力装置200は、付加情報を重畳する位置の補正を、振れ補正部201による補正に対応させることができるので、振れ補正処理(防振処理)を実行する場合であっても、正しい位置に付加情報を表示させることができる。
これにより、振れ補正部201及びAR位置補正部204は、光軸の変位のうち、パン操作などによる光軸の変位を除いた、ユーザーの頭の振れなどによる光軸の変位を抽出することが可能になる。そのため、本実施形態における入出力装置200は、このような振れ補正部201の補正対象となる光軸の変位に対して、適切に付加情報を重畳する位置を補正することができる。
これにより、振れ補正部201が動作している場合に、AR位置補正部204に補正させ、振れ補正部201が動作していない場合には、AR位置補正部204に補正させないので、本実施形態における入出力装置200は、適切に付加情報を重畳する位置を補正することができる。
これにより、本実施形態における入出力装置200は、例えば、映像酔いなどの不快な症状を発症する場合に、振れ補正処理(防振処理)及び付加情報を重畳する位置の補正を適切に行うことができる。そのため、本実施形態における入出力装置200は、利便性を向上させることができる。
これにより、本実施形態における入出力装置200は、起動時に、ユーザーが実際の肉眼による視界と同じ倍率で画像が表示されるように制御される。そのため、ユーザーは、カメラ64が何処を向いているのかを容易に把握することができる。
これにより、画像データの送信先の端末装置(例えば、HMD500)において、画像(映像)を見ているユーザーが、映像酔いなどの不快な症状を発症することを低減することができる。したがって、本実施形態における入出力装置200は、利便性を向上させることができる。
これにより、フラッシュメモリー122によって記憶される画像データを見る場合であっても、ユーザーが映像酔いなどの不快な症状を発症することを低減することができる。したがって、本実施形態における入出力装置200は、利便性を向上させることができる。
これにより、本実施形態における入出力装置200は、付加情報(例、地形情報I1や気象情報I2など)を適切に取得することができる。
これにより、本実施形態における入出力装置200は、撮像画像に含まれる対象物を正確に検出することができるので、付加情報(例、地形情報I1や気象情報I2など)を正確に取得することができる。
上述した入出力装置200を備えているので、本実施形態におけるヘッドマウントディスプレイ1は、入出力装置200と同様の効果を得ることができる。すなわち、本実施形態におけるヘッドマウントディスプレイ1は、入出力装置200と同様に、利便性を向上させることができる。
次に、第2の実施形態について図面を参照して説明する。
第2の実施形態におけるヘッドマウントディスプレイ1の構成は、第1の実施形態と同様である。本実施形態では、角速度センサー134の代わりに、地磁気センサー133を用いて、振れ補正処理(防振処理)及び付加情報を重畳する位置の補正処理を行う場合の一例を示している。
図12において、ステップS201〜ステップS213までの処理は、図11におけるステップS101〜ステップS113までの処理と同様であり、ここでは説明を省略する。
次に、第3の実施形態について図面を参照して説明する。
図13は、本実施形態におけるヘッドマウントディスプレイ1を示す機能ブロック図である。
本実施形態では、処理部123aがパターン取得部208を備え、AR位置補正部204aがパターン取得部208により取得した画像パターンに基づいて補正処理を行う点が、第1の実施形態と異なる。
なお、図13において、図7と同一の構成については同一の符号を付し、その説明を省略する。
図14は、本実施施形態におけるヘッドマウントディスプレイ1の動作の一例を示すフローチャートである。
図14において、ステップS301〜ステップS311までの処理は、図11におけるステップS101〜ステップS111までの処理と同様であり、ここでは説明を省略する。
これにより、本実施形態における入出力装置200aは、付加情報が表示される位置の近傍の画像パターンを予め取得することで、カメラ64の向きが変わっても、付加情報を撮像画像の位置に正しくマッチングして表示することができる。
これにより、本実施形態における入出力装置200aは、簡易な構成により、付加情報を重畳する位置を正確に補正することができる。
次に、第4の実施形態について図面を参照して説明する。
第4の実施形態におけるヘッドマウントディスプレイ1の構成は、第3の実施形態と同様である。本実施形態では、AR位置補正部204aは、画像パターンに基づいて、付加情報を重畳する位置の補正量(dx2,dy2)を算出し、算出した補正量(dx2,dy2)に基づいて、付加情報を重畳する位置の補正する点が、第3の実施形態と異なる。
図15において、ステップS401〜ステップS418までの処理は、図14におけるステップS301〜ステップS318までの処理と同様であり、ここでは説明を省略する。
これにより、本実施形態における入出力装置200aは、第3の実施形態と同様に、付加情報が表示される位置の近傍の画像パターンを予め取得することで、カメラ64の向きが変わっても、付加情報を撮像画像の位置に正しくマッチングして表示することができる。したがって、本実施形態における入出力装置200a及びヘッドマウントディスプレイ1は、第3の実施形態と同様に、利便性を向上させることができる。
次に、第5の実施形態について図面を参照して説明する。
図16は、本実施形態におけるヘッドマウントディスプレイ1を示す機能ブロック図である。
本実施形態では、処理部123bが、ローパスフィルタ209を備え、AR位置補正部204bが、ローパスフィルタ209によりフィルタ処理した地磁気センサー133の方位情報を用いて補正処理を行う点が第1の実施形態と異なる。
なお、図16において、図7と同一の構成については同一の符号を付し、その説明を省略する。
なお、ローパスフィルタ209は、デジタル信号処理によってフィルタ処理を実現するものであってもよいし、アナログ信号処理によってフィルタ処理を実現するものであってもよい。
図17は、本実施施形態におけるヘッドマウントディスプレイ1の動作の一例を示すフローチャートである。
図17において、ステップS501〜ステップS517までの処理は、図11におけるステップS101〜ステップS117までの処理と同様であり、ここでは説明を省略する。
図18において、各グラフは、横軸が時間を示し、縦軸が変位を示している。波形W1は、振れ補正部201によって補正する前の撮像画像の変位を示している。この波形W1は、角速度センサー134の検出値の変化に対応する。また、波形W2は、地磁気センサー133が検出した検出値(例、方位情報)の変位を示している。また、波形W3は、振れ補正部201によって補正された後の撮像画像の変位を示している。また、波形W4は、AR位置補正部204bによって補正された後の付加情報を重畳する位置の変位を示している。
ここで、波形W3における変位量D1は、ヘッドマウントディスプレイ1の方向がパン操作によって意図的に変わったことを示している。
これにより、本実施形態による入出力装置200bは、図18の波形W3及び波形W4に示すように、例えば、パン操作などを補正から除外して、振れ補正及び付加情報を重畳する位置の補正を適切に行うことができる。なお、本実施形態では、AR位置補正部204bは、ローパスフィルタ209を用いることにより、補正量を算出する必要がなく、構成を簡略化することができる。したがって、本実施形態による入出力装置200bは、簡易な構成により、映像酔いなどの不快な症状を発症することを低減することができる。
このように、本実施形態による入出力装置200b及びヘッドマウントディスプレイ1は、上記の各実施形態と同様に、利便性を向上させることができる。
例えば、上記の各実施形態において、振れ補正部201は、電気的な防振技術を用いる形態を説明したが、これに限定されるものではなく、光学的な防振技術を用いる形態であってもよい。例えば、振れ補正部201は、カメラ64が有する光学系又は撮像素子を光軸の変位を打ち消すように操作することにより、防振処理を実現するものであってもよい。例えば、光学系(例、可動レンズ)を用いて防振処理を実現する場合には、可動レンズの移動量と付加情報の表示位置との間に所定の相関がある。この場合、AR位置補正部204は、光軸の変位量に基づいて、振れ補正部201による画像の揺れの補正量に対応する補正量をこの相関に基づいて算出し、算出した補正量に基づいて、付加情報を重畳する位置を補正してもよい。
Claims (12)
- 画像データと前記画像データに含まれる被写体に関する情報とを表示部に表示させる制御装置であって、
前記被写体を撮像し、前記画像データを取得する撮像部と、
前記撮像部の光軸の変位を検出する検出部と、
前記検出部が検出した前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示する部分を補正する第一補正部と、
前記被写体に関する情報を前記表示部に表示する表示位置が変化しないように、前記光軸の変位又は前記部分に基づいて前記表示位置を補正する第二補正部と、を備える、
制御装置。 - 前記第一補正部は、前記画像データのうち前記表示部に表示する前記部分が変化しないように補正する、
請求項1に記載の制御装置。 - 前記第二補正部は、前記第一補正部による補正が行われた場合に、前記表示位置を補正する、
請求項2に記載の制御装置。 - 前記第二補正部は、前記第一補正部が行った補正による前記表示位置のずれを補正する、
請求項1から請求項3の何れか一項に記載の制御装置。 - 前記第二補正部は、前記光軸の変位による前記第一補正部の補正量に基づいて、前記表示位置を補正する、
請求項1から請求項4の何れか一項に記載の制御装置。 - 前記第二補正部は、前記部分に含まれる画像データと、前記被写体を示す画像データと、に基づいて、前記表示位置を補正する、
請求項1から請求項4の何れか一項に記載の制御装置。 - 前記第二補正部は、前記部分に含まれる画像データのうち前記被写体を示す画像データを検出した位置に基づいて、前記表示位置を補正する、
請求項6に記載の制御装置。 - 前記被写体に関する情報を、前記表示部のうち前記被写体に基づく位置に表示させる表示制御部を備える、
請求項1から請求項7の何れか一項に記載の制御装置。 - 前記第一補正部は、前記検出部が検出した前記光軸の変位のうち、所定の周波数以上の前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示させる前記部分を補正する、
請求項1から請求項8の何れか一項に記載の制御装置。 - 前記第一補正部は、ハイパスフィルタで処理された前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示させる前記部分を補正する、
請求項9に記載の制御装置。 - 前記第一補正部は、前記撮像部の倍率が所定の倍率より大きい場合に、前記画像データのうち前記表示部に表示させる前記部分を補正し、
前記第二補正部は、前記第一補正部による補正が行われた場合に、前記表示位置を補正する、
請求項1から請求項10の何れか一項に記載の制御装置。 - 画像データと前記画像データに含まれる被写体に関する情報とを表示部に表示させるプログラムであって、
前記被写体を撮像し、前記画像データを取得する撮像処理と、
前記撮像処理を行う撮像部の光軸の変位を検出する検出処理と、
前記検出処理が検出した前記光軸の変位に基づいて、前記画像データのうち前記表示部に表示する部分を補正する第一補正処理と、
前記被写体に関する情報を前記表示部に表示する表示位置が変化しないように、前記光軸の変位又は前記部分に基づいて前記表示位置を補正する第二補正処理と、をコンピュータに実行させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012146953A JP6011072B2 (ja) | 2012-06-29 | 2012-06-29 | 制御装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012146953A JP6011072B2 (ja) | 2012-06-29 | 2012-06-29 | 制御装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014011624A JP2014011624A (ja) | 2014-01-20 |
JP6011072B2 true JP6011072B2 (ja) | 2016-10-19 |
Family
ID=50107945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012146953A Active JP6011072B2 (ja) | 2012-06-29 | 2012-06-29 | 制御装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6011072B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5831764B2 (ja) * | 2012-10-26 | 2015-12-09 | カシオ計算機株式会社 | 画像表示装置及びプログラム |
US10426668B2 (en) | 2014-09-18 | 2019-10-01 | Rohm Co., Ltd. | Binocular display apparatus |
JP6633269B2 (ja) * | 2014-10-21 | 2020-01-22 | ローム株式会社 | 視覚補助システム |
JP6197849B2 (ja) * | 2015-10-23 | 2017-09-20 | カシオ計算機株式会社 | 画像表示装置及びプログラム |
JP6493296B2 (ja) * | 2016-04-28 | 2019-04-03 | 京セラドキュメントソリューションズ株式会社 | 作業支援システム |
KR102612988B1 (ko) | 2016-10-20 | 2023-12-12 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 |
CN107024339B (zh) * | 2017-04-21 | 2023-10-20 | 小艾帮帮(杭州)科技有限公司 | 一种头戴显示设备的测试装置及方法 |
JP7247636B2 (ja) * | 2019-02-15 | 2023-03-29 | 株式会社Jvcケンウッド | 画像調整システム、画像調整装置、及び画像調整方法 |
JP2020136850A (ja) * | 2019-02-18 | 2020-08-31 | 株式会社リコー | 撮像装置、撮像方法、プログラムおよび撮像システム |
JP7058621B2 (ja) * | 2019-02-22 | 2022-04-22 | 株式会社日立製作所 | 映像記録装置およびヘッドマウントディスプレイ |
JP7510401B2 (ja) | 2021-10-13 | 2024-07-03 | 株式会社モリタ製作所 | データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4457358B2 (ja) * | 2006-05-12 | 2010-04-28 | 富士フイルム株式会社 | 顔検出枠の表示方法、文字情報の表示方法及び撮像装置 |
JP4600515B2 (ja) * | 2008-05-07 | 2010-12-15 | ソニー株式会社 | 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム |
-
2012
- 2012-06-29 JP JP2012146953A patent/JP6011072B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014011624A (ja) | 2014-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6011072B2 (ja) | 制御装置、及びプログラム | |
US9245389B2 (en) | Information processing apparatus and recording medium | |
CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
US9160906B2 (en) | Head-mounted face image capturing devices and systems | |
CN110060614B (zh) | 头部佩戴型显示装置及其控制方法、显示*** | |
JP6318462B2 (ja) | 表示装置 | |
JP6123180B2 (ja) | 表示装置 | |
JP2014021707A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP6719418B2 (ja) | 電子機器 | |
JP2013190941A (ja) | 情報入出力装置、及び頭部装着表示装置 | |
JP6136090B2 (ja) | 電子機器、及び表示装置 | |
JP2013175929A (ja) | 情報出力装置、及び情報出力方法 | |
JP2014212473A (ja) | 通信装置、及び頭部装着表示装置 | |
JP2018121686A (ja) | 内視鏡操作支援システム | |
KR20190067523A (ko) | 글래스 타입 단말기 및 그것의 동작방법 | |
JP6015223B2 (ja) | 電子機器、及び表示装置 | |
JP2013255012A (ja) | 頭部保持部材、及び頭部装着型情報出力装置 | |
JP2013175947A (ja) | 頭部装着装置 | |
JP2014021272A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP6074894B2 (ja) | 情報表示装置 | |
JP2014022942A (ja) | 頭部装着装置 | |
JP2013239767A (ja) | 頭部装着型情報入出力装置 | |
JP2013175909A (ja) | 頭部装着装置 | |
JP2013174730A (ja) | 情報表示装置 | |
JP2014022937A (ja) | 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6011072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |