JP5664677B2 - 撮像表示装置、撮像表示方法 - Google Patents
撮像表示装置、撮像表示方法 Download PDFInfo
- Publication number
- JP5664677B2 JP5664677B2 JP2013029778A JP2013029778A JP5664677B2 JP 5664677 B2 JP5664677 B2 JP 5664677B2 JP 2013029778 A JP2013029778 A JP 2013029778A JP 2013029778 A JP2013029778 A JP 2013029778A JP 5664677 B2 JP5664677 B2 JP 5664677B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- display
- image
- image signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
また上記特許文献4のように、眼鏡型もしくは頭部装着型の装着ユニットに小型のカメラを取り付け、ユーザの視界方向の光景を撮像できるようにした装置が提案されている。
そこで本発明では、ユーザの視界方向の光景を含め、多様な画像をユーザに対して表示し、ユーザの視覚能力を拡張したり、ユーザに有用性や楽しさを提供できるようにすることを目的とする。
或いは上記表示手段は、上記第1の画像信号生成手段を備えた筐体とは別筐体で形成されている。
また上記第1の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成されている。
またこの場合、上記第2の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、使用者の視界方向を被写体方向とする撮像部である。
或いは上記撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部である。
また上記撮像部は、被写体方向が可変とされた撮像部である。
また上記撮像部は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成されている。
また上記第2の画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記第1の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第2の画像信号生成手段は、上記信号処理部における信号処理により、上記第1の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第2の画像信号生成手段は、記録媒体から画像信号を再生する再生部を有し、上記再生部で再生した画像信号を元として、上記第1の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第1の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第2の画像信号生成手段からの表示画像信号による画像表示が行われる。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、望遠撮像又は広角撮像により得られた画像信号である。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、拡大処理又は縮小処理により得られた画像信号である。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、撮像感度を上昇又は低下させた撮像により得られた画像信号である。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、赤外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、紫外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号である。
また上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号である。
第2の画像信号生成手段で生成される表示画像信号は、第1の画像信号生成手段による表示画像信号とは異なる画像である。異なる画像とは、別方向の撮像画像、同方向の撮像画像であるがズーミング、焦点位置、感度、信号処理の違いなどによって異なるものとなる画像、他の機器から受信した画像、記録媒体から再生した画像など、多様に考えられる。
そして、第1の画像信号生成手段で得られる表示画像信号により通常の視界光景を表示すると同時に、第2の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張させたり、おもしろみのある表示を提供する。
なお、第1、第2の画像信号生成手段は、表示する表示画像信号のソースとなるが、第1、第2という表記は、画像信号生成手段が2つであると限定する意味ではなく、画像信号生成手段を3つ以上を備えることを本発明は妨げるものではない。
[1.撮像表示装置の外観例及び外部機器との関連]
[2.撮像表示装置の構成例]
[3.画面上の領域形態]
[4.表示動作例]
[5.動作トリガの例]
[6.実施の形態の効果、変形例及び拡張例]
実施の形態として、図1(a)(b)に眼鏡型ディスプレイカメラとした撮像表示装置1の外観例を示す。撮像表示装置1は、例えば図1(b)のように両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図1(a)のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置1は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部2、2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられる。なお、表示部2で画像表示を行わない期間は、液晶パネルにおける透過率を制御し、透明又は半透明のスルー状態とできるようにしてもよい。
また撮像レンズ3a、3aによる撮像方向に対して照明を行う発光部4a、4aが設けられる。発光部4a、4aは例えばLED(Light Emitting Diode)により形成される。
図4で後述するが、撮像レンズ3a、3aはそれぞれが撮像機能部位(C1、C2)に含まれる撮像レンズである。そして撮像レンズ3a、3aから撮像された撮像画像信号は、それぞれが所定の処理を経て表示画像信号とされて表示部2に表示される。
また発光部4aを設けない構成も考えられる。
図2(a)(b)に例を示す。図2(a)(b)の例では、前方を撮像する1つの撮像レンズ3a及び発光部4aが設けられると共に、後頭部側に位置することになるユニットにもう1つの撮像レンズ3a及び発光部4aが設けられている。つまりこの場合、2つの撮像レンズ3a、3aは、それぞれがユーザの視界方向と、ユーザの視界方向とは異なる方向(この場合、ユーザの後方)を撮像するものとされる。
さらに、3つ以上の撮像レンズ3aを設け、それぞれが同一方向に向けられたり、異なる方向に向けられたりしてもよい。
複数の撮像レンズ3aについては、全てが固定型、全てが可動型、一部が可動型等、多様な例が考えられる。
図3の撮像表示装置1は、撮像装置部40と表示装置部30が別体で形成されている。
撮像装置部40は所定の装着フレームによりユーザの頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLEDにより形成される。
この場合、後述するが撮像装置部40の内部には撮像した画像データ等を、別体構成される表示装置部30に送信する通信部が設けられている。
表示装置部30は内部に撮像装置部40との間のデータ通信を行う通信部が設けられており、撮像装置部40から供給される画像データについて表示画面31に表示させる動作を行う。
ユーザは、このように撮像装置部40と表示装置部30が別体とされた撮像表示装置1を用いることもできる。
図4〜図8により撮像表示装置1の内部構成例を説明していく。
まず図4は、上記図1、図2に対応した構成例であり、即ち2つの撮像機能部位を備えた構成例である。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10は内部の動作プログラム及び動作トリガ情報発生部16からの動作トリガに基づいて、撮像表示装置1内の各部の制御を行い、表示部2において所要の画像表示を実行させる。
撮像機能部位C1における撮像部3は、図1又は図2に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
図1、図2の例の場合は、この撮像機能部位C1の撮像部3によってユーザの前方の光景が撮像される。
また撮像信号処理部15は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また撮像信号処理部15は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
つまり撮像信号処理部15は、撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
また、上述したように撮像レンズ3aによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部11はシステムコントローラ10の指示に基づいて、可動機構の動作を制御して撮像部3における撮像レンズ3aの方向を変化させる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整(例えば特定波長帯域をカットするような撮像)なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部11は、システムコントローラ10の指示に基づいて、撮像信号処理部15の画像処理動作を制御する。即ち撮像信号処理部15に対して、上記の各種処理を実行させる。
撮像機能部位C2における撮像部3、撮像制御部11、撮像信号処理部15は、上記撮像機能部位C1における撮像部3、撮像制御部11、撮像信号処理部15と基本的に同様である。
撮像機能部位C2における撮像部3は、図1又は図2に示した、もう1つの撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成するCCDセンサアレイ又はCMOSセンサアレイによる固体撮像素子アレイなどが設けられる。
図1の例の場合は、この撮像機能部位C2の撮像部3も撮像機能部位C1と同じくユーザの前方の光景を撮像することになり、一方、図2の例の場合は、この撮像機能部位C2の撮像部3は撮像機能部位C1と異なる方向、例えばユーザの後方の光景を撮像することになる。
また、上述したように撮像レンズ3aによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部11はシステムコントローラ10の指示に基づいて、可動機構の動作を制御して撮像部3における撮像レンズ3aの方向を変化させる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整(例えば特定波長帯域をカットするような撮像)なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部11は、システムコントローラ10の指示に基づいて、撮像信号処理部15の画像処理動作を制御する。即ち撮像信号処理部15に対して、上記の各種処理を実行させる。
撮像機能部位C1、C2で得られる表示画像信号は表示画像処理部12に供給される。表示画像処理部12は、この場合、撮像機能部位C1、C2という2つの画像ソース(画像信号生成手段)から供給される表示画像信号を同時に表示部2に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部2の画面領域を設定し、各領域に撮像機能部位C1、C2からの各表示画像信号による画像が表示されるようにする。
なお表示駆動部13は、表示部2の各画素の透過率を制御して、画面全体又は一部をスルー状態とできるようにしてもよい。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。
照明部4における発光部4aが図1又は図2に示したように取り付けられていることで、照明部4は撮像レンズ3aによる被写体方向に対する照明動作を行うことになる。
この動作トリガ情報発生部16は、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構により構成することができる。即ちユーザの手動操作を各種動作の動作トリガ情報とする場合である。動作トリガ情報発生部16は、ユーザの操作情報を動作トリガ情報としてシステムコントローラ10に供給することで、システムコントローラ10はユーザの操作に応じた表示動作制御を行う。
また、動作トリガ情報発生部16は、ユーザ情報(ユーザの視覚状況、身体の挙動、生体状況等の検知情報)を検知したり、外界情報(撮像表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報)を検知することができる構成としてもよい。例えばシステムコントローラ10がこれらのユーザ情報や外界情報に基づいて、動作トリガ発生の判断を行うようにしてもよい。なお、ユーザ情報や外界情報についての例は後に述べる。
この図5の構成は、図4の構成における第2の撮像機能部位C2と、撮像機能部位C2に対応した照明部4、照明制御部18を備えず、代わりに通信部26を有する構成とされている。
通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
図6は、撮像表示装置1の使用形態を、外部機器との関連において例示している。
図6(a)は撮像表示装置1が通信部26により、外部の撮像装置70と通信を行う例である。この場合、撮像表示装置1は、撮像装置70で撮像された画像を受信して表示部2に表示させる。外部の撮像装置70とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また本実施の形態と同様の他の撮像表示装置1を、外部の撮像装置70と考えることもできる。
また外部の撮像装置70は、撮像表示装置1を用いるユーザ本人が所有する撮像装置であったり、撮像表示装置1のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって撮像表示装置1と通信可能とされているものなど多様に考えられる。
コンテンツソース機器71とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のAV(Audio-Visual)機器や、パーソナルコンピュータ、PDA(Personal Digital Assistant)、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器71も、撮像表示装置1を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器71から撮像表示装置1に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
この図7の構成は、図4の構成における第2の撮像機能部位C2と、撮像機能部位C2に対応した照明部4、照明制御部18を備えず、代わりにストレージ部25を有する構成とされている。
ストレージ部25はシステムコントローラ10の制御に従って、記録媒体から画像データを再生する。そして再生した画像データを、表示部2での表示を行う表示画像信号として表示画像処理部12に供給する。そして表示画像処理部12で処理された画像信号が表示駆動部13に供給され、表示部2で表示される。
ストレージ部25で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
この例では、撮像装置部40において図5と同様に撮像機能部位C1と、通信部26を有する構成としている。
この撮像機能部位C1及び通信部26で得られる表示画像信号は、表示通信制御部20に供給される。表示通信制御部20は、表示装置部30との通信の為のエンコード処理を行う。即ち撮像機能部位C1及び通信部26から供給される表示画像信号をエンコードする。
表示通信制御部20でエンコードされた画像データは、通信部21から表示装置部30に送信される。
通信部34は、撮像装置部40の通信部21との間でデータ通信を行う。特には、撮像装置部40から送信されてくる画像データ、つまり撮像機能部位C1と通信部26で得られた表示画像信号としての画像データを受信し、デコード処理をおこなう。
通信部34でデコードされた表示画像信号は、表示画像処理部32に供給される。表示画像処理部32は、この場合、撮像機能部位C1、通信部26という2つの画像信号ソース(画像信号生成手段)から供給される表示画像信号を同時に表示部31に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部31の画面領域を設定し、各領域に撮像機能部位C1と通信部26からの各表示画像信号による画像が表示されるようにする。
表示制御部35は、表示画像処理部32の処理動作や表示駆動部33の動作を制御する。例えば操作部36からのユーザの操作に応じて表示動作のオン/オフや、画面上の領域形態の切換などの制御も行う。
なお、システムコントローラ10からの指示情報が通信部21、34の通信で送信されてくる場合、表示制御部35は、そのシステムコントローラ10からの指示情報に応じて表示動作のオン/オフや、画面上の領域形態の切換などの制御を行うようにしてもよい。
図4は、表示部2で表示する表示画像信号を得る画像ソース(画像信号生成手段)として、2つの撮像機能部位C1、C2が設けられた例である。
図5は、表示部2で表示する表示画像信号を得る画像ソース(画像信号生成手段)として、撮像機能部位C1と通信部26が設けられた例である。
図7は、表示部2で表示する表示画像信号を得る画像ソース(画像信号生成手段)として、撮像機能部位C1とストレージ部25が設けられた例である。
図8は、図5と同様、表示画像信号を得る画像ソース(画像信号生成手段)として、撮像機能部位C1と通信部26が設けられるが、特に撮像装置部40と表示装置部30が別体構成とされる場合の例である。
これらの構成例を挙げたが、撮像表示装置1としてはさらに多様な構成例が想定される。
特に上記各例では2系統の画像ソースを有する例を挙げているが、3系統以上の画像ソースを有する場合もある。
例えば撮像機能部位C1と、通信部26と、ストレージ部25を有する構成例や、3つ以上の撮像機能部位C1、C2、C3・・・を有する構成例なども考えられる。
他の画像ソースは、この撮像機能部位C1とは異なる画像を表示する表示画像信号を生成する。
ここで、撮像機能部位C1で得られる表示画像信号による画像、即ちユーザの視界光景の撮像画像とは異なる画像がどのように得られるかは多様に考えられる。
例えば撮像機能部位C2が撮像機能部位C1とは異なる方向の撮像を行っている場合、その撮像機能部位C2で撮像された画像そのものが、撮像機能部位C1により得られる画像とは異なるものとなる。通信部26で受信された画像やストレージ部25で再生された画像も、撮像機能部位C1により得られる画像とは異なるものとなる。
また図1の例のように撮像機能部位C2が撮像機能部位C1と同一方向(ユーザの視界方向)の撮像を行っている場合でも、その撮像動作態様や撮像信号処理により、撮像機能部位C1により得られる画像とは異なる画像を得ることができる。
そして本例では、これら複数の画像ソースからの表示画像信号を同時に表示部2に表示させ、ユーザに多様な画像を提供するものである。
表示部2の画面上で、複数の画像ソースからの表示画像信号による画像を同時に表示する場合の領域形態の例を図9、図10に示す。
表示部2(図8の場合は表示装置30の表示部31:以下同様)において、複数の画像ソースからの画像を同時に表示する形態としては、画面領域内で親画面領域と子画面領域を設定したり、画面領域を分割することが考えられる。
図9(a)は、表示部2の画面領域で、領域AR1内で右下に子画面としての領域AR2を設定し、各領域AR1、AR2で画像表示を行っている例である。
図9(b)は、表示部2の画面領域で、領域AR1内で左下に子画面としての領域AR2を設定し、各領域AR1、AR2で画像表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域AR1内の右上、左上、中央、中央右寄り、中央左寄りなど、各種の位置に子画面としての領域AR2を設定することもできる。
図9(c)は、領域AR2としてのサイズを小さくした例である。
図9(d)は、領域AR2としてのサイズを大きくした例である。
図9(e)、表示部2の画面領域で、領域AR1と領域AR2を等分割して左右に分けた例である。
図9(f)、表示部2の画面領域で、領域AR1と領域AR2を等分割して上下に分けた例である。
またシステムコントローラ10は、動作トリガ情報発生部16からの情報(例えばユーザの操作情報、ユーザ情報、外界情報等)に基づいて、図9(a)〜(f)どのような領域形態で画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。例えばユーザの操作等に応じて図9(a)(b)のように子画面とされる領域AR2の位置を変更したり、図9(c)(d)のように領域AR2のサイズを変更したり、図9(e)(f)のように等分割することで、ユーザの好みに合わせることができる。
また、いわゆる表示領域交代として、図9(a)〜(f)における領域AR1と領域AR2を入れ換え、領域AR2で撮像機能部位C1を画像ソースとしてユーザの視界光景の画像を表示し、領域AR1に他の画像ソース(撮像機能部位C2、通信部26、ストレージ部25等)による画像表示を行うような切り換えを行うことも考えられる。
図10(a)は、表示部2の画面領域で、領域AR1内で右下と左下に2つの子画面としての領域AR2、AR3を設定し、各領域AR1、AR2、AR3でそれぞれ画像表示を行っている例である。
図10(b)は、表示部2の画面領域で、領域AR1の左右に領域AR2、AR3を設定し、それぞれ画像表示を行っている例である。
図10(c)は、表示部2の画面領域で、領域AR1の上下に領域AR2、AR3を設定し、それぞれ画像表示を行っている例である。
また図示しないが、領域AR1、AR2、AR3を3等分に分割設定しても良い。
また、システムコントローラ10の制御によって領域形態の切換や領域の交代が行われることも図9の場合と同様に想定される。
もちろん4つ以上の画像ソースを有する場合も、その全部の画像をそれぞれ表示させても良いし、選択された2以上の画像ソースの画像を表示させてもよい。
また、図1、図2のように表示部2が右眼用と左眼用で2つある場合に、その一方の画面全体で一方の画像ソースによる画像表示を行い、他方の画面全体で他方の画像ソースによる画像表示を行うことも考えられる。
さらに、携帯型ゲーム機などで実用化されている2画面ディスプレイのような複数画面ディスプレイのそれぞれに画像表示を行うようにしてもよい。
上記図4〜図8のような各種構成の本実施の形態の撮像表示装置1においては、複数の画像ソースからの表示画像信号を表示部2に表示させ、かつ複数の画像ソースの1つは撮像機能部位C1としてユーザの視界方向を撮像し、他の画像ソースは撮像機能部位C1からの画像とは異なる画像としての表示画像信号を生成することで、ユーザにとっての視覚の拡張やおもしろみのある表示を提供するものである。
図11は、システムコントローラ10の制御処理を示している。
システムコントローラ10は、ステップF101で複数画像の表示開始トリガが発生したか否かを確認している。例えば動作トリガ情報発生部16としてユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことで複数画像の表示を開始させるトリガの発生と判断すればよい。或いは後に例を述べるが、動作トリガ情報発生部16でユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像表示を開始させるトリガの発生とシステムコントローラ10が判断することもできる。
なお、複数画像の表示開始トリガが発生するまでの期間は、表示部2をスルー状態としたり、或いは表示部2で撮像機能部位C1の撮像画像を単独で表示させるなどの制御が考えられる。
或いは、撮像表示装置1の電源オンを複数画像の表示開始トリガとし、撮像表示装置1は常に複数画像を表示させるようにしてもよい。
なお、図2のように撮像機能部位C1、C2が異なる方向を被写体方向としている場合は、撮像機能部位C2で通常に撮像した撮像画像は、撮像機能部位C1の撮像画像とは異なる画像となるため、表示部2において複数の領域で異なる画像が表示される。
一方、図1のように撮像機能部位C1、C2が同一方向を被写体方向としている場合は、システムコントローラ10は撮像機能部位C2での撮像動作態様や信号処理を指示して、撮像機能部位C2で得られる画像を撮像機能部位C1の撮像画像とは異なる画像となるように制御することで、表示部2において複数の領域で異なる画像が表示されるようにする。
なお、図5の構成の場合、通信部26に対して外部機器からの画像データの送信があったときに、ステップF101で表示開始トリガ発生と判断し、そのときにステップF102で撮像機能部位C1と通信部26を画像ソースとする画像表示を開始するようにしてもよい。通信部26により画像データが受信されていない期間は、例えば撮像機能部位C1からの表示画像信号を単独で表示部2に表示させるようにしていてもよい。
表示画像の切換とは、複数画像の内の1つ或いは複数の表示画像内容の切換や、領域形態の切換がある。
そして表示画像内容の切換とは、例えば撮像機能部位C1又はC2における撮像部3でのズーム処理や焦点位置の変更による画像変更、撮像感度の変更による画像変更、撮像信号処理部15での信号処理による画像変更、撮像部3が可動カメラの場合の撮像方向(被写体方向)の変更による画像変更、3つ以上の表示画像信号のソースを有する場合の画像ソース切換による画像変更など、非常に多様な例が考えられる。
また領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や領域交代、全画面表示への切換などであり、例えば図9(a)の状態から図9(b)の状態に切り換えたり、図9(a)の状態から図9(e)の状態に切り換えるなどの制御である。
システムコントローラ10はステップF105で表示切換に関しての制御を行った後も、ステップF103、F104のトリガ発生の監視を行う。
この場合の表示終了制御としては、例えば撮像機能部位C1からの画像のみを表示させる状態に切り換えるようにしたり、或いは表示部2での画像表示を終了させたり、或いは表示部2での画像表示を終了させて表示部2をスルー状態にしたり、さらに電源オフとすることなどが想定される。
以下では、複数の画像ソースからの画像の同時表示の例を図12以降を参照しながら述べていく。
これに対して図12(b)は本例の動作により複数の画像ソースからの画像が同時表示されている例である。この場合、撮像機能部位C1による通常撮像画像が表示画像信号とされて領域AR1に表示されながら、撮像機能部位C2による撮像画像が表示画像信号とされて領域AR2において表示される。そして、システムコントローラ10は、撮像機能部位C2の撮像部3に対して望遠ズーム動作制御を行っており、撮像機能部位C2により望遠撮像が行われることで、領域AR2の画像は、領域AR1の画像とは異なる画像となっている。これによりユーザーは、通常の光景をみながら、通常の視覚では見ることのできない望遠画像を楽しむことができる。
なお、ここでは撮像機能部位C2により望遠画像が得られる例を挙げたが、撮像機能部位C2に広角ズームを実行させることで、近距離の光景が広角に映し出された画像を領域AR2に表示させることも可能である。望遠−広角の画像を取得するには、撮像機能部位C2の撮像部3におけるズームレンズの駆動制御の他、撮像機能部位C2の撮像信号処理部15での信号処理によっても可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ10が撮像機能部位C2の撮像部3に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画像を表示部2の領域AR2に表示させてもよい。
以下の各例でも、撮像機能部位C1による画像としてユーザの視界方向の通常撮像画像を領域AR1に表示し、撮像機能部位C1とは異なる画像となる他の画像ソースによる画像を領域AR2に表示させた例を挙げるが、各例すべて、撮像機能部位C1による画像としてユーザの視界方向の通常撮像画像を領域AR2に表示し、撮像機能部位C1とは異なる画像となる他の画像ソースによる画像を領域AR1に表示させる例も考えられる。
このような表示によっても、ユーザーは通常の光景をみながら、通常の視覚では見ることのできない拡大画像を楽しむことができる。
また、システムコントローラ10が撮像機能部位C2に対して撮像部3から得られた画像についての縮小処理を実行させ、領域AR2に縮小画像の表示を行うことも考えられる。
また逆に、周囲が明るすぎる場合などに、システムコントローラ10は撮像機能部位C2の撮像制御部11(撮像部3、撮像信号処理部15)に対して撮像感度を下げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、まぶしくない表示画像信号を得るようにし、それを領域AR2に表示させるようにすることも考えられる。
また撮像機能部位C2が例えばユーザの上方を撮像するように配置されている場合、画像表示状態は図14(b)のようになり、領域AR1ではユーザの前方の撮像画像が表示され、領域AR2ではユーザの上方の撮像画像の表示が行われる。
これらの場合も、ユーザは通常の視界方向の画像を領域AR1で見ながら、ユーザの視界とは異なる光景の画像(後方画像や上方画像など)を領域AR2で見ることができる。
撮像機能部位C1はユーザの前方を撮像し、撮像機能部位C2はユーザの右後方を撮像し、撮像機能部位C3はユーザの左後方を撮像するように配置されているとする。
この場合、領域AR1は撮像機能部位C1によるユーザ前方の撮像画像が表示され、領域AR2、AR3にそれぞれ撮像機能部位C2、C3によるユーザの右後方と左後方の撮像画像の表示が行われる。
この場合ユーザーは、領域AR1での通常の前方の光景に加えて右後方、左後方を視認でき、ほぼ周囲全周を確認できる状態となる。
まず図15は、図6(a)又は図6(c)のような通信で、外部の撮像装置70から送信され、通信部26で受信した画像を表示する例である。
図15(a)は、例えばユーザからの視界として撮像機能部位C1による撮像画像が領域AR1に表示されている。即ちユーザが、スタジアムで客席からサッカーを観戦している状態である。このときにシステムコントローラ10は、スタジアムの別の場所で撮像を行う撮像装置70で撮像され通信部26で受信した画像を、表示部2の領域AR2に表示させる。
例えば監督席近辺に設置された撮像装置70や、審判が装着する小型の撮像装置70などからの映像を受信して、表示部2の領域AR2で表示することで、より興味深く試合観戦を行うことができる。
図15(b)は、リゾート地に設置した撮像装置70や、旅行中の知人が所持する撮像装置70によって撮像した映像を、通信部26で受信した場合である。システムコントローラ10は領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、通信部26で受信した画像を表示させる。
このような画像表示により、ユーザは、例えば近所の公園等にいながら、多様な地域の映像を見ることができる。
図15(c)は、航空機や衛星に設置された撮像装置70で撮像した地上の映像(バードビュー映像)を、通信部26で受信し、表示部2に表示させている例である。即ちシステムコントローラ10は領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、通信部26で受信した画像を表示させる。
このような画像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
図16(a)は、AV機器やパーソナルコンピュータ等のコンテンツソース機器71から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部2で表示されている例である。システムコントローラ10は領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、通信部26で受信したコンテンツ画像を表示させる。
図16(b)は、例えばパーソナルコンピュータ等のコンテンツソース機器71においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、撮像表示装置1に送信させ、撮像表示装置1においては通信部26で受信した画像データを表示部2で表示させている例である。例えばシステムコントローラ10は通信部26を介して外部のコンテンツソース機器71にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部26で受信させる。そして領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、通信部26で受信したブラウザ画面等の画像を表示させる。
図16(c)は、例えばパーソナルコンピュータ等のコンテンツソース機器71において見ることのできる写真画像の一覧表示画像などを撮像表示装置1に送信させ、撮像表示装置1において通信部26で受信し、表示部2に表示させている例である。例えばシステムコントローラ10は通信部26を介して外部のコンテンツソース機器71にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部26で受信させる。そして領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、通信部26で受信した画像を表示させる。
例えば以上の図16(a)(b)(c)のように、コンテンツソース機器71からの画像として、ビデオプレーヤ等のAV機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置1において、これらの画像を確認したり、各種の作業を行うことができる。
図17(a)は、ストレージ部25における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部2で表示されている例である。システムコントローラ10はストレージ部25に再生を指示する。そして領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、ストレージ部25で再生させたコンテンツ画像を表示させる。
図17(b)は、ストレージ部25における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部2で表示されている例である。システムコントローラ10はストレージ部25にゲームプログラムの実行を指示する。そして領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、ストレージ部25で実行させたゲーム画像を表示させる。
図17(c)は、ストレージ部25における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部2で表示されている例である。システムコントローラ10はストレージ部25に電子書籍データの再生を指示する。そして領域AR1には撮像機能部位C1によるユーザの前方の撮像画像を表示させながら、領域AR2では、ストレージ部25で再生させた電子書籍画像を表示させる。
これら図17(a)(b)(c)のようにユーザは撮像表示装置1を用いて、通常の視界方向の画像を見ながら、記録媒体に記録されたデータの再生画像を楽しむことができる。
・撮像機能部位C2の撮像部3のズーム動作で得られる望遠ズーム画像としての表示画像信号
・撮像機能部位C2の撮像部3のズーム動作で得られる広角ズーム画像としての表示画像信号
・撮像機能部位C2の撮像部3の焦点制御動作で得られる遠景画像としての表示画像信号
・撮像機能部位C2の撮像部3の焦点制御動作で得られる近景画像としての表示画像信号
・撮像機能部位C2の撮像部3での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像などとしての表示画像信号
・撮像機能部位C2の撮像信号処理部15の信号処理で拡大処理を行った表示画像信号
・撮像機能部位C2の撮像信号処理部15の信号処理で縮小処理を行った表示画像信号
・撮像機能部位C2の撮像部3での撮像感度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位C2の撮像部3での撮像感度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位C2の撮像部3での赤外線撮像感度を上昇させて得た暗視画像としての表示画像信号
・撮像機能部位C2の撮像部3での紫外線撮像感度を上昇させて得た画像としての表示画像信号
・撮像機能部位C2の撮像部3で特定波長帯域をカットして撮像した画像としての表示画像信号
・撮像機能部位C2の撮像信号処理部15の信号処理で輝度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位C2の撮像信号処理部15の信号処理で輝度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位C2の撮像信号処理部15の色信号処理で色合いや雰囲気を変化させた画像としての表示画像信号
・撮像機能部位C2の撮像信号処理部15の信号処理でコントラスト、シャープネス等を調整した画像としての表示画像信号
・撮像機能部位C2の撮像信号処理部15の信号処理として、モザイク/輝度反転/ソフトフォーカス/画像内の一部の強調表示/ハイライト表示などの画像エフェクト処理を行って得た画像としての表示画像信号
・以上の各動作又は信号処理の組み合わせにより撮像機能部位C2で得た表示画像信号
もちろん、上記列挙したものに限定されるものではなく、撮像機能部位C2の撮像部3の動作、撮像信号処理部15の信号処理により得られる、「撮像機能部位C1による画像とは異なる画像」としての表示画像信号は多様に考えられる。
またズーム処理や拡大/縮小処理の倍率、撮像感度変更時の変更するレベル、輝度信号処理や色信号処理での処理係数など、任意に可変することも考えられる。
即ち、この場合、撮像機能部位C2での通常撮像で得られた撮像画像は、それ自体が既に撮像機能部位C1での通常撮像で得られる撮像画像とは異なる光景(例えば後方、上方、足下、右方、左方などの光景)であるため、撮像機能部位C2の撮像画像信号を、そのまま表示画像信号とし、撮像機能部位C1からの表示画像信号とともに表示部2に表示させればよい。
さらに、その場合に上記列挙したように、撮像機能部位C2の撮像部3の撮像動作や撮像信号処理部15の信号処理を加えた画像信号を表示画像信号としてもよい。
また撮像機能部位C2、C3・・・のうち、撮像機能部位C1とは異なる方向(ユーザの前方以外の方向)を撮像する撮像部3が存在する場合は、その撮像画像信号そのものを表示画像信号としてもよいし、上記列挙したように、撮像部3の撮像動作や撮像信号処理部15の信号処理を加えた画像信号を表示画像信号としてもよい。
例えばユーザの後方を撮像する撮像機能部位C2、C3を有する場合に、一方で通常撮像画像を表示画像信号とし、他方で望遠撮像画像を表示画像信号とする例や、一方で拡大画像を表示画像信号とし、他方で紫外線撮像感度上昇撮像による撮像画像を表示画像信号とするなどである。
また可動式の場合、特定の対象を追尾するような可動制御を行うことも考えられる。例えば撮像画像信号についての画像解析を行い、特定対象を検出した場合、撮像画像内での特定対象の動きに合わせて撮像方向を変化させる。このような制御により、ユーザは、特定の対象を追尾する画像を、例えば領域AR2において見ることができる。
即ち、外部の撮像装置70やコンテンツソース機器71からの画像は、それ自体が撮像機能部位C1で得られる表示画像信号とは異なる画像であるため、通信部26で受信した画像信号を、そのまま表示画像信号として表示部2に表示させることで、ユーザに多様な画像を提供できることになる。
さらにストレージ部25で再生した画像も同様であり、それ自体が撮像機能部位C1で得られる表示画像信号とは異なる画像であるため、ストレージ部25で再生した画像信号を、そのまま表示画像信号として表示部2に表示させることで、ユーザに多様な画像を提供できる。
なお、表示画像処理部12において、拡大、縮小、輝度処理、色処理、コントラスト調整、シャープネス調整、画像エフェクト等の画像信号処理を実行できるようにする場合、通信部26で受信した画像信号やストレージ部25で再生した画像信号に対して、それらの画像信号処理を加えて表示画像信号を生成してもよい。
また通信部26やストレージ部25を画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の画像表示も可能である。
いずれにしても、他の画像ソースでは、撮像機能部位C1からの画像とは異なる画像の表示画像信号を生成させればよい。
上記図11の処理に示したように、システムコントローラ10はステップF101で複数画像の表示開始トリガ発生と判断することで複数の画像ソースからの画像表示を実行させる。またステップF103で表示切換トリガ発生と判断することに応じて表示内容や領域形態の切換を行う。さらにステップF104で複数画像の表示終了トリガ発生と判断することで複数画像の表示動作を終了させる。
そしてこれらの表示動作に関するトリガとしては、ユーザの操作によるものとすればよいが、ユーザの状況や外界の状況を検知し、所定の条件によりシステムコントローラ10がトリガ発生と判断しても良いと述べた。
ここでは、ユーザ状況や外界状況によりトリガ発生の判断を行う例について述べる。
視覚センサは、ユーザの視覚に関する情報を検出するものとするが、この視覚センサは、一例としては、例えば表示部2の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ10が取り込み、画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサは、表示部2の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
またシステムコントローラ10は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像表示装置1に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大/縮小制御、焦点変更制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみ表示動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが3回まばたきをすることを、所定の操作入力と判定するなどである。
加速度センサやジャイロの配置位置にもよるが、加速度センサやジャイロによって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図1のような眼鏡型の撮像表示装置1の内部に取り付けられた場合、つまり加速度センサ及びジャイロがユーザの頭部の動きを検出するものとされた場合は、加速度センサの検出情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロの検出情報はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ10はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に2回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ及びジャイロによっては、ユーザが静止状態(非歩行状態)であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサやジャイロが、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
また撮像表示装置1をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ10は、ユーザが撮像表示装置1を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像表示装置1を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像表示装置1の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサによる検出情報は、ユーザの個人認証(装着者個人の識別)にも利用できる。
なお生体センサは、例えば眼鏡型の撮像表示装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
照度センサによっては、撮像表示装置1の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサにより、撮像表示装置1は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ10は、これらを外界情報として用いて、周囲の明るさや気象状況に適した表示画像信号の生成動作を実行制御できる。例えば周囲の明るさに応じて画像の輝度レベルを上下させたり、天候状況に応じて画像の雰囲気を変えるなどである。
撮像対象までの距離を検出することで、システムコントローラ10は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた表示画像信号の生成動作を実行制御できる。
また通信部26を有する構成の場合、撮像表示装置1に地図データベースを内蔵していなくても、通信部26を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ10は、現在位置や現在地点の近辺の地理的条件や施設などに応じた表示画像信号の生成動作を実行制御したり、特定の場所において表示開始制御或いは表示終了制御を行うなどが可能となる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、AV(Audio-Visual)機器、携帯電話機、PDA、ICカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
従って、画像解析部は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ10が参照できる記録媒体として、例えばHDDやフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置1に人物データベースを内蔵していなくても、通信部26を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき(撮像されたとき)に、システムコントローラ10は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
例えば上述したように撮像表示装置1から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止/許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ID等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
このような通信部26で取得できる情報に基づいて、システムコントローラ10は表示画像信号の生成処理を実行制御できる。
また、ユーザの状況や外界の状況を検出するための構成例は他にも考えられる。
以上、実施の形態を説明してきたが、実施の形態によれば、表示部2の画面領域の一部で撮像機能部位C1によるユーザの視界方向の撮像画像としての表示画像信号による表示を実行させながら、他の画像ソース(撮像機能部位C2、通信部26、ストレージ部25等)からの表示画像信号による表示を実行させることで、ユーザは通常の視界光景が見える状態のまま、視覚光景とは異なる画像を見ることができる。例えば撮像機能部位C1による前方の画像を見ながら、撮像機能部位C2による望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見ることができる。このため通常の視覚光景と同時に、通常の視覚では見ることのできない光景等の画像を見る状態となり、擬似的にユーザの視覚能力を拡張させる状況を作り出すことができる。
撮像機能部位C1等で撮像した画像信号をストレージ部25において記録媒体に記録するような構成としても良い。
また撮像した画像信号を、通信部26から他の機器に送信する動作を行うようにしてもよい。
また撮像時に周囲音声を集音するマイクロホンや、音声を出力するイヤホン型等のスピーカ部が設けられても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、スピーカ部から出力させるようにすることも考えられる。
Claims (19)
- 使用者の目の前方に位置するように配置されて画像表示を行う表示手段と、
外部機器から画像信号を受信する通信手段と、
画像信号が記録されているストレージ手段と、
上記通信手段が上記外部機器から画像信号を受信することによって表示開始トリガを生成する表示開始トリガ発生手段と、
使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第1の画像信号生成手段と、
上記第1の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を上記通信手段から受信した画像信号または上記ストレージ手段に記録されている画像信号から生成する第2の画像信号生成手段と、
上記表示手段において、上記第1、第2の画像信号生成手段で生成された複数の表示画像信号による画像表示を上記表示開始トリガに応じて同時に実行させる制御を行う制御手段とを備える
撮像表示装置。 - 上記表示手段は、上記第1の画像信号生成手段を備えた筐体とは別筐体で形成されている
請求項1に記載の撮像表示装置。 - 上記第1の画像信号生成手段は、
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する
請求項1に記載の撮像表示装置。 - 上記撮像部は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成されている
請求項1に記載の撮像表示装置。 - 上記第2の画像信号生成手段は、
撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成する
請求項1に記載の撮像表示装置。 - 上記第2の画像信号生成手段は、
撮像部と、
該撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する
請求項5に記載の撮像表示装置。 - 上記第2の画像信号生成手段の撮像部は、使用者の視界方向を被写体方向とする撮像部である
請求項6に記載の撮像表示装置。 - 上記第2の画像信号生成手段の撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部である
請求項6に記載の撮像表示装置。 - 上記表示手段において、画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域の一方で、上記第1の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第2の画像信号生成手段からの表示画像信号による画像表示が行われる
請求項1に記載の撮像表示装置。 - 上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第1の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第2の画像信号生成手段からの表示画像信号による画像表示が行われる
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、近景撮像又は遠景撮像により得られた画像信号である
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、望遠撮像又は広角撮像により得られた画像信号である
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、拡大処理又は縮小処理により得られた画像信号である
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、撮像感度を上昇又は低下させた撮像により得られた画像信号である
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、赤外線撮像感度を上昇させた撮像により得られた画像信号である
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、紫外線撮像感度を上昇させた撮像により得られた画像信号である請求項1に記載の撮像表示装置。
- 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号である
請求項1に記載の撮像表示装置。 - 上記第1、第2の画像信号生成手段で生成する複数の表示画像信号の1つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号である
請求項1に記載の撮像表示装置。 - 使用者の目の前方に位置するように配置されて画像表示を行う表示手段と、ストレージ手段と、トリガ発生手段と、通信手段と、撮像部とを有する撮像表示装置の撮像表示方法であって、
外部機器から画像信号を上記通信手段により受信するステップと、
上記通信手段が上記外部機器から画像信号を受信することによって表示開始トリガを生成する表示開始トリガ発生ステップと、
使用者の視界方向を被写体方向とする上記撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第1の画像信号生成ステップと、
上記第1の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を上記通信手段から受信した画像信号または上記ストレージ手段に記録されている画像信号から生成する第2の画像信号生成ステップと、
上記第1、第2の画像信号生成ステップで生成された複数の表示画像信号による画像表示を上記表示開始トリガに応じて同時に実行させる表示ステップとを備える
撮像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013029778A JP5664677B2 (ja) | 2013-02-19 | 2013-02-19 | 撮像表示装置、撮像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013029778A JP5664677B2 (ja) | 2013-02-19 | 2013-02-19 | 撮像表示装置、撮像表示方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006281043A Division JP2008096868A (ja) | 2006-10-16 | 2006-10-16 | 撮像表示装置、撮像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013110764A JP2013110764A (ja) | 2013-06-06 |
JP5664677B2 true JP5664677B2 (ja) | 2015-02-04 |
Family
ID=48707047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013029778A Expired - Fee Related JP5664677B2 (ja) | 2013-02-19 | 2013-02-19 | 撮像表示装置、撮像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5664677B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101492813B1 (ko) * | 2013-08-27 | 2015-02-13 | 주식회사 매크론 | 웨어러블 디스플레이용 입력장치 |
JP6492419B2 (ja) * | 2014-05-23 | 2019-04-03 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム、画像表示システム、および、情報処理装置 |
US10451874B2 (en) | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
JP6331374B2 (ja) * | 2013-12-17 | 2018-05-30 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
WO2015122108A1 (ja) | 2014-02-17 | 2015-08-20 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR101430614B1 (ko) * | 2014-05-30 | 2014-08-18 | 주식회사 모리아타운 | 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06176131A (ja) * | 1992-12-03 | 1994-06-24 | Namco Ltd | 画像合成装置及びこれを用いた仮想体験装置 |
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
JP2000299851A (ja) * | 1999-02-12 | 2000-10-24 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP4878083B2 (ja) * | 2001-03-13 | 2012-02-15 | キヤノン株式会社 | 画像合成装置及び方法、プログラム |
JP2002271691A (ja) * | 2001-03-13 | 2002-09-20 | Canon Inc | 画像処理方法、画像処理装置、記憶媒体及びプログラム |
JP2003264740A (ja) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | 展望鏡 |
JP2005038321A (ja) * | 2003-07-18 | 2005-02-10 | Canon Inc | ヘッドマウントディスプレイ装置 |
JP2005157762A (ja) * | 2003-11-26 | 2005-06-16 | Canon Inc | 情報機器、その制御方法及びプログラム |
JP2005172851A (ja) * | 2003-12-05 | 2005-06-30 | Sony Corp | 画像表示装置 |
-
2013
- 2013-02-19 JP JP2013029778A patent/JP5664677B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013110764A (ja) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5228307B2 (ja) | 表示装置、表示方法 | |
US9772686B2 (en) | Imaging display apparatus and method | |
JP5119636B2 (ja) | 表示装置、表示方法 | |
JP5162928B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP6137113B2 (ja) | 表示装置、表示方法、プログラム | |
JP5664677B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP2008083289A (ja) | 撮像表示装置、撮像表示方法 | |
JP2013174898A (ja) | 撮像表示装置、撮像表示方法 | |
JP2013083994A (ja) | 表示装置、表示方法 | |
JP5971298B2 (ja) | 表示装置、表示方法 | |
JP2013034237A (ja) | 画像処理装置、画像処理方法、画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5664677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |