JP2015046885A - Display device and display method - Google Patents
Display device and display method Download PDFInfo
- Publication number
- JP2015046885A JP2015046885A JP2014193794A JP2014193794A JP2015046885A JP 2015046885 A JP2015046885 A JP 2015046885A JP 2014193794 A JP2014193794 A JP 2014193794A JP 2014193794 A JP2014193794 A JP 2014193794A JP 2015046885 A JP2015046885 A JP 2015046885A
- Authority
- JP
- Japan
- Prior art keywords
- display
- imaging
- unit
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着さ
れた状態で、ユーザの眼の前方で画像表示を行う表示装置と、表示方法に関する。
The present invention relates to a display device and a display method for displaying an image in front of a user's eyes in a state of being worn by a user using, for example, a spectacle-type or head-mounted type mounting unit.
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユ
ーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
For example, as in each of the above patent documents, various devices have been proposed in which a display unit is arranged in front of the user's eyes and displayed by a spectacle-type or head-mounted mounting unit.
しかしながら従来の装置では、特にユーザの視覚の補助や、視覚能力の拡大という観点
で撮像や表示に関する制御を行うものは知られていない。
そこで本発明では、ユーザの視覚の補助や拡張を実現することを目的とする。
However, there is no known device that performs control related to imaging and display particularly from the viewpoint of assisting the user's vision and expanding visual ability.
Therefore, an object of the present invention is to realize user assistance and expansion.
本発明の表示装置は、ユーザの頭部に装着して用いられる表示部と、上記ユーザの前方
方向を撮像する撮像部と、外部の装置と通信し、ユーザの現在位置に関する位置情報を上
記外部の装置に送信し、上記位置情報に応じた、少なくとも撮像禁止情報または撮影許可
情報を含む外界情報を上記外部の装置から受信する通信部と、受信した上記外界情報に基
づいて、上記撮像部の動作のオンまたはオフを制御する制御部とを備える。
The display device of the present invention includes a display unit that is used by being mounted on a user's head, and the front of the user.
Communicates with an imaging unit that captures the direction and an external device, and provides location information related to the user's current location.
At least imaging prohibition information or imaging permission according to the position information sent to the external device
A communication unit that receives external information including information from the external device, and the received external environment information.
And a control unit that controls on or off of the operation of the imaging unit.
上記撮像部で撮像した画像信号を記録するストレージ部を有する。A storage unit for recording an image signal captured by the imaging unit;
上記通信部は、上記撮像部で撮像した画像信号を他の機器に送信する。 The communication unit transmits an image signal captured by the imaging unit to another device.
上記制御部は、ユーザが上記表示部を装着して電源オンとしている期間のみ動作制御を The control unit controls the operation only during a period when the user wears the display unit and is turned on.
行う。Do.
上記撮像部が可動カメラであり、撮像方向の変更が可能となっている。 The imaging unit is a movable camera, and the imaging direction can be changed.
上記撮像部が複数ある。 There are a plurality of the imaging units.
上記表示部は、右眼用部と左眼用部とを有し、上記右眼用部と上記左眼用部のそれぞれ The display unit includes a right-eye part and a left-eye part, and each of the right-eye part and the left-eye part.
の表示状態をトリガに応じて切り替える。The display state of is switched according to the trigger.
上記表示部の画面表示は、複数の画面領域のそれぞれに画像を表示可能になっており、 The screen display of the display unit can display an image on each of a plurality of screen areas.
トリガに応じて、複数の画面領域での表示から上記表示部の画面全体での表示に切り替えSwitch from display in multiple screen areas to display on the entire screen of the display unit according to the trigger.
る。The
上記撮像部は、上記画面領域がスルー状態とされているいる際に使用者が上記表示部をThe imaging unit allows the user to display the display unit when the screen area is in a through state.
介して視認する方向とは異なる方向を被写体方向として撮像するようにされた撮像部であAn imaging unit configured to image a direction different from a direction visually recognized as a subject direction.
る。The
また上記撮像部は、被写体方向が可変とされた撮像部である。 The imaging unit is an imaging unit whose subject direction is variable.
また上記撮像部が複数設けられている。 A plurality of the imaging units are provided.
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成 The image pickup unit is configured using a CCD sensor or a CMOS sensor as an image pickup element.
されている。Has been.
また上記表示部において、上記画面領域内で親画面領域と子画面領域が設定されて、親In the display unit, a parent screen area and a child screen area are set in the screen area, and a parent screen area is set.
画面領域と子画面領域の一方が上記スルー状態、他方が上記表示画像信号による画像表示One of the screen area and sub-screen area is in the through state, and the other is image display by the display image signal.
状態とされる。State.
また上記表示部において、上記画面領域が分割され、分割された各領域の一方が上記ス In the display unit, the screen area is divided, and one of the divided areas is divided into the scan areas.
ルー状態、他方が上記表示画像信号による画像表示状態とされる。The loop state, and the other is the image display state based on the display image signal.
また上記表示画像信号は、近景撮像又は遠景撮像により得られた画像信号である。 The display image signal is an image signal obtained by near-field imaging or far-field imaging.
また上記表示画像信号は、望遠撮像又は広角撮像により得られた画像信号である。 The display image signal is an image signal obtained by telephoto imaging or wide-angle imaging.
また上記表示画像信号は、拡大処理又は縮小処理により得られた画像信号である。 The display image signal is an image signal obtained by enlargement processing or reduction processing.
また上記表示画像信号は、撮像感度を上昇又は低下させた撮像により得られた画像信号 The display image signal is an image signal obtained by imaging with increased or decreased imaging sensitivity.
である。It is.
また上記表示画像信号は、赤外線撮像感度を上昇させた撮像により得られた画像信号で The display image signal is an image signal obtained by imaging with increased infrared imaging sensitivity.
ある。is there.
また上記表示画像信号は、紫外線撮像感度を上昇させた撮像により得られた画像信号で The display image signal is an image signal obtained by imaging with increased ultraviolet imaging sensitivity.
ある。is there.
また上記表示画像信号は、上記画面領域がスルー状態とされている際に使用者が上記表 The display image signal is displayed by the user when the screen area is in the through state.
示部を介して視認する方向とは異なる方向を被写体方向とした撮像により得られた画像信An image signal obtained by imaging with a direction different from the direction viewed through the display unit as the subject direction.
号である。No.
本発明の表示方法は、表示部と、画像を撮像する撮像部と、通信部とを有する表示装置
の表示方法として、上記通信部により、外部の装置と通信し、ユーザの現在位置に関する
位置情報を上記外部の装置に送信し、上記位置情報に応じた、少なくとも撮像禁止情報ま
たは撮影許可情報を含む外界情報を上記外部の装置から受信するステップと、受信した上
記外界情報に基づいて、上記撮像部の動作のオンまたはオフを制御するステップとを備え
る。
A display method according to the present invention includes a display device, a display device including an imaging unit that captures an image, and a communication unit.
As a display method, the communication unit communicates with an external device and relates to the current position of the user.
The position information is transmitted to the external device, and at least imaging prohibition information corresponding to the position information is transmitted.
Or receiving external environment information including photographing permission information from the external device;
Controlling on / off of the operation of the imaging unit based on external world information.
The
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニ
ットなどにより本発明の表示装置を装着することで、目の前方に位置する表示部を視認す
る状態となる。この表示部はスルー状態とすることができる。
そして表示部の画面領域の一部をスルー状態としたうえで画像信号生成部で生成された
表示画像信号による表示を実行させることで、ユーザはスルー状態の領域により通常の視
覚光景が見える状態のまま、表示画像信号の表示により、通常に視認する視覚光景とは異
なる光景の画像を見ることができる。例えばスルー状態の領域により前方を見ながら、表
示画像信号の表示により、望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを
見ることができる。
つまり、通常の視覚光景と同時に、通常の視覚では見ることのできない光景を見る状態
となり、ユーザの視覚能力が拡張された状態となる。
In the present invention described above, the user (user) can visually recognize the display unit located in front of the eyes by wearing the display device of the present invention with, for example, a spectacle-type or head-mounted type mounting unit. Become. This display portion can be in a through state.
Then, by setting a part of the screen area of the display unit to the through state and executing the display using the display image signal generated by the image signal generation unit, the user can see a normal visual scene in the through state area. The display image signal is displayed as it is, so that an image of a scene different from the visual scene that is normally visually recognized can be seen. For example, a telephoto image, an enlarged image, a special captured image, an image of a rear scene, and the like can be viewed by displaying the display image signal while looking forward in the through state region.
That is, at the same time as the normal visual scene, the user can see a scene that cannot be viewed with normal vision, and the user's visual ability is expanded.
本発明によれば、表示部の画面領域の一部をスルー状態としたうえで画像信号生成部で
生成された表示画像信号による表示を実行させることで、ユーザはスルー状態の領域によ
り通常の視覚光景が見える状態のまま、通常に視認する視覚光景とは異なる光景の画像を
見ることができ、擬似的にユーザの視覚能力を拡張させる状況を作り出すことができると
いう効果がある。
また表示部は、少なくとも画面領域の一部はスルー状態であるため、装着状態のままで
も通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の
表示装置の利点を有効に得ることができる。
According to the present invention, a part of the screen area of the display unit is set to the through state, and the display by the display image signal generated by the image signal generation unit is executed. While the sight is visible, an image of a sight different from the visual sight that is normally visually recognized can be seen, and there is an effect that it is possible to create a situation that artificially expands the user's visual ability.
In addition, since at least a part of the screen area is in the through state, the display unit can be prevented from causing trouble in normal life even in the mounted state. For this reason, the advantages of the display device of the present invention can be obtained effectively in the normal life of the user.
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
［１．表示装置の外観例及び外部機器との関連］
［２．表示装置の構成例］
［３．画面上の領域形態］
［４．表示動作例］
［５．動作トリガの例］
［６．実施の形態の効果、変形例及び拡張例］
Hereinafter, embodiments of the display device and the display method of the present invention will be described in the following order.
[1. Example of external appearance of display device and relationship with external device]
[2. Example of configuration of display device]
[3. Area form on screen]
[4. Display operation example]
[5. Example of operation trigger]
[6. Effect, modification and extension of embodiment]
［１．表示装置の外観例及び外部機器との関連］
実施の形態として、図１（ａ）（ｂ）に眼鏡型ディスプレイとした表示装置１の外観例
を示す。表示装置１は、例えば図１（ｂ）のように両側頭部から後頭部にかけて半周回す
るようなフレームの構造の装着ユニットを持ち、図１（ａ）のように両耳殻にかけられる
ことでユーザに装着される。
そしてこの表示装置１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡に
おけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成
とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御すること
で、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態
とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
[1. Example of external appearance of display device and relationship with external device]
As an embodiment, FIGS. 1A and 1B show an appearance example of a
The
またユーザが装着した状態において、ユーザの前方方向に向けて撮像レンズ３ａが配置
されている。つまりこの場合、撮像レンズ３ａは、表示部２をスルー状態としたときにユ
ーザが表示部２を介して視認する方向を被写体方向として撮像するようにされている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光
部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
In addition, the
Moreover, the
なお図１は一例であり、表示装置１をユーザが装着するための構造は多様に考えられる。
一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも
本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。
また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる
構成でもよい。
また発光部４ａを設けない構成も考えられる。
Note that FIG. 1 is an example, and various structures for the user to wear the
In general, the
In addition, a pair of
A configuration in which the
また図１では撮像レンズ３ａがユーザの前方を被写体方向とするように取り付けられて
いるが、撮像レンズ３ａが、表示部２をスルー状態としたときにユーザが表示部２を介し
て視認する方向とは異なる方向を被写体方向として撮像するように取り付けられていても
良い。
図２（ａ）（ｂ）に例を示す。図２（ａ）（ｂ）の例では、前方には撮像レンズ３ａは
設けられず、後頭部側に位置することになるユニットに撮像レンズ３ａ及び発光部４ａが
設けられている。つまりこの場合、撮像レンズ３ａは、ユーザが通常では視認できない後
方を撮像するものとされる。
また、図示しないが、撮像レンズ３ａは、ユーザの上方、左側方、右側方、足下などを
被写体方向とするように取り付けられていてもよい。
In FIG. 1, the
An example is shown in FIGS. In the example of FIGS. 2A and 2B, the
Although not shown, the
また、図１，図２の例では撮像レンズ３ａは固定的に取り付けられていることで撮像時
の被写体方向は固定（ユーザの前方、又はユーザの後方）であるが、被写体方向を変化さ
せることのできる可動機構を介して撮像レンズ３ａを取り付けることで、手動又は自動で
撮像時の被写体方向を変化させることができるようにしてもよい。
また、図１，図２では撮像レンズ３ａとして１つの撮像機能部を設けるものであるが、
複数の撮像レンズ３ａを取り付け、複数の撮像機能部を備えるようにしてもよい。
1 and 2, the
In FIG. 1 and FIG. 2, one imaging function unit is provided as the
A plurality of
撮像レンズ３ａを含む後述する撮像機能系で撮像された画像信号は、所定の処理を経て
表示画像信号とされて表示部２に表示される。
この場合、表示部２の画面上では一部の領域がスルー状態とされ、他の領域に表示画像
信号に基づく画像表示が行われる。
ところで内部構成例については後述するが、この表示装置１は、外部機器と通信を行う
通信機能（図５で述べる通信部２６）を備えることも考えられる。
従って、表示部２において表示する表示画像信号のソースは、撮像レンズ３ａを含む撮
像機能部だけでなく、通信機能部が想定される。つまり外部機器としての他の撮像装置等
から送信された画像信号を、通信機能部で受信し、表示部２に表示させることもできる。
An image signal captured by an imaging function system including an
In this case, a part of the area is set to the through state on the screen of the
By the way, although an internal configuration example will be described later, the
Therefore, the source of the display image signal displayed on the
図３は、表示装置１の使用形態を、外部機器との関連において例示したものである。
図３（ａ）は表示装置１を単体で使用する場合であり、この場合、表示装置１が撮像機
能を有していることで、撮像された画像信号をソースとして生成した表示画像信号を表示
部２に表示させることができる。
FIG. 3 illustrates a usage pattern of the
FIG. 3A shows a case where the
図３（ｂ）は、表示装置１が通信機能を備え、外部の撮像装置７０と通信を行う例であ
る。この場合、表示装置１は、撮像装置７０で撮像された画像を受信して表示部２に表示
させる。外部の撮像装置７０とは、通信機能を備えたビデオカメラ、デジタルスチルカメ
ラなどが想定できるし、また図１のように撮像機能を備えた表示装置１を、或る表示装置
１に対して外部の撮像装置１と考えることもできる。
また外部の撮像装置７０は、表示装置１を用いるユーザ本人が所有する撮像装置であっ
たり、表示装置１のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う
公共或いはサービス企業等の撮像装置であって表示装置１と通信可能とされているものな
ど多様に考えられる。
FIG. 3B is an example in which the
The
図３（ｃ）は、表示装置１が通信機能、特にインターネット等のネットワーク７３を介
した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７
０と通信を行う例である。この場合表示装置１は、ネットワーク７３を介して撮像画像信
号を受信し、その受信した撮像画像信号に基づいた表示画像信号による画像表示を表示部
２で実行させる。
FIG. 3C shows that the
This is an example of communicating with 0. In this case, the
［２．表示装置の構成例］
図４に表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部
を備えたマイクロコンピュータにより構成され、表示装置１の全体を制御する制御部とさ
れる。
このシステムコントローラ１０は内部の動作プログラム及び動作トリガ情報発生部１６
からの動作トリガに基づいて、表示装置１内の各部の制御を行い、表示部２において所要
の画像表示を実行させる。
[2. Example of configuration of display device]
FIG. 4 shows an internal configuration example of the
The
The control unit is configured by a microcomputer including only memory (RAM), random access memory (RAM), a nonvolatile memory unit, and an interface unit, and controls the
The
On the basis of the operation trigger from, each part in the
表示装置１内では、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１又は図２に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカ
スレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム
動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行
うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイ
は、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Me
tal Oxide Semiconductor）センサアレイとされる。
図１の例の場合は、この撮像部３によってユーザの前方の光景が撮像され、また図２の
例の場合は、この撮像部３によってユーザの後方の光景が撮像される。
In the
The imaging unit 3 is configured to perform a focusing operation and a zooming operation on a lens system including the
tal Oxide Semiconductor) sensor array.
In the case of the example of FIG. 1, a scene in front of the user is imaged by the imaging unit 3, and in the example of FIG. 2, a scene in the rear of the user is imaged.
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン
調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ
／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１
５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理な
ども行う。
The imaging
An / D converter is provided to obtain an imaging signal as digital data. In addition, the imaging
5 also performs white balance processing, luminance processing, color signal processing, blur correction processing, and the like on the imaging signal.
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮
像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理
部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オート
フォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための
制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けら
れている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機
構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理
部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミン
グジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、こ
のタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信
号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲ
イン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係
数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、
特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特
定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮
像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの
挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像
制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御
を行うことができる。
The imaging control unit 11 controls the operations of the imaging unit 3 and the imaging
Further, as described above, when the movable mechanism that can change the direction of the subject by the
In addition, the imaging control unit 11 includes a timing generator. For the sample hold / AGC circuit and the video A / D converter of the solid-state imaging device and the imaging signal processing unit 11, a signal processing operation is performed by a timing signal generated by the timing generator. To control. In addition, the imaging frame rate can be variably controlled by this timing control.
Further, the imaging control unit 11 controls imaging sensitivity and signal processing in the solid-state imaging device and the imaging
In particular, overall sensitivity adjustment that does not consider the wavelength band and sensitivity adjustment that adjusts the imaging sensitivity of a specific wavelength band such as an infrared region and an ultraviolet region (for example, imaging that cuts a specific wavelength band) are also possible. . Sensitivity adjustment according to the wavelength can be performed by inserting a wavelength filter in the imaging lens system or wavelength filter calculation processing on the imaging signal. In these cases, the imaging control unit 11 can perform sensitivity control by insertion control of a wavelength filter, designation of a filter calculation coefficient, or the like.
また表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像
処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号は表示画像処理部１２
に供給される。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給さ
れた撮像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強
調）調整などを行うことができる。また表示画像処理部１２は、撮像信号の一部を拡大し
た拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画
像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェク
ト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像
の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像
信号としてのデジタル映像信号に対しての各種処理を行うことができる。
The
The image signal captured by the image capturing unit 3 and processed by the image capturing
To be supplied. The display
For example, brightness level adjustment, color correction, contrast adjustment, sharpness (outline emphasis) adjustment, and the like of the imaging signal can be performed. The display
表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディス
プレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち
表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／
垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示
駆動部１３は、表示部２の各画素の透過率を制御して、画面全体及び一部をスルー状態と
することもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２
の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上
記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の
切り換えが行われるように制御する。
The
A drive signal based on the video signal is applied at the vertical drive timing to execute display. In addition, the
The
And the operation of the
また照明部4と照明制御部１８が設けられる。照明部４は、図１、図２に示した発光部
４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、
システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１又は図２に示したように取り付けられていること
で、照明部４は撮像レンズ３ａによる被写体方向に対する照明動作を行うことになる。
An
Based on an instruction from the
Since the
動作トリガ情報発生部１６は、表示部２での画像表示の開始／終了、表示態様の切換な
どのための動作トリガ情報を発生する。
この動作トリガ情報発生部１６は、例えばユーザが操作する操作キーや操作ダイヤルと
しての操作子と、その操作子の操作を検知する操作検知機構により構成することができる。
即ちユーザの手動操作を各種動作の動作トリガ情報とする場合である。動作トリガ情報発
生部１６は、ユーザの操作情報を動作トリガ情報としてシステムコントローラ１０に供給
することで、システムコントローラ１０はユーザの操作に応じた表示動作制御を行う。
また、動作トリガ情報発生部１６は、ユーザ情報（ユーザの視覚状況、身体の挙動、生
体状況等の検知情報）を検知したり、外界情報（表示装置の周囲の状況や、場所、日時、
被写体の状況などの検知情報）を検知することができる構成としてもよい。例えばシステ
ムコントローラ１０がこれらのユーザ情報や外界情報に基づいて、動作トリガ発生の判断
を行うようにしてもよい。なお、ユーザ情報や外界情報についての例は後に述べる。
The operation trigger
The operation trigger
That is, the user's manual operation is used as operation trigger information for various operations. The operation trigger
In addition, the operation trigger
It is also possible to adopt a configuration that can detect detection information such as the status of the subject. For example, the
図５は、表示装置１としての他の構成例を示すものである。なお、図４と同一機能のブ
ロックには同一符号を付し、重複説明を避ける。
この図５の構成は、図４の構成における撮像機能部位（撮像部３、撮像制御部１１、撮
像信号処理部１５）と、照明部４，照明制御部１８を備えず、代わりに通信部２６を有す
る構成とされている。
FIG. 5 shows another configuration example as the
The configuration of FIG. 5 does not include the imaging function part (imaging unit 3, imaging control unit 11, imaging signal processing unit 15),
通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、図２で述
べた撮像装置７０としての各種の機器が考えられる。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセ
スポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良い
し、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
The
The
この図５の例の場合、外部の撮像装置７０との間で図３（ｂ）又は図３（ｃ）で述べた
ように通信を行い、撮像装置７０から撮像画像信号を受信する。通信部２６は受信した撮
像画像信号を表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画
像信号が表示駆動部１３に供給され、表示部２で表示される。
In the case of the example in FIG. 5, communication is performed with the
図６は、表示装置１としてのさらに他の構成例を示すものである。なお、図４と同一機
能のブロックには同一符号を付し、重複説明を避ける。
この図６の構成は、図４の構成における撮像機能部位（撮像部３、撮像制御部１１、撮
像信号処理部１５）を２系統備えたものである。
即ち撮像部３Ｘ、撮像制御部１１Ｘ、撮像信号処理部１５Ｘによる第１の撮像機能部位
と、撮像部３Ｙ、撮像制御部１１Ｙ、撮像信号処理部１５Ｙによる第２の撮像機能部位が
設けられる。
撮像部３Ｘ、３Ｙは、それぞれが同一の被写体方向で撮像を行うものとされても良いし、
それぞれが異なる被写体方向で撮像を行うものとされてもよい。
例えば撮像部３Ｘ、３Ｙは、いずれも前方を撮像するように配置されても良いし、撮像
部３Ｘは前方撮像、撮像部３Ｙは後方撮像を行うように配置されてもよい。また撮像部３
Ｘは右後方、撮像部３Ｙは左後方の撮像を行うように配置されてもよいし、撮像部３Ｘは
足下、撮像部３Ｙは上空の撮像を行うように配置されてもよい。
各撮像機能部位で得られた撮像画像信号は、表示画像処理部１２で処理されて表示駆動
部１３に供給され、表示部２で表示される。
FIG. 6 shows still another configuration example of the
The configuration of FIG. 6 includes two systems of imaging function parts (imaging unit 3, imaging control unit 11, and imaging signal processing unit 15) in the configuration of FIG.
That is, a first imaging functional part by the
The
Each may perform imaging in a different subject direction.
For example, the
X may be arranged to perform right rear imaging, and the
The captured image signal obtained at each imaging function part is processed by the display
以上、図４，図５，図６に表示装置１の構成例を示したが、表示装置１としてはさらに
多様な構成例が想定される。
例えば３系統以上の撮像機能部位が設けられることも考えられる。
また１又は複数の撮像機能部位とともに、外部の撮像装置７０からの撮像信号を受信す
る通信部２６が設けられる構成も考えられる。
また、撮像機能部位において、撮像部３（撮像レンズ３ａ）は被写体方向が固定とされ
る例と被写体方向を変更できるように可動とされる例が考えられるが、複数の撮像機能部
位を設ける場合、全てを固定とする構成例、全てを可動とする構成例、一部を固定で一部
を可動とする構成例がそれぞれ想定される。
As described above, the configuration example of the
For example, it is conceivable that three or more imaging function parts are provided.
In addition, a configuration in which the
In addition, in the imaging function part, an example in which the imaging unit 3 (
ところで、図４，図５，図６や、その変形例としての構成において、実施の形態となる
表示装置１では、表示画像処理部１２で処理されて表示駆動部１３に供給される画像信号
が、最終的に表示部２での表示に供される表示画像信号となる。本例の場合、特に表示画
像信号は、表示部３をスルー状態としたときにユーザが表示部２を介して視認する光景と
は異なる光景としての画像を表示させる信号としている。
表示画像信号としての画像、つまり表示部３をスルー状態としたときにユーザが表示部
２を介して視認する光景とは異なる光景としての画像がどのように得られるかは多様に考
えられる。
例えば撮像部３（３Ｘ、３Ｙ）で撮像された画像や通信部２６で受信された画像のその
ものが、ユーザが表示部２を介して視認する光景とは異なる光景としての画像となる場合
もあるし、像信号処理部１５，表示画像処理部１２で所定の処理が施されることで、ユー
ザが表示部２を介して視認する光景と同等の画像が異なる光景としての画像となる場合も
ある。
ユーザが表示部２を介して視認する光景とは異なる光景としての画像の具体例について
は後述する。
By the way, in FIG.4, FIG.5, FIG.6 or the structure as a modification example, in the
There are various ways of obtaining an image as a display image signal, that is, an image as a scene different from a scene visually recognized by the user through the
For example, the image captured by the imaging unit 3 (3X, 3Y) or the image received by the
A specific example of an image as a scene different from the scene visually recognized by the user via the
また本例では、このような画像の表示を行う場合において、表示部２の画面領域の一部
をスルー状態としたうえで、表示画像処理部１２から出力される画像信号による表示を行
うことを基本とする。即ち、スルー状態の表示部２の一部の領域で画像表示を行うもので
ある。
In this example, when such an image is displayed, a part of the screen area of the
［３．画面上の領域形態］
表示部２の画面上で、画面領域の一部をスルー状態としたうえで、表示画像処理部１２
から出力される画像信号による表示を行う場合の例を図７，図８に示す。
表示部２において、スルー状態の領域を残したまま画像表示を行う形態としては、画面
領域内で親画面領域と子画面領域を設定し、親画面領域と子画面領域の一方をスルー状態、
他方を表示画像信号による画像表示状態とする。
或いは、画面領域を分割し、分割した各領域の一方をスルー状態、他方を表示画像信号
による画像表示状態とするようにしてもよい。
[3. Area form on screen]
On the screen of the
FIGS. 7 and 8 show examples in which display is performed using image signals output from.
In the
The other is set to an image display state by a display image signal.
Alternatively, the screen area may be divided so that one of the divided areas is in a through state and the other is in an image display state by a display image signal.
図７、図８において領域ＡＲ１はスルー状態の領域、領域ＡＲ２は表示画像信号による
画像表示を行っている領域であるとする。
図７（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下に子画面としての領域ＡＲ
２を設定し、画像表示を行っている例である。
図７（ｂ）は、表示部２の画面領域で、領域ＡＲ１内で左下に子画面としての領域ＡＲ
２を設定し、画像表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域ＡＲ１内の右上、左上、中央、
中央右寄り、中央左寄りなど、各種の位置に子画面としての領域ＡＲ２を設定することも
できる。
図７（ｃ）は、領域ＡＲ２としてのサイズを小さくした例である。
図７（ｄ）は、領域ＡＲ２としてのサイズを大きくした例である。
図７（ｅ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して左右に分け
た例である。
図７（ｆ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して上下に分け
た例である。
7 and 8, it is assumed that the area AR1 is an area in a through state, and the area AR2 is an area where image display is performed using a display image signal.
FIG. 7A shows a screen area of the
This is an example in which 2 is set and image display is performed.
FIG. 7B shows a screen area of the
This is an example in which 2 is set and image display is performed.
Although not shown, when setting the sub-screen in this way, the upper right, upper left, center,
An area AR2 as a sub-screen can be set at various positions such as the center right side and the center left side.
FIG. 7C shows an example in which the size of the area AR2 is reduced.
FIG. 7D shows an example in which the size of the area AR2 is increased.
FIG. 7E shows an example in which the area AR1 and the area AR2 are equally divided into left and right in the screen area of the
FIG. 7F shows an example in which the area AR1 and the area AR2 are equally divided into upper and lower parts in the screen area of the
例えば図４、図５の構成において、画像表示を行う場合、この図７（ａ）〜（ｆ）のよ
うな形態で、領域ＡＲ１をスルー状態としながら領域ＡＲ２に画像表示を行うことが考え
られる。
またシステムコントローラ１０は、動作トリガ情報発生部１６からの情報（例えばユー
ザの操作情報、ユーザ情報、外界情報等）に基づいて、図７（ａ）〜（ｆ）どのような領
域形態で画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。
例えばユーザの操作等に応じて図７（ａ）（ｂ）のように子画面とされる領域ＡＲ２の位
置を変更したり、図７（ｃ）（ｄ）のように領域ＡＲ２のサイズを変更したり、図７（ｅ）
（ｆ）のように等分割することで、ユーザの好みに合わせることができる。
また、いわゆる表示領域交代として、図７（ａ）〜（ｆ）における領域ＡＲ１を画像表
示、領域ＡＲ２をスルー状態とするような切り換えを行うことも考えられる。
また、図８（ｄ）に、画面領域全体を領域ＡＲ２として表示画像信号による画像表示を
行っている例を示しているが、例えば図７（ａ）〜（ｆ）のような表示状態から、図８（ｄ）
のようにスルー状態の領域をなくして全画面で画像表示を行っている状態に切り換えるこ
とができるようにしてもよい。
For example, in the configuration of FIGS. 4 and 5, when displaying an image, it is conceivable to display the image in the area AR2 while keeping the area AR1 in the through state in the form as shown in FIGS. .
Further, the
For example, the position of the area AR2 that is the child screen is changed as shown in FIGS. 7A and 7B according to the user's operation, or the size of the area AR2 is changed as shown in FIGS. 7C and 7D. Figure 7 (e)
By dividing equally as shown in (f), it is possible to match the user's preference.
As a so-called display area change, it is also conceivable to perform switching so that the area AR1 in FIGS. 7A to 7F is displayed as an image and the area AR2 is in a through state.
FIG. 8D shows an example in which the entire screen area is displayed as an area AR2, and image display is performed using display image signals. For example, from the display states as shown in FIGS. FIG. 8 (d)
Thus, it may be possible to switch to a state in which an image is displayed on the entire screen by eliminating the through state area.
次に図８（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下と左下に２つの子画面
としての領域ＡＲ２ａ、ＡＲ２ｂを設定し、画像表示を行っている例である。
図８（ｂ）は、表示部２の画面領域で、領域ＡＲ１の左右に領域ＡＲ２ａ、ＡＲ２ｂを
設定し、画像表示を行っている例である。
図８（ｃ）は、表示部２の画面領域で、領域ＡＲ１の上下に領域ＡＲ２ａ、ＡＲ２ｂを
設定し、画像表示を行っている例である。
例えば図６のように２系統の撮像機能部位を有する場合、これらのような２つの領域Ａ
Ｒ２ａ、ＡＲ２ｂで各撮像機能部位での撮像画像に基づく画像表示を行うようにすること
が考えられる。
また、領域ＡＲ１、ＡＲ２ａ、ＡＲ２ｂを３等分に分割設定しても良い。
また、システムコントローラ１０の制御によって領域形態の切換や領域の交代が行われ
ることも図７の場合と同様に想定される。
また、図８（ａ）（ｂ）（ｃ）の状態から図８（ｄ）のように画面全体で画像表示を行
う状態に切り換えることができるようにしてもよい。
Next, FIG. 8A is an example in which two sub-areas AR2a and AR2b are set in the lower right and lower left in the area AR1 in the screen area of the
FIG. 8B shows an example in which the areas AR2a and AR2b are set on the left and right sides of the area AR1 in the screen area of the
FIG. 8C shows an example in which areas AR2a and AR2b are set above and below the area AR1 in the screen area of the
For example, when there are two imaging function parts as shown in FIG.
It is conceivable to perform image display based on the captured image at each imaging functional part with R2a and AR2b.
Further, the areas AR1, AR2a, AR2b may be divided into three equal parts.
In addition, it is assumed that the switching of the area form and the switching of the areas are performed under the control of the
Also, the state shown in FIGS. 8A, 8B, and 8C may be switched to the state where the image is displayed on the entire screen as shown in FIG. 8D.
なお、複数の撮像機能部位や通信部２６などで複数の表示画像ソースを有する場合であ
っても、そのうちの１つを選択して図７（ａ）〜（ｆ）のような領域形態で表示させるこ
とも考えられる。
また、表示装置１が３つ以上の表示画像ソースを有する構成とされる場合、領域ＡＲ２
としての領域を３つ以上設定し、それぞれの表示画像ソースからの画像が同時に表示され
るようにしてもよい。
また、図１のように表示部２が右眼用と左眼用で２つある場合に、その一方の画面全体
をスルー状態とし、他方の画面全体で図８（ｄ）のように画像表示を行うことも考えられ
る。
Even when there are a plurality of display image sources in a plurality of imaging function parts, the
When the
Three or more areas may be set, and images from the respective display image sources may be displayed simultaneously.
In addition, when there are two
［４．表示動作例］
上記図４，図５，図６のような構成の本実施の形態の表示装置１では、表示画像処理部
１２で処理されて表示駆動部１３に供給される画像信号が、最終的に表示部２での表示に
供される表示画像信号とされ、特にこの表示画像信号は、上記図７，図８で説明したよう
にスルー状態の領域を残したまま、画面上の一部領域に表示される。また、表示画像信号
は、ユーザが表示部２を介して視認する光景（つまりスルー状態で視認する光景）とは異
なる光景としての画像を表示させる信号である。
表示画像信号としての画像は、撮像部３（又は３Ｘ、３Ｙ）で撮像された画像であった
り、通信部２６で受信された画像であるが、これらをソースとする表示画像信号を、スル
ー状態で視認する光景とは異なる光景の画像とし、ユーザが、スルー状態の領域で外界の
光景を見ながら、一部領域で表示画像を見ることで視覚を拡張できるようにするものであ
る。
[4. Display operation example]
In the
The image as the display image signal is an image captured by the imaging unit 3 (or 3X, 3Y) or an image received by the
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。
図９は、システムコントローラ１０の制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２を
スルー状態とする制御処理を示している。例えば表示装置１が電源オンとされた初期段階
では、システムコントローラ１０はステップＦ１０１で表示部２の画面全面をスルー状態
に制御する。
表示部２の画面全面をスルー状態にしている期間は、システムコントローラ１０はステ
ップＦ１０２で表示開始のトリガが発生したか否かを確認している。例えば動作トリガ情
報発生部１６としてユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行
うことで表示状態を開始させるトリガの発生と判断すればよい。或いは後に例を述べるが、
動作トリガ情報発生部１６でユーザの状況や外界の状況を検出し、所定の条件に応じて表
示を開始させるトリガの発生とシステムコントローラ１０が判断することもできる。
Various operation examples based on the control of the
FIG. 9 shows a control process of the
Step F101 indicates a control process in which the
During a period in which the entire screen of the
The operation trigger
表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステッ
プＦ１０３に進め、表示画像信号の表示開始制御を行う。即ち撮像部３（又は３Ｘ、３Ｙ）
で撮像された画像信号や、通信部２６で受信された画像信号に基づく表示画像信号が表示
部３で表示されるように制御する。またこのとき、例えば図７，図８で述べたように、画
面上の一部の領域に画像表示を実行させる。
If it is determined that there has been a display start trigger, the
The display unit 3 is controlled to display a display image signal based on the image signal picked up in (1) and the image signal received by the
画像表示を開始させた後、つまり表示部２の画面上で一部がスルー状態の領域とされ一
部が画像表示の領域とされている期間は、システムコントローラ１０は、ステップＦ１０
４で表示切換トリガが発生したか否かを監視し、またステップＦ１０５で表示終了トリガ
が発生したか否かを監視する。
After the image display is started, that is, during a period in which a part is a through state area and a part is an image display area on the screen of the
4 monitors whether a display switching trigger has occurred, and monitors whether a display end trigger has occurred in step F105.
ステップＦ１０４での表示切換トリガの発生とは、ユーザ操作、或いはユーザ状況や外
界状況によるシステムコントローラ１０の判断により、表示画像の切換を行うとシステム
コントローラ１０が判断することを意味している。
表示画像の切換とは、例えば表示画像内容の切換、領域形態の切換がある。
そして表示画像内容の切換とは、例えば撮像部３でのズーム処理や焦点位置の変更によ
る画像変更、撮像感度の変更による画像変更、撮像信号処理部１５での信号処理による画
像変更、撮像部３が可動カメラの場合の撮像方向（被写体方向）の変更による画像変更、
表示画像処理部１２での信号処理による画像変更、複数の表示画像信号のソースを有する
場合のソース切換による画像変更など、非常に多様な例が考えられる。
また領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や
領域交代、全画面表示への切換などであり、例えば図７（ａ）の状態から図７（ｂ）の状
態に切り換えたり、図７（ａ）の状態から図７（ｅ）の状態に切り換えたり、或いは図７
（ａ）の状態から図８（ｄ）の状態に切り換えるなどの制御である。
The occurrence of a display switching trigger in step F104 means that the
The display image switching includes, for example, display image content switching and area mode switching.
The display image content switching includes, for example, zoom processing in the imaging unit 3 and image change by changing the focus position, image change by changing imaging sensitivity, image change by signal processing in the imaging
There are various examples such as an image change by signal processing in the display
The switching of the area form includes a change in the position of the parent / child screen, a change in the parent / child screen, a change in the position of the divided screen, a change in the area, a change to the full screen display, etc. For example, the state shown in FIG. 7), or from the state of FIG. 7 (a) to the state of FIG. 7 (e), or FIG.
This is control such as switching from the state of (a) to the state of FIG.
またステップＦ１０５での表示終了トリガについては、例えばユーザが所定の操作子に
より表示を終了させる操作を行った場合に、システムコントローラ１０は表示状態を終了
させるトリガの発生と判断すればよいが、ユーザの状況や外界の状況を検出し、所定の条
件に応じて表示終了トリガの発生とシステムコントローラ１０が判断することもできる。
As for the display end trigger in step F105, for example, when the user performs an operation to end the display with a predetermined operator, the
表示切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ
１０４からＦ１０６に進め、画像表示動作に関しての切換制御を行う。これにより表示部
２において一部の領域に表示されている画像の内容、もしくは領域形態の切換が行われる。
システムコントローラ１０はステップＦ１０６で表示切換に関しての制御を行った後
も、ステップＦ１０４，Ｆ１０５のトリガ発生の監視を行う。
If it is determined that a display switching trigger has occurred, the
Proceeding from 104 to F106, switching control relating to the image display operation is performed. As a result, the content of the image displayed in a part of the area or the area form on the
The
表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ
１０５からＦ１０１に戻し、表示制御部１４に対して、画像表示を終了させると共に表示
部２の全面をスルーとする指示を行う。
If it is determined that a display end trigger has occurred, the
The process returns from F105 to F101, and the
ユーザが表示装置１を装着して電源オンとしている期間は、システムコントローラ１０
は、例えばこの図９のような制御処理を行うことになる。
そしてこの処理においては、ステップＦ１０３で画像表示を行い、またステップＦ１０
６で表示切換を行うが、これらの処理において実現される画像表示例を図１０〜図１５で
述べていく。
なお、図１０〜図１４では基本的には図４の構成例であって、撮像部３がユーザの前方、
つまりスルー状態の領域を介してユーザが視認する光景と同一の方向の光景を撮像するよ
うに構成されている場合を想定して説明していく。
During a period when the user wears the
For example, the control process as shown in FIG. 9 is performed.
In this processing, image display is performed in step F103, and step F10.
The display is switched in step 6, and examples of image display realized in these processes will be described with reference to FIGS.
10 to 14 are basically the configuration example of FIG. 4, and the imaging unit 3 is in front of the user,
In other words, the description will be made assuming that the camera is configured to capture a scene in the same direction as the scene visually recognized by the user through the through state area.
図１０（ａ）は表示部２の全面がスルー状態となっている場合を示しているとする。つ
まり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２
を介して見ている状態である。
図１０（ｂ）は、画像表示状態として、例えば撮像部３で撮像した画像を表示部２に表
示させた状態である。ここでは領域ＡＲ１はスルー状態とし、領域ＡＲ２に画像表示を行
うようにしている。この場合、撮像部３がユーザの前方を撮像しているものとし、その撮
像部３に対してズーム制御が行われて望遠撮像が行われることで、スルー状態の領域ＡＲ
１を介したユーザの視界とは異なる光景の画像（望遠画像）が領域ＡＲ２に表示されてい
る。これによりユーザーは、通常の光景をみながら、通常の視覚では見ることのできない
望遠画像を楽しむことができる。
なお、ここでは撮像部３の動作により望遠画像が得られる例を挙げたが、逆に広角ズー
ムを実行させることで、近距離の光景が広角に映し出された画像が表示部２に表示される
ことになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、
撮像信号処理部１５での信号処理でも可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ１０が撮像部
３に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画
像を表示部２の領域ＡＲ２に表示させてもよい。
FIG. 10A shows a case where the entire surface of the
It is in a state of looking through.
FIG. 10B shows a state in which, for example, an image captured by the imaging unit 3 is displayed on the
A view image (telephoto image) different from the user's field of view through 1 is displayed in the area AR2. As a result, the user can enjoy a telephoto image that cannot be viewed with normal vision while viewing a normal scene.
Here, an example in which a telephoto image is obtained by the operation of the imaging unit 3 has been described, but conversely, by executing a wide-angle zoom, an image in which a short-distance scene is displayed at a wide angle is displayed on the
Signal processing in the imaging
Although not shown, the
図１１（ａ）は、表示部２の全面がスルー状態とされている場合を示している。
図１１（ｂ）は画像表示状態であり、システムコントローラ１０が表示制御部１４（表
示画像処理部１２、表示駆動部１３）に対して撮像部３から得られた画像についての拡大
処理を指示することにより、図１１（ｂ）のように領域ＡＲ１はスルー状態とし、領域Ａ
Ｒ２に拡大画像の表示を行う例である。このように拡大画像として、スルー状態の領域Ａ
Ｒ１を介したユーザの視界とは異なる光景の画像が領域ＡＲ２に表示されることで、ユー
ザーは、通常の光景をみながら、通常の視覚では見ることのできない画像を見ることがで
きる。
逆に、システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部
１３）に対して撮像部３から得られた画像についての縮小処理を実行させ、領域ＡＲ２に
縮小画像の表示を行うことも考えられる。
FIG. 11A shows a case where the entire surface of the
FIG. 11B shows an image display state, and the
In this example, an enlarged image is displayed on R2. Thus, as a magnified image, the region A in the through state
By displaying an image of a scene different from the user's field of view via R1 in the area AR2, the user can see an image that cannot be viewed with normal vision while viewing the normal scene.
Conversely, the
図１２（ａ）は表示部２の全面がスルー状態とされている場合を示しているが、特に周
囲が薄暗い場合を示している。
図１２（ｂ）は画像表示状態であり、このように周囲が薄暗い場合に、システムコント
ローラ１０は撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げ
ることを指示したり、撮像信号処理部１５や表示画像処理部１２に対して輝度レベル、コ
ントラスト、シャープネス調整を指示することなどにより、よりはっきりした明るい表示
画像信号を得るようにし、それを表示させる。つまり領域ＡＲ１はスルー状態とし、領域
ＡＲ２に輝度を明るさを向上させた画像の表示を行う例である。このように明るさ調整画
像として、スルー状態の領域ＡＲ１を介したユーザの視界とは異なる光景の画像が領域Ａ
Ｒ２に表示されることで、ユーザーは、通常の視覚では見ることのできない画像を見るこ
とができる。
なお、照明部４に照明動作を実行させることも、このような撮像を行う場合に好適とな
る。
また逆に、周囲が明るすぎる場合などに、システムコントローラ１０は撮像制御部１１
（撮像部３，撮像信号処理部１５）に対して撮像感度を下げることを指示したり、撮像信
号処理部１５や表示画像処理部１２に対して輝度レベル、コントラスト、シャープネス調
整を指示することなどにより、まぶしくない表示画像信号を得るようにし、それを表示さ
せるようにすることも考えられる。
FIG. 12A shows a case where the entire surface of the
FIG. 12B shows an image display state. When the surroundings are dim as described above, the
By being displayed on R2, the user can see an image that cannot be seen with normal vision.
In addition, it is also suitable when performing such an imaging to make the
On the other hand, when the surroundings are too bright, the
Instructing (imaging unit 3, imaging signal processing unit 15) to reduce imaging sensitivity, instructing imaging
図１３（ａ）は、表示部２の全面がスルー状態とされている場合を示しているが、例え
ばユーザが、子供が寝ている暗い寝室に居る場合などであり、殆ど真っ暗で見えない状況
であるとしている。
図１３（ｂ）は画像表示状態であり、システムコントローラ１０が、撮像制御部１１（撮
像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、領域Ａ
Ｒ２に赤外線感度上昇撮像の画像が表示される。即ち暗い部屋で子供の寝顔などを確認で
きるような画像表示が行われる。これによりユーザーは、通常の視覚では見ることのでき
ない暗視画像を見ることができる。
FIG. 13A shows a case where the entire surface of the
FIG. 13B shows an image display state, and the
An image of infrared sensitivity increased imaging is displayed on R2. That is, image display is performed so that a child's sleeping face can be confirmed in a dark room. This allows the user to see a night vision image that cannot be seen with normal vision.
図１４（ａ）は、表示部２の全面がスルー状態とされている場合である。
図１４（ｂ）は画像表示状態を示すが、システムコントローラ１０が、撮像制御部１１
（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、領
域ＡＲ２に紫外線感度上昇撮像の画像が表示される。これによりユーザーは、通常の視覚
では見ることのできない紫外光成分を表した画像を見ることができる。
FIG. 14A shows a case where the entire surface of the
FIG. 14B shows the image display state, and the
By instructing the (imaging unit 3 and imaging signal processing unit 15) to increase the ultraviolet imaging sensitivity, an image of the ultraviolet sensitivity increasing imaging is displayed in the area AR2. As a result, the user can see an image representing an ultraviolet light component that cannot be seen with normal vision.
以上の図１０〜図１４は、図４の構成において撮像部３がユーザの前方を撮像するよう
に配置されている場合の例を述べたが、図１５は図４の撮像部３（又は図６の撮像部３Ｘ，
３Ｙ）がユーザが視認する前方方向とは異なる方向を撮像するように配置されている場合
の例を示す。
図１５（ａ）は、表示部２の全面がスルー状態とされている場合である。
撮像部３が例えばユーザの後方を撮像するように配置されている場合、画像表示状態は
図１５（ｂ）のようになり、領域ＡＲ１はスルー状態とされ、領域ＡＲ２にユーザの後方
を撮像した画像の表示が行われる。
また撮像部３が例えばユーザの上方を撮像するように配置されている場合、画像表示状
態は図１５（ｃ）のようになり、領域ＡＲ１はスルー状態とされ、領域ＡＲ２にユーザの
上方を撮像した画像の表示が行われる。
これらの場合も、スルー状態の領域ＡＲ１を介したユーザの視界とは異なる光景の画像
が領域ＡＲ２に表示されることになり、ユーザーは、通常の前方の光景をみながら、通常
の視覚では見ることのできない方向の画像（後方画像や上方画像など）を見ることができ
る。
10 to 14 described above have described an example where the imaging unit 3 is arranged so as to capture the front of the user in the configuration of FIG. 4, FIG. 15 illustrates the imaging unit 3 (or FIG. 15) of FIG. 4. 6
3Y) shows an example in which the camera is arranged so as to capture a direction different from the forward direction visually recognized by the user.
FIG. 15A shows a case where the entire surface of the
For example, when the imaging unit 3 is arranged so as to capture the rear of the user, the image display state is as shown in FIG. 15B, the area AR1 is in the through state, and the rear of the user is captured in the area AR2. An image is displayed.
Further, when the imaging unit 3 is arranged so as to capture an image above the user, for example, the image display state is as shown in FIG. 15C, the area AR1 is set to the through state, and the area AR2 is imaged above the user. The displayed image is displayed.
In these cases as well, an image of a scene different from the user's field of view through the area AR1 in the through state is displayed in the area AR2, and the user sees with normal vision while viewing the normal front scene. It is possible to view an image in a direction that cannot be performed (backward image, upper image, etc.).
図１５（ｄ）は、図６のように複数の撮像機能部位を備えた構成において、撮像部３Ｘ、
３Ｙがそれぞれユーザの右後方と左後方を撮像するように配置される場合の画像表示例で
ある。即ち領域ＡＲ１はスルー状態とされ、領域ＡＲ２ａ、ＡＲ２ｂにそれぞれユーザの
右後方と左後方を撮像した画像の表示が行われる。
この場合、スルー状態の領域ＡＲ１を介したユーザの視界とは異なる光景の画像が領域
ＡＲ２ａ、ＡＲ２ｂに表示されることになり、ユーザーは、スルー状態の領域ＡＲ１での
通常の前方の光景に加えて右後方、左後方を視認でき、ほぼ周囲全周を確認できる状態と
なる。
FIG. 15D shows a configuration including a plurality of imaging function parts as shown in FIG.
3Y is an image display example when 3Y is arranged so as to capture the right rear and left rear of the user, respectively. That is, the area AR1 is set to the through state, and images obtained by capturing the right rear and left rear of the user are displayed in the areas AR2a and AR2b, respectively.
In this case, an image of a scene different from the user's field of view through the area AR1 in the through state is displayed in the areas AR2a and AR2b, and the user adds to the normal front scene in the area AR1 in the through state. The right rear and the left rear can be visually confirmed, and the entire circumference can be confirmed.
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像部
３（３Ｘ、３Ｙ），撮像信号処理部１５、表示画像処理部１２，表示駆動部１３、通信部
２６の各処理や動作を制御することで、多様な表示形態が実現される。
以下、画面上でスルー状態の領域とあわせて表示される画像信号、即ち表示部２をスル
ー状態としたときにユーザが表示部２を介して視認する光景とは異なる光景としての画像
表示を行うための表示画像信号の例を挙げていく。
Various display examples have been shown so far, but these are only examples. In this example, various display forms can be obtained by controlling the processes and operations of the imaging unit 3 (3X, 3Y), the imaging
Hereinafter, an image signal displayed together with a through state area on the screen, that is, an image display as a scene different from a scene visually recognized by the user through the
まず図４のような構成で撮像部３がユーザの前方を撮像するように配置されている場合
（つまりスルー状態で視認できる光景を撮像する場合）において、撮像部３で得られた撮
像信号に基づく表示画像信号例は次のとおりである。
・撮像部３のズーム動作で得られる望遠ズーム画像としての表示画像信号
・撮像部３のズーム動作で得られる広角ズーム画像としての表示画像信号
・撮像部３の焦点制御動作で得られる遠景画像としての表示画像信号
・撮像部３の焦点制御動作で得られる近景画像としての表示画像信号
・撮像部３での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像などと
しての表示画像信号
・撮像信号処理部１５または表示画像処理部１２の信号処理での拡大処理を行った表示画
像信号
・撮像信号処理部１５または表示画像処理部１２の信号処理で得られる縮小処理を行った
表示画像信号
・撮像部３での撮像感度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像部３での撮像感度を低下させて明るさを抑えた画像としての表示画像信号
・撮像部３での赤外線撮像感度を上昇させて得た暗視画像としての表示画像信号
・撮像部３での紫外線撮像感度を上昇させて得た画像としての表示画像信号
・撮像部３で特定波長帯域をカットして撮像した画像としての表示画像信号
・撮像信号処理部１５または表示画像処理部１２の信号処理で輝度を上昇させて明るさを
アップさせた画像としての表示画像信号
・撮像信号処理部１５または表示画像処理部１２の信号処理で輝度を低下させて明るさを
抑えた画像としての表示画像信号
・撮像信号処理部１５または表示画像処理部１２の色信号処理で色合いや雰囲気を変化さ
せた画像としての表示画像信号
・撮像信号処理部１５または表示画像処理部１２の信号処理でコントラスト、シャープネ
ス等を調整した画像としての表示画像信号
・撮像信号処理部１５または表示画像処理部１２の信号処理として、モザイク／輝度反転
／ソフトフォーカス／画像内の一部の強調表示／ハイライト表示などの画像エフェクト処
理を行って得た画像としての表示画像信号
・以上の各動作又は信号処理の組み合わせにより得た表示画像信号
First, when the imaging unit 3 is arranged to capture the front of the user with the configuration as shown in FIG. 4 (that is, when imaging a scene that can be viewed in the through state), the imaging signal obtained by the imaging unit 3 An example of a display image signal based thereon is as follows.
A display image signal as a telephoto zoom image obtained by a zoom operation of the image pickup unit 3 A display image signal as a wide-angle zoom image obtained by a zoom operation of the image pickup unit 3 A distant view image obtained by a focus control operation of the image pickup unit 3 Display image signal / display image signal as a foreground image obtained by the focus control operation of the imaging unit 3 / display image signal as a high-speed captured image or a low-speed captured image obtained by changing the imaging frame rate at the imaging unit 3 Display image signal subjected to enlargement processing in the signal processing of the imaging signal processing unit 15 or the display image processing unit 12 Display image subjected to reduction processing obtained by the signal processing of the imaging signal processing unit 15 or the display image processing unit 12 Display image signal as an image whose brightness is increased by increasing the imaging sensitivity in the signal / imaging unit 3, and an image whose brightness is suppressed by decreasing the imaging sensitivity in the imaging unit 3 Display image signal / display image signal / imaging as an image obtained by increasing display sensitivity / infrared imaging sensitivity at the imaging unit 3 as a night vision image obtained by increasing the infrared imaging sensitivity at the imaging unit 3 Display image as a display image signal / image pickup signal processing unit 15 or image processing unit 12 or signal processing performed by the display image processing unit 12 to increase the brightness and increase the brightness. By the color signal processing of the display image signal / imaging
撮像部３で、スルー状態において視認できるユーザ正面の光景を撮像する場合は、例え
ばこれらのような動作や処理で表示画像信号を得ることで、その表示画像信号は、表示部
２をスルー状態としたときにユーザが表示部２を介して視認する光景とは異なる光景とし
ての画像表示を行うための信号となる。
もちろん、上記列挙したものに限定されるものではなく、撮像部３の動作、撮像信号処
理部１５の信号処理、表示画像処理部１２の信号処理により得られる、「スルー状態とは
異なる光景」としての表示画像信号は多様に考えられる。
またズーム処理や拡大／縮小処理の倍率、撮像感度変更時の変更するレベル、輝度信号
処理や色信号処理での処理係数など、任意に可変することも考えられる。
When the imaging unit 3 captures a scene in front of the user that can be viewed in the through state, for example, by obtaining a display image signal by such operations and processes, the display image signal is displayed in the through state. When this is done, it becomes a signal for displaying an image as a scene different from the scene visually recognized by the user via the
Of course, the present invention is not limited to the above-described ones. As a “view different from the through state” obtained by the operation of the imaging unit 3, the signal processing of the imaging
Further, it is conceivable that the zoom processing or the magnification / reduction processing magnification, the level to be changed when the imaging sensitivity is changed, the processing coefficient in the luminance signal processing or the color signal processing, and the like can be arbitrarily changed.
一方、図４のような構成で撮像部３がユーザの前方とは異なる方向を撮像するように配
置されている場合において、撮像部３で得られた撮像信号に基づく表示画像信号例は次の
ように考えればよい。
即ち、この場合、撮像部３での通常撮像で得られた撮像画像は、それ自体が既にユーザ
がスルー状態の表示部２を介して通常に視認する光景とは異なる光景（例えば後方、上方、
足下、右方、左方などの光景）の撮像画像であるため、撮像画像信号を、そのまま表示画
像信号として表示部２に表示させればよい。
さらに、その場合に上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の
信号処理、表示画像処理部１２の信号処理を加えた画像信号を表示画像信号としてもよい。
On the other hand, when the imaging unit 3 is arranged to capture a direction different from the front of the user with the configuration as shown in FIG. 4, an example of a display image signal based on the imaging signal obtained by the imaging unit 3 is as follows. I think so.
That is, in this case, the captured image obtained by the normal imaging in the imaging unit 3 is a scene that is different from the scene that the user already normally sees through the
Therefore, the captured image signal may be displayed on the
In this case, as listed above, an image signal obtained by adding the imaging operation of the imaging unit 3, the signal processing of the imaging
また、図６のように複数の撮像機能部位を備える場合においても同様に考えることがで
きる。複数の撮像機能部位のうち、前方を撮像する撮像部３が存在する場合は、その撮像
画像信号については、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の
信号処理、表示画像処理部１２での信号処理により異なる光景とした画像信号を表示画像
信号とすればよい。
また前方以外の方向を撮像する撮像部３が存在する場合は、その撮像画像信号そのもの
を表示画像信号としてもよいし、上記列挙したように、撮像部３の撮像動作、撮像信号処
理部１５の信号処理、表示画像処理部１２の信号処理を加えた画像信号を表示画像信号と
してもよい。
The same can be applied to the case where a plurality of imaging function parts are provided as shown in FIG. When there is an imaging unit 3 that images the front among a plurality of imaging functional parts, as for the captured image signal, as described above, the imaging operation of the imaging unit 3 and the signal processing of the imaging
When there is an imaging unit 3 that captures a direction other than the front, the captured image signal itself may be used as a display image signal. As described above, the imaging operation of the imaging unit 3 and the imaging
また撮像方向可変の可動式の撮像部を有する構成の場合も、同様であり、ユーザの前方
以外の撮像画像や、撮像部３の撮像動作、撮像信号処理部１５の信号処理、表示画像処理
部１２での信号処理を加えた画像信号を表示画像信号としてもよい。
また可動式の場合、特定の対象を追尾するような可動制御を行うことも考えられる。例
えば撮像画像信号についての画像解析を行い、特定対象を検出した場合、撮像画像内での
特定対象の動きに合わせて撮像方向を変化させる。このような制御により、ユーザは、特
定の対象を追尾する画像を、例えば領域ＡＲ２において見ることができる。
The same applies to a configuration having a movable imaging unit whose imaging direction can be changed. The same applies to captured images other than the front of the user, imaging operation of the imaging unit 3, signal processing of the imaging
In the case of a movable type, it is also conceivable to perform a movable control that tracks a specific target. For example, when image analysis is performed on a captured image signal and a specific target is detected, the imaging direction is changed in accordance with the movement of the specific target in the captured image. With such control, the user can view an image tracking a specific target, for example, in the area AR2.
通信部２６で受信した外部の撮像装置７０の撮像画像を表示させる場合も同様に考える
ことができる。
即ち、外部の撮像装置７０の撮像画像は、それ自体がユーザがスルー状態の表示部２を
介して通常に視認する光景とは異なる光景の撮像画像であるため、通信部２６で受信した
画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な
画像を提供できることになる。
もちろんその場合に、上記列挙したうちで表示画像処理部１２の信号処理を加えた画像
信号を表示画像信号としてもよい。
例えばユーザからの視界が図１０（ａ）のようにスタジアムで客席からサッカーを観戦
している状態にあるときに、スタジアムの別の場所で撮像を行う撮像装置７０による映像
を、通信部２６で受信し、図１０（ｂ）のように表示部２の領域ＡＲ２に表示させること
が考えられるが、例えば監督席近辺に設置された撮像装置７０や、審判が装着する小型の
撮像装置７０などからの映像を受信して、表示部２で表示することで、より興味深く試合
観戦を行うことができる。
或いは、リゾート地に設置した撮像装置７０や、旅行中の知人が所持する撮像装置７０
によって撮像した映像を、通信部２６で受信し、表示部２の領域ＡＲ２に表示させたり、
航空機や衛星に設置された撮像装置７０で撮像した地上の映像（バードビュー映像）を、
通信部２６で受信し、表示部２の領域ＡＲ２に表示させるなど、多様な例が想定され、こ
のような表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
The same applies to the case where the captured image of the
That is, since the captured image of the
Of course, in that case, the image signal obtained by adding the signal processing of the display
For example, when the field of view from the user is watching soccer from the audience seats in the stadium as shown in FIG. 10A, the
Alternatively, an
Is received by the
The ground image (bird view image) captured by the
Various examples are assumed such as reception by the
［５．動作トリガの例］
上記図９の処理に示したように、システムコントローラ１０はステップＦ１０２で表示
開始トリガ発生と判断することや、ステップＦ１０４で表示切換トリガ発生と判断するこ
とに応じて表示を実行させる。さらにステップＦ１０５で表示終了トリガ発生と判断する
ことで表示動作を終了させる。
そしてこれらの表示動作に関するトリガとしては、ユーザの操作によるものとすればよ
いが、ユーザの状況や外界の状況を検知し、所定の条件によりシステムコントローラ１０
がトリガ発生と判断しても良いと述べた。
ここでは、ユーザ状況や外界状況によりトリガ発生の判断を行う例について述べる。
[5. Example of operation trigger]
As shown in the processing of FIG. 9, the
The trigger relating to these display operations may be triggered by a user operation. However, the
Said that it may be determined that a trigger has occurred.
Here, an example will be described in which the occurrence of a trigger is determined according to the user situation or the outside world situation.
まずユーザ状況によりトリガ発生と判断する場合、表示装置１は動作トリガ情報発生部
１６として視覚センサ、加速度センサ、ジャイロ、生体センサなどを設けるようにする。
視覚センサは、ユーザの視覚に関する情報を検出するものとするが、この視覚センサは、
一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた
撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコン
トローラ１０が取り込み、画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、
眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定
できる。
或いは視覚センサは、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部
と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの
水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
First, when it is determined that a trigger is generated according to a user situation, the
The visual sensor detects information related to the user's vision.
As an example, it can be formed by, for example, an imaging unit that is arranged in the vicinity of the
The fundus pattern, eyelid opening / closing, and the like can be detected, and the user's situation and will can be determined based on these.
Alternatively, the visual sensor can be formed by a light emitting unit that is arranged in the vicinity of the
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表
示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識すること
も可能である。例えばユーザが視線を左右に動かすことを、表示装置１に要求する所定の
操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別
でき、それに応じてズーム制御、拡大／縮小制御、焦点変更制御などを行うことも可能で
ある。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、また
モニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定
でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底
パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判
定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみ表示動作を実行で
きるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れ
を判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも
可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなど
である。
By detecting the direction of the user's line of sight, the
The
By detecting the focal length of the user, it is possible to determine whether the scene that the user is paying attention to is far or near, and it is possible to perform zoom control, enlargement / reduction control, focus change control, and the like accordingly. For example, a telephoto display is performed when the user looks far away.
By detecting the degree of pupil opening of the user, it is possible to determine the brightness of the surroundings if it is a through state, the glare that the user feels for the displayed image if it is a monitor display state, Accordingly, brightness adjustment, imaging sensitivity adjustment, and the like can be performed.
The detection of the fundus pattern of the user can be used for personal authentication of the user, for example. Since the fundus pattern is unique to each person, it is possible to determine a user wearing the fundus pattern and perform control suitable for the user, or to perform a display operation only for a specific user. Control is possible.
By detecting the opening / closing operation of the user's eyelids, it is possible to determine the user's feeling of glare or eye fatigue. It is also possible to recognize opening / closing of the eyelid as a user's conscious operation input. For example, it is determined that the user blinks three times as a predetermined operation input.
加速度センサ、及びジャイロは、ユーザの動きに応じた信号を出力する。例えば加速度
センサは直線方向の動きを検出し、ジャイロにより回転系の動きや振動を検出する場合に
適している。
加速度センサやジャイロの配置位置にもよるが、加速度センサやジャイロによって、ユ
ーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の表示装置１の内部に取り付けられた場合、つまり加速度セ
ンサ及びジャイロがユーザの頭部の動きを検出するものとされた場合は、加速度センサの
検出情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロの
検出情報はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いてい
る状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書
など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を
見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それ
をユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが
所定の操作入力とするなどである。
また加速度センサ及びジャイロによっては、ユーザが静止状態（非歩行状態）であるか、
歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から
座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサやジャイロが、頭部に装着する装着ユニットとは別体に設けられ、
腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
The acceleration sensor and the gyro output a signal corresponding to the user's movement. For example, an acceleration sensor is suitable for detecting movement in a linear direction and detecting movement and vibration of a rotating system with a gyro.
Although depending on the arrangement position of the acceleration sensor and the gyro, the acceleration sensor and the gyro can detect the movement of the entire body of the user or each part of the body.
For example, when it is mounted inside the eyeglass-
Thereby, it is possible to detect the behavior of the user moving the head from the neck. For example, it is possible to determine a state facing upward or a state facing downward. When facing down, it can be determined that the user is looking in the vicinity, such as reading. Conversely, when looking upward, it can be determined that the user is looking far away.
Further, when the
Depending on the acceleration sensor and gyro, whether the user is in a stationary state (non-walking state)
It is also possible to determine whether it is a walking state or a running state. It is also possible to detect when sitting or standing from a standing state.
In addition, the acceleration sensor and gyro are provided separately from the mounting unit attached to the head,
If it is attached to the arm or foot, the behavior of only the arm and the behavior of only the foot can be detected.
生体センサは、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、
発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、
血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報
からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情
的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定でき
る。
また表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えば
システムコントローラ１０は、ユーザが表示装置１を装着していない時には生体情報検知
のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置１を装着した
ことを検知したら、電源オン状態とすることや、逆にユーザが表示装置１の装着を外した
らスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサによる検出情報は、ユーザの個人認証（装着者個人の識別）にも利用
できる。
なお生体センサは、例えば眼鏡型の表示装置１の装着フレーム内側に配置することで、
例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、表
示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしても
よい。
The biological sensor is, for example, heart rate information (heart rate), pulse information (pulse rate),
Sweating information, brain wave information (for example, information on α wave, β wave, θ wave, δ wave), or electrical skin reaction, body temperature,
Blood pressure, respiratory activity (for example, the speed of breathing, depth, ventilation amount, etc.) are detected. From these pieces of information, the
Further, it is possible to detect that the user wears the
Furthermore, the detection information by the biosensor can also be used for user personal authentication (identification of the individual wearer).
For example, the biosensor is arranged inside the wearing frame of the glasses-
For example, the above information may be detected in the user's temporal region or occipital region, or may be mounted on a predetermined part of the body separately from the mounting frame portion of the
次に外界の状況を検知する場合においては、表示装置１は、外界情報を取得するための
構成として、動作トリガ情報発生部１６に周囲環境センサ、撮像対象センサ、ＧＰＳ受信
部、日時計数部、画像解析部を設けたり、通信部２６を利用する。
Next, in the case of detecting the situation of the outside world, the
周囲環境センサとしては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定
される。
照度センサによっては、表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を
判別する情報を得ることができる。
これらの周囲環境センサにより、表示装置１は周囲の明るさや戸外の場合の気象状況な
どを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周
囲の明るさや気象状況に適した表示画像信号の生成動作を実行制御できる。例えば周囲の
明るさに応じて画像の輝度レベルを上下させたり、天候状況に応じて画像の雰囲気を変え
るなどである。
As the ambient environment sensor, an illuminance sensor, a temperature sensor, a humidity sensor, an atmospheric pressure sensor, or the like is assumed.
Depending on the illuminance sensor, it is possible to detect the brightness information around the
Depending on the temperature sensor, the humidity sensor, and the atmospheric pressure sensor, information for determining the temperature, humidity, atmospheric pressure, or weather can be obtained.
These ambient environment sensors allow the
撮像対象センサは撮像対象についての情報を検知する。例えば測距センサや焦電センサ
などが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることがで
きる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮
像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知する
ことで、撮像対象に応じた表示画像信号の生成動作を実行制御できる。
The imaging target sensor detects information about the imaging target. For example, a distance measuring sensor, a pyroelectric sensor, or the like can be considered, and information for determining the distance to the imaging target or the imaging target itself can be obtained.
By detecting the distance to the imaging target, the
ＧＰＳ受信部は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出し
た場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情
報を得ることができる。例えばシステムコントローラ１０が参照できる記録媒体として、
例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒
体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連
する情報を取得できる。
また通信部２６を有する構成の場合、表示装置１に地図データベースを内蔵していなく
ても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアク
セスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにし
てもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅
名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、
映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、
平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野
球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報な
ども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在
位置や現在地点の近辺の地理的条件や施設などに応じた表示画像信号の生成動作を実行制
御したり、特定の場所において表示開始制御或いは表示終了制御を行うなどが可能となる。
The GPS receiving unit acquires information on latitude and longitude as the current position. When the latitude / longitude is detected, it is possible to obtain information on a point (near the point) at the current position by referring to a map database or the like. For example, as a recording medium that can be referred to by the
For example, an HDD (Hard Disk Drive), a flash memory, or the like, which has a relatively large capacity recording medium, and stores a map database in the recording medium, information related to the current position can be acquired.
In the case of the configuration having the
Information related to the current position includes name information such as a place name, a building name, a facility name, a shop name, and a station name near the current position.
Information related to the current location includes parks, theme parks, concert halls, theaters,
There is also information indicating the type of building, such as a movie theater or a sports facility.
Information related to the current location includes the coast, sea, rivers, mountains, mountain peaks, forests, lakes,
There is also information on the types and names of natural objects such as plains.
In addition, as information about the current position, for example, information on the location in the theme park, the area of the spectator seat in the baseball stadium, the soccer field, the information on the seat area in the concert hall, etc. Can be acquired.
By acquiring the information on the current position, the
日時計数部は例えば年月日時分秒を計数する。この日時計数部によってシステムコント
ローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜
の別（時刻）に応じた表示画像信号の生成動作や、現在の季節に適した表示画像信号の生
成動作などを実行制御できる。
The date / time counting unit counts year / month / day / hour / minute / second, for example. By this date and time counting unit, the
撮像画像を解析する画像解析部を設ければ、撮像画像から撮像対象についての以下のよ
うな各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機
器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が
撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、
太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機
器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、
ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形
状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部による画像解析によれば、画像の前後フレームの差分検出などの手法で、
被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選
手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い
被写体を撮像しているという状況を検知することができる。
また画像解析部による画像解析によれば、周囲の状況を判定することも可能である。例
えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
If an image analysis unit for analyzing a captured image is provided, the following various types of information about the imaging target can be detected from the captured image.
First, a person, animal, natural object, building, device, or the like included in the captured image can be identified as the type of the imaging target. For example, as an animal, it is possible to determine a situation where a bird is imaged as a subject, a situation where a cat is imaged, and the like. Natural objects include the sea, mountains, trees, rivers, lakes, sky,
The sun, moon, etc. can be distinguished. As buildings, houses, buildings, and stadiums can be identified. Devices include personal computers, AV (Audio-Visual) devices, mobile phones, PDAs,
It is possible to determine a situation where an IC card, a two-dimensional barcode, or the like is an imaging target.
These types of imaging targets can be determined by setting characteristics of various shapes in advance and determining whether or not a subject corresponding to the shape is included in the captured image.
Moreover, according to the image analysis by the image analysis unit, a method such as detection of the difference between the frames before and after the image,
It is possible to detect the movement of a subject, for example, a quick movement within an image. For example, it is possible to detect a situation in which a fast-moving subject is being imaged, for example, when a player is imaged during a sporting event or when a moving automobile is being imaged.
Moreover, according to the image analysis by the image analysis unit, it is possible to determine the surrounding situation. For example, it is possible to determine the brightness situation due to day and night or weather, and it is also possible to recognize the intensity of rain.
また、画像解析部による画像解析によれば、人物が被写体となっている場合に、その人
物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、
顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心
と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離Ｅ
Ｍと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼
鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっ
ても変化しないことが知られている。
従って、画像解析部は、撮像画像内に或る人物の顔が含まれているときに、その画像を
解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照
できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどを搭載
し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人
の情報を取得できる。或いは、表示装置１に人物データベースを内蔵していなくても、通
信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、
個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴デー
タとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたと
き）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されて
いれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
Further, according to the image analysis by the image analysis unit, when a person is a subject, it is also possible to identify the person from the person's face. As already known, the face of a person is
It can be converted into personal feature data as the relative position information of the constituent elements of the face. For example, the ratio of the distance EN between the center of the eye and the nose to the distance Ed between the eyes (Ed / EN), or the distance E between the center of the eye and the mouth
The ratio of the distance Ed between the M and the eye distance (Ed / EM) is unique to each individual, and is information that is not affected by changes in appearance due to a hairstyle, wearing items such as glasses. Furthermore, it is known that it does not change with aging.
Therefore, the image analysis unit can detect the personal feature data as described above by analyzing the image when a certain person's face is included in the captured image.
When personal feature data is detected from a captured image, for example, an HDD (Hard Disk Drive), a flash memory, or the like is installed as a recording medium that can be referred to by the
The personal characteristic data may be transmitted to request information, and information on a specific person may be received.
For example, if the user himself / herself registers personal information such as the name and affiliation of a person who has met in the past in the person database together with the personal characteristic data, the
Further, if a person database in which celebrity information is registered together with personal characteristic data is prepared, information on the person can be retrieved when the user meets the celebrity.
このような画像解析部による検出情報に基づいて、システムコントローラ１０は撮像対
象に応じた表示画像信号の生成処理を実行制御できる。例えば特定の対象や特定の人物が
撮像されている場合は、その特定の対象をハイライト表示させるような表示画像信号を生
成することなどが考えられる。
Based on the detection information by such an image analysis unit, the
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように表示装置１から送信した緯度・経度、或いは個人特徴データなど
に応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得すること
ができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取
得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルに
おいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像デ
ータ、外部機器で受信している画像データなどを取得することができる。
このような通信部２６で取得できる情報に基づいて、システムコントローラ１０は表示
画像信号の生成処理を実行制御できる。
According to the
For example, as described above, information searched by an external device can be acquired according to latitude / longitude transmitted from the
In addition, weather information such as weather information, temperature information, and humidity information can be acquired from an external device.
In addition, facility usage information, in-facility imaging prohibition / permission information, guidance information, and the like can be acquired from an external device.
Further, identification information of the external device itself can be acquired. For example, the device type or device ID identified as a network device in a predetermined communication protocol.
Further, image data stored in the external device, image data reproduced or displayed on the external device, image data received on the external device, and the like can be acquired.
Based on such information that can be acquired by the
以上の例のような構成要素を動作トリガ情報発生部１６として設け、ユーザの状況や外
界の状況を検知し、それら状況に応じた表示開始／終了や、表示切換（表示内容の変更や
領域形態の切換）を行うようにすることで、ユーザが操作しなくとも、適切或いはおもし
ろみのある表示動作が実現される。
また、ユーザの状況や外界の状況を検出するための構成例は他にも考えられる。
The constituent elements as in the above example are provided as the operation trigger
In addition, other configuration examples for detecting the user's situation and the outside world situation are conceivable.
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、表示部２の画面領域の一部
をスルー状態としたうえで表示画像信号による表示を実行させることで、ユーザはスルー
状態の領域により通常の視覚光景が見える状態のまま、通常に視認する視覚光景とは異な
る光景の画像を見ることができる。例えばスルー状態の領域により前方を見ながら、表示
画像信号の表示により、望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見
ることができる。このため通常の視覚光景と同時に、通常の視覚では見ることのできない
光景を見る状態となり、擬似的にユーザの視覚能力を拡張させる状況を作り出すことがで
きる。
また表示部２は、少なくとも画面領域の一部はスルー状態であるため、装着状態のまま
でも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、表示装
置１の利点を有効に得ることができる。
[6. Effect, modification and extension of embodiment]
As described above, the embodiment has been described. According to the embodiment, a part of the screen area of the
In addition, since at least a part of the screen area is in the through state, the
表示装置１の外観や構成は図１，図２、図４，図５，図６の例に限定されるものではな
く、各種の変形例が考えられる。
例えば撮像部３で撮像した画像信号を記録媒体に記録するストレージ部を設けてもよ
い。
また撮像した画像信号を、通信部２６から他の機器に送信する動作を行うようにしても
よい。
The appearance and configuration of the
For example, a storage unit that records an image signal captured by the imaging unit 3 on a recording medium may be provided.
Moreover, you may make it perform the operation | movement which transmits the imaged image signal from the
ストレージ部を設ける場合、ストレージ部で記録媒体から再生したの再生画像を表示画
像信号として表示部２に表示させてもよい。
記録媒体から再生されるデータとしては、例えば映画やビデオクリップなどの動画コン
テンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、
電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成して記録媒体に記録した
画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、記録媒体
に記録されたゲームプログラムに基づくゲーム画像など、記録媒体に記録されて表示対象
となるあらゆるデータが想定される。
When the storage unit is provided, a reproduced image reproduced from the recording medium in the storage unit may be displayed on the
As data reproduced from the recording medium, for example, moving image content such as movies and video clips, still image content captured by a digital still camera and recorded on the recording medium,
Data such as electronic books, image data created by a user on a personal computer and recorded on a recording medium, text data, computer use data such as spreadsheet data, game images based on game programs recorded on the recording medium, etc. Any data that is recorded on a recording medium and is a display target is assumed.
また通信部２６は、外部の撮像装置７０からの画像信号を受信するだけでなく、外部の
コンテンツソース機器から提供される画像（動画／静止画）を受信して表示部２に表示さ
せるようにすることも考えられる。
コンテンツソース機器とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ
機器等のＡＶ（Audio-Visual）機器や、パーソナルコンピュータ、ＰＤＡ（Personal Digita
l Assistant）、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツ
ソース機器も、表示装置１を用いるユーザ本人やその知人が所有する機器であったり、各
種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えら
れる。
コンテンツソース機器から表示装置１に送信されるデータとしては、例えば映画やビデ
オクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録
された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作
成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲ
ーム画像など、表示対象となるあらゆるデータが想定される。
The
The content source device is, for example, an AV (Audio-Visual) device such as a video device, a television tuner, or a home server device, a personal computer, or a PDA (Personal Digita).
l Assistant), information processing devices such as mobile phones can be assumed. Such content source devices can be variously considered, such as devices owned by the user who uses the
Data transmitted from the content source device to the
また撮像時に周囲音声を集音するマイクロホンや、音声を出力するイヤホン型等のスピ
ーカ部が設けられても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を
設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信
号を生成し、スピーカ部から出力させるようにすることも考えられる。
In addition, a microphone unit that collects ambient sounds during imaging or an earphone type speaker unit that outputs sounds may be provided.
In addition, a character recognition unit that recognizes characters in the image and a speech synthesis unit that performs speech synthesis processing are provided, and when the captured image contains characters, the speech synthesis unit generates a speech signal for the read-out speech However, it is also conceivable to output from the speaker unit.
また表示画像信号は静止画としても良い。例えば撮像部３で所定のトリガのタイミング
を静止画撮像を行い、その撮像された静止画像を表示部２に表示させる。
The display image signal may be a still image. For example, the image capturing unit 3 captures a still image at a predetermined trigger timing, and displays the captured still image on the
また、表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、
本発明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、
例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユ
ーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いは
ヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形
態であってもよい。
Moreover, although the example which has a spectacles type or a head mounting type mounting unit as the
The display device of the present invention may be configured so that display can be performed in front of the user's eyes,
For example, a headphone type, a neckband type, an ear hook type, or any other mounting unit may be worn by the user. Furthermore, for example, it may be configured to be worn by the user by attaching to a normal eyeglass, visor, headphones, or the like with an attachment such as a clip.
１ 表示装置、２ 表示部、３ 撮像部、４ 照明部、１０ システムコントローラ、
１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５
撮像信号処理部、１６ 動作トリガ情報発生部、２６ 通信部
DESCRIPTION OF
DESCRIPTION OF SYMBOLS 11 Imaging control part, 12 Display image process part, 13 Display drive part, 14 Display control part, 15
Imaging signal processing unit, 16 operation trigger information generation unit, 26 communication unit
Claims (9)
上記ユーザの前方方向を撮像する撮像部と、 An imaging unit that images the forward direction of the user;
外部の装置と通信し、上記ユーザの現在位置に関する位置情報を上記外部の装置に送信 Communicate with an external device and send location information about the current location of the user to the external device
し、上記位置情報に応じた、少なくとも撮像禁止情報または撮影許可情報を含む外界情報And external information including at least imaging prohibition information or imaging permission information according to the position information.
を上記外部の装置から受信する通信部と、A communication unit that receives the information from the external device;
受信した上記外界情報に基づいて、上記撮像部の動作のオンまたはオフを制御する制御 Control for controlling on / off of the operation of the imaging unit based on the received external environment information
部と、And
を備える表示装置。 A display device comprising:
請求項１に記載の表示装置。 The display device according to claim 1.
請求項１に記載の表示装置。 The display device according to claim 1.
御を行うDo
請求項１に記載の表示装置。 The display device according to claim 1.
請求項１に記載の表示装置。 The display device according to claim 1.
請求項１に記載の表示装置。 The display device according to claim 1.
の表示状態をトリガに応じて切り替えるThe display state of the screen according to the trigger
請求項１に記載の表示装置。 The display device according to claim 1.
トリガに応じて、上記複数の画面領域での表示から上記表示部の画面全体での表示に切りDepending on the trigger, the display on the plurality of screen areas is switched to the display on the entire screen of the display section.
替えるChange
請求項１に記載の表示装置。 The display device according to claim 1.
上記通信部により、外部の装置と通信し、ユーザの現在位置に関する位置情報を上記外 The communication unit communicates with an external device to obtain position information related to the current position of the user.
部の装置に送信し、上記位置情報に応じた、少なくとも撮像禁止情報または撮影許可情報At least imaging prohibition information or imaging permission information according to the position information.
を含む外界情報を上記外部の装置から受信するステップと、Receiving external information including the above-mentioned external device;
受信した上記外界情報に基づいて、上記撮像部の動作のオンまたはオフを制御するステ Based on the received external environment information, a step for controlling on / off of the operation of the imaging unit is performed.
ップと、And
を備える表示方法。 A display method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014193794A JP5971298B2 (en) | 2014-09-24 | 2014-09-24 | Display device and display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014193794A JP5971298B2 (en) | 2014-09-24 | 2014-09-24 | Display device and display method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012262182A Division JP2013083994A (en) | 2012-11-30 | 2012-11-30 | Display unit and display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015046885A true JP2015046885A (en) | 2015-03-12 |
| JP5971298B2 JP5971298B2 (en) | 2016-08-17 |
Family
ID=52672020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014193794A Expired - Fee Related JP5971298B2 (en) | 2014-09-24 | 2014-09-24 | Display device and display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5971298B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160130015A (en) * | 2015-04-30 | 2016-11-10 | 삼성전자주식회사 | Portable apparatus and method for changing a screen of content |
| JP2017151995A (en) * | 2017-03-09 | 2017-08-31 | Kddi株式会社 | Wearable terminal, notification method, and program |
| WO2018150659A1 (en) | 2017-02-14 | 2018-08-23 | ソニー株式会社 | Information processing device, information processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1164780A (en) * | 1997-08-12 | 1999-03-05 | Olympus Optical Co Ltd | Head mounted video display device |
| WO2004105383A1 (en) * | 2003-05-20 | 2004-12-02 | Matsushita Electric Industrial Co., Ltd. | Imaging system |
| JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
| JP2006050285A (en) * | 2004-08-05 | 2006-02-16 | Matsushita Electric Ind Co Ltd | Portable terminal |
| JP2006171302A (en) * | 2004-12-15 | 2006-06-29 | Konica Minolta Photo Imaging Inc | Video display device and information providing system |
-
2014
- 2014-09-24 JP JP2014193794A patent/JP5971298B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1164780A (en) * | 1997-08-12 | 1999-03-05 | Olympus Optical Co Ltd | Head mounted video display device |
| WO2004105383A1 (en) * | 2003-05-20 | 2004-12-02 | Matsushita Electric Industrial Co., Ltd. | Imaging system |
| JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
| JP2006050285A (en) * | 2004-08-05 | 2006-02-16 | Matsushita Electric Ind Co Ltd | Portable terminal |
| JP2006171302A (en) * | 2004-12-15 | 2006-06-29 | Konica Minolta Photo Imaging Inc | Video display device and information providing system |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160130015A (en) * | 2015-04-30 | 2016-11-10 | 삼성전자주식회사 | Portable apparatus and method for changing a screen of content |
| US10561334B2 (en) | 2015-04-30 | 2020-02-18 | Samsung Electronics Co., Ltd. | Portable apparatus and method of changing screen of content thereof |
| KR102072788B1 (en) | 2015-04-30 | 2020-03-12 | 삼성전자주식회사 | Portable apparatus and method for changing a screen of content |
| US10791954B2 (en) | 2015-04-30 | 2020-10-06 | Samsung Electronics Co., Ltd. | Portable apparatus and method of changing screen of content thereof |
| WO2018150659A1 (en) | 2017-02-14 | 2018-08-23 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2017151995A (en) * | 2017-03-09 | 2017-08-31 | Kddi株式会社 | Wearable terminal, notification method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5971298B2 (en) | 2016-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5228307B2 (en) | Display device and display method | |
| US9772686B2 (en) | Imaging display apparatus and method | |
| JP5119636B2 (en) | Display device and display method | |
| JP5162928B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP6137113B2 (en) | Display device, display method, and program | |
| JP2008083289A (en) | Imaging display apparatus, and imaging display method | |
| JP5664677B2 (en) | Imaging display device and imaging display method | |
| JP2013174898A (en) | Imaging display device, and imaging display method | |
| JP2013083994A (en) | Display unit and display method | |
| JP5971298B2 (en) | Display device and display method | |
| JP2013034237A (en) | Image processor, image processing method and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160627 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5971298 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |