JPWO2016129697A1 - Image display device and image generation device - Google Patents
Image display device and image generation device Download PDFInfo
- Publication number
- JPWO2016129697A1 JPWO2016129697A1 JP2016574875A JP2016574875A JPWO2016129697A1 JP WO2016129697 A1 JPWO2016129697 A1 JP WO2016129697A1 JP 2016574875 A JP2016574875 A JP 2016574875A JP 2016574875 A JP2016574875 A JP 2016574875A JP WO2016129697 A1 JPWO2016129697 A1 JP WO2016129697A1
- Authority
- JP
- Japan
- Prior art keywords
- image display
- unit
- image
- display unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 230000003287 optical effect Effects 0.000 claims description 50
- 230000001133 acceleration Effects 0.000 claims description 23
- 238000005192 partition Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 7
- 230000010287 polarization Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 11
- 230000008859 change Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
カーテンをスクリーンの代わりに用いて画像を投影する方法が知られている。しかし従来、カーテンは画像の投影のみに用いられており、カーテンを用いて画像の内容に対する操作を入力することができなかった。画像を表示する画像表示部と、画像表示部に設けられ、画像表示部の状態を測定する測定部と、測定した状態に基づいて、画像表示部に対して行ったユーザの動作を特定し、特定した動作を入力として取得する入力取得部と、取得した入力に応じ、画像表示部に表示する画像の画像データを生成する生成部と、を備える画像表示装置を提供する。A method of projecting an image using a curtain instead of a screen is known. Conventionally, however, curtains are used only for projecting images, and it has not been possible to input operations for image contents using the curtains. An image display unit that displays an image, a measurement unit that is provided in the image display unit and measures the state of the image display unit, and based on the measured state, identifies the user's operation performed on the image display unit, An image display device is provided that includes an input acquisition unit that acquires a specified operation as an input, and a generation unit that generates image data of an image to be displayed on an image display unit according to the acquired input.
Description
本発明は、画像表示装置及び画像生成装置に関する。 The present invention relates to an image display device and an image generation device.
カーテンをスクリーンの代わりに用いて画像を投影する方法が知られている(例えば、特許文献1)。
[先行技術文献]
[特許文献]
[特許文献1]特開2009−60258号公報A method of projecting an image using a curtain instead of a screen is known (for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Unexamined Patent Application Publication No. 2009-60258
しかしながら、カーテンに投影される画像の内容に対する操作は、カーテンとは別個の装置を用いてなされるので、使い勝手が悪かった。 However, since the operation on the content of the image projected on the curtain is performed using an apparatus separate from the curtain, the usability is poor.
本発明の第1の態様においては、画像を表示する画像表示部と、画像表示部に設けられ、画像表示部の状態を測定する測定部と、測定した状態に基づいて、画像表示部に対して行ったユーザの動作を特定し、特定した動作を入力として取得する入力取得部と、取得した入力に応じ、画像表示部に表示する画像の画像データを生成する生成部と、を備える画像表示装置を提供する。
本発明の第2の態様においては、画像を表示する画像表示部の状態に基づいて、画像表示部に対して行ったユーザの動作を特定し、特定した動作を入力として取得する入力取得部と、取得した入力に応じ、画像表示部に表示する画像の画像データを生成する生成部と、を備える画像生成装置を提供する。In the first aspect of the present invention, an image display unit that displays an image, a measurement unit that is provided in the image display unit and measures the state of the image display unit, and an image display unit based on the measured state An image display comprising: an input acquisition unit that identifies a user's operation performed by the user and acquires the identified operation as an input; and a generation unit that generates image data of an image to be displayed on the image display unit according to the acquired input Providing equipment.
In the second aspect of the present invention, an input acquisition unit that specifies a user action performed on the image display unit based on a state of the image display unit that displays an image, and acquires the specified operation as an input; An image generation apparatus comprising: a generation unit that generates image data of an image to be displayed on an image display unit according to the acquired input.
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The summary of the invention does not enumerate all the features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、本実施形態の画像表示装置10の構成を示す。画像表示装置10は、空間を少なくとも部分的に仕切り、画像を表示する装置である。例えば、画像表示装置10は、カーテン等の間仕切りを有し、空間中の複数の領域を少なくとも部分的に仕切る。画像表示装置10は、間仕切りの状態に応じた画像を間仕切りに表示する。画像表示装置10は、画像表示部100、測定部110、入力取得部120、生成部130、記憶部140、及び、投影部150を備える。 FIG. 1 shows a configuration of an image display apparatus 10 of the present embodiment. The image display device 10 is a device that displays an image by partitioning a space at least partially. For example, the image display device 10 has a partition such as a curtain and at least partially partitions a plurality of regions in the space. The image display device 10 displays an image corresponding to the state of the partition on the partition. The image display device 10 includes an image display unit 100, a measurement unit 110, an input acquisition unit 120, a generation unit 130, a storage unit 140, and a projection unit 150.
画像表示部100は、一の領域と別の領域とを少なくとも部分的に仕切るとともにユーザに対して画像を表示する。画像表示部100は、画像表示装置10の間仕切りとして機能し、上下方向を完全に閉じた状態で空間を仕切ってもよいし、上端を含む一部分や下端を含む一部分や中間領域の一部分で部分的に空間を仕切ってもよい。例えば、画像表示部100は、空間を少なくとも部分的に仕切る平面又は曲面(例えば、一の領域と別の領域とが接する平面の半分以上を仕切る平面又は曲面)を有し、当該平面又は曲面に外部から画像光が投影されることにより画像を表示する。一例として、画像表示部100は、カーテン、ブラインド、のれん、シェード、又は、パーティションであってよい。 The image display unit 100 at least partially partitions one area from another area and displays an image to the user. The image display unit 100 functions as a partition between the image display devices 10, and may partition the space in a state where the vertical direction is completely closed, or may partially include a part including the upper end, a part including the lower end, and a part of the intermediate region. You may partition the space. For example, the image display unit 100 has a plane or a curved surface (for example, a plane or a curved surface that divides more than half of a plane where one region and another region are in contact with each other). An image is displayed by projecting image light from the outside. As an example, the image display unit 100 may be a curtain, a blind, a goodwill, a shade, or a partition.
また、画像表示部100は、変形可能であり、様々な状態を取ることができる。例えば、画像表示部100は、可撓性でありユーザが形状を変えることができ、また、ユーザから「揺する」、「表面をなでる」、「叩く」、「めくる」、及び、「持ち上げる」等の操作を受け付ける。 The image display unit 100 is deformable and can take various states. For example, the image display unit 100 is flexible and can be changed in shape by the user. Also, the image display unit 100 can be “swinged”, “stroking the surface”, “hitting”, “turning”, “lifting”, and the like. The operation of is accepted.
測定部110は、画像表示部100の状態を測定する。例えば、測定部110は、検出部111、及び、光センサ(図示せず)の1つ以上を有し、画像表示部100の形状、動き、受光状態を測定してよい。 The measurement unit 110 measures the state of the image display unit 100. For example, the measurement unit 110 may include one or more of a detection unit 111 and an optical sensor (not shown), and may measure the shape, movement, and light reception state of the image display unit 100.
検出部111は、例えば、画像表示部100の形状、動きを検出する。検出部111は、例えば、形状測定装置及び/又は加速度センサを含み、画像表示部100の形状及び/又は操作、動き等を検出してよい。例えば、検出部111は、画像表示部100の形状として、形状測定装置が測定した画像表示部100の開閉の状態を検出してよい。また、検出部111は、操作、動きとして、加速度センサ及び/又は形状測定装置が検出した、ユーザが画像表示部100にした「揺する」、「表面をなでる」、「叩く」、「めくる」、及び、「持ち上げる」等の、画像表示部100の加速度変化及び/又は形状変化を伴う動作を検出してよい。 For example, the detection unit 111 detects the shape and movement of the image display unit 100. The detection unit 111 may include, for example, a shape measurement device and / or an acceleration sensor, and may detect the shape and / or operation, movement, and the like of the image display unit 100. For example, the detection unit 111 may detect the open / closed state of the image display unit 100 measured by the shape measuring device as the shape of the image display unit 100. In addition, the detection unit 111 detects, as an operation or a motion, an acceleration sensor and / or a shape measurement device, and the user performs “swing”, “stroking the surface”, “hitting”, “turning”, In addition, an operation accompanying acceleration change and / or shape change of the image display unit 100 such as “lifting” may be detected.
形状測定装置は、画像表示部100の形状を測定する装置であり、例えば、3次元スキャナ又はレーザレンジスキャナであってよい。レーザレンジスキャナは、画像表示装置10内又は外の固定された位置に取り付けられてよく、画像表示部100の少なくとも一部との距離を測定することで画像表示部100の形状を測定する。 The shape measuring device is a device that measures the shape of the image display unit 100, and may be, for example, a three-dimensional scanner or a laser range scanner. The laser range scanner may be attached to a fixed position inside or outside the image display device 10, and measures the shape of the image display unit 100 by measuring the distance to at least a part of the image display unit 100.
加速度センサは、1又は複数個が画像表示部100に取り付けられてよく、これにより画像表示部100の動きを検出する。例えば、加速度センサは、ユーザが画像表示部100に対して揺する等の動作を行った際の加速度の変化を検出する。 One or a plurality of acceleration sensors may be attached to the image display unit 100, thereby detecting the movement of the image display unit 100. For example, the acceleration sensor detects a change in acceleration when the user performs an operation such as shaking the image display unit 100.
光センサは、複数個が画像表示部100に設けられてよく、これにより画像表示部100に当てられた光の受光状態を検出する。例えば、光センサは、ユーザが懐中電灯又はレーザポインタ等で画像表示部100の少なくとも一部に当てた光の光量を測定する。これにより、光センサは、ユーザからの画像表示部100への光による操作を検出する。測定部110は、レーザレンジスキャナが測定した距離情報、加速度センサの加速度情報、及び、光センサの光量情報を入力取得部120に供給する。 A plurality of optical sensors may be provided in the image display unit 100, thereby detecting a light receiving state of light applied to the image display unit 100. For example, the optical sensor measures the amount of light that the user hits at least a part of the image display unit 100 with a flashlight, a laser pointer, or the like. Accordingly, the optical sensor detects an operation by light on the image display unit 100 from the user. The measurement unit 110 supplies the distance information measured by the laser range scanner, the acceleration information of the acceleration sensor, and the light amount information of the optical sensor to the input acquisition unit 120.
入力取得部120は、画像表示部100の状態を画像表示装置10への入力として取得する。例えば、入力取得部120は、検出部111が検出した画像表示部100の状態を、画像表示装置10への入力として取得する。入力取得部120は、画像表示部100に対して行ったユーザの動作を特定し、特定した動作を入力として取得する。例えば、入力取得部120は、測定部110のレーザレンジスキャナが測定した画像表示部100の現在の形状及び/又は形状変化を入力として取得する。また、例えば、入力取得部120は、測定部110の加速度センサが検出した加速度情報から、ユーザによる画像表示装置10への入力を取得する。また、例えば、入力取得部120は、測定部110の光センサが検出した光量情報に基づいて、ユーザの動作を特定し、特定した動作をユーザによる画像表示装置10への入力として取得する。一例として入力取得部120は、ユーザの動作に対応させてアプリケーションを実行するコマンドを入力として取得する。入力取得部120は、取得した入力を生成部130に供給する。 The input acquisition unit 120 acquires the state of the image display unit 100 as an input to the image display device 10. For example, the input acquisition unit 120 acquires the state of the image display unit 100 detected by the detection unit 111 as an input to the image display device 10. The input acquisition unit 120 specifies a user action performed on the image display unit 100 and acquires the specified action as an input. For example, the input acquisition unit 120 acquires the current shape and / or shape change of the image display unit 100 measured by the laser range scanner of the measurement unit 110 as an input. For example, the input acquisition unit 120 acquires an input to the image display device 10 by the user from the acceleration information detected by the acceleration sensor of the measurement unit 110. Further, for example, the input acquisition unit 120 specifies the user's operation based on the light amount information detected by the optical sensor of the measurement unit 110, and acquires the specified operation as an input to the image display device 10 by the user. As an example, the input acquisition unit 120 acquires, as an input, a command for executing an application corresponding to the user's operation. The input acquisition unit 120 supplies the acquired input to the generation unit 130.
生成部130は、画像表示部100に表示する画像の画像データを生成する。例えば、生成部130は、アプリケーションを実行し、アプリケーションの実行した結果に対応する画像データを生成する。また、生成部130は、入力取得部120が取得した入力に応じて画像データを生成する。例えば、生成部130は、入力取得部120が取得した画像表示部100への物理的な操作に応じてアプリケーションへの操作を実行し、実行結果の画像データを生成してよい。生成部130は、生成した画像データを投影部150に供給する。 The generation unit 130 generates image data of an image to be displayed on the image display unit 100. For example, the generation unit 130 executes an application and generates image data corresponding to a result of the execution of the application. The generation unit 130 generates image data according to the input acquired by the input acquisition unit 120. For example, the generation unit 130 may execute an operation on the application according to a physical operation on the image display unit 100 acquired by the input acquisition unit 120 and generate image data as an execution result. The generation unit 130 supplies the generated image data to the projection unit 150.
記憶部140は、画像表示装置10の動作に用いる種々の情報を記憶する。例えば、記憶部140は、生成部130の機能を実現するプログラムを記憶する。また、記憶部140は、生成部130が表示に用いる画像データ、及び、生成部130が生成した画像データ等を記憶する。また、記憶部140は、入力取得部120が入力の取得に用いるプログラム等を記憶してもよい。 The storage unit 140 stores various information used for the operation of the image display apparatus 10. For example, the storage unit 140 stores a program that realizes the function of the generation unit 130. The storage unit 140 stores image data used for display by the generation unit 130, image data generated by the generation unit 130, and the like. The storage unit 140 may store a program or the like used by the input acquisition unit 120 to acquire input.
投影部150は、画像表示部100に生成部130が生成した画像データに基づいた画像光を生成して投影する。例えば、投影部150は、プロジェクタであってよい。 The projection unit 150 generates and projects image light based on the image data generated by the generation unit 130 on the image display unit 100. For example, the projection unit 150 may be a projector.
このように本実施形態の画像表示装置10は、画像表示部100状態に基づいて画像表示部100に表示する画像を生成する。これにより、画像表示装置10は、間仕切りにインテリアとしての機能に加え、インターフェイスとしての機能をユーザに提供することができる。また、画像表示装置10は、画像表示部100と分離されてよく、この場合、画像生成装置として機能する。 As described above, the image display device 10 according to the present embodiment generates an image to be displayed on the image display unit 100 based on the state of the image display unit 100. Thereby, the image display apparatus 10 can provide a user with a function as an interface in addition to a function as an interior in the partition. Further, the image display device 10 may be separated from the image display unit 100, and in this case, functions as an image generation device.
図2に、本実施形態の画像表示装置10の処理フローを示す。本実施形態において、画像表示装置10は、S110〜S190の処理を実行する。 FIG. 2 shows a processing flow of the image display apparatus 10 of the present embodiment. In the present embodiment, the image display device 10 executes the processes of S110 to S190.
まず、S110において、入力取得部120は、画像表示部100の状態を、画像表示装置10への入力として取得する。具体的には、入力取得部120は、測定部110が画像表示部100の状態を測定した結果を入力として取得する。 First, in S <b> 110, the input acquisition unit 120 acquires the state of the image display unit 100 as an input to the image display device 10. Specifically, the input acquisition unit 120 acquires the result of the measurement unit 110 measuring the state of the image display unit 100 as an input.
例えば、入力取得部120は、測定部110のレーザレンジスキャナが測定した画像表示部100の形状情報を入力として取得する。また、入力取得部120は、レーザレンジスキャナの測定した画像表示部100の形状情報に基づいて、画像表示部100の開閉割合を算出して取得してよい。 For example, the input acquisition unit 120 acquires shape information of the image display unit 100 measured by the laser range scanner of the measurement unit 110 as an input. The input acquisition unit 120 may calculate and acquire the open / close ratio of the image display unit 100 based on the shape information of the image display unit 100 measured by the laser range scanner.
一例として、入力取得部120は、カーテンを最も閉じたとき(すなわちカーテンを最も広げたとき)のカーテンの固定端から可動端までの距離をLmaxとし、現在のカーテンの固定端から可動端までの距離をLcとした場合におけるLc/Lmaxを開閉割合として算出する。開閉割合が1に近いほどカーテンを広げた状態であり、カーテンの寸法等に定まる所定の下限に近いほどカーテンを畳んだ状態にある。入力取得部120は、算出した画像表示部100の開閉割合を入力として取得する。As an example, the input acquisition unit 120 sets the distance from the fixed end of the curtain when the curtain is most closed (that is, when the curtain is most expanded) to the movable end as L max, and from the fixed end of the current curtain to the movable end. L c / L max where L c is the distance is calculated as the open / close ratio. The closer the opening / closing ratio is to 1, the wider the curtain is, and the closer the floor is to a predetermined lower limit determined by the dimensions of the curtain, the more the curtain is folded. The input acquisition unit 120 acquires the calculated opening / closing ratio of the image display unit 100 as an input.
また、入力取得部120は、測定部110の加速度センサが検出した加速度情報及び画像表示部100の形状情報に基づいてユーザが画像表示部100に行った動作を特定し、これをユーザの入力として取得する。例えば、入力取得部120は、加速度情報及び形状情報からユーザが画像表示部100に対して行った動作を特定し、特定した動作をユーザの入力として取得する。 Further, the input acquisition unit 120 identifies an action performed by the user on the image display unit 100 based on the acceleration information detected by the acceleration sensor of the measurement unit 110 and the shape information of the image display unit 100, and uses this as the user input. get. For example, the input acquisition unit 120 specifies an operation performed by the user on the image display unit 100 from the acceleration information and the shape information, and acquires the specified operation as a user input.
一例として、入力取得部120は、ユーザが画像表示部100を前後又は左右に揺する、表面をなでる、叩く、めくる、及び、持ち上げる等の各種の動作を行った際の加速度の変化のパターンを予め記憶しておき、記憶しておいた加速度の変化のパターンと、加速度情報とを比較する。入力取得部120は、両者が予め定められた閾値以上一致した場合に、一致したパターンの動作に対応するコマンドを取得する。 As an example, the input acquisition unit 120 preliminarily displays patterns of changes in acceleration when the user performs various operations such as swinging the image display unit 100 back and forth or right and left, stroking the surface, hitting, turning, and lifting. The stored acceleration change pattern is compared with the acceleration information. The input acquisition unit 120 acquires a command corresponding to the operation of the matched pattern when the two match more than a predetermined threshold.
また、入力取得部120は、更に形状情報又は開閉割合の変化を検出することにより、ユーザが画像表示部100を広げる、又は、畳む動作を特定する。入力取得部120は、特定した動作に対応するコマンドを取得する。例えば、入力取得部120は、画像表示部100への各動作を検出したことに応じて、起動、再起動、シャットダウン、決定、キャンセル、頁戻り、頁送り、選択対象の移動、画面の切り替え、又は、シャッフル等のコマンドを取得する。 Further, the input acquisition unit 120 further detects an operation of expanding or folding the image display unit 100 by detecting a change in shape information or an open / close ratio. The input acquisition unit 120 acquires a command corresponding to the identified operation. For example, in response to detecting each operation on the image display unit 100, the input acquisition unit 120 starts, restarts, shuts down, determines, cancels, returns to the page, advances the page, moves the selection target, switches the screen, Alternatively, a command such as shuffle is acquired.
入力取得部120は、予め定められた加速度の変化のパターンと加速度センサが測定した加速度の変化のパターンをマッチングすることで、例えば、風等の偶発的な事象によりユーザが意図しない入力がなされるのを防ぐことができる。また、これに代えて、入力取得部120は、マッチングする加速度の変化のパターンを広く設定することにより、風等による画像表示部100の動きも入力としてあえて受け入れ、これによりランダムな表示変化をエンターテイメントとしてユーザに提供することもできる。 The input acquisition unit 120 matches a predetermined acceleration change pattern with an acceleration change pattern measured by the acceleration sensor, so that, for example, an input unintended by the user due to an accidental event such as a wind is made. Can be prevented. Instead of this, the input acquisition unit 120 also sets a wide pattern of matching acceleration changes, thereby accepting the movement of the image display unit 100 due to wind or the like as an input, thereby receiving random display changes as entertainment. Can also be provided to the user.
一例として、入力取得部120は、画像表示部100を完全に畳んだ状態から広げた動作を検出したことに応じて画像表示装置又はアプリケーションの起動のコマンドを入力として取得し、画像表示部100を完全に畳んだ動作を検出したことに応じて画像表示装置又はアプリケーションのシャットダウンのコマンドを取得してよい。また、入力取得部120は、画像表示部100を左右に揺する動作を検出したことに応じて頁送りのコマンドを取得し、画像表示部100を前後に揺する動作を検出したことに応じて頁戻りのコマンドを取得してよい。入力取得部120は、取得したコマンドについての情報を入力として生成部130に供給する。 As an example, the input acquisition unit 120 acquires, as an input, a command for starting an image display device or an application in response to detecting an operation in which the image display unit 100 is expanded from a completely folded state. A command for shutting down the image display device or the application may be acquired in response to detecting the fully folded operation. Further, the input acquisition unit 120 acquires a page turning command in response to detecting the motion of swinging the image display unit 100 left and right, and returns the page in response to detecting the motion of swinging the image display unit 100 back and forth. You may get this command. The input acquisition unit 120 supplies information about the acquired command to the generation unit 130 as an input.
次に、S130において、入力取得部120は、ユーザの画像表示部100の光の受光状態を画像表示装置10への入力として取得する。例えば、入力取得部120は、測定部110の光センサが検出した光量情報から、ユーザの光による操作を入力として取得する。 Next, in S <b> 130, the input acquisition unit 120 acquires the light reception state of the user's image display unit 100 as an input to the image display device 10. For example, the input acquisition unit 120 acquires a user's light operation as an input from the light amount information detected by the optical sensor of the measurement unit 110.
一例として、入力取得部120は、光センサの光量情報から、ユーザが指示する画像表示部100上の位置を特定し、特定した位置を画像表示装置10への入力として取得する。例えば、入力取得部120は、画像表示部100の面上に設けられた複数の光センサの光量情報からユーザが画像表示部100に当てた光の位置を特定する。入力取得部120の具体的な位置の特定方法は後述する。入力取得部120は、特定した位置の情報をユーザの光による操作として生成部130に供給する。 As an example, the input acquisition unit 120 specifies a position on the image display unit 100 instructed by the user from the light amount information of the optical sensor, and acquires the specified position as an input to the image display device 10. For example, the input acquisition unit 120 specifies the position of the light that the user hits the image display unit 100 from the light amount information of a plurality of optical sensors provided on the surface of the image display unit 100. A specific method for specifying the position of the input acquisition unit 120 will be described later. The input acquisition unit 120 supplies the specified position information to the generation unit 130 as an operation by the user's light.
次に、S150において、生成部130は、画像表示部100に表示する画像の画像データを生成する。例えば、生成部130は、記憶部140から読み出したアプリケーションを実行してコンテンツを生成し、コンテンツに対応する画像データを生成する。 Next, in S150, the generation unit 130 generates image data of an image to be displayed on the image display unit 100. For example, the generation unit 130 executes the application read from the storage unit 140 to generate content, and generates image data corresponding to the content.
一例として、生成部130は、写真ビューワ、ウェブブラウザ、ゲーム、描画ツール、及び/又は、ワードツール等のアプリケーションを実行し、複数のイメージ、テキスト、及び/又は、その他のオブジェクトをコンテンツとして含む、表示画面の画像データを生成してよい。 As an example, the generation unit 130 executes an application such as a photo viewer, a web browser, a game, a drawing tool, and / or a word tool, and includes a plurality of images, text, and / or other objects as contents. Display screen image data may be generated.
生成部130は、入力取得部120から得た画像表示部100の開閉割合から画像表示部100の形状を推定し、画像表示部100の形状に合わせてレイアウトを変更した画像データを生成してよい。例えば、生成部130は、画像表示部100の大きさ及び形状に合致するように、画像の縦横サイズ及び/又は形状を設定した画像データを生成してよい。また、生成部130は、画像表示部100の形状に合わせて並べられたコンテンツを含む画像データを生成してよい。具体的には、生成部130は、画像表示部100の形状に合わせてコンテンツを並べ、及び/又は、コンテンツ中のテキストを改行してよい。S110において入力取得部120が開閉割合の変更を入力として取得した場合、生成部130は、開閉割合が変更された後の画像表示部100の形状に合わせて並べ替えられたコンテンツを含む画像データを生成してよい。また、別の動作モードとして、開閉の動作と連動して、生成部130は、可動端の端を画像の端と位置合わせして、擬似的に画像が画像表示部100に貼付いているかのように動かしながら生成することで、画像の一部を隠したり、表示したりしてよい。 The generation unit 130 may estimate the shape of the image display unit 100 from the open / close ratio of the image display unit 100 obtained from the input acquisition unit 120, and generate image data whose layout is changed according to the shape of the image display unit 100. . For example, the generation unit 130 may generate image data in which the vertical and horizontal sizes and / or shapes of the images are set so as to match the size and shape of the image display unit 100. The generation unit 130 may generate image data including content arranged in accordance with the shape of the image display unit 100. Specifically, the generation unit 130 may arrange the contents according to the shape of the image display unit 100 and / or break the text in the contents. When the input acquisition unit 120 acquires the change in the opening / closing ratio as an input in S110, the generation unit 130 outputs image data including content rearranged in accordance with the shape of the image display unit 100 after the opening / closing ratio is changed. May be generated. As another operation mode, in conjunction with the opening / closing operation, the generation unit 130 aligns the end of the movable end with the end of the image, as if the image is affixed to the image display unit 100 in a pseudo manner. A part of the image may be hidden or displayed by generating while moving.
生成部130は、入力取得部120から得た画像表示部100への動作に応じて画像データを生成してよい。例えば、生成部130は、S110で入力取得部120が得た動作に対応するコマンド(頁送り等)をアプリケーションに対して実行する。 The generation unit 130 may generate image data according to the operation to the image display unit 100 obtained from the input acquisition unit 120. For example, the generation unit 130 executes a command (page feed or the like) corresponding to the operation obtained by the input acquisition unit 120 in S110 for the application.
また、生成部130は、入力取得部120から得た画像表示部100への光による操作に応じて画像データを生成してよい。例えば、生成部130は、S130で入力取得部120が特定した位置に関するコマンド(例えば、特定された位置の写真等を選択する等)をアプリケーションに対して実行する。生成部130は、コマンドの実行後のアプリケーションの表示画面の画像データを生成する。また、生成部130は、光によって特定された位置に花火等の動画を表示する画像データを生成したり、ゲーム(例えば、画像表示部100に幽霊等の動画を表示し、ユーザが光で画像表示部100上の幽霊を照射すると幽霊が光照射領域から逃げていく等)の画像データを生成する。 Further, the generation unit 130 may generate image data in accordance with an operation with light on the image display unit 100 obtained from the input acquisition unit 120. For example, the generation unit 130 executes a command related to the position specified by the input acquisition unit 120 in S130 (for example, selecting a photograph or the like at the specified position) for the application. The generation unit 130 generates image data of the display screen of the application after executing the command. In addition, the generation unit 130 generates image data for displaying a moving image such as fireworks at a position specified by light, or displays a moving image such as a ghost on the game (for example, the image display unit 100) When the ghost on the display unit 100 is irradiated, image data such as a ghost running away from the light irradiation region is generated.
次に、S170において、生成部130は生成した画像データを補正する。投影部150が平らでないカーテン等の画像表示部100に画像光を投影する場合、ユーザから観察する画像には歪みが生じる。そこで、生成部130は、ユーザが観察する画像の歪みを低減するための画像データを補正する。 Next, in S170, the generation unit 130 corrects the generated image data. When the projection unit 150 projects image light onto the image display unit 100 such as a non-flat curtain, the image observed by the user is distorted. Therefore, the generation unit 130 corrects image data for reducing distortion of an image observed by the user.
例えば、生成部130は、撮像装置が画像表示部100に投影した画像を撮像した撮像画像を取得し、撮像画像における歪みを解消する画像データにおける補正量を算出し、算出した補正量に基づいて歪みを低減又は解消した画像データを生成する。一例として、生成部130は、特許文献1に記載の方法により補正した画像データを生成してよい。生成部130は、補正した画像データを投影部150に供給する。 For example, the generation unit 130 acquires a captured image obtained by capturing an image projected by the imaging device onto the image display unit 100, calculates a correction amount in the image data that eliminates distortion in the captured image, and based on the calculated correction amount. Image data with reduced or eliminated distortion is generated. As an example, the generation unit 130 may generate image data corrected by the method described in Patent Document 1. The generation unit 130 supplies the corrected image data to the projection unit 150.
生成部130は、ユーザの観察位置に応じて最適な補正を実行してよい。例えば、画像表示装置10に設けられた撮像装置の画像から人の位置を検出し、生成部130は、検出した人の位置に対して適切な補正を実行してよい。 The generation unit 130 may perform an optimal correction according to the observation position of the user. For example, the position of a person may be detected from an image of an imaging device provided in the image display apparatus 10, and the generation unit 130 may perform appropriate correction on the detected position of the person.
次に、S190において、投影部150は、生成部130から受け取った画像データを画像表示部100に投影する。 Next, in S <b> 190, the projection unit 150 projects the image data received from the generation unit 130 onto the image display unit 100.
このように本実施形態の画像表示装置10は、アプリケーションを実行してカーテン等の間仕切りに画像を表示し、ユーザがカーテンを揺する等の動作に基づいてアプリケーションに対する操作を実行し、表示する画像を変更する。 As described above, the image display apparatus 10 according to the present embodiment executes an application to display an image on a partition such as a curtain, performs an operation on the application based on an operation such as a user shaking the curtain, and displays an image to be displayed. change.
図3は、本実施形態の画像表示装置10の広げた状態の画像表示部100の一例を示す。図示するように、本例では画像表示部100は、折り畳み可能なカーテンである。投影部150が画像光を投影することにより、画像表示部100には画像102が表示される。ここでは、生成部130が写真ビューワアプリケーションを実行することにより、複数の写真をコンテンツとして含む画像102が表示される。 FIG. 3 shows an example of the image display unit 100 in an expanded state of the image display device 10 of the present embodiment. As shown in the figure, in this example, the image display unit 100 is a foldable curtain. As the projection unit 150 projects image light, the image 102 is displayed on the image display unit 100. Here, when the generation unit 130 executes the photo viewer application, the image 102 including a plurality of photos as content is displayed.
例えば、生成部130は、画像表示部100を揺する動作を入力取得部120が取得したことに応じて、表示する写真の切り替え(例えば、頁送り)、キャンセル(例えば、直前のコマンドのキャンセル)、又は、シャッフル(例えば、写真のランダムな入れ替え)等のコマンドを写真ビューワに対して実行してよい。また、例えば、生成部130は、画像表示部100の一部(例えば、1又は複数の写真)を触る又は撫でる動作を入力取得部120が取得したことに応じて、画像表示部100の触られた又は撫でられた部分に対応する画像中のコンテンツ(例えば、触られた又は撫でられた写真)を選択するコマンドを写真ビューワに対して実行してよい。 For example, the generation unit 130 switches the displayed photo (for example, page feed), cancels (for example, cancels the immediately preceding command) in response to the input acquisition unit 120 acquiring an operation of shaking the image display unit 100. Alternatively, a command such as shuffle (for example, random replacement of photos) may be executed on the photo viewer. In addition, for example, the generation unit 130 is touched by the image display unit 100 in response to the input acquisition unit 120 acquiring an operation of touching or stroking a part of the image display unit 100 (for example, one or a plurality of photographs). A command may be executed on the photo viewer to select content in the image (eg, a touched or stroked photo) that corresponds to the portion that has been stroked or stroked.
図4は、本実施形態の画像表示装置10の一部を畳んだ状態の画像表示部100の一例を示す。投影部150は、画像表示部100が広げた状態のときに比べて、幅の狭い画像102を画像表示部100に表示する。ここでは、入力取得部120が画像表示部100の開閉割合を取得し、生成部130が開閉割合に応じた形状の画像データを生成し、投影部150に画像光を投影させている。 FIG. 4 shows an example of the image display unit 100 in a state in which a part of the image display device 10 of the present embodiment is folded. The projection unit 150 displays the narrower image 102 on the image display unit 100 than when the image display unit 100 is expanded. Here, the input acquisition unit 120 acquires the open / close ratio of the image display unit 100, the generation unit 130 generates image data having a shape corresponding to the open / close ratio, and causes the projection unit 150 to project image light.
更に、生成部130は、画像データ中のコンテンツを並べ替える。すなわち、図4の例では、生成部130は、画像を表示するのに有効な領域(画像表示可能な領域)が狭くなったことに合わせてコンテンツの写真の数を図3の画像データに対して低減した画像データを生成している。生成部130は、画像表示部100が閉じられているほど(すなわち、画像表示部100の表示可能な領域が広いほど)、より大きな画像を生成し、及び/又は、画像中のコンテンツの数又はサイズもより大きくしてよい。 Further, the generation unit 130 rearranges the contents in the image data. In other words, in the example of FIG. 4, the generation unit 130 sets the number of content photographs to the image data of FIG. 3 in accordance with the reduction of the effective area for displaying an image (area where the image can be displayed). Reduced image data. The generation unit 130 generates a larger image as the image display unit 100 is closed (that is, as the displayable area of the image display unit 100 is larger) and / or the number of contents in the image or The size may be larger.
図5は、ユーザ1による画像表示部100への光による操作の一例を示す。本例では、ユーザ1は、懐中電灯5で画像表示部100に投影された画像102を照らすことにより、画像表示装置10に操作を入力する。ここでは、図示するように、ユーザ1は画像102の左上の画像を照射する。 FIG. 5 shows an example of an operation by the user 1 on the image display unit 100 with light. In this example, the user 1 inputs an operation to the image display device 10 by illuminating the image 102 projected on the image display unit 100 with the flashlight 5. Here, as illustrated, the user 1 irradiates the upper left image of the image 102.
懐中電灯5等の照明は、一般に中心部分に最も明るい領域を有し、中心部分から離れるごとに明るさを減少しつつ、同心円状に同じ明るさの領域を形成する。図5では、領域Aが懐中電灯5の光軸に重なり光軸を中心とする最も明るい領域で、領域Bが領域Aの外周部に位置する次に明るい領域で、領域Cは領域Bの外周部でかろうじて懐中電灯からの光の一部が照射されるが最も暗い領域を示すものとする。図5では便宜上、各領域が離散的な明るさを有するものとしているが、照明される領域は連続的な明るさを有してもよい。 Illumination such as the flashlight 5 generally has the brightest region at the central portion, and forms a region having the same brightness concentrically while decreasing the brightness as the distance from the central portion increases. In FIG. 5, the region A is the brightest region centered on the optical axis overlapping the optical axis of the flashlight 5, the region B is the next brightest region located at the outer periphery of the region A, and the region C is the outer periphery of the region B A part of the light from the flashlight is barely irradiated at the part, but it indicates the darkest area. In FIG. 5, for convenience, each region has discrete brightness, but the illuminated region may have continuous brightness.
図5では、矩形状の画像表示部100の少なくとも四隅領域のそれぞれに光センサ112、光センサ114、光センサ116、及び、光センサ118が取り付け等により設けられている。光センサ112は領域Bに含まれ、光センサ114は領域Cに含まれ、光センサ116及び光センサ118にはいずれの領域も含まれない。 In FIG. 5, the optical sensor 112, the optical sensor 114, the optical sensor 116, and the optical sensor 118 are provided by attachment or the like in each of at least four corner regions of the rectangular image display unit 100. The optical sensor 112 is included in the region B, the optical sensor 114 is included in the region C, and neither the optical sensor 116 nor the optical sensor 118 is included.
入力取得部120は、四隅領域の光センサ112等の光量情報から、ユーザが指示する画像表示部100上の位置を特定し、特定した位置を入力として取得する。例えば、入力取得部120は、光センサ112等の光量情報からユーザが懐中電灯5の照明の中心で指し示す画像表示部100上の位置(例えば、領域Aの中心)を特定する。 The input acquisition unit 120 specifies the position on the image display unit 100 indicated by the user from the light amount information of the optical sensors 112 and the like in the four corner areas, and acquires the specified position as an input. For example, the input acquisition unit 120 specifies the position (for example, the center of the region A) on the image display unit 100 that the user points at the center of illumination of the flashlight 5 from the light amount information of the optical sensor 112 or the like.
具体的には、画像表示部100がz=0の平面上に配置される3次元空間を想定し、各光センサi(i∈N:本例ではN=4)の位置を(xi,yi,0)とし、懐中電灯5等の光源の位置を(a,b,c)とする。ここで、光源から画像表示部100には垂直に光が入射するものとする。ユーザが光源で指し示す画像表示部100上の位置は、(a,b,0)となる。光源から光センサiまでの距離diは、
(xi-a)2+(yi-b)2+c2 = di 2 …数式1
により表される。Specifically, assuming a three-dimensional space in which the image display unit 100 is arranged on a plane where z = 0, the position of each optical sensor i (i∈N: N = 4 in this example) is set to (x i , y i , 0), and the position of the light source such as the flashlight 5 is (a, b, c). Here, it is assumed that light enters the image display unit 100 from the light source vertically. The position on the image display unit 100 indicated by the user with the light source is (a, b, 0). The distance d i from the light source to the optical sensor i is
(x i -a) 2 + (y i -b) 2 + c 2 = d i 2 ... Equation 1
It is represented by
光源とセンサiとを結ぶ直線と画像表示部100の平面とのなす角度をθiとすると、光センサiにおいて検出される光量Iiは、
Ii = k・sinθi/di 2 …数式2
により表される。When an angle formed by a straight line connecting the light source and the sensor i and the plane of the image display unit 100 is θ i , the light amount I i detected by the optical sensor i is
I i = k · sinθ i / d i 2 Equation 2
It is represented by
sinθi =c/{ (xi-a)2+(yi-b)2+c2}1/2 …数式3
となるので、数式2及び数式3から、
(a-xi)2+(b-yi)2+c2-k/Ii・c/{(a-xi)2+(b-yi)2+c2}1/2 = 0 …数式4
が導出される。sinθ i = c / {(x i -a) 2 + (y i -b) 2 + c 2 } 1/2 Equation 3
Therefore, from Equation 2 and Equation 3,
(ax i ) 2 + (by i ) 2 + c 2 -k / I i · c / {(ax i ) 2 + (by i ) 2 + c 2 } 1/2 = 0
Is derived.
N個の全センサについて数式4の総和を取ると、
Σ[(a-xi)2+(b-yi)2+c2-k/Ii・c/{(a-xi)2+(b-yi)2+c2}1/2] = 0 …数式5
となる。Taking the sum of Equation 4 for all N sensors,
Σ [(ax i ) 2 + (by i ) 2 + c 2 −k / I i · c / {(ax i ) 2 + (by i ) 2 + c 2 } 1/2 ] = 0 0 Equation 5
It becomes.
入力取得部120は、画像表示部100の開閉状態から光センサの位置(xi,yi,0)を推定しておき、光センサの位置(xi,yi,0)を用いて、
f(a,b,c) = Σ[(a-xi)2+(b-yi)2+c2-k/Ii・c/{(a-xi)2+(b-yi)2+c2}1/2] …数式6
となる関数f(a,b,c)を定義し、f(a,b,c)2が最小となるように光源の位置(a,b,c)を算出する。これにより、入力取得部120は、ユーザが指定した画像表示部100の平面上の位置(a,b)を特定することができる。入力取得部120は、kを光源の位置ととも推定してよく、これに代えて、予めキャリブレーションによりkの値を得ておいてもよい。Input acquisition unit 120, the position of the light sensor from the opening and closing state of the image display unit 100 (x i, y i, 0) in advance to estimate the using the position of the optical sensor (x i, y i, 0 ),
f (a, b, c) = Σ [(ax i ) 2 + (by i ) 2 + c 2 -k / I i・ c / {(ax i ) 2 + (by i ) 2 + c 2 } 1 / 2 ]… Formula 6
A function f (a, b, c) is defined, and the position (a, b, c) of the light source is calculated so that f (a, b, c) 2 is minimized. Thereby, the input acquisition unit 120 can specify the position (a, b) on the plane of the image display unit 100 specified by the user. The input acquisition unit 120 may estimate k together with the position of the light source. Instead of this, the value of k may be obtained in advance by calibration.
ここで、入力取得部120は、光源からの光が画像表示部100の平面の垂直方向に限らず、指向性を持って入射すると仮定して、光源の位置を算出してもよい。この場合、光源の光軸と、光源及びセンサiを結ぶ直線との角度をφiとし、g(φi)を光源の光軸からの角度に対する光量の変化を表す関数とすると、光センサiにおいて検出される光量Iiは、
Ii = k・g(φi)cos(θi)/di 2 …数式7
により表される。Here, the input acquisition unit 120 may calculate the position of the light source on the assumption that light from the light source is incident not only in the vertical direction of the plane of the image display unit 100 but also with directivity. In this case, if the angle between the optical axis of the light source and the straight line connecting the light source and the sensor i is φ i and g (φ i ) is a function representing the change in the amount of light with respect to the angle from the optical axis of the light source, the optical sensor i The amount of light I i detected in
I i = k · g (φ i ) cos (θ i ) / d i 2 Equation 7
It is represented by
ここで、光源の光軸と画像表示部100の平面との交点の座標を(l,m,0)とすると、
cos(φi) ={(xi-a)(l-a)+(yi-b)(b-m)+c2}/[{(a-xi)2+(b-yi)2+c2}1/2{(a-l)2+(b-m)2+c2}1/2] …数式8
が成り立つ。Here, if the coordinates of the intersection of the optical axis of the light source and the plane of the image display unit 100 are (l, m, 0),
cos (φ i ) = {(x i -a) (la) + (y i -b) (bm) + c 2 } / [{(ax i ) 2 + (by i ) 2 + c 2 } 1 / 2 {(al) 2 + (bm) 2 + c 2 } 1/2 ] ... Equation 8
Holds.
ここで、便宜上g(φi)をcos(φi)を用いて、
g(φi) = pφi+q …数式9
であるとすると数式4に対応する式は、
(a-xi)2+(b-yi)2+c2-k/Ii・[pcos-1{(a-xi)(a-l)+(b-yi)(b-m)+c2}/[{(xi-a)2+(yi-b)2+c2}1/2{(l-a)2+(m-b)2+c2}1/2]+q]・c/{(a-xi)2+(b-yi)2+c2}1/2 = 0 …数式10
となる。For convenience g a (phi i) with cos (φ i),
g (φ i ) = pφ i + q (Equation 9)
If so, the equation corresponding to Equation 4 is
(ax i ) 2 + (by i ) 2 + c 2 -k / I i・ [pcos -1 {(ax i ) (al) + (by i ) (bm) + c 2 } / [{(x i -a) 2 + (y i -b) 2 + c 2 } 1/2 {(la) 2 + (mb) 2 + c 2 } 1/2 ] + q] ・ c / {(ax i ) 2 + (by i ) 2 + c 2 } 1/2 = 0… Formula 10
It becomes.
入力取得部120は、数式5〜6と同様に、全センサについての数式10から関数f(a,b,c,l,m)を定義し、f(a,b,c,l,m)を最適化することにより、光源が示す位置(l,m,0)を算出する。 The input acquisition unit 120 defines a function f (a, b, c, l, m) from Expression 10 for all sensors, as in Expressions 5 to 6, and f (a, b, c, l, m). Is optimized to calculate the position (1, m, 0) indicated by the light source.
入力取得部120は、このように算出した光源が示す位置を、光による操作として生成部130に供給する。生成部130は、光源が示す位置と画像データとを対比して、画像中のどの部分を光源が示しているか特定する。生成部130は、光源が示している画像中のコンテンツに関する動作を実行してよい。 The input acquisition unit 120 supplies the position indicated by the light source calculated in this way to the generation unit 130 as an operation using light. The generation unit 130 compares the position indicated by the light source with the image data to identify which part of the image the light source indicates. The generation unit 130 may perform an operation related to the content in the image indicated by the light source.
例えば、図5に示すように、光源が画像中の複数の写真のうち左上の写真を示すと判断した場合、生成部130は、左上の写真を拡大表示した画像を生成して投影部150に投影させてよい。このように、懐中電灯5等の光源は、中心の明るく狭い領域の外側に非常に暗いがわずかに光を出射する領域を有する。画像表示装置10は、画像表示部100の外周部分の光センサでこのようなわずかな光を検出することで、入力取得部120は光源が示す画像表示部100上の位置を特定できる。 For example, as illustrated in FIG. 5, when it is determined that the light source indicates the upper left photograph among a plurality of photographs in the image, the generation unit 130 generates an image in which the upper left photograph is enlarged and displays the image on the projection unit 150. You may project it. As described above, the light source such as the flashlight 5 has a very dark but slightly emitting region outside the bright and narrow region at the center. The image display device 10 can detect such a slight amount of light with the optical sensor on the outer periphery of the image display unit 100, whereby the input acquisition unit 120 can specify the position on the image display unit 100 indicated by the light source.
ここで、入力取得部120は、懐中電灯5等の光源が示す光を、画像102の光と区別して取得してよい。例えば、入力取得部120は、偏光を利用して光源が示す光の光量のみを検出する。 Here, the input acquisition unit 120 may acquire the light indicated by the light source such as the flashlight 5 separately from the light of the image 102. For example, the input acquisition unit 120 detects only the amount of light indicated by the light source using polarized light.
一例として、投影部150は、第1の偏光(例えば、第1の直線偏光又は第1の円偏光)により画像光を投影し、光センサ112等は偏光フィルタを有して第1の偏光とは偏光方向が異なる第2の偏光(例えば、第1の直線偏光と垂直な振動方向を有する第2の直線偏光、又は、第1の円偏光と逆の回転方向を有する第2の円偏光)を検出し、入力取得部120は光センサが検出した光量情報をユーザからの入力として取得する。これにより、入力取得部120は、投影部150が投影する画像102の光をカットして、ユーザが示す光源の光量情報のみを取得できる。 As an example, the projecting unit 150 projects image light with first polarized light (for example, first linearly polarized light or first circularly polarized light), and the optical sensor 112 and the like have a polarization filter and the first polarized light. Is a second polarized light having a different polarization direction (for example, a second linearly polarized light having a vibration direction perpendicular to the first linearly polarized light, or a second circularly polarized light having a rotation direction opposite to the first circularly polarized light). The input acquisition unit 120 acquires the light amount information detected by the optical sensor as an input from the user. Thereby, the input acquisition unit 120 can acquire only the light amount information of the light source indicated by the user by cutting the light of the image 102 projected by the projection unit 150.
また、入力取得部120は、時分割方式を採用して光源が示す光の光量のみを検出してもよい。例えば、投影部150は時分割で画像光を投影し、入力取得部120は投影部150が画像光を投影していないタイミングにおいて光センサが検出した光量情報をユーザからの入力として取得する。これにより、入力取得部120は、投影部150による画像光の影響を受けることなく、ユーザが示す光源の光量情報のみを取得できる。 Further, the input acquisition unit 120 may detect only the amount of light indicated by the light source by adopting a time division method. For example, the projection unit 150 projects image light in a time division manner, and the input acquisition unit 120 acquires light amount information detected by the optical sensor at the timing when the projection unit 150 does not project image light as input from the user. Thereby, the input acquisition unit 120 can acquire only the light amount information of the light source indicated by the user without being affected by the image light from the projection unit 150.
図5では、画像表示部100に4個の光センサが設けられた例を示したが、画像表示部100は3個以下又は5個以上の光センサを有してよい。例えば、画像表示部100の外周上、又は、面全体に(例えば、マトリクス状に)複数を光センサを設けてよい。この場合、入力取得部120は、多数の光センサから得られた光量情報から、画像表示部100上の光量分布を生成して、ユーザが画像表示部100に当てた光の位置を特定してよい。 In FIG. 5, an example in which four optical sensors are provided in the image display unit 100 is shown, but the image display unit 100 may include three or less optical sensors or five or more optical sensors. For example, a plurality of optical sensors may be provided on the outer periphery of the image display unit 100 or on the entire surface (for example, in a matrix). In this case, the input acquisition unit 120 generates a light amount distribution on the image display unit 100 from the light amount information obtained from a large number of optical sensors, and specifies the position of light applied to the image display unit 100 by the user. Good.
また、画像表示部100には、マトリクス状に光ファイバが敷設されてよい。光ファイバは、画像表示部100上で受光した光を端部に導光する。入力取得部120は、各列及び各行の光ファイバの端部から検出される光量に基づいて、光源が示す画像表示部100上の位置を特定する。 The image display unit 100 may be provided with optical fibers in a matrix. The optical fiber guides the light received on the image display unit 100 to the end. The input acquisition unit 120 specifies the position on the image display unit 100 indicated by the light source based on the amount of light detected from the end of the optical fiber in each column and each row.
図6は、画像表示部100の実施形態の一例を示す。本例において、画像表示部100は、複数の同種/異種の仕切り部材(例えば、カーテン)を有する。例えば、画像表示部100は、非光透過性の第1カーテン108(例えば、ドレープカーテン)、及び、光透過性の第2カーテン106(例えば、半透過のレースカーテン)を有し、第1カーテン108及び第2カーテン106のそれぞれからユーザの入力を取得し、生成部130は、第1カーテン108及び第2カーテン106のそれぞれに表示する画像データを生成し、第1カーテン108及び第2カーテン106にそれぞれに投影部150から画像データに対応する画像光を投影して画像を表示する。 FIG. 6 shows an example of an embodiment of the image display unit 100. In this example, the image display unit 100 includes a plurality of same / different kinds of partition members (for example, curtains). For example, the image display unit 100 includes a non-light transmissive first curtain 108 (for example, a drape curtain) and a light transmissive second curtain 106 (for example, a semi-transmissive lace curtain). The user input is acquired from each of the first curtain 108 and the second curtain 106, and the generation unit 130 generates image data to be displayed on each of the first curtain 108 and the second curtain 106, and the first curtain 108 and the second curtain 106. Then, image light corresponding to the image data is projected from the projection unit 150 to display an image.
測定部110は第2カーテン106及び第1カーテン108のそれぞれの状態を測定し、入力取得部120は第2カーテン106及び第1カーテン108のそれぞれから入力を取得する。また、測定部110が測定した各カーテンの開閉状態に応じて、生成部130は各カーテンに表示する画像を生成する。 The measurement unit 110 measures the state of each of the second curtain 106 and the first curtain 108, and the input acquisition unit 120 acquires an input from each of the second curtain 106 and the first curtain 108. Further, the generation unit 130 generates an image to be displayed on each curtain according to the open / closed state of each curtain measured by the measurement unit 110.
図6の状態において、第2カーテン106は広げられている一方、第1カーテン108は畳まれている。このため、生成部130は第2カーテン106に対する画像102のみを生成する。生成部130は、両面開きの2枚の第2カーテン106のそれぞれに対して画像102を生成してよい。 In the state of FIG. 6, the second curtain 106 is unfolded while the first curtain 108 is folded. Therefore, the generation unit 130 generates only the image 102 for the second curtain 106. The generation unit 130 may generate the image 102 for each of the two second curtains 106 that are double-sided.
生成部130は、画像表示装置10の周辺環境および/または周囲の物品に関するコンテンツ54を含む画像102を生成してよい。例えば、生成部130は、半透過の画像表示部100を透過して観察される景色に関するコンテンツ54を生成してよい。一例として、生成部130は、第2カーテン106に表示する画像データの少なくとも一部として、ユーザが第2カーテン106を介して観察する対象の情報(一例として「○○山 標高1000M」)をコンテンツ54として生成し、画像102に含めてよい。また、生成部130は、画像表示装置10が設置される環境の説明(一例として「天気:晴れ 気温:19℃」)をコンテンツ52として生成し、画像102に含めてよい。 The generation unit 130 may generate the image 102 including the content 54 related to the surrounding environment of the image display device 10 and / or surrounding items. For example, the generation unit 130 may generate the content 54 related to the scenery observed through the translucent image display unit 100. As an example, the generation unit 130 stores, as at least a part of the image data displayed on the second curtain 106, information on an object to be observed by the user through the second curtain 106 (for example, “XX mountain elevation 1000M”). 54 may be included in the image 102. Further, the generation unit 130 may generate a description 52 of the environment in which the image display device 10 is installed (for example, “weather: sunny temperature: 19 ° C.”) as the content 52 and include it in the image 102.
画像表示装置10は、GPS、方位センサ、及び/又は、温度計等から画像102に含まれるコンテンツ52及びコンテンツ54の生成に要する情報を取得してよい。例えば、生成部130は、画像表示装置10に内蔵又は接続されたGPS及び方位センサからのデータに基づき画像表示部100を透過して観察される対象を推定し、当該対象の情報(住所、名称、及び、特徴等)をコンテンツとして含む画像102を生成する。また、例えば、生成部130は、画像表示装置10に接続されたデジタル温度計からの得た室内/室外の外気及び/又は物品の温度及び/又は湿度の情報を取得し、これをコンテンツとして含む画像102を生成してよい。 The image display apparatus 10 may acquire information necessary for generating the content 52 and the content 54 included in the image 102 from a GPS, a direction sensor, and / or a thermometer. For example, the generation unit 130 estimates a target to be observed through the image display unit 100 based on data from a GPS and a direction sensor built in or connected to the image display device 10, and information on the target (address, name) , And features) as content. In addition, for example, the generation unit 130 acquires indoor / outdoor outdoor air and / or article temperature and / or humidity information obtained from a digital thermometer connected to the image display device 10 and includes this as content. An image 102 may be generated.
例えば、画像表示装置10は、近接センサ、湿度センサ、重量センサ及び通信機能を有するインテリジェント物干し竿と通信し、物干し竿近傍の湿度及び洗濯物の重量変化等の情報を取得し、洗濯物の乾き具合を算出して乾き具合に関する情報(数字又はアイコン等)を表示してよい。また、別の例として画像表示装置10は、近接センサ、湿度センサ、重量センサ及び通信機能を有するインテリジェント植木鉢と通信し、植木鉢の土の湿度及び内容物の重量変化等の情報を取得し、植木鉢の乾き具合を算出して水やりの必要性に関する情報(乾燥度を示す数字又はアイコン等)を表示してよい。これに代えて、画像表示装置10は、ネットワークを介して外部のサーバ等から生成するコンテンツ52等の生成に要する情報を取得してよい。 For example, the image display device 10 communicates with a proximity sensor, a humidity sensor, a weight sensor, and an intelligent laundry basket having a communication function, acquires information such as humidity near the clothes basket and weight change of the laundry, and dries the laundry. You may calculate a condition and display the information (number or icon etc.) regarding the condition of drying. As another example, the image display device 10 communicates with a proximity sensor, a humidity sensor, a weight sensor, and an intelligent flowerpot having a communication function, acquires information such as soil humidity in the flowerpot and a change in the weight of the contents, and the like. The degree of dryness may be calculated to display information on the necessity of watering (numbers or icons indicating the degree of dryness). Instead of this, the image display apparatus 10 may acquire information necessary for generating the content 52 and the like generated from an external server and the like via the network.
図7は、図6の画像表示装置10で第1カーテン108を一部広げた状態を示す。入力取得部120は、第1カーテン108の開閉割合を算出することでユーザが図示するように第1カーテン108の一部を広げたことを検出する。これに応じて、生成部130は、第1カーテン108に表示するための画像104に対応する画像データを生成する。 FIG. 7 shows a state in which the first curtain 108 is partially expanded in the image display device 10 of FIG. The input acquisition unit 120 detects that the user has expanded a part of the first curtain 108 as illustrated by calculating the opening / closing ratio of the first curtain 108. In response to this, the generation unit 130 generates image data corresponding to the image 104 to be displayed on the first curtain 108.
生成部130は、各種のコンテンツを含む画像104を生成してよい。例えば、生成部130は、外部のサーバ又は携帯端末等からユーザのスケジュールに関する情報を取得し、当該情報を含むコンテンツ(「Schedule 10 Meeting,12 Lunch,15 Tea,17 Dinner」)を生成してよい。 The generation unit 130 may generate the image 104 including various contents. For example, the generation unit 130 may acquire information related to the user's schedule from an external server or a mobile terminal, and generate content including the information (“Schedule 10 Meeting, 12 Lunch, 15 Tea, 17 Dinner”). .
また、入力取得部120は、画像表示部100の複数の仕切り部材の前後関係及び開閉関係から、それぞれの仕切り部材の画像表示可能な領域を取得する。例えば、入力取得部120は、第1カーテン108の一部が閉められたことにより、第1カーテン108の後方にある第2カーテン106の画像表示可能な領域が狭まったことを検出する。一例として、入力取得部120は、第2カーテン106の開閉割合から第1カーテン108の開閉割合を減じることで、第2カーテン106の画像表示可能な領域を算出してよい。 Further, the input acquisition unit 120 acquires an image displayable area of each partition member from the front-rear relationship and the open / close relationship of the plurality of partition members of the image display unit 100. For example, the input acquisition unit 120 detects that an image displayable area of the second curtain 106 behind the first curtain 108 is narrowed due to a part of the first curtain 108 being closed. As an example, the input acquisition unit 120 may calculate the image displayable area of the second curtain 106 by subtracting the opening / closing ratio of the first curtain 108 from the opening / closing ratio of the second curtain 106.
生成部130は、仕切り部材の画像表示可能な領域に対応する大きさの画像の画像データを生成する。例えば、生成部130は、第2カーテン106の広げられた領域のうち第1カーテン108に隠されていない領域の形状に対応する画像102の画像データを生成して、投影部150により第2カーテン106の画像表示可能な領域に投影させる。 The generation unit 130 generates image data of an image having a size corresponding to the image displayable area of the partition member. For example, the generation unit 130 generates image data of the image 102 corresponding to the shape of the region that is not hidden by the first curtain 108 among the expanded region of the second curtain 106, and the projection unit 150 causes the second curtain to be generated. Projection is performed on an area where image display is possible.
ここで、画像102の横幅は、図6の状態よりも狭くなっているので、生成部130は、画像102の横幅に合致するサイズのコンテンツを含む画像データを生成する。例えば、生成部130は、コンテンツ54に含まれるテキストの改行位置を図6から変更した画像データを生成する。 Here, since the horizontal width of the image 102 is narrower than that in the state of FIG. 6, the generation unit 130 generates image data including content having a size that matches the horizontal width of the image 102. For example, the generation unit 130 generates image data in which the line feed position of text included in the content 54 is changed from FIG.
図8は、本実施形態の変形例に係る画像表示装置10を示す。本変形例において、画像表示部100はユーザと外側領域とを仕切り、生成部130は画像表示部100の両面のそれぞれに表示する画像データを生成する。例えば、画像表示装置10は、病室において患者を区分するパーティションとして用いられてよい。投影部150は、画像表示部100の患者側の面に患者向けの情報(例えば、医療情報、設備情報、エンターテイメント情報、及び/又は、治療スケジュール等)を表示する。 FIG. 8 shows an image display device 10 according to a modification of the present embodiment. In this modification, the image display unit 100 separates the user from the outer region, and the generation unit 130 generates image data to be displayed on both sides of the image display unit 100. For example, the image display device 10 may be used as a partition that partitions patients in a hospital room. The projection unit 150 displays patient-oriented information (for example, medical information, facility information, entertainment information, and / or treatment schedule) on the patient-side surface of the image display unit 100.
図9は、画像表示部100を広げた状態における本変形例の画像表示装置10を示す。本件変形例において、画像表示部100は、両面にそれぞれ異なる画像を表示してよい。画像表示装置10は、画像表示部100の外側の面に医療関係者向けの情報を表示する。例えば、生成部130は、画像表示部100の外側に表示する画像データとしてユーザの状態の情報を含む画像データを生成する。 FIG. 9 shows the image display device 10 of this modification example in a state where the image display unit 100 is expanded. In this modification, the image display unit 100 may display different images on both sides. The image display device 10 displays information for medical personnel on the outer surface of the image display unit 100. For example, the generation unit 130 generates image data including information on the user state as image data to be displayed outside the image display unit 100.
一例として、生成部130は、画像表示部100の外側に表示する画像データとして、ユーザである患者の意思、患者の個人情報、患者の活動状態、患者のバイタル情報、及び/又は、患者の治療スケジュール等を含む画像データを生成してよい。画像表示装置10は、画像表示部100の外側にも別の投影部を有し、別の投影部により画像表示部100の外側の面に画像を表示してよい。 For example, the generation unit 130 may display the image data displayed on the outside of the image display unit 100 as a user's intention, patient personal information, patient activity state, patient vital information, and / or patient treatment. Image data including a schedule or the like may be generated. The image display device 10 may have another projection unit on the outside of the image display unit 100 and display an image on the outer surface of the image display unit 100 by another projection unit.
このように、本変形例の画像表示装置10は、画像表示部100の両面を利用することで、表示する情報の種類を切り替えることができる。すなわち、画像表示装置10は、画像表示部100が畳まれているときはパブリックな情報を表示し、画像表示部100が完全に広げられているときはプライベートな情報を表示することができる。また、画像表示装置10によると、医療者は直接患者とコンタクトを取る必要がないので、スムーズな看護・治療を提供することができる。 As described above, the image display apparatus 10 according to the present modification can switch the type of information to be displayed by using both surfaces of the image display unit 100. That is, the image display device 10 can display public information when the image display unit 100 is folded, and can display private information when the image display unit 100 is fully expanded. Moreover, according to the image display apparatus 10, since a medical person does not need to contact a patient directly, it can provide smooth nursing and treatment.
図10は、本実施形態の別の変形例に係る画像表示装置10を示す。本変形例では、投影部150が画像表示部100に画像光を投影する代わりに、画像表示部100が、生成部130が生成した画像データに基づいた画像光を生成して表示する表示部160を有する。例えば、画像表示部100は、フィルム等に液晶ディスプレイ又は有機ELディスプレイ等の形成されたフレキシブル表示装置であってよい。この場合、フレキシブル表示装置が表示部160として機能する。 FIG. 10 shows an image display device 10 according to another modification of the present embodiment. In this modification, instead of the projection unit 150 projecting image light onto the image display unit 100, the image display unit 100 generates and displays image light based on the image data generated by the generation unit 130. Have For example, the image display unit 100 may be a flexible display device such as a liquid crystal display or an organic EL display formed on a film or the like. In this case, the flexible display device functions as the display unit 160.
上記の実施形態及び変形例等では、主に画像表示部100がカーテンである場合について説明したが、画像表示部100はカーテンに限られない。画像表示部100が店舗の入り口等に設けられるのれんである場合、画像表示装置10は、のれんの動きから入店/退店する客の数をカウントし、客の数に応じた画像を生成部130に生成させてよい。 In the above-described embodiments and modifications, the case where the image display unit 100 is mainly a curtain has been described, but the image display unit 100 is not limited to a curtain. When the image display unit 100 is a goodwill provided at the entrance of a store or the like, the image display device 10 counts the number of customers entering or leaving the store from the movement of goodwill, and generates an image according to the number of customers. 130 may be generated.
また、上記の実施形態及び変形例等では、カーテン等の画像表示部100に直接操作を行うことで画像表示部100の状態を入力することを説明したが、画像表示装置10は画像表示部100の付属品への操作から画像表示部100の状態を入力してよい。例えば、入力取得部120は、カーテンに付属するタッセルでカーテンを固定したことに応じて、アプリケーションを終了するコマンドを取得し、タッセルを外してカーテンの固定を解除したことに応じてアプリケーションを起動するコマンドを取得してよい。 In the above-described embodiment, modification, and the like, it has been described that the state of the image display unit 100 is input by directly operating the image display unit 100 such as a curtain. The state of the image display unit 100 may be input from an operation on the accessory. For example, the input acquisition unit 120 acquires a command to end the application in response to fixing the curtain with the tassel attached to the curtain, and starts the application in response to removing the tassel and releasing the fixing of the curtain. You may get commands.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、請求の範囲、明細書、および図面中において「A及び/又はB」と記載されたときは、A、B、A及びBのいずれかを意味し、「A、B及び/又はC」と記載されたときは、A、B、及び、Cの少なくとも1つを含むことを意味してよい。 The execution order of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior”. It should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for the sake of convenience, it means that it is essential to carry out in this order. is not. In addition, when “A and / or B” is described in the claims, the specification, and the drawings, it means one of A, B, A and B, and “A, B and / or C”. It may mean that at least one of A, B, and C is included.
1 ユーザ、5 懐中電灯、10 画像表示装置、52 コンテンツ、54 コンテンツ、100 画像表示部、102 画像、104 画像、106 第2カーテン、108 第1カーテン、110 測定部、111 検出部、112 光センサ、114 光センサ、116 光センサ、118 光センサ、120 入力取得部、130 生成部、140 記憶部、150 投影部、160 表示部 1 user, 5 flashlight, 10 image display device, 52 content, 54 content, 100 image display unit, 102 image, 104 image, 106 second curtain, 108 first curtain, 110 measurement unit, 111 detection unit, 112 optical sensor , 114 optical sensor, 116 optical sensor, 118 optical sensor, 120 input acquisition unit, 130 generation unit, 140 storage unit, 150 projection unit, 160 display unit
Claims (17)
前記画像表示部に設けられ、前記画像表示部の状態を測定する測定部と、
測定した前記状態に基づいて、前記画像表示部に対して行ったユーザの動作を特定し、特定した前記動作を入力として取得する入力取得部と、
取得した前記入力に応じ、前記画像表示部に表示する画像の画像データを生成する生成部と、
を備える画像表示装置。An image display unit for displaying an image;
A measurement unit that is provided in the image display unit and measures a state of the image display unit;
Based on the measured state, the user's operation performed on the image display unit is specified, and the input acquisition unit that acquires the specified operation as an input;
A generating unit that generates image data of an image to be displayed on the image display unit in accordance with the acquired input;
An image display device comprising:
請求項1に記載の画像表示装置。The measurement unit measures the shape, movement or light receiving state of the image display unit;
The image display device according to claim 1.
前記入力取得部は、前記加速度センサが測定した加速度情報に基づいて前記ユーザの動作を特定し、特定した前記動作を前記入力として取得する、
請求項1又は2に記載の画像表示装置。The measurement unit includes an acceleration sensor,
The input acquisition unit specifies the user's action based on acceleration information measured by the acceleration sensor, and acquires the specified action as the input.
The image display device according to claim 1.
前記入力取得部は、前記光センサが測定した光量情報に基づいて前記ユーザの動作を特定し、特定した前記動作を前記入力として取得する、
請求項1から3のいずれか1項に記載の画像表示装置。The measurement unit has an optical sensor,
The input acquisition unit specifies the user's operation based on light amount information measured by the optical sensor, and acquires the specified operation as the input.
The image display device according to claim 1.
前記入力取得部は、前記動作に対応させて前記アプリケーションを実行するコマンドを前記入力として取得する、
請求項1から4のいずれか1項に記載の画像表示装置。The generation unit generates image data corresponding to a result of executing the application,
The input acquisition unit acquires, as the input, a command for executing the application corresponding to the operation.
The image display apparatus of any one of Claim 1 to 4.
請求項1から3のいずれか1項に記載の画像表示装置。The generation unit generates image data including content rearranged in accordance with the shape of the image display unit.
The image display device according to claim 1.
前記入力取得部は、少なくとも前記四隅領域の前記光センサの前記光量情報から、前記ユーザが指示する前記画像表示部上の位置を特定し、特定した前記位置を前記入力として取得する、
請求項4に記載の画像表示装置。The optical sensor is attached to each of at least four corner regions of the rectangular image display unit,
The input acquisition unit specifies a position on the image display unit instructed by the user from at least the light amount information of the optical sensor in the four corner regions, and acquires the specified position as the input.
The image display device according to claim 4.
請求項1から7のいずれか1項に記載の画像表示装置。The image display unit further includes a projection unit that generates and projects image light based on the image data generated by the generation unit.
The image display device according to claim 1.
請求項1から7のいずれか1項に記載の画像表示装置。The image display unit further includes a flexible display device that generates and displays image light based on the image data generated by the generation unit,
The image display device according to claim 1.
前記画像表示部には、前記第1の偏光とは偏光方向が異なる第2の偏光を検出する光センサが設けられ、
前記入力取得部は、前記光センサが検出した光量情報を前記ユーザからの入力として取得する、
請求項8に記載の画像表示装置。The projection unit projects the image light with first polarization,
The image display unit is provided with an optical sensor that detects second polarized light having a polarization direction different from that of the first polarized light,
The input acquisition unit acquires light amount information detected by the optical sensor as an input from the user.
The image display device according to claim 8.
前記画像表示部には光センサが設けられ、
前記入力取得部は、前記投影部が画像光を投影していないタイミングにおいて前記光センサが検出した光量情報を前記ユーザからの入力として取得する、
請求項8に記載の画像表示装置。The projection unit projects the image light in a time division manner,
The image display unit is provided with an optical sensor,
The input acquisition unit acquires, as input from the user, light amount information detected by the optical sensor at a timing when the projection unit does not project image light.
The image display device according to claim 8.
前記生成部は、前記第1カーテン及び前記第2カーテンのそれぞれに表示する画像データを生成する、
請求項12に記載の画像表示装置。The image display unit includes a non-light transmissive first curtain and a light transmissive second curtain,
The generating unit generates image data to be displayed on each of the first curtain and the second curtain;
The image display device according to claim 12.
ユーザが前記第2カーテンを介して観察する対象の情報を含む画像データを生成する、
請求項13に記載の画像表示装置。The generator generates image data to be displayed on the second curtain.
Generating image data including information of an object to be observed by the user through the second curtain;
The image display device according to claim 13.
請求項1から12のいずれか1項に記載の画像表示装置。The generating unit generates image data to be displayed on each of both surfaces of the image display unit;
The image display device according to claim 1.
前記生成部は、前記画像表示部の外側に表示する画像データとして前記ユーザの状態の情報を含む画像データを生成する、
請求項15に記載の画像表示装置。The image display unit partitions the user and the outer area,
The generation unit generates image data including information on the state of the user as image data to be displayed outside the image display unit.
The image display device according to claim 15.
取得した前記入力に応じ、前記画像表示部に表示する画像の画像データを生成する生成部と、
を備える画像生成装置。Based on the state of the image display unit that displays an image, an input acquisition unit that identifies a user action performed on the image display unit and acquires the specified operation as an input;
A generating unit that generates image data of an image to be displayed on the image display unit in accordance with the acquired input;
An image generation apparatus comprising:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015026972 | 2015-02-13 | ||
JP2015026972 | 2015-02-13 | ||
PCT/JP2016/054202 WO2016129697A1 (en) | 2015-02-13 | 2016-02-12 | Image display device and image generation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016129697A1 true JPWO2016129697A1 (en) | 2017-11-24 |
JP6696439B2 JP6696439B2 (en) | 2020-05-20 |
Family
ID=56614775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016574875A Active JP6696439B2 (en) | 2015-02-13 | 2016-02-12 | Image display device and image generation device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6696439B2 (en) |
WO (1) | WO2016129697A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019111553A1 (en) * | 2017-12-06 | 2019-06-13 | ソニー株式会社 | Display device |
JP6959184B2 (en) * | 2018-06-20 | 2021-11-02 | ヤフー株式会社 | Display control device, display control method, and display control program |
CN111387789B (en) * | 2020-03-05 | 2023-07-07 | 深圳市丁壹科技有限公司 | Automatic curtain for intelligent home and working method thereof |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08339259A (en) * | 1995-06-13 | 1996-12-24 | Sharp Corp | Projective display device |
JP2004110797A (en) * | 2002-08-30 | 2004-04-08 | Casio Comput Co Ltd | Instructed position detector, and instructed position detection system and instructed position detection method |
JP2006039980A (en) * | 2004-07-28 | 2006-02-09 | Kensuke Ueda | Pointing system and pointing device |
JP2007205030A (en) * | 2006-02-01 | 2007-08-16 | Bunka Shutter Co Ltd | Display system utilizing opening/closing device |
JP2008281872A (en) * | 2007-05-11 | 2008-11-20 | Sony Corp | Video image processing system, video image processing method and screen device |
JP2009545056A (en) * | 2006-08-10 | 2009-12-17 | エルジー ケム. エルティーディ. | Non-contact type coordinate input system light guide plate, system including the same, and non-contact type coordinate input method using the same |
JP2010181592A (en) * | 2009-02-05 | 2010-08-19 | Seiko Epson Corp | Image display system, image display method, and screen device |
JP2013105312A (en) * | 2011-11-14 | 2013-05-30 | Sony Corp | Information processing device, control method, and program |
JP2014056030A (en) * | 2012-09-11 | 2014-03-27 | Ricoh Co Ltd | Image projection system, operation method for image projection system, image projection device, and remote control device for image projection system |
-
2016
- 2016-02-12 JP JP2016574875A patent/JP6696439B2/en active Active
- 2016-02-12 WO PCT/JP2016/054202 patent/WO2016129697A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08339259A (en) * | 1995-06-13 | 1996-12-24 | Sharp Corp | Projective display device |
JP2004110797A (en) * | 2002-08-30 | 2004-04-08 | Casio Comput Co Ltd | Instructed position detector, and instructed position detection system and instructed position detection method |
JP2006039980A (en) * | 2004-07-28 | 2006-02-09 | Kensuke Ueda | Pointing system and pointing device |
JP2007205030A (en) * | 2006-02-01 | 2007-08-16 | Bunka Shutter Co Ltd | Display system utilizing opening/closing device |
JP2009545056A (en) * | 2006-08-10 | 2009-12-17 | エルジー ケム. エルティーディ. | Non-contact type coordinate input system light guide plate, system including the same, and non-contact type coordinate input method using the same |
JP2008281872A (en) * | 2007-05-11 | 2008-11-20 | Sony Corp | Video image processing system, video image processing method and screen device |
JP2010181592A (en) * | 2009-02-05 | 2010-08-19 | Seiko Epson Corp | Image display system, image display method, and screen device |
JP2013105312A (en) * | 2011-11-14 | 2013-05-30 | Sony Corp | Information processing device, control method, and program |
JP2014056030A (en) * | 2012-09-11 | 2014-03-27 | Ricoh Co Ltd | Image projection system, operation method for image projection system, image projection device, and remote control device for image projection system |
Also Published As
Publication number | Publication date |
---|---|
WO2016129697A1 (en) | 2016-08-18 |
JP6696439B2 (en) | 2020-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2641833C2 (en) | Visual adjustment of mobile x-ray imaging system with camera | |
CN105593786B (en) | Object's position determines | |
US10216356B2 (en) | Information processing device, information processing method, and program | |
CN105308549B (en) | Information processing unit, control method, program and storage medium | |
CN106062862A (en) | System and method for immersive and interactive multimedia generation | |
JP2016532197A5 (en) | ||
US20150076991A1 (en) | Lighting Control System, Lighting Control Method and Storage Medium | |
JP6696439B2 (en) | Image display device and image generation device | |
JP2013235373A5 (en) | ||
JP2006258798A (en) | Device and method for improved shape characterization | |
US9529422B2 (en) | Image display and photographing system, photographing device, display device, image display and photographing method, and computer-readable storage medium for computer program | |
CN106415439A (en) | Projection screen for specularly reflecting infrared light | |
US11513637B2 (en) | Image projection device | |
JP2017518835A (en) | Method for determining visual acuity | |
CN108463793B (en) | Image recognition device, image recognition method, and image recognition unit | |
KR102290991B1 (en) | The method for generating thermal image and apparatus thereof | |
ES2924701T3 (en) | On-screen position estimation | |
EP3340209A1 (en) | Housing and system | |
JP2009060291A5 (en) | ||
JP2015507831A5 (en) | ||
US20170108994A1 (en) | Touch Surface for Mobile Devices Using Near Field Light Sensing | |
WO2020096801A2 (en) | Display presentation across plural display surfaces | |
JP2017068468A (en) | Information processing device, information processing method, and program | |
JP6430813B2 (en) | Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus | |
ES2836400T3 (en) | Image processing system, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |