JP2007121489A - Portable display device - Google Patents

Portable display device Download PDF

Info

Publication number
JP2007121489A
JP2007121489A JP2005310973A JP2005310973A JP2007121489A JP 2007121489 A JP2007121489 A JP 2007121489A JP 2005310973 A JP2005310973 A JP 2005310973A JP 2005310973 A JP2005310973 A JP 2005310973A JP 2007121489 A JP2007121489 A JP 2007121489A
Authority
JP
Japan
Prior art keywords
display
unit
movement
display device
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005310973A
Other languages
Japanese (ja)
Other versions
JP4977995B2 (en
Inventor
Eiji Yamaguchi
英治 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2005310973A priority Critical patent/JP4977995B2/en
Publication of JP2007121489A publication Critical patent/JP2007121489A/en
Application granted granted Critical
Publication of JP4977995B2 publication Critical patent/JP4977995B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a portable display device which is not always need to have an operation part independent of a device case, the mobile display device being characterized in that display contents can accurately be operated by case movement and can also be operated with a natural operation feeling without awareness of an interface. <P>SOLUTION: A movement quantity arithmetic unit 3 uses a measurement result of an acceleration measurement unit 1 and an image photographed by an outside camera unit 21 so that they are mutually corrected, and calculates a quantity of three-dimensional displacement of the device case, so that the quantity of three-dimensional displacement of the device case can be calculated more accurately. The movement quantity arithmetic unit 3 calculates the quantity and direction of movement of a display position of a map displayed at a display unit 5 from the quantity of three-dimensional displacement of the device case and a display control unit 4 scrolls the map displayed at the display unit 5 according to the quantity and direction of movement to move the display position. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、例えば地図などの各種情報を表示手段に表示することができる携帯表示装置に関する。   The present invention relates to a portable display device capable of displaying various information such as a map on a display means.

従来、例えばサイズの大きい地図など、携帯表示装置の表示画面で一度に全体を表示しきれない仮想的なイメージについて、そのイメージの一部を携帯表示装置で表示する場合、表示されるイメージにおける表示部分を変更するためには、上下左右などに対応したボタンを押したり、ポインティングデバイスを使用してスクロールさせたり、といった操作入力手段による操作が必要であった。   Conventionally, for a virtual image that cannot be displayed entirely on the display screen of a portable display device, such as a large map, for example, when a part of the image is displayed on the portable display device, display in the displayed image In order to change the portion, an operation by an operation input means such as pressing a button corresponding to up / down / left / right or scrolling using a pointing device is necessary.

しかし、一般に携帯表示装置では表示画面や操作入力手段が小さく、机の上でマウスを操作するといった場所もとれない場合が多く考えられるため、小さい操作入力手段でスクロールなどの操作を行うのは面倒になってしまう虞があった。   However, in general, a portable display device has a small display screen and operation input means, and there are many cases where it is not possible to operate a mouse on a desk, so it is troublesome to perform operations such as scrolling with a small operation input means. There was a risk of becoming.

ここで、静的加速度を検出する加速度センサを本体の筐体中に備え、この加速度センサの出力値に応じて表示画面上のカーソルを移動させるものがある（例えば、特許文献１参照）。   Here, there is an apparatus in which an acceleration sensor for detecting static acceleration is provided in a housing of a main body, and a cursor on a display screen is moved in accordance with an output value of the acceleration sensor (see, for example, Patent Document 1).

また、映像表示制御装置本体に接続された操作部内に、三次元の各座標軸を中心にした操作部の回転量を検出する回転量検出手段と、二次元方向の移動量を検出する移動量検出手段とを備え、三次元映像の表示を制御するようにしたものがある（例えば、特許文献２参照）。   In addition, in the operation unit connected to the video display control device main body, a rotation amount detection means for detecting the rotation amount of the operation unit around each three-dimensional coordinate axis, and a movement amount detection for detecting the movement amount in the two-dimensional direction And a means for controlling the display of a three-dimensional image (for example, see Patent Document 2).

また、操作者の視点位置を検出し、視線移動速度が所定の速度を越えた時に、画面の移動処理を行うように視線対応表示を行うものがある（例えば、特許文献３参照）。
特開２０００−５６８９７号公報 特開平４−３３０５１２号公報 特開平８−２２３８５号公報 In addition, there is one that detects the operator's viewpoint position and performs a line-of-sight display so as to perform a screen movement process when the line-of-sight movement speed exceeds a predetermined speed (for example, see Patent Document 3).
JP 2000-56897 A JP-A-4-330512 JP-A-8-22385

しかしながら、上述した特許文献１のように、加速度センサを用いて筐体の移動による加速度を検出し、表示内容を制御するのみでは、例えば操作者が電車や自動車に乗った状態で操作する場合など筐体移動以外の加速度発生要因がある場合、操作がスムーズに実施できなかったり、操作者が意図しない動作になったりする虞があった。   However, as in Patent Document 1 described above, for example, when an operator operates on a train or a car only by detecting acceleration due to movement of the casing using an acceleration sensor and controlling display contents, etc. When there is an acceleration generation factor other than the case movement, there is a possibility that the operation cannot be performed smoothly or the operation is not intended by the operator.

また、上述した特許文献２のものは、表示画面に画像を表示させるよう制御する映像表示制御装置本体に接続された操作部を操作者が操作することで表示内容を制御するものであり、操作手段を本体や表示画面と別に備えることが筐体サイズからして好ましくない携帯表示装置に適用することについてまで考慮されたものではなかった。
また、操作部を操作者が操作することで表示内容が制御されるため、操作者はその操作部をインタフェースとして意識する必要があり、インタフェースを意識させることのない自然な操作感を追求することについてまで考慮されたものではなかった。 The above-mentioned Patent Document 2 controls the display content by an operator operating an operation unit connected to the video display control device main body which controls to display an image on a display screen. The provision of the means separately from the main body and the display screen has not been taken into consideration for application to a portable display device that is not preferable in view of the housing size.
In addition, since the display content is controlled by the operator operating the operation unit, the operator needs to be aware of the operation unit as an interface, and pursues a natural feeling of operation that does not make the interface conscious. It was not something that was taken into consideration.

また、上述した特許文献３のものは、眼球の動きと停止によりカーソルを移動させるヒューマンインタフェースを提供するものであり、操作者に眼球の動きをインタフェースとして意識させてしまうものであった。すなわち、インタフェースを意識させることのない自然な操作感を追求することについてまで考慮されたものではなかった。   Further, the above-mentioned Patent Document 3 provides a human interface that moves a cursor by the movement and stop of the eyeball, and makes the operator aware of the movement of the eyeball as an interface. In other words, it was not even considered to pursue a natural feeling of operation without making the interface conscious.

本発明はこのような状況に鑑みてなされたものであり、装置筐体とは別個の操作部を必ずしも必要としない携帯表示装置について、加速度の検出だけでは筐体移動による表示制御が正確にできない状況であっても、筐体移動により表示内容の操作を正確に行うことができ、かつ、インタフェースを意識させることのない自然な操作感で表示内容の操作が可能な携帯表示装置を提供することを目的とする。   The present invention has been made in view of such a situation. For a portable display device that does not necessarily require an operation unit separate from the device housing, display control by moving the housing cannot be accurately performed only by detecting the acceleration. To provide a portable display device capable of accurately manipulating display contents by moving a casing and capable of manipulating display contents with a natural feeling of operation without making the user aware of the interface even in situations. With the goal.

かかる目的を達成するために、本発明に係る携帯表示装置は、装置筐体の移動における加速度および移動方向を計測する加速度計測手段と、装置外部の存在物の移動状態を認識する外部情報認識手段と、加速度計測手段による計測結果および外部情報認識手段による認識結果に基づいて装置筐体の３次元的変位量を算出する移動量演算手段と、移動量演算手段により算出された３次元的変位量に基づいて表示手段への表示内容を制御する表示制御手段と、を備えたことを特徴とする。   In order to achieve this object, a portable display device according to the present invention includes an acceleration measuring unit that measures acceleration and a moving direction in movement of a device housing, and an external information recognition unit that recognizes a moving state of an entity outside the device. And a movement amount calculation means for calculating a three-dimensional displacement amount of the apparatus housing based on a measurement result by the acceleration measurement means and a recognition result by the external information recognition means, and a three-dimensional displacement amount calculated by the movement amount calculation means Display control means for controlling the display content on the display means based on the above.

上記した表示制御手段は、表示手段により一度に表示可能な表示範囲を超える情報を含む表示用情報を、該表示手段による表示用情報として用い、当該表示用情報の一部分を該表示手段に表示させ、移動量演算手段により算出された装置筐体の３次元的変位量に基づいて該表示手段による表示部分を移動させることが好ましい。   The display control means described above uses display information including information that exceeds the display range that can be displayed at once by the display means as display information by the display means, and causes the display means to display a part of the display information. Preferably, the display portion by the display means is moved based on the three-dimensional displacement amount of the apparatus housing calculated by the movement amount calculation means.

上記した外部情報認識手段は、予め定められた方向における存在物との距離を測定する距離測定手段であって、上記した移動量演算手段は、加速度計測手段による計測結果と、距離測定手段による測定結果とに基づいて装置筐体の３次元的変位量を算出することが好ましい。   The external information recognizing means is a distance measuring means for measuring a distance from an entity in a predetermined direction, and the movement amount calculating means is a measurement result by the acceleration measuring means and a measurement by the distance measuring means. It is preferable to calculate the three-dimensional displacement amount of the apparatus housing based on the result.

上記した外部情報認識手段は、画像を撮影する撮像手段であって、上記した移動量演算手段は、加速度計測手段による計測結果と、撮像手段による撮影画像とに基づいて装置筐体の３次元的変位量を算出することであってもよい。   The external information recognizing means described above is an image capturing means for capturing an image, and the movement amount calculating means described above is based on the measurement result obtained by the acceleration measuring means and the photographed image obtained by the image capturing means. The amount of displacement may be calculated.

上記した外部情報認識手段は、予め定められた方向における存在物との距離を測定する距離測定手段、および画像を撮影する撮像手段であって、上記した移動量演算手段は、加速度計測手段による計測結果と、距離測定手段による測定結果と、撮像手段による撮影画像とに基づいて装置筐体の３次元的変位量を算出することであってもよい。   The external information recognizing means described above is a distance measuring means for measuring the distance to the existence object in a predetermined direction, and an imaging means for taking an image, and the movement amount calculating means described above is measured by the acceleration measuring means. The three-dimensional displacement amount of the apparatus housing may be calculated based on the result, the measurement result by the distance measuring unit, and the captured image by the imaging unit.

上記した撮像手段は、表示手段による略表示面方向を撮影する表示面方向撮像部と、該表示面方向以外の所定の方向を撮影する外側方向撮影部とを備え、上記した移動量演算手段は、加速度計測手段による計測結果と、表示面方向撮像部による撮影画像と、外側方向撮影部による撮影画像とに基づいて装置筐体の３次元的変位量を算出することが好ましい。   The imaging means includes a display surface direction imaging unit that captures an approximate display surface direction by the display unit, and an outer direction imaging unit that captures a predetermined direction other than the display surface direction. It is preferable to calculate the three-dimensional displacement amount of the apparatus housing based on the measurement result by the acceleration measuring unit, the captured image by the display surface direction imaging unit, and the captured image by the outer direction imaging unit.

上記した表示面方向撮像部による撮影画像に基づいて人の眼球を認識して視線方向を演算する視線方向認識手段を備え、上記した表示制御手段は、視線方向認識手段により視線が表示手段の方を向いていると認識されている場合のみ、表示用情報における表示手段での表示部分を移動させる制御を行うことが好ましい。   It comprises gaze direction recognizing means for recognizing a human eyeball based on a photographed image by the display surface direction imaging section and calculating a gaze direction, and the display control means is configured such that the gaze direction is recognized by the gaze direction recognizing means. It is preferable to perform control to move the display portion on the display means in the display information only when it is recognized that the screen is facing.

上記した撮像手段は、表示手段による略表示面方向を撮影する表示面方向撮像部を少なくとも含み、上記した表示面方向撮像部による撮影画像に基づいて人の顔を認識する顔認識手段と、上記した顔認識手段により認識された顔までの装置筐体からの距離を測定する対人距離測定手段とを備え、上記した表示制御手段は、対人距離測定手段により測定される距離に応じて、距離が近くなる毎に表示倍率を拡大し、距離が遠くなる毎に表示倍率を縮小することであってもよい。   The imaging means described above includes at least a display surface direction imaging unit that captures an approximate display surface direction by the display means, and a face recognition unit that recognizes a human face based on an image captured by the display surface direction imaging unit, Interpersonal distance measuring means for measuring the distance from the apparatus housing to the face recognized by the face recognition means, and the display control means described above has a distance according to the distance measured by the interpersonal distance measuring means. The display magnification may be increased every time the distance is closer, and the display magnification may be reduced every time the distance is longer.

表示用情報における表示手段での表示部分を移動させる制御を一時的に停止させる停止命令入力手段を備え、上記した停止命令入力手段からの入力が行われていることが検知されている間、表示制御手段は、表示用情報における表示手段での表示部分を移動させる制御を一時的に停止することが好ましい。   A stop command input means for temporarily stopping the control for moving the display portion on the display means in the display information is displayed, while the input from the stop command input means is detected. It is preferable that the control means temporarily stops the control for moving the display portion on the display means in the display information.

以上のように、本発明によれば、装置筐体とは別個の操作部を必ずしも必要としない携帯表示装置について、加速度の検出だけでは筐体移動による表示制御が正確にできない状況であっても、筐体移動により表示内容の操作を正確に行うことができ、かつ、インタフェースを意識させることのない自然な操作感で表示内容の操作ができるようになる。   As described above, according to the present invention, even with respect to a portable display device that does not necessarily require an operation unit separate from the device housing, display control by moving the housing cannot be accurately performed only by detecting the acceleration. The display contents can be accurately manipulated by moving the casing, and the display contents can be manipulated with a natural feeling without making the interface conscious.

次に、本発明に係る携帯表示装置を適用した一実施形態について、図面を用いて詳細に説明する。
まず、本発明の各実施形態に共通する特徴について説明する。 Next, an embodiment to which a portable display device according to the present invention is applied will be described in detail with reference to the drawings.
First, features common to the embodiments of the present invention will be described.

本発明の各実施形態としての携帯表示装置は、仮想的なイメージの一部を切り出して表示している本装置の装置筐体を、操作者が移動させることにより、装置の表示部が切り出しているイメージをその移動内容に応じて変更する機能を有するものである。
このことにより、自然界の動きと近い動作により操作者が全体イメージを自由に閲覧することができるようになっている。 In the portable display device as each embodiment of the present invention, the display unit of the device is cut out by the operator moving the device housing of the device that is cutting out and displaying a part of the virtual image. It has a function of changing the existing image according to the movement content.
As a result, the operator can freely view the entire image by an operation close to that of the natural world.

上述した機能を実現するため、本発明の各実施形態では、加速度センサによる移動加速度情報に加えて、カメラによる撮影画像情報もしくは超音波センサによる位置情報といった追加の補正情報を得る構成とすることで、装置筐体の移動内容（移動量および移動方向）をより正確に把握できるようにし、適切な表示制御を行うことができるようにしている。   In order to realize the above-described function, each embodiment of the present invention is configured to obtain additional correction information such as captured image information from a camera or position information from an ultrasonic sensor in addition to movement acceleration information from an acceleration sensor. Thus, the movement contents (movement amount and movement direction) of the apparatus housing can be grasped more accurately, and appropriate display control can be performed.

〔第１の実施形態〕
次に、本発明の第１の実施形態としての携帯表示装置について説明する。
本実施形態としての携帯表示装置は、図１に示すように、装置筐体の移動における加速度および移動方向を３次元的変位として計測する加速度計測部１と、表示部５の表示面方向以外の方向（例えばその反対方向など）の画像を撮影する外側用カメラ部（外側方向撮影部）２１と、移動量演算部３と、表示制御部４と、表示部５とを備える。 [First Embodiment]
Next, a portable display device as a first embodiment of the present invention will be described.
As shown in FIG. 1, the portable display device according to the present embodiment includes an acceleration measurement unit 1 that measures the acceleration and movement direction in movement of the device housing as a three-dimensional displacement, and a direction other than the display surface direction of the display unit 5. An outside camera unit (outside direction imaging unit) 21 that captures an image in a direction (for example, the opposite direction), a movement amount calculation unit 3, a display control unit 4, and a display unit 5 are provided.

加速度計測部１は、加速度センサを備え、その加速度センサにより加速度の大きさや移動の３次元的方向、回転角速度、回転方向などを計測する。
移動量演算部３は、本携帯表示装置に何らかの移動が行われた場合に、加速度計測部１による計測結果と外側用カメラ部２１による撮影画像とに基づいて、移動方向、移動距離、回転方向、回転角度といった装置筐体の３次元的変位量を算出する。
表示制御部４は、こうして算出された３次元的変位量に基づいて、表示部５により表示する表示内容を制御する。 The acceleration measuring unit 1 includes an acceleration sensor, and measures the magnitude of acceleration, the three-dimensional direction of movement, the rotation angular velocity, the rotation direction, and the like using the acceleration sensor.
When some movement is performed on the portable display device, the movement amount calculation unit 3 is based on the measurement result by the acceleration measurement unit 1 and the photographed image by the outer camera unit 21, the movement direction, the movement distance, and the rotation direction. The three-dimensional displacement amount of the apparatus housing such as the rotation angle is calculated.
The display control unit 4 controls the display content displayed by the display unit 5 based on the three-dimensional displacement amount thus calculated.

本実施形態の携帯表示装置は、上述した構成を装置筐体内部に備えることにより、装置筐体の移動によって表示内容の操作を行うことができるため、「装置筐体とは別個の操作部を必ずしも必要としない携帯表示装置」となっている。
なお、ここでの「装置筐体内部に備える」とは、本実施形態に係る携帯表示装置が、例えばヒンジ部を介して２つの筐体が回動可能に連結された構成など、複数の装置筐体が接続されてなる構成である場合、その何れかの筐体内部に設けられる場合を含むものとする。 Since the portable display device of the present embodiment has the above-described configuration inside the device housing, the display content can be operated by moving the device housing. It is a “portable display device that is not necessarily required”.
Here, “provided inside the apparatus casing” means that the portable display device according to the present embodiment includes a plurality of apparatuses such as a structure in which two casings are rotatably connected via a hinge portion. In the case of a configuration in which a case is connected, the case where the case is provided inside any one of the cases is included.

次に、本実施形態の携帯表示装置の動作について、図２のフローチャートを参照して説明する。
ここでは、操作者が本携帯表示装置により地図を見ようとしていると仮定して説明する。 Next, the operation of the portable display device of this embodiment will be described with reference to the flowchart of FIG.
Here, description will be made on the assumption that the operator is going to view the map with the portable display device.

例えば東京駅周辺が表示部５に表示されているとして、これを御茶ノ水方面にしたい場合に、操作者は左側（地図の西側）に装置筐体ごと移動させる。こうして装置筐体が移動させられると、この移動の加速度および３次元的方向を加速度計測部１が検知する（ステップＳ１）。   For example, assuming that the area around Tokyo Station is displayed on the display unit 5, when the operator wants to make it the Ochanomizu direction, the operator moves the entire device housing to the left side (west side of the map). When the apparatus casing is moved in this way, the acceleration measuring unit 1 detects the acceleration and three-dimensional direction of the movement (step S1).

ここで、地図表示状態では外側用カメラ部２１が装置周囲の環境情報を撮影画像により取得しており、移動量演算部３は、加速度計測部１による計測結果と、外側用カメラ部２１による撮影画像とに基づいて、移動方向、移動距離、回転方向、回転角度といった装置筐体の３次元的変位量を算出する（ステップＳ２）。   Here, in the map display state, the outer camera unit 21 acquires environment information around the apparatus from the captured image, and the movement amount calculation unit 3 captures the measurement result by the acceleration measuring unit 1 and the outer camera unit 21. Based on the image, a three-dimensional displacement amount of the apparatus housing such as a movement direction, a movement distance, a rotation direction, and a rotation angle is calculated (step S2).

このステップＳ２の動作をより詳述すると、上述した外側用カメラ部２１に映る画像は、表示部５に表示するためのものではなく、加速度センサを用いた３次元的変位量の演算を補正する目的で内部処理として取得する画像である。
ここで外側用カメラ部２１は、表示部５を見ている操作者と反対方向を向いているため、本携帯表示装置を操作する操作者をとりまく環境を撮影している。
移動量演算部３は、この撮影画像の中で予め定められた数のサンプル点（例えば、角の４点と中心の１点の合計５点）をとり、これらサンプル点が画像の中でどの方向に移動したかを演算することで、外側用カメラ部２１自身と周囲の環境の相対位置の変化量、すなわち装置筐体の３次元的変位量を算出する補助情報としてその演算結果を用いる。 The operation in step S2 will be described in more detail. The image displayed on the outer camera unit 21 described above is not displayed on the display unit 5, but corrects the calculation of the three-dimensional displacement amount using the acceleration sensor. It is an image acquired as an internal process for the purpose.
Here, since the outer camera unit 21 faces in the opposite direction to the operator looking at the display unit 5, it captures an environment surrounding the operator who operates the portable display device.
The movement amount calculation unit 3 takes a predetermined number of sample points in this captured image (for example, a total of five points including four corner points and one central point). By calculating whether it has moved in the direction, the calculation result is used as auxiliary information for calculating the amount of change in the relative position of the outer camera unit 21 itself and the surrounding environment, that is, the three-dimensional displacement of the apparatus housing.

さらに、外側用カメラ部２１にオートフォーカス機能を設け、そのオートフォーカス機能によりサンプル点までの距離を計測することで、各サンプル点に対して外側用カメラ部２１がどのように移動しているのかをより的確に演算することができる。   Furthermore, the outer camera unit 21 is provided with an autofocus function, and by measuring the distance to the sample point by the autofocus function, how the outer camera unit 21 moves with respect to each sample point. Can be calculated more accurately.

こうした外側用カメラ部２１による撮影画像を用いた３次元的変位量演算により、例えばサンプル点が全て同じ挙動をした（画像上同じ方向に移動した）場合、環境が移動した（例えば、目の前をバスが走りぬけ、サンプル点が全てバスの側面上にあった場合など）のか、カメラが静止系の中で移動したのかといった判別をより高精度に行うことができる。   When the sample points all behave in the same manner (moved in the same direction on the image) by the three-dimensional displacement amount calculation using the photographed image by the outer camera unit 21, the environment has moved (for example, in front of the eyes). Or if the sample points are all on the side of the bus) or whether the camera has moved in the stationary system.

こうして移動量演算部３が、加速度計測部１による計測結果と、外側用カメラ部２１による撮影画像とを互いに補正するように用い、装置筐体の３次元的変位量を算出することにより、装置筐体の３次元的変位量がより的確に算出されることとなる。
こうして装置筐体の３次元的変位量から、移動量演算部３が表示部５に表示される地図の表示位置の移動量および移動方向を算出し、表示制御部４は、その移動量および移動方向に応じて、表示部５に表示される地図の表示位置をスクロールして移動させる（ステップＳ３）。 Thus, the movement amount calculation unit 3 uses the measurement result by the acceleration measurement unit 1 and the photographed image by the outer camera unit 21 so as to correct each other, thereby calculating the three-dimensional displacement amount of the device casing, The three-dimensional displacement amount of the housing is calculated more accurately.
Thus, from the three-dimensional displacement amount of the apparatus housing, the movement amount calculation unit 3 calculates the movement amount and movement direction of the display position of the map displayed on the display unit 5, and the display control unit 4 determines the movement amount and movement. Depending on the direction, the display position of the map displayed on the display unit 5 is scrolled and moved (step S3).

以上のように、本発明の第１の実施形態によれば、操作者が装置筐体を移動させることで、その移動量および移動方向に応じて、表示部５の表示内容をスクロールさせることができる。
このため、インタフェースを意識させることなく、例えば地図を表示させる場合であれば、あたかも穴の開いた紙を地図の上で滑らせているような自然な操作感で表示内容の操作ができるようになる。 As described above, according to the first embodiment of the present invention, the display contents of the display unit 5 can be scrolled according to the amount and direction of movement of the apparatus housing by the operator moving the apparatus housing. it can.
For this reason, for example, when displaying a map without being conscious of the interface, the display contents can be operated with a natural feeling of feeling as if the paper with a hole is slid on the map. Become.

このように、携帯性のために比較的小さな表示部しか有さない携帯表示装置であっても、装置筐体そのものを移動させることで表示内容を操作できるため、操作者が自然界で行う動作との対称性がある動作により直感的に操作を行うことができる。   In this way, even in a portable display device having only a relatively small display portion for portability, the display contents can be operated by moving the device casing itself, and thus the operation performed by the operator in the natural world The operation can be performed intuitively by the operation having the symmetry.

〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。
この第２の実施形態は、上述した第１の実施形態で、加速度計測部１と外側用カメラ部２１との情報に基づいて３次元的変位量を算出しているのに替えて、加速度計測部１と、超音波の発信・受信による距離測定情報とに基づいて算出するようにしたものである。
上述した第１の実施形態と同様のものについては同符号とし、説明を省略する。 [Second Embodiment]
Next, a second embodiment of the present invention will be described.
This second embodiment is an acceleration measurement instead of calculating the three-dimensional displacement based on the information of the acceleration measurement unit 1 and the outer camera unit 21 in the first embodiment described above. This is calculated based on the unit 1 and distance measurement information by transmission / reception of ultrasonic waves.
Components similar to those in the first embodiment described above are denoted by the same reference numerals, and description thereof is omitted.

第２の実施形態としての携帯表示装置は、図３に示すように、加速度計測部１と、移動量演算部３と、表示制御部４と、表示部５と、測距用の超音波を予め定められた方向に発信する超音波発信部６１と、発信された超音波を受信する超音波受信部６２とを備える。   As shown in FIG. 3, the portable display device as the second embodiment includes an acceleration measurement unit 1, a movement amount calculation unit 3, a display control unit 4, a display unit 5, and ultrasonic waves for ranging. An ultrasonic transmission unit 61 that transmits in a predetermined direction and an ultrasonic reception unit 62 that receives the transmitted ultrasonic waves are provided.

超音波発信部６１および超音波受信部６２は、例えば装置筐体から左右の壁との間の距離など、表示部５による表示面方向以外の予め定められた方向における存在物との距離を測定する距離測定手段として機能する。この超音波を用いた距離測定方法は公知のものであってよい。また、予め定められた方向との距離測定であれば、各種の方向、各種の距離分析アルゴリズムを用いてよい。   The ultrasonic transmission unit 61 and the ultrasonic reception unit 62 measure a distance from an entity in a predetermined direction other than the display surface direction by the display unit 5, such as a distance between the apparatus housing and the left and right walls, for example. Functions as a distance measuring means. This distance measuring method using ultrasonic waves may be a known method. Further, as long as the distance is measured with a predetermined direction, various directions and various distance analysis algorithms may be used.

次に、第２の実施形態としての携帯表示装置による動作について説明する。
この第２の実施形態による動作は、上述した第１の実施形態での動作におけるステップＳ２が、外側用カメラ部２１による撮影画像を用いて演算するのに替えて、超音波発信部６１および超音波受信部６２により測定された距離情報を用いて演算する動作となる。 Next, the operation of the portable display device as the second embodiment will be described.
The operation according to the second embodiment is different from the operation according to the first embodiment described above in which step S2 is calculated using an image captured by the outer camera unit 21, and the ultrasonic transmission unit 61 and the ultrasonic The operation is performed using the distance information measured by the sound wave receiving unit 62.

すなわち、例えば地図などを表示している状態では、超音波発信部６１および超音波受信部６２が装置周囲の存在物との距離を周辺環境情報として取得しており、移動量演算部３は、加速度計測部１による計測結果と、超音波発信部６１および超音波受信部６２による距離測定結果とに基づいて、移動方向、移動距離、回転方向、回転角度といった装置筐体の３次元的変位量を算出する。   That is, for example, in a state where a map or the like is displayed, the ultrasonic transmission unit 61 and the ultrasonic reception unit 62 acquire the distance from the surroundings of the apparatus as the surrounding environment information, and the movement amount calculation unit 3 Based on the measurement result by the acceleration measurement unit 1 and the distance measurement result by the ultrasonic wave transmission unit 61 and the ultrasonic wave reception unit 62, the three-dimensional displacement amount of the apparatus housing such as the movement direction, the movement distance, the rotation direction, and the rotation angle. Is calculated.

この超音波発信部６１および超音波受信部６２による距離測定結果を用いた３次元的変位演算は、特に、無人バスのように、観察者の周りの環境は変化しない（人が立ったり座ったりしない、また、人が近くを歩いて通ったりしない）状況で、加速度系にある状態で、最も効果的に機能させることができる。
すなわち、加速度計測部１により計測される加速度や方向の情報に加えて、左右の壁面との位置関係の変化を加えることにより、移動する車両の中であっても、車両の移動による加速度で誤動作を起こすことなく、操作者の操作意図に応じた表示内容の制御を行うことができる。 In the three-dimensional displacement calculation using the distance measurement results by the ultrasonic transmission unit 61 and the ultrasonic reception unit 62, the environment around the observer does not change particularly like an unmanned bus (a person stands or sits down). It is possible to function most effectively in the state of the acceleration system in a situation where no person walks or walks nearby).
In other words, in addition to the acceleration and direction information measured by the acceleration measuring unit 1, the positional relationship between the left and right wall surfaces is changed, so that even in a moving vehicle, malfunction occurs due to the acceleration due to the movement of the vehicle. It is possible to control the display contents according to the operator's operation intention without causing any trouble.

以上のように、本発明の第２の実施形態によれば、上述した第１の実施形態と同様に、操作者が装置筐体を移動させることで、その移動量および移動方向に応じて、インタフェースを意識させることなく表示部５の表示内容をスクロールさせることができる。   As described above, according to the second embodiment of the present invention, in the same manner as in the first embodiment described above, the operator moves the apparatus housing, and according to the movement amount and the movement direction, The display content of the display unit 5 can be scrolled without being conscious of the interface.

さらに、超音波発信部６１および超音波受信部６２により超音波を用いた距離測定を行うため、装置筐体から周辺存在物までの距離を暗所においても認識可能であり、装置周辺の明暗にかかわらず、加速度計測部１による計測結果に加えて装置外部の存在物の移動状態を認識することができ、より高精度な３次元的変位量の算出ができる。   Furthermore, since the ultrasonic transmitter 61 and the ultrasonic receiver 62 perform ultrasonic distance measurement, it is possible to recognize the distance from the device casing to the surrounding entity even in a dark place, and to adjust the brightness of the periphery of the device. Regardless of the measurement result obtained by the acceleration measuring unit 1, it is possible to recognize the moving state of the entity outside the apparatus, and to calculate the three-dimensional displacement amount with higher accuracy.

なお、上述した第２の実施形態は、上述した第１の実施形態における外側用カメラ部２１に替えて超音波発信部６１および超音波受信部６２を備える構成として説明したが、例えば図４に示すように、超音波発信部６１および超音波受信部６２に加えて上述した外側用カメラ部２１をさらに備え、その撮影画像をさらに加えて３次元的変位の算出を行う構成であってもよい。
この構成によれば、加速度計測部１による計測結果に加え、外側用カメラ部２１による撮影画像と、超音波発信部６１および超音波受信部６２による距離測定結果とを用いて装置筐体の３次元的変位量を演算することができるため、装置筐体の移動に応じた表示内容のスクロールをさらに正確に行うことができるようになる。 In addition, although 2nd Embodiment mentioned above was demonstrated as a structure provided with the ultrasonic transmission part 61 and the ultrasonic receiving part 62 instead of the outer side camera part 21 in 1st Embodiment mentioned above, for example in FIG. As shown, the outer camera unit 21 described above may be further provided in addition to the ultrasonic transmission unit 61 and the ultrasonic reception unit 62, and the captured image may be further added to calculate the three-dimensional displacement. .
According to this configuration, in addition to the measurement result by the acceleration measurement unit 1, the apparatus housing 3 is used by using the photographed image by the outer camera unit 21 and the distance measurement result by the ultrasonic transmission unit 61 and the ultrasonic reception unit 62. Since the dimensional displacement amount can be calculated, the display content can be scrolled more accurately according to the movement of the apparatus housing.

〔第３の実施形態〕
次に、本発明の第３の実施形態について説明する。
この第３の実施形態は、上述した第１、第２の実施形態の構成に加えて、内側用カメラ部２２をさらに備えることで、装置筐体の移動に応じた表示内容スクロールをより正確に、誤動作なく行うことができるようにしたものである。
上述した第１、第２の実施形態と同様のものについては同符号とし、説明を省略する。 [Third Embodiment]
Next, a third embodiment of the present invention will be described.
In addition to the configurations of the first and second embodiments described above, the third embodiment further includes an inner camera unit 22 so that display content scrolling according to the movement of the apparatus housing can be performed more accurately. It can be performed without malfunction.
Components similar to those in the first and second embodiments described above are denoted by the same reference numerals, and description thereof is omitted.

第３の実施形態としての携帯表示装置は、図５に示すように、加速度計測部１と、外側用カメラ部２１と、表示部５による略表示面方向を撮影する内側用カメラ部（表示面方向撮像部）２２と、移動量演算部３と、表示制御部４と、表示部５と、内側用カメラ部２２による撮影画像中の顔を認識する顔認識部７とを備える。
内側用カメラ部２２は、上述のように略表示面方向を向いていることで、操作者の方向を撮影する操作者方向撮影手段として機能する。
撮影画像からの顔認識の方法は公知の方法を用いてよい。 As shown in FIG. 5, the portable display device according to the third embodiment includes an acceleration measurement unit 1, an outer camera unit 21, and an inner camera unit (display surface) that captures the approximate display surface direction of the display unit 5. Direction imaging unit) 22, movement amount calculation unit 3, display control unit 4, display unit 5, and face recognition unit 7 for recognizing a face in a captured image by the inner camera unit 22.
The inner camera unit 22 functions as an operator direction photographing unit that photographs the direction of the operator by facing substantially the display surface direction as described above.
A known method may be used as a method for recognizing a face from a captured image.

次に、第３の実施形態としての携帯表示装置による動作について説明する。
表示部５による画面表示がＯＮである時には内側用カメラ部２２が常時、表示部５による表示面方向を撮影し、顔認識部７がその撮影画像中の顔を認識する。
そして、加速度センサが移動を検知した場合、加速度計測部１による計測結果に加え、外側用カメラ部２１による撮影画像と、内側用カメラ部２２による撮影画像とを用いて装置筐体の３次元的変位量を演算し、筐体移動に応じた表示内容スクロールを行う。 Next, the operation of the portable display device as the third embodiment will be described.
When the screen display by the display unit 5 is ON, the inner camera unit 22 always captures the direction of the display surface by the display unit 5, and the face recognition unit 7 recognizes the face in the captured image.
When the acceleration sensor detects a movement, in addition to the measurement result by the acceleration measuring unit 1, the three-dimensional image of the apparatus housing is used by using a photographed image by the outer camera unit 21 and a photographed image by the inner camera unit 22. The amount of displacement is calculated, and the display contents are scrolled according to the movement of the casing.

ここで、外側用カメラ部２１のみでは、周囲が静止系でないとカメラの移動を正確に認識しにくくなる場合が考えられるが、内側用カメラ部２２による撮影画像では、操作者を写しているため、顔認識部７により認識される顔や、その下方にある操作者の服がどのように画像上を移動するかを捉えることができ、本携帯表示装置と操作者との相対位置の変化をより正確に認識することができる。   Here, there may be a case where it is difficult to accurately recognize the movement of the camera if only the outer camera unit 21 is not a stationary system, but the photographed image by the inner camera unit 22 shows the operator. It is possible to grasp how the face recognized by the face recognition unit 7 and the operator's clothes below it move on the image, and change the relative position between the portable display device and the operator. It can be recognized more accurately.

すなわち、この筐体移動に応じた表示内容スクロールを正確に行うためには、本携帯表示装置が操作者に対してどのような相対位置関係にあるかを正確に認識することが課題となる。
例えば操作者がバスに乗った状態で本携帯表示装置を操作しようとしており、そのバスが発車した場合、加速度計測部１は本携帯表示装置が移動したことを加速度として計測することとなる。しかし、内側用カメラ部２２は操作者の画像を撮影しているため、その撮影画像から本携帯表示装置と操作者との間の相対位置が変化していないと移動量演算部３が認識すれば、移動量演算部３の制御により、表示部５の表示内容はスクロールされないこととなる。 In other words, in order to accurately perform the display content scrolling according to the movement of the housing, it is necessary to accurately recognize the relative positional relationship of the portable display device with respect to the operator.
For example, when the operator tries to operate the portable display device in a state of getting on the bus and the bus departs, the acceleration measuring unit 1 measures the movement of the portable display device as acceleration. However, since the inner camera unit 22 captures an image of the operator, the movement amount calculation unit 3 recognizes that the relative position between the portable display device and the operator has not changed from the captured image. For example, the display content of the display unit 5 is not scrolled by the control of the movement amount calculation unit 3.

以上のように、本発明の第３の実施形態によれば、撮像手段として、周辺撮影用（外側用カメラ部２１）と、操作者撮影用（内側用カメラ部２２）との少なくとも２つを備え、加速度計測部１による計測結果に加え、外側用カメラ部２１による撮影画像と、内側用カメラ部２２による撮影画像とを用いて装置筐体の３次元的変位量を演算するため、装置筐体の移動に応じた表示内容スクロールをより正確に行うことができる。   As described above, according to the third embodiment of the present invention, at least two of the peripheral photographing (outside camera unit 21) and the operator photographing (inside camera unit 22) are used as imaging means. And a three-dimensional displacement amount of the apparatus housing is calculated using a photographed image by the outer camera section 21 and a photographed image by the inner camera section 22 in addition to the measurement result by the acceleration measuring section 1. It is possible to perform display content scrolling more accurately according to the movement of the body.

なお、上述した第３の実施形態では、図５に示すように、撮像手段として外側用カメラ部２１と内側用カメラ部２２とを備える構成として説明したが、外側用カメラ部２１に替えて、第２の実施形態で上述した超音波発信部６１および超音波受信部６２を備える構成であってもよい。この場合、移動量演算部３は、加速度計測部１による計測結果に加え、内側用カメラ部２２による撮影画像と、超音波発信部６１および超音波受信部６２による距離測定結果とを用いて装置筐体の３次元的変位量を演算することとなる。
また、撮像手段として外側用カメラ部２１と内側用カメラ部２２とを備えると共に、超音波発信部６１および超音波受信部６２を備える構成であってもよい。この場合、移動量演算部３は、加速度計測部１による計測結果に加え、外側用カメラ部２１による撮影画像と、内側用カメラ部２２による撮影画像と、超音波発信部６１および超音波受信部６２による距離測定結果とを用いて装置筐体の３次元的変位量を演算することとなる。
この構成によれば、さらに的確な３次元的変位量を算出し、装置筐体の移動に応じた表示内容のスクロールをさらに正確に行うことができるようになる。 In the above-described third embodiment, as illustrated in FIG. 5, the configuration including the outer camera unit 21 and the inner camera unit 22 as the imaging unit has been described, but instead of the outer camera unit 21, The structure provided with the ultrasonic transmission part 61 and the ultrasonic reception part 62 which were mentioned in 2nd Embodiment may be sufficient. In this case, the movement amount calculation unit 3 uses the captured image by the inner camera unit 22 and the distance measurement results by the ultrasonic transmission unit 61 and the ultrasonic reception unit 62 in addition to the measurement result by the acceleration measurement unit 1. The three-dimensional displacement amount of the housing is calculated.
Moreover, while providing the outer side camera part 21 and the inner side camera part 22 as an imaging means, the structure provided with the ultrasonic transmission part 61 and the ultrasonic reception part 62 may be sufficient. In this case, in addition to the measurement result by the acceleration measurement unit 1, the movement amount calculation unit 3 includes a captured image by the outer camera unit 21, a captured image by the inner camera unit 22, an ultrasonic transmission unit 61, and an ultrasonic reception unit. The three-dimensional displacement amount of the apparatus housing is calculated using the distance measurement result obtained by 62.
According to this configuration, a more accurate three-dimensional displacement amount can be calculated, and display contents can be scrolled more accurately according to the movement of the apparatus housing.

〔第４の実施形態〕
次に、本発明の第４の実施形態について説明する。
この第４の実施形態は、上述した第３の実施形態の構成に加えて、内側用カメラ部２２により撮影される操作者の視線が表示部５の方を向いていると認識されている場合のみ、上述した第３の実施形態による表示内容スクロールを行うようにしたものである。
上述した第１から第３の実施形態と同様のものについては同符号とし、説明を省略する。 [Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described.
In the fourth embodiment, in addition to the configuration of the third embodiment described above, it is recognized that the line of sight of the operator photographed by the inner camera unit 22 is facing the display unit 5. Only the display content scrolling according to the third embodiment described above is performed.
Components similar to those in the first to third embodiments described above are denoted by the same reference numerals, and description thereof is omitted.

第４の実施形態としての携帯表示装置は、図６に示すように、加速度計測部１と、外側用カメラ部２１と、表示部５による略表示面方向を撮影する内側用カメラ部２２と、移動量演算部３と、表示制御部４と、表示部５と、内側用カメラ部２２による撮影画像中の顔を認識する顔認識部７と、顔認識部７により認識された顔の中の眼球の視線方向を認識する視線方向認識部８とを備える。
撮影画像からの顔認識や眼球認識の方法は公知の方法を用いてよい。 As shown in FIG. 6, the portable display device according to the fourth embodiment includes an acceleration measurement unit 1, an outer camera unit 21, an inner camera unit 22 that captures an approximate display surface direction by the display unit 5, The movement amount calculation unit 3, the display control unit 4, the display unit 5, the face recognition unit 7 that recognizes the face in the photographed image by the inner camera unit 22, and the face recognized by the face recognition unit 7 And a line-of-sight direction recognition unit 8 that recognizes the line-of-sight direction of the eyeball.
A known method may be used as a method for face recognition or eyeball recognition from a captured image.

次に、第４の実施形態としての携帯表示装置による動作について説明する。
表示部５による画面表示がＯＮである時には内側用カメラ部２２が常時、表示部５による表示面方向を撮影し、顔認識部７がその撮影画像中の顔を認識する。この顔認識情報に基づいて、操作者の顔の中の眼球の動きを視線方向認識部８が認識し、内側用カメラ部２２と表示部５との位置関係から眼球が表示装置を見ていると視線方向認識部８が認識した場合にのみ、上述した第１、第２の実施形態と同様に装置筐体の移動に応じた表示内容スクロールを行う。 Next, the operation of the portable display device as the fourth embodiment will be described.
When the screen display by the display unit 5 is ON, the inner camera unit 22 always captures the direction of the display surface by the display unit 5, and the face recognition unit 7 recognizes the face in the captured image. Based on this face recognition information, the eye direction recognition unit 8 recognizes the movement of the eyeball in the face of the operator, and the eyeball looks at the display device from the positional relationship between the inner camera unit 22 and the display unit 5. Only when the line-of-sight direction recognizing unit 8 recognizes, the display content scrolling according to the movement of the apparatus housing is performed in the same manner as in the first and second embodiments described above.

以上のように、本発明の第４の実施形態によれば、撮像手段として、周辺撮影用（外側用カメラ部２１）と、操作者撮影用（内側用カメラ部２２）との少なくとも２つを備え、その内側用カメラ部２２の撮影画像に基づいて眼球の動きを認識することで、本携帯表示装置と操作者との相対位置の変化を認識し、操作者の視線が表示部５の方を向いていると認識されている場合のみ、上述した第３の実施形態による表示内容スクロールを行うようにすることができる。   As described above, according to the fourth embodiment of the present invention, at least two of the peripheral photographing (outside camera unit 21) and the operator photographing (inside camera unit 22) are used as imaging means. And by recognizing the movement of the eyeball based on the image captured by the inner camera unit 22, the change in the relative position between the portable display device and the operator is recognized, and the operator's line of sight is displayed on the display unit 5. The display content scroll according to the third embodiment described above can be performed only when it is recognized that the user is facing the screen.

なお、上述した第４の実施形態では、図６に示すように、操作者の視線が表示部５の方を向いていると認識されている場合に、加速度計測部１による計測結果に加え、外側用カメラ部２１による撮影画像を用いて装置筐体の３次元的変位量を演算する構成として説明したが、上述した第２の実施形態のように、加速度計測部１による計測結果に加え、超音波発信部６１および超音波受信部６２による距離測定結果を用いて装置筐体の３次元的変位量を演算する構成であってもよい。
また、外側用カメラ部２１と、超音波発信部６１および超音波受信部６２とを両方備え、加速度計測部１による計測結果に加え、外側用カメラ部２１による撮影画像と、超音波発信部６１および超音波受信部６２による距離測定結果とを用いて装置筐体の３次元的変位量を演算する構成であってもよい。
この構成によれば、さらに的確な３次元的変位量を算出し、装置筐体の移動に応じた表示内容のスクロールをさらに正確に行うことができるようになる。 In the above-described fourth embodiment, as shown in FIG. 6, when it is recognized that the operator's line of sight is facing the display unit 5, in addition to the measurement result by the acceleration measurement unit 1, Although described as a configuration for calculating the three-dimensional displacement amount of the apparatus housing using the image captured by the outer camera unit 21, in addition to the measurement result by the acceleration measurement unit 1, as in the second embodiment described above, The configuration may be such that the three-dimensional displacement amount of the apparatus housing is calculated using the distance measurement results by the ultrasonic transmission unit 61 and the ultrasonic reception unit 62.
Moreover, both the outer side camera part 21, the ultrasonic transmission part 61, and the ultrasonic reception part 62 are provided, and in addition to the measurement result by the acceleration measurement part 1, the picked-up image by the outer camera part 21, and the ultrasonic transmission part 61 are included. Alternatively, the configuration may be such that the three-dimensional displacement amount of the apparatus housing is calculated using the distance measurement result by the ultrasonic receiving unit 62.
According to this configuration, a more accurate three-dimensional displacement amount can be calculated, and display contents can be scrolled more accurately according to the movement of the apparatus housing.

〔第５の実施形態〕
次に、本発明の第５の実施形態について説明する。
この第５の実施形態は、上述した第１から第４の実施形態の機能に加え、操作者が本携帯表示装置に対して顔を近づけたり離したりすることで、画面表示を拡大／縮小できるようにしたものである。
上述した第１から第４の実施形態と共通するものについては同符号とし、説明を省略する。 [Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described.
In the fifth embodiment, in addition to the functions of the first to fourth embodiments described above, the screen display can be enlarged / reduced by the operator bringing his / her face close to or away from the portable display device. It is what I did.
Components common to the first to fourth embodiments described above are denoted by the same reference numerals, and description thereof is omitted.

第５の実施形態としての携帯表示装置は、図７に示すように、加速度計測部１と、外側用カメラ部２１と、内側用カメラ部２２と、移動量演算部３と、表示制御部４と、表示部５と、内側用カメラ部２２による撮影画像中の顔を認識する顔認識部７と、内側用カメラ部２２による撮影結果に基づいて画面表示の拡大／縮小処理を行わせる拡大／縮小ボタン（拡大／縮小命令入力手段）９１とを備える。   As shown in FIG. 7, the portable display device according to the fifth embodiment includes an acceleration measurement unit 1, an outer camera unit 21, an inner camera unit 22, a movement amount calculation unit 3, and a display control unit 4. A display unit 5, a face recognition unit 7 for recognizing a face in a captured image by the inner camera unit 22, and an enlargement / reduction process for performing an enlargement / reduction process of the screen display based on a result of photographing by the inner camera unit 22. A reduction button (enlargement / reduction command input means) 91.

次に、第５の実施形態としての携帯表示装置による動作について説明する。
表示部５による画面表示がＯＮである状態で、操作者により拡大／縮小ボタン９１が押下されると、内側用カメラ部２２による表示面方向の撮影画像から、顔認識部７が顔を認識し、その顔に内側用カメラ部２２のフォーカスを合わせることにより、内側用カメラ部２２から操作者の顔までの距離を移動量演算部３が認識する（対人距離測定手段）。 Next, the operation of the portable display device as the fifth embodiment will be described.
When the enlargement / reduction button 91 is pressed by the operator while the screen display by the display unit 5 is ON, the face recognition unit 7 recognizes the face from the captured image in the display surface direction by the inner camera unit 22. The movement amount calculation unit 3 recognizes the distance from the inner camera unit 22 to the operator's face by focusing the inner camera unit 22 on the face (interpersonal distance measuring means).

こうして、拡大／縮小ボタン９１が押下されている間、内側用カメラ部２２から操作者の顔までの距離情報が取得され、その内側用カメラ部２２から操作者の顔までの距離が近くなったと認識されると、距離の減少量に応じて表示制御部４は画面表示を拡大する。すなわち、画面の表示倍率を大きくするよう制御する。
また、内側用カメラ部２２から操作者の顔までの距離が遠くなったと認識されると、距離の増加量に応じて表示制御部４は画面表示を縮小する。すなわち、画面の表示倍率を小さくするよう制御する。 Thus, while the enlargement / reduction button 91 is pressed, the distance information from the inner camera unit 22 to the operator's face is acquired, and the distance from the inner camera unit 22 to the operator's face has become shorter. When recognized, the display control unit 4 enlarges the screen display according to the amount of decrease in distance. That is, control is performed to increase the display magnification of the screen.
When it is recognized that the distance from the inner camera unit 22 to the operator's face has increased, the display control unit 4 reduces the screen display in accordance with the amount of increase in the distance. That is, control is performed to reduce the display magnification of the screen.

ここで操作者が拡大／縮小ボタン９１の押下を止めると、上述した表示内容の拡大／縮小制御は停止され、拡大／縮小ボタン９１が押下されなくなった時点での画面表示倍率で画面表示が続けられることとなる。
換言すれば、上述した表示内容の拡大／縮小制御は、拡大／縮小ボタン９１が押下されている間のみ行われる。 When the operator stops pressing the enlargement / reduction button 91, the display content enlargement / reduction control described above is stopped, and the screen display continues at the screen display magnification when the enlargement / reduction button 91 is no longer pressed. Will be.
In other words, the above-described display content enlargement / reduction control is performed only while the enlargement / reduction button 91 is pressed.

以上のように、本発明の第５の実施形態によれば、操作者が拡大／縮小ボタン９１を押下した状態で本携帯表示装置を顔に近づけた場合、その近づけた距離に応じて画面表示の表示倍率が拡大され、操作者が拡大／縮小ボタン９１を押下した状態で本携帯表示装置を顔から遠ざけた場合、その遠ざけた距離に応じて画面表示の表示倍率が縮小されるように表示制御することができる。   As described above, according to the fifth embodiment of the present invention, when the portable display device is brought close to the face while the operator presses the enlargement / reduction button 91, screen display is performed according to the approached distance. When the portable display device is moved away from the face with the operator pressing the enlarge / reduce button 91, the display magnification of the screen display is reduced according to the distance. Can be controlled.

なお、上述した第５の実施形態では、本携帯表示装置と操作者の顔との間の距離を、内側用カメラ部２２のピント合わせにより測定することとして説明したが、顔認識部７により認識された顔との間の距離を測定することができれば測定方法はこのものに限定されず、例えば超音波発振器および受信機の組み合わせによって測定する方法などであってもよい。   In the above-described fifth embodiment, the distance between the portable display device and the operator's face has been described as being measured by focusing the inner camera unit 22. However, the face recognition unit 7 recognizes the distance. The measurement method is not limited to this as long as the distance between the face and the measured face can be measured. For example, a measurement method using a combination of an ultrasonic oscillator and a receiver may be used.

〔第６の実施形態〕
次に、本発明の第６の実施形態について説明する。
この第６の実施形態は、上述した第１の実施形態の機能に加え、表示移動ボタン９２を備え、画面表示内容を大きく移動させやすくする機能を備えたものである。
上述した第１から第５の実施形態と共通するものについては同符号とし、説明を省略する。 [Sixth Embodiment]
Next, a sixth embodiment of the present invention will be described.
In the sixth embodiment, in addition to the functions of the first embodiment described above, a display movement button 92 is provided, which has a function of easily moving the screen display contents greatly.
Components common to the first to fifth embodiments described above are denoted by the same reference numerals, and description thereof is omitted.

第６の実施形態としての携帯表示装置は、図８に示すように、加速度計測部１と、外側用カメラ部２１と、移動量演算部３と、表示制御部４と、表示部５と、押下されている間だけ画面スクロール機能をＯＦＦにさせる表示移動ボタン（停止命令入力手段）９２とを備える。   As shown in FIG. 8, the portable display device as the sixth embodiment includes an acceleration measurement unit 1, an outer camera unit 21, a movement amount calculation unit 3, a display control unit 4, a display unit 5, A display movement button (stop command input means) 92 that turns off the screen scroll function only while being pressed is provided.

次に、第６の実施形態としての携帯表示装置による動作について説明する。
上述した第１の実施形態と同様の機能により、表示部５での画面表示がＯＮである状態で操作者が装置筐体を移動させると、その移動量および移動方向に応じて、表示部５の表示内容がスクロールされる。
ここで、操作者が表示移動ボタン９２を押下すると、その押下されている間のみ、表示制御部４は表示部５での表示内容スクロールを停止する。 Next, the operation of the portable display device as the sixth embodiment will be described.
When the operator moves the apparatus housing in a state where the screen display on the display unit 5 is ON by the same function as that of the first embodiment described above, the display unit 5 depends on the movement amount and the moving direction. The display content of is scrolled.
Here, when the operator presses the display movement button 92, the display control unit 4 stops scrolling the display content on the display unit 5 only while the button is pressed.

次に、本実施形態の動作について、具体例を用いて説明する。
例えば操作者が本携帯表示装置で東京駅周辺の地図を表示させているとすると、東京駅から次に八王子駅を見るためには、かなり装置を左に移動させる必要がある。この場合、操作者が表示移動ボタン９２を押下して本携帯表示装置を右に移動させると、装置の位置は右にずれるが、表示内容、すなわち表示される位置（ここでは東京駅周辺）はそのままとなる。その後、表示移動ボタン９２の押下を止めて、本携帯表示装置を左に移動させると、かなり地図上の西側に表示位置を移動させることができる。 Next, the operation of this embodiment will be described using a specific example.
For example, if the operator is displaying a map around Tokyo Station on the portable display device, it is necessary to move the device considerably to the left in order to see Hachioji Station next from Tokyo Station. In this case, when the operator depresses the display movement button 92 and moves the portable display device to the right, the position of the device shifts to the right, but the display content, that is, the displayed position (here, around Tokyo Station) is It will remain as it is. After that, if the user presses the display movement button 92 and moves the portable display device to the left, the display position can be moved considerably to the west on the map.

このことにより、操作者の手の長さの範囲という限られた操作範囲の中で、その範囲を超える、またはその範囲の大部分を使用してしまう移動先に対しても、簡単に表示位置を移動させることができる。
また、本携帯表示装置を移動させることで表示位置を移動させ、そのことにより本携帯表示装置が操作者の正面から離れたところに行ってしまう場合であっても、その表示位置で操作者が表示移動ボタン９２を押下し、表示内容を固定させて（スクロール機能を停止させて）本携帯表示装置を移動させることで、所望の表示内容となった本携帯表示装置を操作者の正面に持ってくることができる。 As a result, the display position can be easily displayed even for destinations that exceed the range of the operator's hand or that use most of the range within the limited range of the operator's hand. Can be moved.
In addition, even if the portable display device is moved away from the front of the operator by moving the portable display device, the operator can move at the display position. By pressing the display movement button 92 and fixing the display contents (stopping the scroll function) and moving the portable display device, the portable display device having the desired display contents is held in front of the operator. Can come.

以上のように、本発明の第６の実施形態によれば、上述した第１の実施形態と同様の機能により表示内容をスクロールさせることができると共に、操作者が表示移動ボタン９２を押下することで、ちょうど、地図を握って移動させるような操作感で本携帯表示装置を移動させることができる。
このため、例えば、現在表示されている内容を中心にして見たいと思った場合、その部分をつかんで目の前に持ってくるイメージで、表示移動ボタン９２を押下し、表示内容をスクロールさせずに、操作者の正面に持ってくることができる。 As described above, according to the sixth embodiment of the present invention, the display content can be scrolled by the same function as in the first embodiment described above, and the operator presses the display movement button 92. Thus, the portable display device can be moved just like an operation feeling by holding the map and moving it.
For this reason, for example, if you want to see the current displayed content as the center, grab that part and bring it to your eyes, press the display move button 92, and scroll the displayed content. Without bringing it in front of the operator.

このように、上述した第１の実施形態での表示内容スクロールと、表示移動ボタン９２による一時的なスクロール停止機能とを併せ持つことで、表示部５に表示される仮想的なイメージを手で触れて操作するような感覚とすることができ、操作者はより直感的に操作することができるようになる。   As described above, the display content scroll in the first embodiment described above and the temporary scroll stop function by the display movement button 92 are combined, so that a virtual image displayed on the display unit 5 is touched by hand. The operator can operate more intuitively.

なお、上述した第６の実施形態では、上述した第１の実施形態に表示移動ボタン９２を加えた構成として説明したが、この構成に限定されず、第１から第５の何れの実施形態に対しても同様に、表示移動ボタン９２を加えた構成として実現することができる。
例えば上述した第４の実施形態に表示移動ボタン９２を加えた場合、表示移動ボタン９２が押下されている間は操作者の眼球の動きや視線方向に関わらず、スクロール機能を停止させることとなる。 In the sixth embodiment described above, the display movement button 92 is added to the first embodiment described above. However, the present invention is not limited to this configuration, and any one of the first to fifth embodiments is described. Similarly, it can be realized as a configuration to which the display movement button 92 is added.
For example, when the display movement button 92 is added to the above-described fourth embodiment, the scroll function is stopped while the display movement button 92 is pressed, regardless of the movement of the eyeball or the line-of-sight direction of the operator. .

〔各実施形態について〕
また、上述した各実施形態は本発明の好適な実施形態であり、本発明はこれに限定されることなく、本発明の技術的思想に基づいて種々変形して実施することが可能である。
例えば、上述した各実施形態では、表示部５に地図などを表示させることとして説明したが、表示部５により一度に表示可能な表示範囲を超える情報を含む表示用情報を表示対象として用い、その表示用情報の一部分を表示部５に表示させるのであれば本発明は同様に適用することができ、例えば表示内容がＷｅｂページ、表計算の表、原寸大の絵画、グラビアなどであってもよい。
このため、こうした各種の２次元情報を、インタフェースを意識させることのない自然な操作感でスクロールさせて表示することができ、例えば原寸大の絵画やグラビアなどを表示させる場合では小さく全体を表示するのではなく、各パーツを詳細に見るといった用途にも用いることができる。 [About each embodiment]
Moreover, each embodiment mentioned above is a suitable embodiment of this invention, This invention is not limited to this, It can change variously based on the technical idea of this invention, and can be implemented.
For example, in each of the embodiments described above, the display unit 5 has been described as displaying a map or the like. However, display information including information that exceeds the display range that can be displayed at once by the display unit 5 is used as a display target. The present invention can be similarly applied as long as a part of the display information is displayed on the display unit 5. For example, the display content may be a Web page, a spreadsheet, a full-size picture, a gravure, or the like. .
For this reason, such various two-dimensional information can be scrolled and displayed with a natural operational feeling without making the interface conscious. For example, when displaying a full-size picture or gravure, the entire image is displayed small. Instead, it can also be used for viewing each part in detail.

また、表示対象とする表示用情報は２次元情報に限定されず、例えば３Ｄ−ＣＧ（3 Dimensional Computer Graphics）などの３次元画像を表示するものであってもよい。
例えば、壺の３Ｄデータを表示する場合であれば、壺が仮想的に存在する場所を中心に、操作者が本携帯表示装置の表示内容を見ながら周囲をまわると、上述した各実施形態のようにして携帯表示装置が３次元的変位量を算出して表示内容を制御し、壺が仮想的に存在する場所に対して本携帯表示装置が存在する角度からの壺の映像が表示部に表示されることとなる。
このように、立体の彫像などを３Ｄ映像で表示する構成によれば、本携帯表示装置の移動に追随して表示される映像が制御され、あたかもそこに対象物があるように扱うことができるようになる。 Further, the display information to be displayed is not limited to the two-dimensional information, and may display three-dimensional images such as 3D-CG (3 Dimensional Computer Graphics).
For example, in the case of displaying 3D data of a bag, if the operator turns around while viewing the display contents of the portable display device around a place where the bag is virtually present, In this way, the portable display device calculates the three-dimensional displacement amount and controls the display content, and the image of the eyelid from the angle at which the portable display device exists with respect to the place where the eyelid is virtually present is displayed on the display unit. Will be displayed.
As described above, according to the configuration in which a three-dimensional image is displayed as a 3D image, the image displayed following the movement of the portable display device is controlled, and it can be handled as if there is an object there. It becomes like this.

また、上述した各実施形態としての携帯表示装置は、例えば携帯電話、ナビゲーション機能を備えた情報装置、携帯ゲーム機、携帯情報端末（ＰＤＡ；Personal Digital Assistant）など、各種の情報装置に適用して実現することができる。   The above-described portable display device as each embodiment is applied to various information devices such as a mobile phone, an information device having a navigation function, a portable game machine, and a personal digital assistant (PDA). Can be realized.

本発明の第１の実施形態としての携帯表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the portable display apparatus as the 1st Embodiment of this invention. 該携帯表示装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of this portable display apparatus. 本発明の第２の実施形態としての携帯表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the portable display apparatus as the 2nd Embodiment of this invention. 本発明の第２の実施形態としての携帯表示装置の他の構成例を示すブロック図である。It is a block diagram which shows the other structural example of the portable display apparatus as the 2nd Embodiment of this invention. 本発明の第３の実施形態としての携帯表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the portable display apparatus as the 3rd Embodiment of this invention. 本発明の第４の実施形態としての携帯表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the portable display apparatus as the 4th Embodiment of this invention. 本発明の第５の実施形態としての携帯表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the portable display apparatus as the 5th Embodiment of this invention. 本発明の第６の実施形態としての携帯表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the portable display apparatus as the 6th Embodiment of this invention.

符号の説明Explanation of symbols

１ 加速度計測部
２１ 外側用カメラ部
２２ 内側用カメラ部
３ 移動量演算部
４ 表示制御部
５ 表示部
６１ 超音波発信部
６２ 超音波受信部
７ 顔認識部
８ 視線方向認識部
９１ 拡大／縮小ボタン（拡大／縮小命令入力手段の一例）
９２ 表示移動ボタン（停止命令入力手段の一例） DESCRIPTION OF SYMBOLS 1 Acceleration measurement part 21 Outer camera part 22 Inner camera part 3 Movement amount calculation part 4 Display control part 5 Display part 61 Ultrasonic transmission part 62 Ultrasonic reception part 7 Face recognition part 8 Gaze direction recognition part 91 Enlarging / reducing button (Example of enlargement / reduction command input means)
92 Display movement button (an example of stop command input means)

Claims (9)

装置筐体の移動における加速度および移動方向を計測する加速度計測手段と、
装置外部の存在物の移動状態を認識する外部情報認識手段と、
前記加速度計測手段による計測結果および前記外部情報認識手段による認識結果に基づいて前記装置筐体の３次元的変位量を算出する移動量演算手段と、
前記移動量演算手段により算出された３次元的変位量に基づいて表示手段への表示内容を制御する表示制御手段と、を備えたことを特徴とする携帯表示装置。 Acceleration measuring means for measuring acceleration and moving direction in movement of the device housing;
An external information recognition means for recognizing the movement state of an entity outside the apparatus;
A movement amount calculation means for calculating a three-dimensional displacement amount of the apparatus housing based on a measurement result by the acceleration measurement means and a recognition result by the external information recognition means;
A portable display device comprising: display control means for controlling display contents on the display means based on the three-dimensional displacement calculated by the movement amount calculation means. 前記表示制御手段は、表示手段により一度に表示可能な表示範囲を超える情報を含む表示用情報を、該表示手段による表示用情報として用い、当該表示用情報の一部分を該表示手段に表示させ、前記移動量演算手段により算出された前記装置筐体の３次元的変位量に基づいて該表示手段による表示部分を移動させることを特徴とする請求項１記載の携帯表示装置。   The display control means uses display information including information that exceeds a display range that can be displayed at once by the display means as display information by the display means, and causes the display means to display a part of the display information. 2. The portable display device according to claim 1, wherein a display portion by the display unit is moved based on a three-dimensional displacement amount of the device casing calculated by the movement amount calculation unit. 前記外部情報認識手段は、予め定められた方向における存在物との距離を測定する距離測定手段であって、
前記移動量演算手段は、前記加速度計測手段による計測結果と、前記距離測定手段による測定結果とに基づいて前記装置筐体の３次元的変位量を算出することを特徴とする請求項１または２記載の携帯表示装置。 The external information recognizing means is a distance measuring means for measuring a distance from an entity in a predetermined direction,
3. The movement amount calculating unit calculates a three-dimensional displacement amount of the apparatus housing based on a measurement result by the acceleration measuring unit and a measurement result by the distance measuring unit. The portable display device described. 前記外部情報認識手段は、画像を撮影する撮像手段であって、
前記移動量演算手段は、前記加速度計測手段による計測結果と、前記撮像手段による撮影画像とに基づいて前記装置筐体の３次元的変位量を算出することを特徴とする請求項１または２記載の携帯表示装置。 The external information recognition means is an imaging means for taking an image,
The said movement amount calculating means calculates the three-dimensional displacement amount of the said apparatus housing | casing based on the measurement result by the said acceleration measurement means, and the picked-up image by the said imaging means. Portable display device. 前記外部情報認識手段は、予め定められた方向における存在物との距離を測定する距離測定手段、および画像を撮影する撮像手段であって、
前記移動量演算手段は、前記加速度計測手段による計測結果と、前記距離測定手段による測定結果と、前記撮像手段による撮影画像とに基づいて前記装置筐体の３次元的変位量を算出することを特徴とする請求項１または２記載の携帯表示装置。 The external information recognizing means is a distance measuring means for measuring a distance to an entity in a predetermined direction, and an imaging means for taking an image,
The movement amount calculation means calculates a three-dimensional displacement amount of the apparatus housing based on a measurement result by the acceleration measurement means, a measurement result by the distance measurement means, and a photographed image by the imaging means. The portable display device according to claim 1 or 2, characterized in that 前記撮像手段は、表示手段による略表示面方向を撮影する表示面方向撮像部と、該表示面方向以外の所定の方向を撮影する外側方向撮影部とを備え、
前記移動量演算手段は、前記加速度計測手段による計測結果と、前記表示面方向撮像部による撮影画像と、前記外側方向撮影部による撮影画像とに基づいて前記装置筐体の３次元的変位量を算出することを特徴とする請求項４または５記載の携帯表示装置。 The imaging unit includes a display surface direction imaging unit that captures an approximate display surface direction by the display unit, and an outer direction imaging unit that captures a predetermined direction other than the display surface direction.
The movement amount calculating means calculates a three-dimensional displacement amount of the apparatus housing based on a measurement result by the acceleration measuring means, a captured image by the display surface direction imaging unit, and a captured image by the outer direction imaging unit. 6. The portable display device according to claim 4, wherein the portable display device is calculated. 前記表示面方向撮像部による撮影画像に基づいて人の眼球を認識して視線方向を演算する視線方向認識手段を備え、
前記表示制御手段は、前記視線方向認識手段により視線が表示手段の方を向いていると認識されている場合のみ、表示用情報における表示手段での表示部分を移動させる制御を行うことを特徴とする請求項６記載の携帯表示装置。 Gaze direction recognition means for recognizing a human eyeball based on a photographed image by the display surface direction imaging unit and calculating a gaze direction;
The display control means performs control to move the display portion on the display means in the display information only when the line-of-sight recognition means recognizes that the line of sight is facing the display means. The portable display device according to claim 6. 前記撮像手段は、表示手段による略表示面方向を撮影する表示面方向撮像部を少なくとも含み、
前記表示面方向撮像部による撮影画像に基づいて人の顔を認識する顔認識手段と、
前記顔認識手段により認識された顔までの前記装置筐体からの距離を測定する対人距離測定手段とを備え、
前記表示制御手段は、前記対人距離測定手段により測定される距離に応じて、距離が近くなる毎に表示倍率を拡大し、距離が遠くなる毎に表示倍率を縮小することを特徴とする請求項４または５記載の携帯表示装置。 The imaging unit includes at least a display surface direction imaging unit that captures an approximate display surface direction by the display unit,
Face recognition means for recognizing a human face based on an image captured by the display surface direction imaging unit;
Interpersonal distance measuring means for measuring the distance from the device housing to the face recognized by the face recognizing means,
The display control means enlarges the display magnification every time the distance becomes shorter and reduces the display magnification every time the distance becomes longer, according to the distance measured by the interpersonal distance measuring means. The portable display device according to 4 or 5. 表示用情報における表示手段での表示部分を移動させる制御を一時的に停止させる停止命令入力手段を備え、
前記停止命令入力手段からの入力が行われていることが検知されている間、前記表示制御手段は、表示用情報における表示手段での表示部分を移動させる制御を一時的に停止することを特徴とする請求項１から８の何れか１項に記載の携帯表示装置。 A stop command input means for temporarily stopping the control of moving the display portion on the display means in the display information;
While the input from the stop command input means is detected, the display control means temporarily stops the control to move the display portion on the display means in the display information. The portable display device according to any one of claims 1 to 8.
JP2005310973A 2005-10-26 2005-10-26 Portable display device Expired - Fee Related JP4977995B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005310973A JP4977995B2 (en) 2005-10-26 2005-10-26 Portable display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005310973A JP4977995B2 (en) 2005-10-26 2005-10-26 Portable display device

Publications (2)

Publication Number Publication Date
JP2007121489A true JP2007121489A (en) 2007-05-17
JP4977995B2 JP4977995B2 (en) 2012-07-18

Family

ID=38145421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005310973A Expired - Fee Related JP4977995B2 (en) 2005-10-26 2005-10-26 Portable display device

Country Status (1)

Country Link
JP (1) JP4977995B2 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210019A (en) * 2007-02-23 2008-09-11 Nintendo Co Ltd Information processing program and information processing apparatus
JP2012509544A (en) * 2008-11-20 2012-04-19 アマゾン テクノロジーズ インコーポレイテッド Motion recognition as an input mechanism
WO2012111272A1 (en) * 2011-02-14 2012-08-23 パナソニック株式会社 Display control device and display control method
WO2013042530A1 (en) * 2011-09-22 2013-03-28 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Display device, display control method, and program
JP2013537670A (en) * 2010-08-04 2013-10-03 アップル インコーポレイテッド 3D user interface effect on display by using motion characteristics
JP2014529061A (en) * 2011-07-28 2014-10-30 シズベル テクノロジー エス．アール．エル． Method for ensuring continuity of service of personal navigation device and device
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8884928B1 (en) 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
WO2014181403A1 (en) 2013-05-08 2014-11-13 富士通株式会社 Input device and input program
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9122064B2 (en) 2008-11-26 2015-09-01 Nec Corporation Display device, terminal device, and display method
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247796A (en) * 1995-03-10 1996-09-27 Miyota Kk Vibration-compensated display apparatus
JPH10240436A (en) * 1996-12-26 1998-09-11 Nikon Corp Information processor and recording medium
JP2001159951A (en) * 1999-12-02 2001-06-12 Nec Corp Information processor and method for processing information
JP2002007027A (en) * 2000-06-27 2002-01-11 Masanori Idesawa Image information display device
JP2003196017A (en) * 2001-12-25 2003-07-11 Gen Tec:Kk Data input method and device
JP2004128712A (en) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd Portable terminal device
JP2004317813A (en) * 2003-04-16 2004-11-11 Sony Corp Image display device and image blur preventing method
JP2004343622A (en) * 2003-05-19 2004-12-02 Motorola Inc Image display device
WO2005041167A1 (en) * 2003-10-28 2005-05-06 Matsushita Electric Industrial Co., Ltd. Image display device and image display method
JP2005122100A (en) * 2003-06-02 2005-05-12 Fuji Photo Film Co Ltd Image displaying system, image displaying apparatus, and program
JP2005221907A (en) * 2004-02-09 2005-08-18 Sanyo Electric Co Ltd Display device
WO2006095573A1 (en) * 2005-03-08 2006-09-14 Sharp Kabushiki Kaisha Portable terminal device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08247796A (en) * 1995-03-10 1996-09-27 Miyota Kk Vibration-compensated display apparatus
JPH10240436A (en) * 1996-12-26 1998-09-11 Nikon Corp Information processor and recording medium
JP2001159951A (en) * 1999-12-02 2001-06-12 Nec Corp Information processor and method for processing information
JP2002007027A (en) * 2000-06-27 2002-01-11 Masanori Idesawa Image information display device
JP2003196017A (en) * 2001-12-25 2003-07-11 Gen Tec:Kk Data input method and device
JP2004128712A (en) * 2002-09-30 2004-04-22 Fuji Photo Film Co Ltd Portable terminal device
JP2004317813A (en) * 2003-04-16 2004-11-11 Sony Corp Image display device and image blur preventing method
JP2004343622A (en) * 2003-05-19 2004-12-02 Motorola Inc Image display device
JP2005122100A (en) * 2003-06-02 2005-05-12 Fuji Photo Film Co Ltd Image displaying system, image displaying apparatus, and program
WO2005041167A1 (en) * 2003-10-28 2005-05-06 Matsushita Electric Industrial Co., Ltd. Image display device and image display method
JP2005221907A (en) * 2004-02-09 2005-08-18 Sanyo Electric Co Ltd Display device
WO2006095573A1 (en) * 2005-03-08 2006-09-14 Sharp Kabushiki Kaisha Portable terminal device

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008210019A (en) * 2007-02-23 2008-09-11 Nintendo Co Ltd Information processing program and information processing apparatus
JP2012509544A (en) * 2008-11-20 2012-04-19 アマゾン テクノロジーズ インコーポレイテッド Motion recognition as an input mechanism
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US9122064B2 (en) 2008-11-26 2015-09-01 Nec Corporation Display device, terminal device, and display method
US9880395B2 (en) 2008-11-26 2018-01-30 Nec Corporation Display device, terminal device, and display method
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US9557811B1 (en) 2010-05-24 2017-01-31 Amazon Technologies, Inc. Determining relative motion as input
JP2013537670A (en) * 2010-08-04 2013-10-03 アップル インコーポレイテッド 3D user interface effect on display by using motion characteristics
US9417763B2 (en) 2010-08-04 2016-08-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US9778815B2 (en) 2010-08-04 2017-10-03 Apple Inc. Three dimensional user interface effects on a display
US9164582B2 (en) 2011-02-14 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Display control device and method detecting eye position of a user
WO2012111272A1 (en) * 2011-02-14 2012-08-23 パナソニック株式会社 Display control device and display control method
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
JP2014529061A (en) * 2011-07-28 2014-10-30 シズベル テクノロジー エス．アール．エル． Method for ensuring continuity of service of personal navigation device and device
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
WO2013042530A1 (en) * 2011-09-22 2013-03-28 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Display device, display control method, and program
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US8884928B1 (en) 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US10019107B2 (en) 2012-01-26 2018-07-10 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9471153B1 (en) 2012-03-14 2016-10-18 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9652083B2 (en) 2012-03-28 2017-05-16 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US9483113B1 (en) 2013-03-08 2016-11-01 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9804671B2 (en) 2013-05-08 2017-10-31 Fujitsu Limited Input device and non-transitory computer-readable recording medium
WO2014181403A1 (en) 2013-05-08 2014-11-13 富士通株式会社 Input device and input program
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth

Also Published As

Publication number Publication date
JP4977995B2 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
JP4977995B2 (en) Portable display device
US11410276B2 (en) Determination of an operation
US20150143283A1 (en) Information processing device, display control method, and program
CN111034181A (en) Image capturing apparatus, image display system, and operation method
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
CN111541845A (en) Image processing method and device and electronic equipment
JP7005161B2 (en) Electronic devices and their control methods
JP5921981B2 (en) Video display device and video display method
CN107741814B (en) Display control method and mobile terminal
CN110944139B (en) Display control method and electronic equipment
CN111405117A (en) Control method and electronic equipment
JP2022188192A (en) Head-mounted display device, and control method therefor
CN111131706B (en) Video picture processing method and electronic equipment
US8970483B2 (en) Method and apparatus for determining input
KR20160072306A (en) Content Augmentation Method and System using a Smart Pen
KR102278229B1 (en) Electronic device and its control method
WO2019106862A1 (en) Operation guiding system
JP7005160B2 (en) Electronic devices and their control methods
CN114115544B (en) Man-machine interaction method, three-dimensional display device and storage medium
WO2021218926A1 (en) Image display method and apparatus, and computer device
JP2017157135A (en) Input device and input method
WO2019142817A1 (en) Image display system and recording medium on which program for image display system is recorded
WO2020110283A1 (en) Display device
CN117897948A (en) Portable information terminal and target display method
TW201112105A (en) Method and system of dynamic operation of interactive objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080919

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120403

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4977995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees