WO2013021539A1 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
WO2013021539A1
WO2013021539A1 PCT/JP2012/004176 JP2012004176W WO2013021539A1 WO 2013021539 A1 WO2013021539 A1 WO 2013021539A1 JP 2012004176 W JP2012004176 W JP 2012004176W WO 2013021539 A1 WO2013021539 A1 WO 2013021539A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
information display
orientation
display screen
information
Prior art date
Application number
PCT/JP2012/004176
Other languages
English (en)
French (fr)
Inventor
山田 和範
紹二 大坪
務 向井
瑞穂 榊原
大嶋 光昭
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280002232.XA priority Critical patent/CN103201700B/zh
Priority to JP2013502329A priority patent/JP6021800B2/ja
Publication of WO2013021539A1 publication Critical patent/WO2013021539A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/14Electronic books and readers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/16Digital picture frames

Definitions

  • the present invention relates to a portable information display apparatus such as a smartphone and a tablet, and more particularly to a method of displaying a GUI of a terminal.
  • Patent Document 1 discloses one method for solving such a problem.
  • Patent Document 1 discloses a method of changing the content of the screen display by detecting whether the mobile is held with two hands or one hand based on the pressure detected by the touch sensor.
  • Patent Document 1 can not cope with the case where the user holds the mobile in a manner different from the usual way of holding, or when the user holds the mobile in a different direction.
  • the present invention focuses on the above-mentioned problems, and displays the GUI in such a direction that the user can view without discomfort even when the user holds various ways such as changing the direction of the information display device. It is an object of the present invention to provide an information display device that can
  • an information display device is a mobile information sensor that detects a mobile attitude using various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, and a pressure sensor.
  • a mobile information sensor detects a mobile attitude using various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, and a pressure sensor.
  • an information display device capable of displaying a GUI in a direction in which the user can view without discomfort even when the user holds various ways.
  • the user can operate the mobile without discomfort.
  • FIG. 1 is a diagram showing the relationship between the attitude of the information display apparatus and the screen display direction in Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an internal configuration of a processing unit that determines the display orientation of the screen of the information display device in Embodiment 1 of the present invention.
  • FIG. 3 is a diagram for explaining the flow of processing of the information display device in the first embodiment of the present invention.
  • FIG. 4 is a diagram for explaining the flow of processing of the information display device in the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an internal configuration of a processing unit that sets the direction of the information display device in the second embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the flow of processing of the information display device in the second embodiment of the present invention.
  • FIG. 1 is a diagram showing the relationship between the attitude of the information display apparatus and the screen display direction in Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an internal configuration of a processing unit
  • FIG. 7 is a diagram for explaining the flow of processing of the information display device in the second embodiment of the present invention.
  • FIG. 8 is a diagram for explaining the flow of processing of the information display device in the second embodiment of the present invention.
  • FIG. 9 is a diagram showing the configuration of the information display device in the third embodiment of the present invention.
  • FIG. 10 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • FIG. 11 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • FIG. 12 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • FIG. 13 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • FIG. 14 is an example of point target information stored in the position DB.
  • FIG. 15 is a diagram showing another example of the relationship between the attitude of the information display device of the present invention and the screen display direction.
  • FIG. 16 is a view showing another example of the relationship between the attitude of the information display device of the present invention and the screen display direction.
  • FIG. 17 is a view showing another example of the relationship between the attitude of the information display device of the present invention and the screen display direction.
  • FIG. 18 is a diagram for describing a method of displaying an icon indicating the direction of the information display device itself in the fourth embodiment of the present invention.
  • FIG. 19 is a diagram showing a variation of the icon indicating the normal position in the information display device (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 20 is a diagram showing a variation of the icon indicating the normal position in the information display device (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 21 is a diagram showing a variation of the icon indicating the normal position in the information display apparatus (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 22 is a diagram showing a variation of the icon indicating the normal position in the information display device (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 23 is a diagram showing a variation of the icon indicating the normal position in the information display apparatus (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 24 is a diagram showing a variation of the icon indicating the normal position in the information display apparatus (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 21 is a diagram showing a variation of the icon indicating the normal position in the information display apparatus (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 22 is a diagram showing a variation of the icon indicating the normal position in
  • FIG. 25 is a diagram showing a variation of the icon indicating the normal position in the information display device (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 26 is a diagram showing a variation of the icon indicating the normal position in the information display apparatus (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 27 is a diagram showing a variation of the icon indicating the normal position in the information display apparatus (mobile itself) in the fourth embodiment of the present invention.
  • FIG. 28 is a view showing an icon for prompting the user of the information display device of the fourth embodiment of the present invention to correct position.
  • FIG. 29 is a diagram showing an icon for prompting the user of the information display device of the fourth embodiment of the present invention.
  • FIG. 30 is a view showing an icon for prompting the user of the information display device of the fourth embodiment of the present invention.
  • FIG. 31 is a view showing an icon for prompting the user of the information display apparatus of the fourth embodiment of the present invention.
  • FIG. 32 is a diagram showing an icon for prompting the user of the information display device of the fourth embodiment of the present invention.
  • FIG. 33 is a diagram showing an icon for prompting the user of the information display device of the fourth embodiment of the present invention.
  • FIG. 34 is a diagram showing an icon for prompting the user of the information display device of the fourth embodiment of the present invention.
  • FIG. 35 is a diagram showing a configuration of a mobile terminal of one aspect of the information display device in the fifth embodiment of the present invention.
  • FIG. 36 is a diagram showing an example of a use case in Embodiment 5 of the present invention.
  • FIG. 37 shows an example of a use case according to Embodiment 5 of the present invention.
  • FIG. 38 is a diagram showing definitions of variables relating to the attitude in the horizontal direction and the vertical direction of the mobile terminal used in the description of the fifth embodiment of the present invention.
  • FIG. 39 is a diagram showing the definition of variables relating to the horizontal and vertical attitudes of the mobile terminal used in the description of the fifth embodiment of the present invention.
  • FIG. 40 is a diagram showing an example of a menu screen when the mobile terminal in the fifth embodiment of the present invention is operated as a TV remote control.
  • FIG. 40 is a diagram showing an example of a menu screen when the mobile terminal in the fifth embodiment of the present invention is operated as a TV remote control.
  • FIG. 41 is a diagram showing an example of a use case in which the mobile terminal according to Embodiment 5 of the present invention is operated as a TV remote control.
  • FIG. 42 is a diagram showing an example of a use case in which the mobile terminal according to Embodiment 5 of the present invention is operated as a TV remote control.
  • FIG. 43 is a diagram showing an example of a use case in which the mobile terminal according to Embodiment 5 of the present invention is operated as a TV remote control.
  • FIG. 44 is a diagram showing an example of a use case in which the mobile terminal according to Embodiment 5 of the present invention is operated as a TV remote control.
  • FIG. 45 is a diagram showing an example of a use case of another operation of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 46 is a diagram for illustrating control flow of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 47 is a diagram for illustrating control flow of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 48 is a diagram for illustrating control flow of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 49 is a diagram for illustrating control flow of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 50 is a diagram for illustrating control flow of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 51 is a diagram for illustrating control flow of the mobile terminal according to the fifth embodiment of the present invention.
  • FIG. 52 is a diagram showing another control flow of the mobile terminal in the fifth embodiment of the present invention.
  • FIG. 53 is a diagram showing another control flow of the mobile terminal in the fifth embodiment of the present invention.
  • FIG. 54 is a diagram showing another control flow of the mobile terminal in the fifth embodiment of the present invention.
  • FIG. 55 is a diagram showing another control flow of the mobile terminal according to Embodiment 5 of the present invention.
  • FIG. 56 is a diagram showing another control flow of the mobile terminal in the fifth embodiment of the present invention.
  • FIG. 57 is a diagram for describing an operation in the case of using a mobile device according to Embodiment 5 of the present invention.
  • FIG. 58 is a flow diagram for explaining a method of updating the reference orientation of the mobile device according to Embodiment 5 of the present invention.
  • FIG. 60 is a diagram showing an example of directions of three axes of the magnetic sensor of the mobile device in the fifth embodiment of the present invention.
  • FIG. 61 is a diagram for describing a method of detecting a horizontal fall using an acceleration sensor of a mobile device according to a fifth embodiment of the present invention.
  • FIG. 62 is a diagram showing an example of directions of three axes of the magnetic sensor of the mobile device in the fifth embodiment of the present invention.
  • FIG. 63 is a diagram for explaining the screen display direction of the mobile device in the fifth embodiment of the present invention.
  • FIG. 64 is a diagram showing a screen display direction change table of the mobile device according to the fifth embodiment of the present invention.
  • FIG. 65 is a diagram for explaining the screen display direction transition diagram of the mobile device in the fifth embodiment of the present invention.
  • FIG. 66 is a diagram for explaining the screen display direction of the mobile device in the fifth embodiment of the present invention.
  • FIG. 67 is a diagram showing the orientation of the mobile device when the mobile device rotates in the fifth embodiment of the present invention.
  • FIG. 68 is a diagram showing a display of the mobile device when a person looks at the mobile device in the fifth embodiment of the present invention.
  • FIG. 69 is a diagram showing a flow when a person rotates while holding a tablet, which is one aspect of the mobile device in the fifth embodiment of the present invention.
  • FIG. 65 is a diagram for explaining the screen display direction transition diagram of the mobile device in the fifth embodiment of the present invention.
  • FIG. 66 is a diagram for explaining the screen display direction of the mobile device in the fifth embodiment of
  • FIG. 70 is a diagram showing a flow in the case where a person rotates while holding the tablet, which is one aspect of the mobile device in the fifth embodiment of the present invention.
  • FIG. 71 is a diagram showing a flow of a method of updating the reference orientation of the mobile device according to Embodiment 5 of the present invention.
  • FIG. 72 is a diagram showing a display of the mobile device when a person facing the mobile device looks at the mobile device according to the fifth embodiment of the present invention.
  • Embodiment 1 The first embodiment will explain the flow of processing for displaying a GUI in a direction that the user can view without discomfort by detecting the centrifugal force and the action of shaking the mobile by the user and changing the display direction of the screen. .
  • FIG. 1 is a diagram showing the relationship between the attitude of the information display apparatus and the screen display direction in Embodiment 1 of the present invention.
  • the initial state in which the user is looking at the mobile is (A).
  • the screen is shifted 20 degrees from the vertical direction with respect to the desk which is a horizontal plane.
  • the state becomes (B), that is, the mobile is in the vertically long state, and the GUI is displayed with the side corresponding to the upper side in the vertical direction as the top.
  • GUI display As described above, in a mobile in which the screen display unit is not in the horizontal state, it is possible to perform GUI display with the upper side in the vertical direction as the upper part by detecting the gravity with an acceleration sensor or the like.
  • a desk is used to represent a horizontal surface, but it may be a floor, a ceiling, or a hand-held state.
  • FIG. 2 is a diagram showing an internal configuration of a processing unit that determines the display orientation of the screen of the information display device in Embodiment 1 of the present invention.
  • the mobile device of the present invention is a terminal such as an angle with respect to the horizontal plane of the mobile or an orientation on the horizontal plane based on information of the acceleration sensor 101, the angular velocity sensor 102, the geomagnetic sensor 103 and these sensors.
  • the terminal orientation detection unit 104 that detects orientation information, the display orientation determination unit 105 that determines the display orientation of the GUI displayed on the mobile screen from the terminal orientation information, etc., and the terminal orientation information or GUI It has a time-series terminal state management unit 106 that stores and manages the display orientation in the time-series terminal state storage unit 107, and an image display unit 108.
  • FIG. 3 is a diagram for explaining the flow of processing of the information display device in the first embodiment of the present invention.
  • step 100a the terminal attitude detection unit determines whether or not the attitude change of the terminal has been detected from various sensors, and if not detected, the process returns to step 100a.
  • step 100 b when the terminal posture detection unit 104 detects the acceleration sensor value, the terminal posture detection unit 104 acquires the value of the acceleration sensor, and acquires the gravity direction.
  • step 100c it is determined whether the terminal attitude detection unit 104 detects an inclination of an arbitrary angle (for example, 20 degrees) or more with respect to the horizontal plane of the mobile.
  • an arbitrary angle for example, 20 degrees
  • step 100c in the case of Yes, the process proceeds to step 100d, in which the terminal posture detection unit 104 determines the side that is on the upper most side in the vertical direction by the inclination among the postures detected from the information in the gravity direction.
  • step 100e the orientation of the display screen is changed so that the side detected by the display orientation determination unit 105 is on the top of the screen display, and then in step 100f, the time-series terminal state management unit Save with the current display orientation.
  • step 100g it is determined whether the display processing has ended. If yes, exit. If it does not finish (in the case of No), it returns to step 100a.
  • FIG. 4 is a diagram for explaining the flow of processing of the information display device in the first embodiment of the present invention.
  • the display orientation determination unit acquires the posture information and the display orientation of the immediately preceding terminal from the time-series terminal state management unit.
  • step 101 b the terminal attitude detection unit acquires a change in the direction on the horizontal plane as the attitude of the terminal at the current time point using the angular velocity sensor or the geomagnetic sensor or both of them.
  • step 101 c the display orientation determination unit compares the attitude information of the immediately preceding terminal with the attitude information of the terminal at the current time.
  • step 101d represents that the attitude information of the immediately preceding terminal has an inclination greater than an arbitrary angle (for example, 20 degrees) with respect to the horizontal plane of the mobile? Determine if it is.
  • an arbitrary angle for example, 20 degrees
  • step 101e the display orientation determination unit continues the display without changing the display orientation of the terminal immediately before. And it returns to W02 of FIG.
  • step 101f is the change in orientation exceeding any certainty (70 degrees)? Determine if it is.
  • step 101g the display orientation determination unit changes the screen by 90 degrees in the opposite direction to the direction of the change in orientation, and returns to W02 in FIG.
  • the information display apparatus (mobile) of the present embodiment can display the GUI in a direction in which the user can view without discomfort.
  • the setting of the direction using centrifugal force and the swing width of the mobile case considering the hand-held state of the user are also used to set the direction.
  • FIG. 5 is a diagram showing an internal configuration of a processing unit that sets the direction of the information display device in the second embodiment of the present invention.
  • the configuration shown in FIG. 5 is different from the configuration shown in the first embodiment in that a centrifugal force direction detection unit 111 is added.
  • FIG. 6 is a diagram for explaining the flow of processing of the information display device in the second embodiment of the present invention.
  • step 110a the terminal attitude detection unit acquires the value of the acceleration sensor and acquires the gravity direction.
  • step 110b the terminal attitude detection unit calculates attitude information of the terminal with respect to the horizon from the value in the gravity direction.
  • step 110c it is determined whether or not the display unit of the own device is nearly horizontal within a predetermined error.
  • step 110e the centrifugal force direction detection unit acquires the value of acceleration in the horizontal direction.
  • step 110f it is determined whether or not there is a case where the horizontal acceleration component continues to appear in a certain direction and there is no component in the reverse direction within an arbitrary time.
  • step 110h the GUI is displayed with the far side of the acquired direction as the top, and the process proceeds to W03 in FIG.
  • step 110g the GUI is displayed according to the display orientation set in advance, and the process proceeds to W03 in FIG.
  • the GUI is displayed with the side at the highest position as the top by the inclination of the terminal, and the process proceeds to W03 in FIG.
  • FIG. 7 is a diagram for explaining the flow of processing of the information display device in the second embodiment of the present invention.
  • step 111a the terminal attitude detection unit acquires the value of the acceleration sensor, and acquires the gravity direction from the composite vector.
  • the terminal attitude detection unit calculates the reference value of gravity based on the position information stored by the own terminal by measurement. Alternatively, based on the position information of the own terminal, a gravity reference value is obtained by accessing a server on the cloud.
  • step 111c it is determined whether the combined value of the acquired three-axis acceleration is larger than the gravity reference value.
  • step 111g the process proceeds to step 111g, and the gravity direction is corrected so as to approach the largest vector.
  • step 111h the GUI is displayed with the far side of the direction indicated by the composite vector excluding the gravity component on the horizontal plane as the top, and the process proceeds to W04 in FIG.
  • step 111c the process proceeds to step 111d, and is the state where the display unit of the own device is nearly horizontal within a predetermined threshold (angle)? Determine if it is.
  • step 111 e the GUI is displayed according to the display orientation set in advance, and the process proceeds to W 04 in FIG.
  • step 111f the process proceeds to step 111f, and the inclination of the terminal causes the GUI to be displayed with the side at the highest position as the top, and proceeds to W04 in FIG.
  • FIG. 8 is a diagram for explaining the flow of processing of the information display device in the second embodiment of the present invention.
  • step 112a the terminal attitude detection unit acquires the value of the acceleration sensor and acquires the gravity direction.
  • step 112 b the terminal posture detection unit detects a side with a large swing width among the detected postures from the angular velocity sensor or the acceleration sensor.
  • the terminal orientation determination unit uses the information indicating the relationship between the detected side with a large shake width and the side with a large shake width, which has been set in advance or stored in the past, and the head direction. Set the orientation of the GUI.
  • step 112 d it is determined whether or not the user detects the leading direction by an inclination or centrifugal force exceeding a predetermined value within an arbitrary time (for example, 5 seconds).
  • step 112e it is determined whether the side is different from the side detected by the swing width.
  • the process ends, and if the determination is Yes, the process proceeds to step 112f, and the terminal orientation determination unit saves the relationship between the side with the large swing width and the side to which the user set the head direction within a predetermined time thereafter. End.
  • the information display apparatus (mobile) according to the present embodiment sets the direction using centrifugal force, and also uses the swing width of the mobile chassis in consideration of the hand-held state of the user.
  • the GUI can be displayed in a direction in which the user can view without discomfort.
  • the mobile acquires the position information of the mobile by autonomous navigation using the built-in sensor, and the virtual tag in which the mobile has peripheral devices and objects in which the position is registered in advance and the position information.
  • a method of determining the orientation of the screen when displaying a GUI or an application using information of the surrounding environment such as information will be described.
  • FIG. 9 is a diagram showing the configuration of the information display device in the third embodiment of the present invention.
  • the configuration shown in FIG. 9 is a movement amount detection unit 121 that detects the movement amount of the mobile from the information acquired by the mobile using the built-in sensor, and coordinate estimation that estimates the current location coordinates of the mobile.
  • a database for registering a list such as a virtual target information search unit, a peripheral device or object to be a point target, and virtual tag information having position information, where the mobile unit searches for information on the surrounding environment as a point target.
  • the position DB 124 is added.
  • position DB124 may be inside a terminal, it may be put on a cloud and the storage place does not matter.
  • FIG. 10 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • the terminal attitude detection unit acquires the value of the acceleration sensor and acquires the gravity direction.
  • step 120 b the terminal attitude detection unit calculates attitude information of the terminal with respect to the horizontal plane from the value in the gravity direction.
  • step 120 c the terminal attitude detection unit determines the terminal attitude from the acceleration sensor and the angular velocity sensor geomagnetic sensor.
  • step 120 d the movement amount detection unit acquires the value of the acceleration sensor from the previous coordinate estimation time.
  • step 120e the movement amount detection unit acquires terminal attitude information from the terminal attitude detection unit.
  • step 120 f the movement amount detection unit calculates the movement direction and movement distance of the terminal from the terminal attitude information and the value of the acceleration sensor.
  • step 120g the coordinate estimating unit calculates an estimated present location coordinate which is a coordinate value of the current mobile based on the moving direction and the moving distance from the coordinate value at the time of coordinate estimation immediately before.
  • step 120h the coordinate estimating unit sets the coordinate estimation accuracy from the total movement amount from the time when the reference point was recognized in the past, and the process proceeds to W05 in FIG.
  • FIG. 11 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • the point object search unit confirms whether the object is in an object search state to which the terminal points (for example, the user presses a button, a specific position, or a stationary state).
  • step 121b it is determined whether or not an object search state is in progress.
  • step 121 c the point target search unit acquires the terminal attitude from the attitude control unit, and specifies the direction of the head direction of the terminal.
  • step 121 d the point object search unit acquires the coordinate value of the own device from the coordinate estimation unit.
  • step 121e the point object search unit confirms whether an object such as a device having position information registered on the position DB is present in the direction from the coordinate value of the own device to the head of the terminal Do.
  • step 121f it is determined whether an object exists.
  • step 121g activates the function related to the point object (for example, the control GUI of the target device), and proceeds to W06 in FIG.
  • FIG. 12 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • step 122a the display orientation determination unit determines whether or not the mode is displaying a GUI related to the point object.
  • step 122 b the display orientation determination unit acquires the terminal attitude from the terminal attitude detection unit.
  • step 122c is the display unit of the own device close to horizontal within a predetermined threshold (eg, ⁇ 10 degrees)? Determine if it is.
  • a predetermined threshold eg, ⁇ 10 degrees
  • FIG. 13 is a diagram for explaining the flow of processing of the information display device in the third embodiment of the present invention.
  • step 123a the inclination of the terminal causes the GUI to be displayed with the side at the highest position as the top, and the process ends.
  • step 123b the display orientation determination unit calculates the side closer to the straight point object connecting the coordinate value of the own device and the coordinate value of the point object.
  • step 123c it is determined whether a straight line connecting the calculated side and the coordinate value of the own device and the coordinate value of the point object is within an arbitrary angle (eg, 90 degrees + -20 degrees).
  • step 123d it is determined whether the accuracy of the position of the point target acquired from the position DB is equal to or higher than an arbitrary level (for example, 80%).
  • an arbitrary level for example, 80%.
  • step 123f is it being rotated in the direction where the straight line connecting the calculated side and the coordinate value of the own device and the coordinate value of the point object becomes an arbitrary angle (eg within 90 degrees +-20 degrees) Determine if it is.
  • an arbitrary angle eg within 90 degrees +-20 degrees
  • Step 123g the display is continued without changing the current direction, and the process is ended.
  • FIG. 14 is an example of point target information stored in the position DB.
  • the object has absolute coordinate values in the respective three-dimensional space, or relative coordinate values based on any reference point used by the mobile to identify the position.
  • reference point angle information indicating the accuracy of coordinate values when the object itself is considered as a reference point.
  • update time information in the case where the coordinates of the object and the reference point angle information are updated.
  • the user can feel comfortable even if the user uses the mobile in various ways in a situation where the user is aware of the target that he / she wants to point A display of a GUI capable of operating a mobile is realized.
  • Embodiment 4 Described is a method for realizing a more user-friendly display by displaying an icon. For example, when the screen orientation of the mobile is changed, an icon indicating the current attitude of the mobile is displayed in order to prevent the relationship between the attitude of the mobile's own casing and the orientation of the mobile's own screen from becoming unclear.
  • FIG. 18 is a diagram showing a variation of an icon indicating the normal position of the terminal in the information display device (mobile itself) in the fourth embodiment of the present invention.
  • FIGS. 19 to 27 are diagrams showing variations of icons indicating normal positions in the information display apparatus (mobile itself) according to the fourth embodiment of the present invention.
  • the icon at the upper left of the screen of the mobile is a reduction of the picture of the mobile itself in which the button, camera and speaker positions are exaggerated.
  • This icon keeps displaying the orientation of the terminal itself in a position that is easy to see even if the orientation of the screen changes.
  • the current position of the mobile terminal is displayed at the upper left regardless of the portrait orientation or the landscape orientation.
  • the orientation of the icon does not change with respect to the casing regardless of the orientation of the mobile casing, and the icon is the same as the casing even if other contents in the screen are oriented in various directions. Displayed in the orientation.
  • the display position may be displayed at the lower right or lower left, and further, at the upper right or the like, the display position in the screen may be anywhere.
  • a picture inclined at 70 degrees from the horizontal plane is used, but this is an example, and the angle does not matter.
  • FIGS. 19 and 20 also show variations of icon types.
  • the icons are shown in the case where only the picture of either the left or the right or the upper or lower one is shown at the horizontal position and the vertical position.
  • some mobile devices have a camera or speaker on the front, etc., and the camera needs to be on the top with respect to the vertical position and the horizontal position, etc.
  • the correct position (normal position) There is.
  • two types of icons may be used as icons for displaying to the user to indicate the correct positions when vertical and horizontal.
  • FIGS. 28 to 34 are diagrams showing icons for prompting the user of the information display apparatus in the fourth embodiment of the present invention.
  • the icon when the icon has the upward direction of the icon in the direction of being in the normal position with respect to the vertical position, and the mobile is in the posture opposite to the normal position with respect to the vertical position, the icon is The user feels strange because he turns the other way around. This can prompt the user to be in the correct position.
  • 29 to 34 also disclose icons for prompting the user to the correct position.
  • Another example in the figure is an icon displayed on the upper left.
  • the icon left-right asymmetry and providing directionality it is possible to indicate to the user as to which direction the terminal is rotated from the current position of the terminal to be rotated to the normal position. For example, as shown in FIG. 28, when the icon having the eyes as a motif looks to the right, it indicates that the right side of the terminal can be placed in the correct position by turning the right side up.
  • the orientation of the face of the icon, the orientation of the pointing hand, and the orientation of the body indicate the orientation of the normal position.
  • FIG. 26 shows an icon in which the picture changes to another depending on the vertical position and the horizontal position. What appears to be a bird in the horizontal position is what appears to be a rabbit in the vertical position, and it looks like a penguin in the horizontal position and a manbow in the vertical position. This makes it possible for the user to feel that the direction of the case is wrong when the picture is odd.
  • the module that displays the icon can recognize the upward direction of the screen in advance, and can always display the icon according to the horizontal position and the vertical position with reference to the upper side of the GUI.
  • FIG. 35 is a diagram showing a configuration of a mobile terminal of one aspect of the information display device in the fifth embodiment of the present invention.
  • the mobile terminal 5000 according to the present embodiment is a multifunctional mobile terminal that has an external input such as a touch panel and a display, and can perform Internet browsing, image browsing, music viewing, and operation of a TV and a home appliance. .
  • the mobile terminal 5000 according to the present embodiment is supposed to rotate the mobile terminal vertically or horizontally for its purpose of use, but it is necessary to always rotate and display the screen in the direction in which the user faces. Then, regardless of how the user rotates the mobile terminal 5000, it is possible to always display the screen in an easy-to-see display direction.
  • the mobile terminal 5000 shown in FIG. 35 has the angular velocity sensor 1002 and the geomagnetic sensor 1003 and uses these inputs to cause the display direction control unit 1005 to detect from which direction the user currently has the mobile terminal 5000, and the display direction Decide. Then, the determined display direction is transmitted to the screen display control unit 1006.
  • the screen display control unit 1006 generates information to be actually output to the display 1004 of the mobile terminal based on the information of the control direction control unit, and sends the information to the display 1004.
  • the display 1004 displays the received information on the display screen.
  • the configuration of mobile terminal 5000 will be described in detail below.
  • the external input unit 1030 is configured of a touch panel, a hardware key, and the like. By accepting the user's operation, various inputs for operating the mobile terminal 5000 can be received.
  • the display 1004 has a touch panel and can receive an external operation, it can also be used as the display 1004.
  • the controller 1020 is a control unit that controls the entire mobile terminal 5000.
  • the controller 1020 can be realized by a semiconductor element or the like.
  • the controller 1020 may be configured only by hardware, or may be realized by combining hardware and software.
  • the controller 1020 can be realized by a microcomputer or the like.
  • the controller 1020 can control the screen display direction with high convenience for the user and display it on the screen according to the orientation of the mobile terminal 5000 detected by the angular velocity sensor 1002 or the geomagnetic sensor 1003 or the like and the inclination in the vertical direction. Yes (more on this later).
  • the angular velocity sensor 1002 is a sensor for detecting the angular velocity of the mobile terminal 5000, and can detect angular velocities in a plurality of axial directions.
  • the geomagnetic sensor 1003 is a sensor for detecting azimuth information in the horizontal direction to which the mobile terminal 5000 is directed, and can acquire azimuth information.
  • the display direction control unit 1005 controls the display direction of the mobile terminal 5000 based on the information of the angular velocity sensor 1002 and the geomagnetic sensor 1003. For example, when the mobile terminal 5000 detects a 90 ° rotation clockwise in the horizontal direction, it can be considered that the user has rotated the mobile terminal 5000 from the long side direction to the short side direction, so the display screen 90 degrees counterclockwise Control such as instructing to rotate the The timing at which the rotation is performed will be described later.
  • the screen display control unit 1006 is a portion that actually generates a UI screen to be transmitted to the display 1004, based on the information of the display direction control unit 1005.
  • the screen display control unit 1006 may be implemented by software, or may be implemented by a hybrid of hardware and software, such as hardwareization of high-load processing.
  • the display 1004 can display the UI screen transmitted from the screen display control unit 1006.
  • the information read out from the memory 1010 can be displayed.
  • the display 1004 can display various menu screens and the like for performing various settings of the mobile terminal 5000.
  • the memory 1010 is configured by a flash memory, a ferroelectric memory, or the like.
  • the memory 1010 is a control program for controlling the entire mobile terminal 5000, and buttons, icon information, video, music information, text information, and display direction change of the mobile terminal 5000 for generating a typical menu screen.
  • the information related to the threshold information etc. is stored.
  • the memory 1010 displays an initial display orientation as determination information for switching the display direction, horizontal rotation threshold information, vertical rotation threshold information, display menu information to be switched, and current
  • the library information for rotating the menu screen is stored.
  • the angular velocity sensor 1002 is an example of an information acquisition unit for detecting the attitude of the mobile terminal 5000.
  • the geomagnetic sensor 1003 is an example of a means for detecting the horizontal direction, that is, the direction information or the horizontal rotation to which the mobile terminal 5000 faces.
  • Mr. A is operating the mobile terminal 5000 with the short film direction toward Mr. A (this will be called vertical holding in this embodiment), and the long film direction such as a video is directed to Mr. A Even if it is better to look sideways in this embodiment (as in the present embodiment, as shown in the right figure in FIG. 36), the screen does not rotate, so Mr. A switches from vertical holding to horizontal holding. In the case it was necessary to rotate the screen separately.
  • FIGS. 38 and 39 are diagrams showing definitions of variables relating to the horizontal and vertical attitudes of mobile terminal 5000 used in the description of the present embodiment.
  • variables relating to the horizontal orientation of the mobile terminal 5000 are defined. That is, in the initial state of the mobile terminal 5000, the direction in which the mobile terminal 5000 is facing is defined as D0. Also, the mobile terminal 5000 rotates in the horizontal direction, and defines the direction currently facing as D1.
  • D0 / D1 may be information for detecting the horizontal rotation of D0 / D1 mobile terminal 5000, for example, the horizontal direction of the gyro sensor
  • the acceleration may be accumulated to detect the relative direction in which the mobile terminal 5000 is facing.
  • variables relating to the inclination of the mobile terminal 5000 in the vertical direction are defined.
  • the inclination in the case where the mobile terminal 5000 is directed in the horizontal direction is 0 degrees, and the case in which the mobile terminal 5000 is set in the vertical direction is 90 degrees.
  • the inclination of the current mobile terminal 5000 is defined as H.
  • HThr is a vertical inclination threshold for performing display rotation described later.
  • FIG. 40 is a diagram showing an example of a menu screen when the mobile terminal 5000 is operated as a TV remote control.
  • the case where the mobile terminal 5000 is displayed vertically is shown in the left of FIG. 40, and the case where the mobile terminal 5000 is displayed horizontally is shown in the right of FIG.
  • the channel button is enlarged.
  • additional information on the program is displayed together. By changing the content to be displayed in portrait orientation and landscape orientation, the user can easily access desired information. become.
  • FIGS. 41 to 44 are diagrams showing an example of a use case when the mobile terminal 5000 is operated as a TV remote control.
  • FIG. 45 is a diagram illustrating an example of a use case of another operation of the mobile terminal 5000.
  • FIGS. 46 to 51 are diagrams for illustrating the control flow of mobile terminal 5000 in the fifth embodiment of the present invention.
  • step 601a the mobile terminal 5000 is turned on.
  • step 601 b the display direction control unit 1005 acquires the current azimuth information D 1 of the mobile terminal 5000 from the geomagnetic sensor 1003.
  • step 601 c the display direction control unit 1005 initializes the initial display direction Do with the direction information D1.
  • step 601 e the display direction control unit 1005 detects whether horizontal rotation is permitted. In the case of No, the process proceeds to step 601 d. In the case of Yes, the process proceeds to step 601 f.
  • the mobile terminal 5000 can be set to allow or not allow rotation by user operation.
  • the mobile terminal 5000 is operated as a remote control as shown in FIG. 41, there are cases where the display is not rotated even if the rotation of the mobile terminal 5000 is detected. Therefore, by having the function to allow / disallow horizontal display rotation. Unintended screen rotation can be prevented.
  • step 601 f the display direction control unit 1005 acquires the current initial azimuth information D 0 of the mobile terminal 5000 and the horizontal rotation threshold DThr from the memory 1010.
  • step 601g the display direction control unit 1005 acquires the current azimuth information D1 of the mobile terminal 5000 from the geomagnetic sensor 1003.
  • step 601 h does the display direction control unit 1005 change the detected direction information D1 by more than DThr from the initial direction information D0? Determine In the case of No, the process proceeds to step 601d. In the case of Yes, the process proceeds to step 601j.
  • step 601j the rotation detection start time is recorded only for the first time.
  • step 601k is the display direction control unit 1005 having a predetermined time elapsed from the rotation detection time?
  • step 601 n After waiting for a fixed time in step 601 m, the process proceeds to step 601 g. In the case of Yes, the process proceeds to step 601 n.
  • the time for detecting the amount of rotation for a fixed time is provided because the mobile terminal 5000 is rotated more than twice the rotation threshold, for example, when the user rotates the mobile terminal 5000 by 180 degrees. In this case, the mobile terminal 5000 is rotated smoothly. In addition, it is to prevent the user's eyes from being flickered by continuous rotation in the opposite direction when the mobile terminal 5000 is rotated in the opposite direction immediately after rotating the mobile terminal 5000 by the rotation threshold or more.
  • step 601 n the display direction control unit 1005 detects whether the display surface of the mobile terminal 5000 is vertically upward or downward.
  • step 601o the display direction control unit 1005 notifies the screen display control unit 1006 of an instruction to rotate the screen so that the D0 direction is at the top of the display screen.
  • step 601n and step 601o for example, as shown in FIG. 45, when the user is facing up and operating the mobile terminal 5000, the direction in which the screen is rotated for correction when the mobile terminal 5000 makes D1 direction, This is because the display 1004 of the mobile terminal 5000 is reversed in the vertical downward direction and in the vertical direction.
  • step 601 p the display direction control unit 1005 executes flickering and threshold control processing of screen rotation.
  • step 601 r the screen display control unit 1006 determines whether creation of a new screen is OK. In the case of No, after waiting for a fixed time in step 601s, the process proceeds to step 601q. In the case of Yes, the process proceeds to step 601s.
  • step 601t the screen display control unit 1006 determines whether to newly create a screen to be rotated.
  • step 601 u the display screen is rotated last time in step 601 x and drawn on the display 1004. In the case of Yes, the process proceeds to step 601 u.
  • step 601t the reason why the screen to be rotated is newly created in step 601t will be described.
  • the mobile terminal 5000 is assumed to have various applications such as a video player and a TV remote control. Therefore, depending on the function used by the mobile terminal 5000, it is better to rotate the display direction as it is (for example, a video player etc.), or to change the display contents by vertical display and horizontal display. There is (for example, a remote control). By this step, the convenience by the user rotating the mobile terminal 5000 is further improved.
  • step 601 u the screen display control unit 1006 creates a new screen.
  • step 601 v the display 1004 draws a new creation screen.
  • step 602 a the display direction control unit 1005 acquires the current elevation angle information H 1 of the mobile terminal 5000 from the angular velocity sensor 1002.
  • step 602b the display direction control unit 1005 determines whether the absolute value of the detected elevation angle information H1 is larger than the vertical direction rotation threshold HThr2.
  • step 601w the process proceeds to step 601w.
  • step 602 c the process proceeds to step 602 c.
  • step 602 c the display direction control unit 1005 notifies the screen display control unit 1006 of an instruction to rotate the screen so that the side on the high side of the screen is at the top of the display screen.
  • step 602d the screen display control unit 1006 determines whether to newly create a screen to be rotated.
  • step 602e the display screen is rotated last time in step 602 g and drawn on the display 1004. In the case of Yes, the process proceeds to step 602e.
  • step 602e the screen display control unit 1006 creates a new screen.
  • step 602 f the display 1004 draws a new creation screen.
  • step 602 h the display direction control unit 1005 acquires the current elevation angle information H 1 of the mobile terminal 5000 from the angular velocity sensor 1002.
  • step 602j the display direction control unit 1005 determines whether the absolute value of the detected elevation angle information H1 is smaller than the vertical direction rotation threshold HThr1.
  • step 602 h the process proceeds to step 602 m.
  • step 602k the display direction control unit 1005 sets the current direction D1 as D0.
  • step 602 j By setting the current direction in which the mobile terminal 5000 is facing as the initial orientation D0 when the user once tilts the mobile terminal 5000 in the vertical direction and then returns it horizontally by the processing of step 602 j to step 602 m. It is possible to reset or correct the rotational direction.
  • step 603a the mobile terminal 5000 detects a return from the sleep state.
  • step 603 b when detecting the return from the sleep state, the process proceeds to step 603 b.
  • step 603b the screen display control unit 1006 reads the display direction at the previous sleep time from the memory.
  • step 603 c the screen display control unit 1006 draws on the display 1004 the same screen as the display direction in the previous sleep.
  • step 601 d the process transitions to step 601 d.
  • FIGS. 52 to 56 are diagrams showing another control flow of the mobile terminal in the fifth embodiment of the present invention.
  • the mobile terminal 5000 is equipped with many functions, and also has, for example, a general-purpose remote control function. For example, while operating in the general-purpose remote control mode, if the user rotates with the remote control while trying to operate a component located at a position rotated 90 degrees from the TV, the display direction also rotates, and the convenience is lost. As shown in FIG. 43, the same applies to the case where the mobile terminal 5000 is surfing or the like and the mobile terminal 5000 is directed to the TV to switch to the remote control mode and operate the TV. For this reason, as shown in FIG. 42, it is preferable that the mobile terminal 5000 have rotation determination of performing rotation in the vertical direction and performing rotation in the horizontal direction for each operation mode. This makes it possible to prevent screen rotation unintended by the user, and to improve operability.
  • the mobile terminal 5000 when the mobile terminal 5000 operates, for example, a TV placed on the floor, the screen is rotated when the inclination when operating the TV exceeds the vertical direction rotation threshold HThr2. Convenience falls. Therefore, it is desirable for the mobile terminal 5000 to make the vertical direction rotation threshold value and the horizontal direction rotary position variable depending on the operation mode.
  • the vertical direction rotation threshold HThr2 is increased or the vertical direction rotation threshold HThr2 is increased in the remote control mode, for example, when the surface emitting infrared rays faces downward in the mobile terminal 5000. By suppressing the rotation of the direction, the operability of the user is improved.
  • step 1020a With the direction in which the mobile device is facing when the mobile device is leveled down at step 1020b as the reference direction, and the screen of the mobile device when the mobile device is leveled down Is held as the screen display direction as the optimum display direction for the user.
  • the method of updating the reference orientation will be described in detail later with reference to FIG.
  • step 1020c the value of the direction sensor is acquired as the current direction.
  • step 1020 d the difference between the reference orientation and the current orientation is calculated, and is used as the rotation angle.
  • step 1020e the screen display direction is determined from the relationship between the rotation angle and the screen display table.
  • the method of determining the screen display direction will be described in detail later with reference to FIGS. 64 to 66.
  • step 1020 f the screen is displayed in step 1020 f, and the process returns to step 1020 b.
  • FIG. 58 is a flowchart for explaining the method of updating the reference orientation (step 1020 b) in FIG. The processing flow shown in FIG. 58 will be described below.
  • step 1010b it is detected at step 1010b whether the mobile device has been leveled down.
  • a method of detecting whether the mobile device has been leveled will be described in detail later with reference to FIGS. 59 to 61.
  • step 1010c it is determined whether it is detected whether the mobile device has been leveled down.
  • step 1010 f the process proceeds to step 1010 f and ends.
  • step 1010 d the process proceeds to step 1010 d, and holds the value of the direction sensor of the mobile device when being flipped horizontally as the reference direction, and the display screen direction from the rotation direction of the mobile device when being flipped horizontally at step 1010 e Hold.
  • the method of determining the display screen direction will be described in detail later with reference to FIGS. 62 and 63.
  • FIG. 59 is a flowchart for explaining a detection method (1010b) that the mobile device of FIG. 58 falls horizontally.
  • step 1030a starts.
  • step 1030b the previous horizontal state of the mobile device is acquired.
  • FIG. 60 is a diagram showing an example of directions of three axes of the magnetic sensor of the mobile device.
  • step 1030d it is checked whether the sum of the x-axis and y-axis sensor values is greater than the z-axis sensor value by a threshold or more.
  • step 1030d If step 1030d is YES, control is passed to step 1030e, where it is determined that the current horizontal state is horizontal.
  • step 1030 g it is checked whether the previous horizontal state is “non-horizontal” and the current horizontal state is “horizontal”.
  • step 1030g If step 1030g is YES, control is passed to step 1030h, where it is determined that the mobile device has been leveled horizontally, and processing ends at step 1030i.
  • step 1030d determines that the current horizontal state is not horizontal, proceeds to step 1030g, and if step 1030g is NO, proceeds to step 1030i and ends.
  • step 1070a when the detection method (1010e) of the front screen direction in FIG. 58 is described using FIG. 62 and FIG. 63, first, starting at step 1070a, immediately before the mobile device is leveled down at step 1070b.
  • the values (Pitch and Roll) of the immediately following gyro sensor are obtained, and the amount of change in Pitch and Roll is determined.
  • Pitch and Roll of the mobile device are rotation angles of the x axis and the y axis shown in FIG.
  • step 1070c it is checked whether the amount of change in Pitch> the amount of change in Roll.
  • step 1070d the processing proceeds to step 1070d, and it is confirmed whether Pitch> 0.
  • step 1070e the + y-axis direction is held as the display screen direction, and the process ends at step 1070j.
  • step 1070f the process proceeds to step 1070f, holds the -y axis direction as the display screen direction, and ends at step 1070j.
  • Step 1070c the process proceeds to Step 1070g, and it is confirmed whether Roll> 0. If Yes, the process proceeds to Step 1070h, holds the + x axis direction as the display screen direction, and ends at Step 1070j. .
  • step 1070g the process proceeds to step 1070i, the ⁇ x axis direction is held as the display screen direction, and the process ends at step 1070j.
  • step 1100a in step 1100b, the screen display direction change table shown in FIG. 64 is referred to, and a transition step is obtained from the rotation angle.
  • step 1100c the screen display direction transition diagram shown in FIG. 65 is referred to, and the state of the display screen direction of the mobile device when being held horizontally is acquired.
  • step 1100 d the state is advanced from the state acquired at step 1100 c by the step obtained at step 1100 b.
  • step 1100 e the direction of the previous state advanced in step 1100 e is held as the direction of the display screen, and the process ends in step 1100 f.
  • the method it is possible to obtain the effect that the screen of the mobile device can always be displayed in the appropriate direction to the user, even when the mobile device placed horizontally is used while turning it repeatedly.
  • the side of 001-a of the mobile device shown in FIG. 1 is considered as the rotation angle, and the + y axis direction is held as the display screen direction.
  • An example of rotation in this case will be described with reference to FIG.
  • a detection method using an acceleration sensor may be used.
  • a detection method using an acceleration sensor will be described with reference to FIG.
  • step 1050b the previous horizontal state of the mobile device is acquired.
  • step 1050c the value of the acceleration sensor is acquired.
  • step 1050 d is the difference between the acceleration in the two axial directions and the dynamic acceleration smaller than the threshold? Check if.
  • step 1050e determines that the current horizontal state is horizontal.
  • step 1050g is the previous horizontal state "non-horizontal" and the current horizontal state "horizontal”? Check if.
  • step 1050g determines that the mobile device has fallen horizontally, and ends at step 1050h.
  • step 1050d determines that the current horizontal state is not horizontal, proceeds to step 1050g, and if step 1050g is NO, proceeds to step 1030h and ends.
  • the rotation of the device may be detected using a gyroscope without using the orientation sensor, and the display screen may be changed according to the rotation of the device.
  • an accumulated error occurs each time the sensor is rotated more than the direction sensor, but even with a device that does not have the direction sensor, the screen orientation can be displayed in an appropriate direction according to the rotation of the device.
  • the mobile terminal 5000 may be equipped with a proximity sensor or a sensor for detecting contact, and the screen to be activated may be directed to the user at the time of sleep release. This makes it possible to automatically rotate the screen in a direction easy for the user to view, regardless of the position of the mobile terminal 5000 and the user at the time of sleep release or power ON.
  • FIG. 67 is a diagram showing the orientation of the mobile device in the case where the mobile device rotates in the fifth embodiment of the present invention.
  • FIG. 67 shows an example of the orientation of the mobile device when performing the flow of FIG. 63 described above. Arrows in the figure indicate the orientation of the screen of the mobile device.
  • FIG. 68 is a diagram showing a display of the mobile device when a person looks at the mobile device in the fifth embodiment of the present invention.
  • 69 and 70 are diagrams showing a flow when a person rotates while holding the tablet, which is one aspect of the mobile device in the fifth embodiment of the present invention. The flow shown in FIG. 69 will be described below.
  • step 1020b the reference orientation is updated.
  • step 1130 g it is checked whether or not acceleration of one, two, or three axes of the acceleration sensor has been detected within a predetermined time (for example, 500 milliseconds).
  • step 1130 g If it can not be confirmed (No in step 1130 g), the process proceeds to step 1020 c, and the value of the direction sensor is acquired as the current direction.
  • step 1020 d the difference between the reference orientation and the current orientation is calculated and used as the rotation angle.
  • step 1020e the screen display direction is determined from the relationship between the rotation angle and the screen display table.
  • step 1020 f the screen is displayed. Then, it returns to step 1020b.
  • step 1130 g If it can be confirmed in step 1130 g (Yes in step 1130 g), the process returns to step 1020 b.
  • step 1140b the reference orientation is updated.
  • step 1140c the face of the user is photographed.
  • step 1140 g it is checked whether the orientation of the face of the user photographed when the reference orientation has been updated and whether the current orientation of the face has changed.
  • step 1140 If it can be confirmed, that is, if the current face orientation has changed (Yes in step 1140), the process proceeds to step 1020c, and the value of the orientation sensor is acquired as the current orientation.
  • step 1020 d The processes after step 1020 d are the same as described with reference to FIG.
  • FIG. 71 is a diagram showing a flow of a method of updating the reference orientation of the mobile device in the fifth embodiment of the invention.
  • step 1010b it is detected whether the mobile device has been leveled down.
  • step 1010c it is checked whether the mobile device has been leveled down or detected.
  • step 1010c If it is detected (Yes in step 1010c), the process proceeds to step 1010d, and the value of the direction sensor of the mobile device when it is lowered horizontally is held as the reference direction.
  • step 1010e the display screen direction is held from the rotation direction of the mobile device when it is flipped horizontally.
  • step 1150 g the face of the user is photographed, and the process proceeds to step 1050 f and ends.
  • step 1010c If it is not detected at step 1010c (No at step 1010c), the process proceeds to step 1050f and ends.
  • the fifth embodiment it is possible to automatically rotate the screen in a direction easy for the user to view, regardless of the positions of the mobile terminal and the user.
  • FIG. 72 is a diagram showing a display of the mobile device when a person facing the mobile device looks at the mobile device according to the fifth embodiment of the present invention.
  • control may be performed to suppress the rotation of the mobile terminal 5000.
  • control in coordination with the in-vehicle mode, if rotation control is performed, or if the moving speed is higher than the threshold value from GPS and acceleration information, it is determined that the user is on a car or other moving means, and the screen is rotated. You may This further improves the convenience of the user.
  • the information display device is the information display device based on information acquired by a display unit that displays an image according to the orientation of the display screen, an acceleration sensor, an angular velocity sensor, and a geomagnetic sensor. And a determination unit that determines the orientation change of the information display device, and determines the orientation of the display screen, the determination unit determining whether the display screen of the information display device is substantially the same When it is determined that there is a change in the attitude of the information display device in the horizontal state, the orientation of the display screen of the information display device before it is determined that there is a change in the attitude of the information display device is used as a reference.
  • the direction of the display screen is determined so that the side of the information display device in the direction formed by the reference direction and the predetermined angle is the upper part of the display screen when the information display device moves by a predetermined angle or more.
  • the display unit displays an image in accordance with the orientation of the display screen determined by the determining unit.
  • the determination unit determines that the display screen of the information display device is not in a substantially horizontal state and that there is a change in posture of the information display device, the determination unit is closest to the upper side opposite to the vertical direction.
  • the orientation of the display screen may be determined such that the side of the information display device is at the top of the display screen, and the display unit may display an image according to the orientation of the display screen determined by the determination unit.
  • the attitude of the information display device means the appearance of the outer shape of the information display device which appears when the information display device performs some static or dynamic operation or when the information display device performs some operation. It is indicated by the inclination from the ground plane and the direction.
  • “display according to the orientation of the display screen” means, for example, when displaying the entire image of the building, the top floor of the building in the direction (upper side) of the orientation of the display screen Lower side) Direction when displaying the basement of a building.
  • the sides of the information display device correspond to four sides in the case where the information display device is formed, for example, in a quadrangular outer shape.
  • the information display device further includes a centrifugal force direction detection unit that detects a centrifugal force direction based on the information acquired by the acceleration sensor, and the determination unit determines the information display device
  • the centrifugal force direction detection unit detects the centrifugal force direction and determines that there is a change in the posture of the information display device
  • the centrifugal force detected by the centrifugal force direction detection unit The orientation of the display screen is determined so that the side of the information display device farthest in the force direction is at the top of the display screen, and the display unit displays an image according to the orientation of the display screen determined by the determination unit You may.
  • the information display apparatus includes a shake detection unit that detects a shake of a side of the information display apparatus based on information acquired by at least one of the acceleration sensor and the angular velocity sensor.
  • the display screen of the information display device is in a substantially horizontal state
  • the shake detection unit detects a shake of a side having an amplitude equal to or greater than a threshold, and an attitude change of the information display device If it is determined that there is, the direction of the display screen is determined such that the side with the largest amplitude of the shake detected by the shake detection unit is at the top of the display screen, and the display unit is determined by the determination unit
  • the image may be displayed according to the orientation of the display screen.
  • the current position of the information display device is further determined by autonomous navigation using information acquired by the acceleration sensor and at least one of the angular velocity sensor and the geomagnetic sensor.
  • a coordinate estimation unit for estimating the position of the user using the information display terminal based on the posture of the information display terminal at the current position and the orientation of the display screen; When the display screen of the information display terminal is rotated at the current position while the display screen of the information display terminal is substantially horizontal, the estimated position of the user is displayed.
  • the orientation of the display screen may be determined to be at the bottom of the screen, and the display unit may display an image according to the orientation of the display screen determined by the determination unit. .
  • the determination unit is configured to move the position of the user from the moving direction of the information display terminal on the opposite side to the moving direction with respect to the information display terminal.
  • the orientation of the display screen is determined such that the position of the user estimated is present and the position of the estimated user is at the bottom of the display screen, and the display unit determines the image according to the orientation of the display screen determined by the determination unit. It may be displayed.
  • the display unit is a part of the position on the display screen, the position being determined based on the orientation of the display screen with respect to the user.
  • An icon may be displayed to indicate the normal position of the information display device.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • software for realizing the information display device and the like of each of the above-described embodiments is the following program.
  • this program detects the attitude of the information display device based on the information obtained by the display step of displaying an image according to the orientation of the display screen of the information display device on a computer, and the acceleration sensor, the angular velocity sensor and the geomagnetic sensor. Determining an attitude change of the information display device, and determining an orientation of the display screen, wherein the display screen of the information display device is substantially horizontal in the determination step. And the information display apparatus based on the orientation of the display screen of the information display apparatus before it is determined that there is a change in the attitude of the information display apparatus when it is determined that there is a change in the attitude of the information display apparatus.
  • Side moves by more than a predetermined angle
  • Determining the orientation of so that the display screen, in the display step may be to perform the displaying the image in accordance with the orientation of the display screen determined in the determining step.
  • the information display device is particularly useful for providing a user interface of a high-performance portable information display terminal such as a smartphone and a tablet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

 本発明の情報表示装置は、表示画面の向きに従い画像を表示する画像表示部(108)と、加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する端末姿勢検出部(104)と、前記情報表示装置の姿勢変化を判定し、表示画面の向きを決定する表示向き判定部(105)とを備え、表示向き判定部(105)は、情報表示装置の表示画面が略水平状態であり、かつ、情報表示装置の姿勢変化があると判定した場合、情報表示装置の姿勢変化があると判定される前の情報表示装置の表示画面の向きを基準として、情報表示装置が所定の角度以上動いたとき、その基準の方向と所定の角度以上なす方向の情報表示装置の辺が表示画面の上部となるよう表示画面の向きを決定し、画像表示部(108)は、表示向き判定部(105)により決定された表示画面の向きに従い画像を表示する。

Description

情報表示装置
 本発明は、スマートフォン、タブレットなど携帯型の情報表示装置に関し、特に、端末のGUIの表示方法に関する。
 近年、スマートフォンなどの高性能な携帯型の情報表示端末(以下モバイルと記載。)が登場し、多様な用途に応用されつつある。なかでも、モバイルを用いて家電を制御するような応用形態が現れている。スマートフォンやタブレットなどはノート型パソコンと比べてその形状が、筐体の姿勢と一致しておらず、縦持ち横持ち、上下反転など自由な持ち方ができる。そのため、GUIをユーザの求める向きに表示する必要が発生する。
 それに対して、重力方向を検知して、地面に対して垂直方向の辺を上としたGUI表示となるよう実装されたモバイルの商品がある。しかし、ユーザのモバイルの保持方法は多様であり、例えばモバイルを水平に持って回転させた場合など、この方式では対応できないケースも存在する。
 そこで、このような課題を解決するひとつの方法が特許文献1に開示されている。特許文献1では、タッチセンサが検知する圧力に基づき、モバイルの持ち方が両手持ちか片手持ちかを検知して、画面表示の内容を変更する方法が開示されている。
特許第4489719号公報
 しかしながら、特許文献1の技術では、ユーザがモバイルを普段の持ち方と異なる持ち方をした場合や、向きを変えた持ち方をした場合には対応できない。
 そこで、本発明は、上記の問題点に着目したものであり、例えば情報表示装置の向きを変えるなどユーザが多様な持ち方をした場合でも、ユーザが違和感なく見ることができる向きにGUIを表示できる情報表示装置を提供することを目的とする。
 上記課題を解決するために、本発明の一態様に係る情報表示装置は、加速度センサ、角速度センサ、地磁気センサ、圧力センサなどの各種センサを用いてモバイルの姿勢を検出する姿勢センサによって、モバイルの状態を把握して、ユーザとモバイルの位置関係及びモバイルの姿勢をモバイルが推定することで、ユーザが違和感なく見ることができる向きにGUIを表示する。
 本発明によれば、ユーザが多様な持ち方をした場合でも、ユーザが違和感なく見ることができる向きにGUIを表示できる情報表示装置を実現できる。それにより、ユーザが多様な持ち方をした場合でも、ユーザが違和感なくモバイルを操作することができる。
図1は、本発明の実施の形態1における情報表示装置の姿勢と画面表示向きの関係を示す図である。 図2は、本発明の実施の形態1における情報表示装置の画面の表示向きを判定する処理部の内部構成を示す図である。 図3は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。 図4は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。 図5は、本発明の実施の形態2における情報表示装置の向きを設定する処理部の内部構成を示す図である。 図6は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。 図7は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。 図8は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。 図9は、本発明の実施の形態3における情報表示装置の構成を示す図である。 図10は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図11は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図12は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図13は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。 図14は、位置DBに格納されるポイント対象の情報の例である。 図15は、本発明の情報表示装置の姿勢と画面表示向きの関係の別の例を示す図である。 図16は、本発明の情報表示装置の姿勢と画面表示向きの関係の別の例を示す図である。 図17は、本発明の情報表示装置の姿勢と画面表示向きの関係の別の例を示す図である。 図18は、本発明の実施の形態4における情報表示装置自身の向きを示すアイコンを表示する方法を説明するための図である。 図19は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図20は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図21は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図22は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図23は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図24は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図25は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図26は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図27は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。 図28は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図29は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図30は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図31は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図32は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図33は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図34は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。 図35は、本発明の実施の形態5における情報表示装置の一態様のモバイル端末の構成を示す図である。 図36は、本発明の実施の形態5におけるユースケースの一例を示す図である。 図37は、本発明の実施の形態5におけるユースケースの一例を示す図である。 図38は、本発明の実施の形態5の説明で用いるモバイル端末の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。 図39は、本発明の実施の形態5の説明で用いるモバイル端末の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。 図40は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のメニュー画面の一例を示す図である。 図41は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図42は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図43は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図44は、本発明の実施の形態5におけるモバイル端末をTVリモコンとして操作した場合のユースケースの一例を示す図である。 図45は、本発明の実施の形態5におけるモバイル端末の別の操作のユースケースの一例を示す図である。 図46は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図47は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図48は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図49は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図50は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図51は、本発明の実施の形態5におけるモバイル端末の制御フローを説明するための図である。 図52は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図53は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図54は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図55は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図56は、本発明の実施の形態5におけるモバイル端末の別の制御フローを示す図である。 図57は、本発明の実施の形態5におけるモバイル機器を利用する場合の動作を説明するための図である。 図58は、本発明の実施の形態5におけるモバイル機器の基準方位の更新方法を説明するためのフロー図である。 図59は、本発明の実施の形態5におけるモバイル機器が水平に倒れた事の検知方法を説明するためのフロー図である。 図60は、本発明の実施の形態5におけるモバイル機器の磁気センサの3軸の方向の例を示す図である。 図61は、本発明の実施の形態5におけるモバイル機器の加速度センサを用いた水平に倒れた事の検知方法を説明するための図である。 図62は、本発明の実施の形態5におけるモバイル機器の磁気センサの3軸の方向の例を示す図である。 図63は、本発明の実施の形態5におけるモバイル機器の画面表示方向を説明するための図である。 図64は、本発明の実施の形態5におけるモバイル機器の画面表示方向変更テーブルを示す図である。 図65は、本発明の実施の形態5におけるモバイル機器の画面表示方向遷移図を説明するための図である。 図66は、本発明の実施の形態5におけるモバイル機器の画面表示方向を説明するための図である。 図67は、本発明の実施の形態5におけるモバイル機器が回転する場合のモバイル機器の方位を示す図である。 図68は、本発明の実施の形態5におけるモバイル機器を人物が見る場合のモバイル機器の表示を示す図である。 図69は、本発明の実施の形態5におけるモバイル機器の一態様であるタブレットを持ったまま人物が回転した場合のフローを示す図である。 図70は、本発明の実施の形態5におけるモバイル機器の一態様であるタブレットを持ったまま人物が回転した場合のフローを示す図である。 図71は、本発明の実施の形態5におけるモバイル機器の基準方位の更新方法のフローを示す図である。 図72は、本発明の実施の形態5におけるモバイル機器を対向した人物が見る場合のモバイル機器の表示を示す図である。
 以下本発明の実施の形態について、図面を参照しながら説明する。
 (実施の形態1)
 実施の形態1は、遠心力やユーザがモバイルを振る動作を検知して、画面の表示向きを変更することで、ユーザが違和感なく見ることができる向きにGUIを表示する処理の流れについて説明する。
 図1は、本発明の実施の形態1における情報表示装置の姿勢と画面表示向きの関係を示す図である。図1に示すとおり、ユーザがモバイルを見ている状態での、初期状態を(A)とする。(A)ではモバイルは水平面である机に対して、画面が鉛直方向から20度ずれた状態になっている。この状態から時計回りに90度まわすと(B)の状態になり、すなわちモバイルは鉛直方向に縦長の状態になり、GUIが鉛直方向の上に相当する辺を上部としてGUIが表示される。
 このよう、画面表示部が水平状態にないモバイルでは、加速度センサ等で重力を検知することで鉛直方向の上側を上部としたGUI表示をすることができる。
 さらには、(C)のようにモバイルを水辺に倒した場合は、(B)の表示が維持される。その後に、モバイルを水平面上で反時計回りに向きを変えたときに(D)のように(C)において上部だった方向にGUIが表示される。ここでは机を、水平面を表すために利用しているが、床や天井、手に持った状態などでもかまわない。
 ここで、図2を用いて(A)や(B)の状態の検知をしつつ、(C)及び(D)へ端末姿勢を変えたときに、表示向きを決定する方法についてさらに詳しく説明する。図2は、本発明の実施の形態1における情報表示装置の画面の表示向きを判定する処理部の内部構成を示す図である。
 図2に示すとおり、本発明のモバイル装置は、加速度センサ101と、角速度センサ102と、地磁気センサ103と、これらのセンサの情報を元にモバイルの水平面に対する角度や、水平面上の向きなどの端末姿勢情報を検出する端末姿勢検出部104と、端末姿勢情報などからモバイルの画面に表示するGUIの表示向きを判定する表示向き判定部105と、端末の過去の状態として、端末姿勢情報やGUIの表示向きを時系列端末状態保存部107に保存し管理する時系列端末状態管理部106と、画像表示部108とを有する。
 次に、図3を用いて処理の流れを示す。図3は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ100aで、端末姿勢検出部は、各種センサから端末の姿勢変化を検出したかどうかを判定し、検出しなかった場合はステップ100aに戻る。
 次に、ステップ100bで、検出した場合、端末姿勢検出部104が、加速度センサの値を取得し、重力方向を取得する。
 次に、ステップ100cで、端末姿勢検出部104が、モバイルの水平面に対する任意の角度(例えば20度)以上の傾きを検出したかどうかを判定する。
 ステップ100cにおいて、Yesの場合は、ステップ100dへ進み、端末姿勢検出部104が重力方向の情報から検出された姿勢の中で、傾きによってもっとも鉛直方向の上側にある辺を判定する。
 次に、ステップ100eで、表示向き判定部105が検出した辺が画面表示上の上部になるよう表示画面の向きを変更し、次に、ステップ100fで、時系列端末状態管理部が端末姿勢情報を現状の表示向きとともに保存する。
 次に、ステップ100gで、表示処理終了したかを判定する。Yesの場合は、終了する。終了しなければ(Noの場合)、ステップ100aへ戻る。
 なお、ステップ100cで、Noの場合は、図4のW01へ進む。
 続いて、図4を用いて処理の流れを示す。図4は、本発明の実施の形態1における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ101aで、表示向き判定部が時系列端末状態管理部から一つ前の端末の姿勢情報と表示向きを取得する。
 次に、ステップ101bで、端末姿勢検出部が、角速度又は地磁気センサ、又はその両方を用いて、現時点の端末の姿勢として水平面上の向きの変化を取得する。
 次に、ステップ101cで表示向き判定部が、一つ前の端末の姿勢情報と現時点の端末の姿勢情報を比較する。
 次に、ステップ101dで、一つ前の端末の姿勢情報がモバイルの水平面に対する任意の角度(例えば20度)以上の傾きを有することをあらわす?かどうかを判定する。
 Yesの場合は、ステップ101eへ進み、表示向き判定部が、一つ前の端末の表示向きを変更せずに表示を継続する。そして、図3のW02へ戻る。
 一方、Noの場合は、ステップ101fへ進み、向きの変化が任意の確度(70度)を超えている?かどうかを判定する。
 次いで、ステップ101gで、表示向き判定部が、向きの変化の方向と逆に画面を90度変更して、図3のW02へ戻る。
 このようにして、本実施の形態の情報表示装置(モバイル)は、ユーザが違和感なく見ることができる向きにGUIを表示することができる。
 (実施の形態2)
 本実施の形態2では、遠心力を用いた向きの設定及び、ユーザの手持ち状態を考慮したモバイルの筐体の振れ幅も用いたから向きを設定する方式について開示する。
 図5は、本発明の実施の形態2における情報表示装置の向きを設定する処理部の内部構成を示す図である。図5に示す構成は、実施の形態1に示した構成に対して遠心力方向検出部111が加わる点が異なる。
 次に、図6を用いて処理の流れを示す。図6は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ110aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
 次に、ステップ110bで、端末姿勢検出部が、重力方向の値から、端末の水平線に対する姿勢情報を算出する。
 次に、ステップ110cで、自機器の表示部があらかじめ決められた誤差以内の水平に近い状態かどうかを判定する。
 Yesの場合は、ステップ110eへ進み、遠心力方向検出部が、水平方向の加速度の値を取得する。
 次にステップ110fで、任意の時間内で、水平方向の加速度成分が一定方向に出続けており、かつ逆方向に成分がないケースがあるかどうかを判定する。
 ここで、Yesの場合は、ステップ110hへ進み、取得された方向の遠いほうの辺を上部としてGUIを表示し、図7のW03へ進む。
 Noの場合は、ステップ110gへ進み、あらかじめ設定されていた表示向きに従ってGUIを表示し、図7のW03へ進む。
 なお、ステップ110cで、Noの場合は、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示し、図7のW03へ進む。
 続いて、図7を用いて処理の流れを示す。図7は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ111aで、端末姿勢検出部が、加速度センサの値を取得し、合成ベクトルから重力方向を取得する。
 次に、ステップ111bで、端末姿勢検出部が、重力の基準値を自端末が計測により保存する位置情報を元に算出する。または、自端末の位置情報を元に重力の基準値をクラウド上のサーバにアクセスして取得する。
 次に、ステップ111cで、取得された3軸加速度の合成値が重力の基準値と比較して大きいかどうかを判定する。
 Yesの場合は、ステップ111gへ進み、もっとも大きいベクトルに近づくよう、重力方向を補正する。
 次に、ステップ111hで、重力成分を除いた合成ベクトルが水平面上で示す方向の遠いほうの辺を上部としてGUIを表示し、図8のW04へ進む。
 なお、ステップ111cで、Noの場合は、ステップ111dへ進み、自機器の表示部があらかじめ決められた閾値(角度)以内の水平に近い状態?かどうかを判定する。
 Yesの場合は、ステップ111eへ進み、あらかじめ設定されていた表示向きに従ってGUIを表示し、図8のW04へ進む。
 Noの場合は、ステップ111fへ進み、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示し、図8のW04へ進む。
 続いて、図8を用いて処理の流れを示す。図8は、本発明の実施の形態2における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ112aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
 次に、ステップ112bで、端末姿勢検出部が角速度センサ又は加速度センサから、検出された姿勢の中で揺れ幅の大きい辺を検出する。
 次に、ステップ112cで、端末向き判定部が、検出した振れ幅の大きい辺と、予め設定されているか又は過去に保存された振れ幅の大きい辺と先頭方向との関係を示す情報を用いて、GUIの向きを設定する。
 次に、ステップ112dで、任意の時間(例5秒)以内にユーザが、一定値を超える傾きまたは遠心力によって先頭方向を検知するかどうかを判定する。
 Noの場合は終了する。
 一方、Yesの場合は、ステップ112eへ進み、振れ幅によって検出された辺と違うかどうかを判定する。ここで、Noの場合は終了し、Yesの場合は、ステップ112fへ進み、端末向き判定部が、振れ幅の大きい辺と、その後一定時間以内にユーザが先頭方向とした辺の関係を保存して終了する。
 このようにして、本実施の形態の情報表示装置(モバイル)は、遠心力を用いた向きの設定及び、ユーザの手持ち状態を考慮したモバイルの筐体の振れ幅も用いたから向きを設定し、ユーザが違和感なく見ることができる向きにGUIを表示することができる。
 (実施の形態3)
 本実施の形態では、モバイルが内蔵センサを用いた自律航法によってモバイル自身の位置情報を取得することと、モバイルがあらかじめ位置が登録されている周辺のデバイスや物、位置情報を有する仮想的なタグ情報といった周辺環境の情報を用いたGUIやアプリケーションを表示する場合の画面の向きの決定方法について説明する。
 図9は、本発明の実施の形態3における情報表示装置の構成を示す図である。
 図9に示す構成は、実施の形態1の構成と比較して、モバイルが内蔵センサによって取得した情報からモバイルの移動量を検出する移動量検出部121と、モバイルの現在地座標を推定する座標推定部と、モバイルが周辺環境の情報をポイント対象として探索する、ポイント対象探索部とポイント対象となる周辺のデバイスや物、位置情報を有する仮想的なタグ情報などのリストを位置情報として登録するデータベースである位置DB124が加わる点が異なる。
 なお、圧力センサによる高さの検知など、位置を特定する為に有用なセンサであれば内蔵センサとして用いることができる。
 また、位置DB124は、端末内部にあっても良いが、クラウド上に置かれていてもよく、その保存場所は問わない。
 続いて、図10を用いて処理の流れを示す。図10は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ120aで、端末姿勢検出部が、加速度センサの値を取得し、重力方向を取得する。
 次に、ステップ120bで、端末姿勢検出部が、重力方向の値から、端末の水平面に対する姿勢情報を算出する。
 次に、ステップ120cで、端末姿勢検出部が加速度センサと角速度センサ地磁気センサから端末姿勢を決定する。
 次に、ステップ120dで、移動量検出部が前回座標推定時からの加速度センサの値を取得する。
 次に、ステップ120eで、移動量検出部が端末姿勢検出部から端末姿勢情報を取得する。
 次に、ステップ120fで、移動量検出部が端末姿勢情報と加速度センサの値から、端末の移動方向、移動距離を算出する。
 次に、ステップ120gで座標推定部が一つ前の座標推定時の座標値からの、移動方向、移動距離を元に現時点のモバイルの座標値である推定現在地座標を算出する。
 次に、ステップ120hで、座標推定部が、過去に基準点を認識したときからの移動量の総量から、座標推定確度を設定して、図11のW05へ進む。
 続いて、図11を用いて処理の流れを示す。図11は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ121aで、ポイント対象探索部が、端末がポイントする対象物サーチ状態かどうかを確認(例えばユーザのボタン押下、特定位置、静止状態)する。
 次に、ステップ121bで、対象物サーチ状態かどうかを判定する。
 Noの場合は、図12のW06へ進む。一方、Yesの場合は、ステップ121cへ進み、ポイント対象探索部が、姿勢制御部から端末姿勢を取得し、端末の先頭方向の向きを特定する。
 次に、ステップ121dで、ポイント対象探索部が座標推定部から自機器の座標値を取得する。
 次に、ステップ121eで、ポイント対象探索部が、位置DB上に登録された位置情報を有する機器などの対象物が自機器の座標値から端末の先頭の向いた方向に存在するかどうかを確認する。
 次に、ステップ121fで、対象物が存在するかどうかを判定する。
 Noの場合は、図12のW06へ進む。一方、Yesの場合は、ステップ121gへ進み、ポイント対象に関連する機能を起動(例えば対象機器の制御GUI)して、図12のW06へ進む。
 続いて、図12を用いて処理の流れを示す。図12は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
 まず、ステップ122aで、表示向き判定部が、ポイント対象に関連するGUIを表示しているモードかどうかを判定する。
 次に、ステップ122bで、表示向き判定部が、端末姿勢検出部から、端末姿勢を取得する。
 次に、ステップ122cで、自機器の表示部があらかじめ決められた閾値(例:±10度)以内の水平に近い状態?かどうかを判定する。
 Yesの場合は、図13のW08へ進む。一方、Noの場合は、図13のW07へ進む。
 続いて、図13を用いて処理の流れを示す。図13は、本発明の実施の形態3における情報表示装置の処理の流れを説明するための図である。
 W07において、ステップ123aで、端末の傾きによって、もっとも高い位置にある辺を上部としてGUIを表示して、終了する。
 W08において、ステップ123bで、表示向き判定部が、自機器の座標値とポイント対象物の座標値を結ぶ直線状のポイント対象物に近いほうの辺を算出する。
 次に、ステップ123cで、算出した辺と、自機器の座標値とポイント対象物の座標値を結ぶ直線が任意の角度(例90度+-20度)以内かどうかを判定する。
 Yesの場合は終了し、Noの場合は、ステップ123dへ進み、位置DBから取得したポイント対象の位置の正確度が任意のレベル(例80%)以上かどうかを判定する。ここで、Yesの場合は終了し、Noの場合は、ステップ123eへ進み、表示向き判定部が、時系列端末状態管理部の情報から、現状が回転中かどうかを判定する。
 次に、ステップ123fで、算出した辺と、自機器の座標値とポイント対象物の座標値を結ぶ直線が任意の角度(例90度+-20度以内)になる方向に回転中であるかどうか判定する。
 Yesの場合は、終了し、Noの場合は、ステップ123gへ進み、現状の向きを変えないで表示を続け終了する。
 図14は、位置DBに格納されるポイント対象の情報の例である。図14に示すように対象物は、それぞれの3次元空間上の絶対座標値、又はモバイルが位置を特定するために使用したいづれかの基準点を基準とした相対座標値を持つ。さらには、対象物自身を基準点と考えた場合の、座標値の正確さを表す基準点角度情報を持つことも可能である。また、対象物の座標や基準点角度情報を更新した場合の更新時刻情報を持つことが可能である。
 このようにして、本実施の形態の情報表示装置によれば、ユーザがポイントしたい対象を意識している状況で、ユーザがモバイルを多様な持ち方をして使っていても、ユーザが違和感なくモバイルを操作することができるGUIの表示が実現する。
 (実施の形態4)
 アイコン表示することによってユーザにより分かりやすい表示を実現する方法について述べる。例えば、モバイルの画面向きを変えた場合に、モバイル自身の筐体の姿勢とモバイル自身の画面の向きとの関係がわかりにくくなることを防ぐため、現時点のモバイルの姿勢を示すアイコンを表示する。
 以下、図を用いて、本発明の実施の形態4における情報表示装置(モバイル自身)の向きを示すアイコンを表示する方法を説明する。図18は、本発明の実施の形態4における情報表示装置(モバイル自身)において、常に端末の正位置を示すアイコンのバリエーションを示す図である。また、図19~図27は、本発明の実施の形態4における情報表示装置(モバイル自身)において、正位置を示すアイコンのバリエーションを示す図である。
 図18において、モバイルの画面の左上にあるアイコンはボタン・カメラ・スピーカ位置を誇張表現したモバイル自身の絵を縮小したものである。このアイコンは画面の向きが変わっても常に見やすい位置に、端末自体の向きを表示し続ける。具体的には縦向き横向きにかかわらず左上にモバイル端末の現状態の位置が表示される。このとき、モバイルの筐体がどの向きを向いても、アイコンの向きは筐体に対して不変であり、画面内の他のコンテンツが色々な方向を向いても、アイコンだけは筐体と同じ向きで表示される。
 また、図21のように右下や左下に表示しても良く、さらには右上など、画面内の表示位置は何処にあっても良い。ここで水平面から70度に傾いた絵を用いているが、一例であり、角度は問わない。
 なお、図19、図20も同様にアイコンの種別のバリエーションを表すものである。また、図21の(A)~図27では、横位置と縦位置について左右や上下片方の絵しか見せない場合のアイコンを開示する。図21に示すように、モバイルによっては、前面にカメラやスピーカーがついているなどして、縦位置、横位置に対して、カメラが上にある必要があるなど、正しい位置(正位置)というものがある。この場合は、ユーザに表示するときのアイコンは縦と横のときの正位置を示すものとして2種類あればよい。
 図28~図34は、本発明の実施の形態4における情報表示装置がユーザに正位置を促すアイコンを示す図である。
 例えば、図28に示すようにアイコンは、縦位置に対して正位置となる方向にアイコンの上方向が来て、モバイルが縦位置に対して正位置とは反対の姿勢のときは、アイコンが反対を向くので、ユーザが違和感を持つ。これによってユーザに正位置にするよう促すことができる。図29~図34もユーザに正位置を促すアイコンを開示したものである。図中に別の例としてあるものは、左上にアイコン表示させたものである。
 また、アイコンを左右非対称とし、方向性をもたせることで、現在の端末の位置から、どちらに回転させれば正位置になるかをユーザに示唆することができる。例えば図28に示すように、目をモチーフとしたアイコンが右を見ている場合は、端末の右側を上にすることで正位置にすることができることを示している。図29~図34も同様に、アイコンの顔の向き、指差しの向き、体の向きが正位置の方向を示している。
 また、図26では縦位置と横位置によって絵が別のものに変わるアイコンを示している。横位置では鳥に見えたものが、縦位置ではウサギに見えるものと、横位置ではペンギンだが縦位置ではマンボウに見える。これによって、違和感のある絵のときは筐体の向きがおかしいという風にユーザに感じさせることができる。
 この場合は、ユーザにとって違和感のあるアイコンの表示をなくすことができる。このとき、アイコンを表示するモジュールが、事前に画面の向きの上方向を認識し、常にGUIの上側を基準として、横位置と縦位置にあわせたアイコン表示となるようにすることができる。
 (実施の形態5)
 本実施の形態では、情報表示装置の一態様としてデジタルカメラ等のモバイル端末の電気的構成について、図35を用いて説明する。図35は、本発明の実施の形態5における情報表示装置の一態様のモバイル端末の構成を示す図である。
 〔1-1.概要〕
 本実施の形態にかかるモバイル端末5000は、タッチパネルなど外部入力とディスプレイを持ち、インターネットブラウジングや映像の閲覧、音楽の視聴、TVや家電製品の操作などを行うことができる多機能なモバイル端末である。本実施の形態のモバイル端末5000は、その使用目的上、モバイル端末を縦向きや横向きに回転させることが想定されるが、ユーザの向いている方向に常に画面の向きを回転させて表示させることで、ユーザがモバイル端末5000をどのように回転させても、常に見やすい表示方向で画面を表示させることを可能にする。
 〔1-2.構成〕
 〔1-2-1.電気的構成〕
 図35に示すモバイル端末5000は、角速度センサ1002および地磁気センサ1003を持ち、これらの入力を用いて表示方向制御部1005に現在ユーザがどの方向からモバイル端末5000を持っているかを検出させ、表示方向を決定する。そして決定した表示方向を画面表示制御部1006へ伝える。画面表示制御部1006は、制御方向制御部の情報を元に、実際にモバイル端末のディスプレイ1004へ出力する情報を生成し、ディスプレイ1004へ送る。ディスプレイ1004は受信した情報をディスプレイ画面に表示させる。以下、モバイル端末5000の構成を詳細に説明する。
 外部入力部1030は、タッチパネルやハードウェアキーなどにより構成される。ユーザの操作を受け付けることで、モバイル端末5000を操作する様々な入力を受け取ることができる。ディスプレイ1004がタッチパネル付きで外部操作を受け付けることができる場合、ディスプレイ1004と兼用することも可能である。
 コントローラ1020は、モバイル端末5000全体を制御する制御手段である。コントローラ1020は、半導体素子などで実現可能である。コントローラ1020は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ1020は、マイコンなどで実現できる。コントローラ1020は、角速度センサ1002や地磁気センサ1003などによって検出されたモバイル端末5000の向いている方位、鉛直方向の傾きによって、ユーザにとって利便性の高い画面表示方向を制御し、画面に表示させることができる(詳細は後述する)。
 角速度センサ1002は、モバイル端末5000の角速度を検出するためのセンサであり、複数軸方向の角速度を検出することができる。
 地磁気センサ1003は、モバイル端末5000が向いている水平方向の方位情報を検出するためのセンサであり、方位情報を取得することができる。
 表示方向制御部1005は、角速度センサ1002と、地磁気センサ1003との情報を元にモバイル端末5000の表示方向を制御する。モバイル端末5000が例えば水平方向に時計回りに90度の回転を検出した場合、これはユーザがモバイル端末5000を長辺方向から短辺方向に回転させたとみなせるため、反時計回りに90度表示画面を回転させることを指令するなどの制御を行うことができる。どのタイミングでどの程度回転を行うかに関しては後述する。
 画面表示制御部1006は、表示方向制御部1005の情報を元に、ディスプレイ1004へ送信するUI画面を実際に生成する部分である。画面表示制御部1006はソフトウェアで実装しても良いし、負荷の高い処理をハードウェア化するなど、ハードウェアとソフトウェアのハイブリッドで実装することも可能である。
 ディスプレイ1004は、画面表示制御部1006より送信されるUI画面を表示させることができる。メモリ1010から読み出した情報を表示可能である。また、ディスプレイ1004は、モバイル端末5000の各種設定を行うための各種メニュー画面等を表示可能である。
 メモリ1010は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ1010は、モバイル端末5000全体を制御するための制御プログラムや、典型的なメニュー画面を生成するための、ボタン、アイコン情報や、映像、音楽情報、テキスト情報、モバイル端末5000の表示方向の変更のための閾値情報などに関する情報等を記憶している。特に、本実施の形態においては、メモリ1010は、表示方向を切り替えるための判断情報となる初期表示方位と、水平方向回転閾値情報と、鉛直方向回転閾値情報と、切り替える表示メニュー情報と、現在のメニュー画面を回転させるライブラリ情報とを記憶する。
 〔1-2-2.用語の対応〕
 角速度センサ1002は、モバイル端末5000の姿勢を検出するための情報取得手段の一例である。地磁気センサ1003は、モバイル端末5000の向いている水平方向の向きすなわち方位情報や水平方向の回転を検出する手段の一例である。
 また、コントローラ1020は、情報取得手段、回転判定手段、回転検出手段、及び制御手段の一例である。内部メモリ1010は記憶手段の一例である。ディスプレイ1004は表示手段の一例である。
 〔1-3-1.ユースケース〕
 本実施の形態で想定するユースケースの一例を図36、図37を用いて説明する。
 今、図36のようにAさんがモバイル端末5000を短編方向をAさんに向けて(本実施の形態ではこれを縦向き持ちと呼ぶ)操作していて、映像など長編方向をAさんに向けて(本実施の形態ではこれを横向き持ち)みた方が良い場合などにおいても、図36の右図のように、画面が回転することはないため、Aさんは縦持ちから横持ちに切り替えた場合は別途画面を回転させる必要があった。
 しかし、本実施の形態では、図37のように、Aさんが図37の左図ように縦向き持ちから図37の右図のように横向き表示に切り替えた場合において、Aさんの見やすい方向に画面が自動で回転することを特徴とする。
 〔1-3-2.表示画面の回転制御(全体)〕
 本実施の形態のモバイル端末5000の一連の動作を説明するため、説明の便宜上ユースケース別に通常ケースと特殊ケースとに分けて説明を行う。
 図38および図39は、本実施の形態の説明で用いるモバイル端末5000の水平方向、垂直方向の姿勢に関する変数の定義を示す図である。
 図38を用いて、モバイル端末5000の水平方向の方位に関する変数を定義する。すなわち、モバイル端末5000の初期状態でモバイル端末5000が向いている方位をD0と定義する。また、モバイル端末5000が水平方向に回転し、現在向いている方位をD1と定義する。
 なお、本実施の形態ではD0/D1は方位情報を用いて説明を行うが、D0/D1モバイル端末5000の水平方向の回転を検出するための情報であれば良く、例えばジャイロセンサの水平方向の加速度を累積して、モバイル端末5000が向いている相対方向を検出しても良い。
 続いて、図39を用いて、モバイル端末5000の鉛直方向の傾きに関する変数を定義する。モバイル端末5000が水平方向に向いている場合の傾きを0度とし、垂直に立てた場合を90度とする。現在のモバイル端末5000の傾きをHと定義する。HThrは後述する表示回転を行うための鉛直方向の傾き閾値である。
 図40は、モバイル端末5000をTVリモコンとして操作した場合のメニュー画面の一例を示す図である。モバイル端末5000を縦向き表示させた場合を図40の左図に示しており、モバイル端末5000を横向き表示させた場合を図40の右図に示している。縦向きの場合はチャンネルボタンを大きく、横向き表示の場合は番組に関する付随情報などをあわせて表示させ、縦向き表示と横向き表示で表示させる内容を変えることでユーザが欲しい情報に簡単にアクセスできるようになる。ここで、図41~図44は、モバイル端末5000をTVリモコンとして操作した場合のユースケースの一例を示す図である。図45は、モバイル端末5000の別の操作のユースケースの一例を示す図である。
 図46から図51を用いて本実施の形態におけるモバイル端末5000の制御フローを説明する。図46~図51は、本発明の実施の形態5におけるモバイル端末5000の制御フローを説明するための図である。
 まず、ステップ601aで、モバイル端末5000電源がONされる。
 次に、ステップ601bで、表示方向制御部1005が地磁気センサ1003より現在のモバイル端末5000の方位情報D1を取得する。
 次に、ステップ601cで、表示方向制御部1005が初期表示方位Doを方位情報D1で初期化する。
 次に、ステップ601eで、表示方向制御部1005が水平方向の回転が許可されているかを検出する。Noの場合は、ステップ601dに進む。Yesの場合はステップ601fに進む。
 ここで、水平方向の回転が許可されているか否かに関して解説する。モバイル端末5000はユーザ操作によって回転を許可する/許可しないを設定可能とする。またモバイル端末5000を図41のようにリモコンとして操作している場合、モバイル端末5000の回転を検出しても表示を回転させない場合も存在する。このため、水平方向の表示回転を許可/不許可する機能を持たすことで。意図しない画面回転を防止することができる。
 次に、ステップ601fで、表示方向制御部1005はメモリ1010より現在のモバイル端末5000の初期方位情報D0・水平方向回転閾値DThrを取得する。
 次に、ステップ601gで表示方向制御部1005は地磁気センサ1003より現在のモバイル端末5000の方位情報D1を取得する。
 次に、ステップ601hで表示方向制御部1005は検出した方位情報D1が初期方位情報D0よりDThr以上変化しているか?を判定する。Noの場合はステップ601dに進む。Yesの場合はステップ601jに進む。 
 次に、ステップ601jで初回のみ回転検出開始時刻を記録する。
 次に、ステップ601kで表示方向制御部1005は現在時刻は回転検出時刻より所定時間経過しているか?を検出する。
 Noの場合はステップ601mで一定時間待機後ステップ601gに進む。Yesの場合はステップ601nに進む。
 次に、ステップ601j~601nで一定時間回転量を検出する時間を設けているのは、ユーザがモバイル端末5000を180度回転させた場合など、回転閾値の2倍以上モバイル端末5000を回転させた場合に、モバイル端末5000の回転をスムーズに行うためである。また、一度回転閾値以上モバイル端末5000を回転させ、すぐに反対方向に回転させた場合などにおいて、反対方向の回転が連続し、ユーザの目がちらついてしまうことを防止するためである。
 次に、ステップ601nで表示方向制御部1005はモバイル端末5000のディスプレイ面が鉛直方向上向きか下向きかを検出する。
 次に、ステップ601oで表示方向制御部1005はD0方向が表示画面の上部になるように画面を回転させる命令を画面表示制御部1006に通知する。
 ステップ601n、ステップ601oに関しては図45のように例えばユーザが仰向けになってモバイル端末5000を操作している場合、モバイル端末5000がD1方向させた場合に補正のために画面を回転させる向きが、モバイル端末5000のディスプレイ1004が鉛直方向下向きと仰向きで逆になるためである。
 次に、ステップ601pで表示方向制御部1005は画面回転のちらつき・閾値制御処理実施する。
 次に、ステップ601rで画面表示制御部1006は新規画面作成がOKかどうかを判定する。Noの場合はステップ601sで一定時間待機後、ステップ601qに進む。Yesの場合はステップ601sに進む。
 このステップは、例えばモバイル端末5000のユーザインターフェース層のソフトが優先度の高い別処理(例えば画面スクロールなど)を行っている場合に、優先度が高い処理が完了するのを待つ処理を意味している。
 次に、ステップ601tで画面表示制御部1006は回転対象の画面を新規に作成するかどうかを判定する。
 Noの場合はステップ601xで前回表示画面を回転させ、ディスプレイ1004に描画する。Yesの場合はステップ601uに進む。
 以下、ステップ601tで回転対象の画面を新規に作成する理由を説明する。
 モバイル端末5000は前述したように、動画プレイヤーやTVリモコンなど様々な用途が想定される。このため、モバイル端末5000が利用している機能によっては、そのまま表示方向を回転させた方が良いもの(例えば動画プレイヤーなど)や、縦向き表示と横向き表示で表示内容を変えた方が良いもの(例えばリモコン)が存在する。本ステップによって、ユーザがモバイル端末5000を回転させることによる利便性をさらに向上させる。
 次に、ステップ601uで画面表示制御部1006は新規画面を作成する。
 次に、ステップ601vでディスプレイ1004は新規作成画面を描画する。
 次に、ステップ602aで表示方向制御部1005は角速度センサ1002より現在のモバイル端末5000の仰角情報H1を取得する。
 次に、ステップ602bで表示方向制御部1005は検出した仰角情報H1の絶対値が鉛直方向回転閾値HThr2より大きいかどうかを判定する。
 Noの場合はステップ601wに進む。Yesの場合はステップ602cに進む。
 次に、ステップ602cで表示方向制御部1005は画面の高位に有る側の辺が表示画面の上部になるように、画面を回転させる命令を 画面表示制御部1006に通知する。
 次に、ステップ602dで画面表示制御部1006は回転対象の画面を新規に作成するかどうかの判定を行う。
 Noの場合はステップ602gで前回表示画面を回転させ、ディスプレイ1004に描画する。Yesの場合はステップ602eに進む。
 次に、ステップ602eで画面表示制御部1006は新規画面を作成する。
 次に、ステップ602fでディスプレイ1004は新規作成画面を描画する。
 次に、ステップ602hで表示方向制御部1005は角速度センサ1002より現在のモバイル端末5000の仰角情報H1を取得する。
 次に、ステップ602jで表示方向制御部1005は検出した仰角情報H1の絶対値が鉛直方向回転閾値HThr1より小さいかを判定する。
 Noの場合はステップ602hに進む。Yesの場合はステップ602mに進む。
 次に、ステップ602kで表示方向制御部1005は現状の方位D1をD0として設定する。
 ステップ602j~ステップ602mの処理によって、ユーザがモバイル端末5000を一度鉛直方向に傾けた後、水平方向に戻した際に現在のモバイル端末5000が向いている方向を初期方位D0として設定することで、回転方向をリセット、あるいは補正することが可能になる。
 次に、図51において、モバイル端末5000がスリープ状態から復帰したときの動作を説明する。
 まず、ステップ603aでモバイル端末5000はスリープ状態からの復帰を検出する。
 次に、スリープ状態からの復帰を検出すると、ステップ603bに進む。
 次に、ステップ603bで画面表示制御部1006は前回スリープ時の表示方向をメモリより読み出す。
 次に、ステップ603cで画面表示制御部1006前回スリープ時の表示方向と同じ画面をディスプレイ1004に描画する。
 次に、ステップ601dに遷移する。
 なお、本実施の形態では、初期化(あるいはスリープ復帰)の後水平方向への回転を実施する内容で説明を行ったが、図52~図56のように、鉛直方向の回転を行う処理を行うことも可能である。ここで、図52~図56は、本発明の実施の形態5におけるモバイル端末の別の制御フロー示す図である。
 初期化時やスリープからの復帰時は、水平方向の初期方位D0や現在のモバイル端末5000の水平方向の方位情報D1の値が現状と正しくない場合あることが想定されるため、直後に鉛直方向の回転判定を行うことで、より精度良く表示画面の回転を行うことが可能となる。
 〔1-3-3.表示画面の回転制御(詳細補足)〕
 図41、図42、図43を用いて図47のステップ601eについて補足する。モバイル端末5000は前述したように多くの機能が装備され例えば汎用リモコン機能なども備えている。例えば汎用リモコンモードで操作中、ユーザがTVから90度回転した位置にあるコンポを操作しようとしてユーザがリモコンを持って回転すると、表示方向も回転してしまうことになり、利便性が損なわれる。図43のようにモバイル端末5000でネットサーフィンなどをしていて、リモコンモードに切り替えて、TVを操作するために、TVにモバイル端末5000を向けた場合も同様である。このため、モバイル端末5000は図42のように、操作モード毎に、垂直方向の回転を行う、水平方向の回転を行うという回転判定を持つことが好ましい。これによって、ユーザが意図しない画面回転を防止することができ、操作性を向上させることが可能となる。
 本実施の形態では、モバイル端末5000が例えば床に置いてあるTVを操作するときなどは、TVを操作するときの傾きが鉛直方向回転閾値HThr2を超えてしまうと、画面が回転してしまい、利便性が下がってしまう。このため、モバイル端末5000は操作モードによって鉛直方向回転閾値や水平方向回転式位置を可変にすることが望ましい。
 またTVの操作は一般的に赤外線で行うため、リモコンモードで、赤外線を発信する面がモバイル端末5000の中で下を向いている場合などにおいては、鉛直方向回転閾値HThr2を大きくする、あるいは鉛直方向の回転を抑制するなどによって、ユーザの操作性が良くなる。
 (実施の形態6)
 本実施の形態では、ユーザがモバイル機器を机の上で立てたり、倒して回転させたりしながら利用する場合の動作を、図57~図67を用いて説明する。
 図57に示す処理フローを以下解説する。
 まず、ステップ1020aでスタートして、ステップ1020bでモバイル機器が水平に倒された時のモバイル機器の向いている方角を基準方向として、また、モバイル機器が水平に倒された時のモバイル機器の画面の向きを、ユーザにとって最適な表示方向として画面表示方向として保持する。基準方位の更新方法は、図58を用いて後に詳細を説明する。
 次に、ステップ1020cで方位センサの値を現在方位として取得する。
 次に、ステップ1020dで基準方位と現在方位との差を計算し、回転角度とする。
 次に、ステップ1020eで回転角度と画面表示テーブルとの関係より、画面表示方向を決定する。画面表示方向を決定方法は、図64~図66を用いて後に詳細を説明する。
 次に、ステップ1020fで画面を表示して、ステップ1020bに戻る。
 図58は、図57の基準方位の更新方法(ステップ1020b)を説明するためのフロー図である。図58に示す処理フローを以下解説する。
 まず、ステップ1010aでスタートし、ステップ1010bでモバイル機器が水平に倒されたかどうかを検知する。モバイル機器が水平に倒されたかどうかの検知方法は、図59~図61を用いて後に詳細を説明する。
 次に、ステップ1010cでモバイル機器が水平に倒されたかどうかを検知されたかどうか確認する。
 Noの場合はステップ1010fに進み、終了する。Yesの場合はステップ1010dに進み、水平に倒された時のモバイル機器の方位センサの値を基準方位として保持し、ステップ1010eで、水平に倒された時のモバイル機器の回転方向から表示画面方向を保持する。なお、表示画面方向の決定方法については、図62、図63を用いて後に詳細を説明する。
 そして、ステップ1010fで終了する。
 図59は、図58のモバイル機器が水平に倒れた事の検知方法(1010b)を説明するためのフロー図である。
 図59に示す処理フローを解説する。
 まず、ステップ1030aでスタートする。
 次に、ステップ1030bで前回のモバイル機器の水平状態を取得する。
 次に、ステップ1030cで3軸の磁気センサの絶対値を取得する。ここで、図60は、モバイル機器の磁気センサの3軸の方向の例を示す図である。
 次に、ステップ1030dでx軸とy軸のセンサ値を合計した値がz軸のセンサ値よりも閾値以上大きいかどうか確認する。
 ステップ1030dがYesの場合はステップ1030eに進み、現在の水平状態を水平と判断する。
 次に、ステップ1030gで前回の水平状態が“非水平”で現在の水平状態が“水平”かどうか確認する。
 ステップ1030gがYesの場合はステップ1030hに進み、モバイル機器が水平に倒されたと判断して、ステップ1030iで終了する。
 なお、ステップ1030dがNoの場合はステップ1030fに進み、現在の水平状態を非水平と判断して、ステップ1030gに進み、ステップ1030gがNoの場合はステップ1030iに進み、終了する。
 次に、図62、図63を用いて、図58の表面画面方向の検出方法(1010e)を解説すると、まず、ステップ1070aでスタートして、ステップ1070bでモバイル機器が水平に倒された直前と直後のジャイロセンサの(PitchおよびRoll)の値を取得し、PitchおよびRollの変化量を求める。ここで、モバイル機器のPitchとRollは、図62に示すx軸とy軸それぞれの回転角である。
 次に、ステップ1070cで、Pitchの変化量>Rollの変化量かどうかを確認する。
 Yesの場合はステップ1070dに進み、Pitch>0かどうかを確認する。Yesの場合はステップ1070eに進み、+y軸方向を表示画面方向として保持して、ステップ1070jで終了する。一方、ステップ1070dがNoの場合はステップ1070fに進み、-y軸方向を表示画面方向として保持して、ステップ1070jで終了する。
 なお、ステップ1070cがNoの場合はステップ1070gに進み、Roll>0かどうかを確認して、Yesの場合はステップ1070hに進み、+x軸方向を表示画面方向として保持して、ステップ1070jで終了する。
 次に、ステップ1070gがNoの場合は、ステップ1070iへ進み、-x軸方向を表示画面方向として保持して、ステップ1070jで終了する。
 続いて、図64~図66を用いて、図58の画面表示方向を解説する。
 図66に示す処理フローを解説する。
 まず、ステップ1100aでスタートして、ステップ1100bで、図64で示す画面表示方向変更テーブルを参照し、回転角度から遷移ステップを求める。
 次に、ステップ1100cで、図65で示す画面表示方向遷移図を参照し、保持していた水平に倒された時のモバイル機器の表示画面方向の状態を取得する。
 次に、ステップ1100dで、ステップ1100cで取得した状態からステップ1100bで求めたステップだけ状態を進める。
 次に、ステップ1100eで進めた先の状態の方向を表示画面の方向として保持して、ステップ1100fで終了する。
 懸かる方法によれば、水平に置かれたモバイル機器を繰り返し回しながら使用した場合でも、モバイル機器の画面を、ユーザに対して常に適切な方向に対して表示可能、という効果を得ることができる。
 例えば、モバイル機器を図1(B)の状態から、図1(C)の状態のように、机の上に水平に倒し、図1(D)のように反時計回りに90度回転させたとする。ユーザにとっては常に画面表示が、自分の方向に対して表示されることが望まれる。
 このとき、図63のフローによると、図1に示すモバイル機器の001-aの辺が回転角と見なされ、+y軸方向が表示画面方向として保持される。この場合の、回転の例を図67を用いて説明する。図67の(A)にて、モバイル機器の方位は270度の向きを指している。この270度が水平に倒されたときの方位であるため、基準方位=270度が保持される。図67の(B)にて、ユーザによりモバイル機器が回転された場合のモバイル機器の方位が230度である。この場合、回転角度は230-270=-40度である。図64の画面表示方向変更テーブルを参照すると、-40度は回転表示方向の遷移が0ステップであるため、画面表示方向は、+y方向のままである。次に、ユーザが図67の(C)までモバイル機器を回転させた場合、モバイル機器の現在方位は180度である。このとき、回転角度は180-270=-90度である。図64の画面表示方向テーブルを参照すると、-90度は3ステップ進めるであり、図65の画面表示方向遷移図で、現在の方向が+y軸方向であるため、3ステップ進めた+x軸方向が、新しい画面表示方向となる。
 なお、図66のモバイル機器が水平に倒されたかどうかの検知方法(ステップ1010b)として、図59で示した磁気センサを用いた方法を説明したが、加速度センサを用いた検知方法でもよい。加速度センサを用いた検知方法を、図61を用いて説明する。
 まず、ステップ1050aでスタートして、ステップ1050bで前回のモバイル機器の水平状態を取得する。
 次に、ステップ1050cで加速度センサの値を取得する。
 次に、ステップ1050dで2軸方向の加速度と動加速度との差が閾値以下か?どうかを確認する。
 Yesの場合はステップ1050eに進み、現在の水平状態を水平と判断する。
 次に、ステップ1050gで前回の水平状態が“非水平”で現在の水平状態が“水平”か?どうかを確認する。
 Yesの場合はステップ1050gに進み、モバイル機器が水平に倒れたと判断して、ステップ1050hで終了する。
 ステップ1050dがNoの場合はステップ1050fに進み、現在の水平状態を非水平と判断して、ステップ1050gに進み、ステップ1050gがNoの場合はステップ1030hに進み、終了する。
 なお、方位センサを用いずに、ジャイロスコープを用いて機器の回転を検出し、機器の回転に従い、表示画面を変えるとしても良い。この方法では、方位センサよりも回転させる毎に累積誤差が発生するが、方位センサを保有していない機器でも、機器の回転にあわせて画面の向きを適切な方向に表示することができるという効果を得ることができる。
 また、本実施の形態5において、モバイル端末5000に、近接センサまたは接触を検知するセンサなどを装備し、スリープ解除時に、起動する画面をユーザに向けるようにしても良い。これによって、スリープ解除時や電源ONの時にモバイル端末5000とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
 なお、図67は、本発明の実施の形態5におけるモバイル機器が回転する場合のモバイル機器の方位を示す図である。図67は、上述した図63のフローを行う際の、モバイル機器の方位の例を示している。図での矢印は、モバイル機器の画面の向きを示している。
 また、自動でユーザが見やすい方向に画面を回転する別の一例を、図68に示す。ここで、図68は、本発明の実施の形態5におけるモバイル機器を人物が見る場合のモバイル機器の表示を示す図である。また、図69および図70は、本発明の実施の形態5におけるモバイル機器の一態様であるタブレットを持ったまま人物が回転した場合のフローを示す図である。以下、図69に示すフローを解説する。
 まず、ステップ1130aでスタートする。
 次に、ステップ1020bで、基準方位の更新を行う。
 次に、ステップ1130gで、一定時間以内の間(例えば500ミリ秒)に、加速度センサの1軸、もしくは、2軸、もしくは3軸の加速度が閾値以上検知されたかどうかを確認する。
 確認できなかった場合(ステップ1130gでNo)、ステップ1020cに進み、方位センサの値を現在方位として取得する。
 次に、ステップ1020dで、基準方位と現在方位との差を計算し、回転角度とする。
 次に、ステップ1020eで、回転角度と画面表示テーブルとの関係より、画面表示方向を決定する。
 次に、ステップ1020fで、画面を表示する。その後、ステップ1020bに戻る。
 なお、ステップ1130gで、確認できた場合(ステップ1130gでYes)、ステップ1020bに戻る。
 続いて図70に示すフローを解説する。
 まず、ステップ1130aでスタートする。
 次に、ステップ1140bで、基準方位の更新を行う。
 次に、ステップ1140cで、使用者の顔を撮影する。
 次に、ステップ1140gで、基準方位を更新したときに撮影した使用者の顔の向きと、現在の顔の向きが変わったかどうかを確認する。
 確認できた場合つまり、現在の顔の向きが変わった場合(ステップ1140でYes)、ステップ1020cに進み、方位センサの値を現在方位として取得する。
 そして、ステップ1020d以降の処理は図69で説明した通りであるため説明を省略する。
 ここで、図71を用いて基準方位の更新方法について解説する。
 図71は、発明の実施の形態5におけるモバイル機器の基準方位の更新方法のフローを示す図である。
 まず、ステップ1150aでスタートする。
 次に、ステップ1010bで、モバイル機器が水平に倒されたかどうかを検知する。
 次に、ステップ1010cで、モバイル機器が水平に倒されたか検知されたかを確認する。
 検知された場合(ステップ1010cでYes)、ステップ1010dに進み、水平に倒された時のモバイル機器の方位センサの値を基準方位として保持する。
 次に、ステップ1010eで、水平に倒された時のモバイル機器の回転方向から表示画面方向を保持する。
 次に、ステップ1150gで、使用者の顔を撮影し、ステップ1050fに進み、終了する。
 なお、ステップ1010cで、検知されなかった場合(ステップ1010cでNo)、ステップ1050fに進み、終了する。
 以上、実施の形態5によれば、モバイル端末とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
 なお、上記では、モバイル端末を利用するユーザが1人の場合について説明したが、それに限らない。例えば、図72に示すようにモバイル機器を対向した人物が利用するとしてもよい。ここで、図72は、本発明の実施の形態5におけるモバイル機器を対向した人物が見る場合のモバイル機器の表示を示す図である。
 また、本実施の形態5において、モバイル端末5000が車に乗っているときにはモバイル端末5000の回転を抑止する制御を行っても良い。具体的には車載モードと連携して、回転制御を行ったり、GPSや加速度情報から移動速度が閾値以上であったり場合は、車及びその他の移動手段に乗っていると判断し、画面の回転を抑止しても良い。これによってよりユーザの利便性が向上する。
 以上、本発明によれば、情報表示装置とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
 具体的には、本発明の一態様に係る情報表示装置は、表示画面の向きに従い画像を表示する表示部と、加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出部と、前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定部とを備え、前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準の向きと前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する。
 ここで、前記判定部は、前記情報表示装置の前記表示画面が略水平状態でなく、かつ、前記情報表示装置の姿勢変化があると判定した場合、鉛直方向と反対方向である上側にもっとも近い前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
 なお、ここでいう情報表示装置の姿勢とは、情報表示装置が何かしらの静的または動的の動作を行うときまたは情報表示装置に何かしらの動作が行われるときにあらわれる情報表示装置の外形の姿であり、地平面からの傾き、方位により示される。また、「表示画面の向きに従って表示する」とは、例えば建物の全体像を表示する場合、表示画面の向きの方向(上側)に建物の最上階を、表示画面の向きの方向と反対側(下側)建物の地階を表示する場合の向きをいう。また、情報表示装置の辺とは、情報表示装置が例えば4角形の外形で形成されている場合の4つの辺に対応する。
 この構成により、情報表示装置とユーザの位置がどのような場合においても自動でユーザが見やすい方向に画面を回転させることが可能になる。
 また、本発明の一態様に係る情報表示装置は、さらに、前記加速度センサが取得した情報に基づき遠心力方向を検知する遠心力方向検出部を備え、前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記遠心力方向検出部が遠心力方向を検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記遠心力方向検知部により検出された遠心力方向で最も遠い前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
 また、本発明の一態様に係る情報表示装置は、前記加速度センサおよび前記角速度センサのうち少なくとも一方が取得した情報に基づいて、前記情報表示装置の辺の揺れを検出する揺れ検出部を備え、前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記揺れ検出部が閾値以上の大きさの振幅の辺の揺れを検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記揺れ検出部により検出された揺れの振幅がもっとも大きい辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
 また、本発明の一態様に係る情報表示装置は、さらに、前記加速度センサ、並びに、前記角速度センサ及び前記地磁気センサの少なくとも一方が取得した情報を用いた自律航法により、前記情報表示装置の現在位置を推定する座標推定部を備え、前記判定部は、さらに、前記現在位置の前記情報表示端末の姿勢と前記表示画面の向きから、前記情報表示端末を利用しているユーザの位置を、前記情報表示端末に対して前記表示画面の向きと反対側であると推定し、前記現在位置で前記情報表示端末の前記表示画面が略水平状態のまま回転した場合、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
 ここで、例えば、前記判定部は、前記情報表示装置が移動中であるとき、前記情報表示端末の移動方向から、前記ユーザの位置を、前記情報表示端末に対して前記移動方向と反対側であると推定し、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示するとしてもよい。
 さらに、本発明の一態様に係る情報表示装置は、前記表示部は、さらに、前記表示画面における一部の位置であって前記表示画面の向きを基準として定められる位置に、ユーザに対して前記情報表示装置の正位置を示すためのアイコンを表示するとしてもよい。
 以上、本発明の一つまたは複数の態様に係る情報表示装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報表示装置などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、情報表示装置の表示画面の向きに従い画像を表示する表示ステップと、加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出ステップと、前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定ステップとを含み、前記判定ステップにおいて、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、前記表示ステップにおいて、前記判定ステップにおいて決定された前記表示画面の向きに従い画像を表示することを実行させるとしてもよい。
 本発明にかかる情報表示装置は、スマートフォン、タブレットなどの高性能な携帯型の情報表示端末のユーザインターフェースの提供に特に有用である。
 101 加速度センサ
 102 角速度センサ
 103 地磁気センサ
 104 端末姿勢検出部
 105 表示向き判定部
 106 時系列端末状態管理部
 107 時系列端末状態保存部
 108 画像表示部
 111 遠心力方向検出部
 121 移動量検出部
 1002 角速度センサ
 1003 地磁気センサ
 1004 ディスプレイ
 1005 表示方向制御部
 1006 画面表示制御部
 1010 メモリ
 1020 コントローラ
 1030 外部入力部
 5000 モバイル端末

Claims (10)

  1.  情報表示装置であって、
     表示画面の向きに従い画像を表示する表示部と、
     加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出部と、
     前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定部とを備え、
     前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準の向きと前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     情報表示装置。
  2.  前記判定部は、前記情報表示装置の前記表示画面が略水平状態でなく、かつ、前記情報表示装置の姿勢変化があると判定した場合、鉛直方向と反対方向である上側にもっとも近い前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     請求項1に記載の情報表示装置。
  3.  さらに、前記加速度センサが取得した情報に基づき遠心力方向を検知する遠心力方向検出部を備え、
     前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記遠心力方向検出部が遠心力方向を検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記遠心力方向検知部により検出された遠心力方向で最も遠い前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     請求項1または2に記載の情報表示装置。
  4.  前記加速度センサおよび前記角速度センサのうち少なくとも一方が取得した情報に基づいて、前記情報表示装置の辺の揺れを検出する揺れ検出部を備え、
     前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、前記揺れ検出部が閾値以上の大きさの振幅の辺の揺れを検知し、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記揺れ検出部により検出された揺れの振幅がもっとも大きい辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     請求項1または2に記載の情報表示装置。
  5.  さらに、前記加速度センサ、並びに、前記角速度センサ及び前記地磁気センサの少なくとも一方が取得した情報を用いた自律航法により、前記情報表示装置の現在位置を推定する座標推定部を備え、
     前記判定部は、さらに、前記現在位置の前記情報表示端末の姿勢と前記表示画面の向きから、前記情報表示端末を利用しているユーザの位置を、前記情報表示端末に対して前記表示画面の向きと反対側であると推定し、前記現在位置で前記情報表示端末の前記表示画面が略水平状態のまま回転した場合、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     請求項1~4のいずれか1項に記載の情報表示装置。
  6.  前記判定部は、前記情報表示装置が移動中であるとき、前記情報表示端末の移動方向から、前記ユーザの位置を、前記情報表示端末に対して前記移動方向と反対側であると推定し、推定した前記ユーザの位置が前記表示画面の下部となるように前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     請求項1~5のいずれか1項に記載の情報表示装置。
  7.  前記表示部は、さらに、
     前記表示画面における一部の位置であって前記表示画面の向きを基準として定められる位置に、ユーザに対して前記情報表示装置の正位置を示すためのアイコンを表示する
     請求項1~6のいずれか1項に記載の情報表示装置。
  8.  情報表示装置の表示画面の向きに従い画像を表示する表示ステップと、
     加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出ステップと、
     前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定ステップとを含み、
     前記判定ステップにおいて、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示ステップにおいて、前記判定ステップにおいて決定された前記表示画面の向きに従い画像を表示する
     情報表示方法。
  9.  情報表示装置の表示画面の向きに従い画像を表示する表示ステップと、
     加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出ステップと、
     前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定ステップとを含み、
     前記判定ステップにおいて、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示ステップにおいて、前記判定ステップにおいて決定された前記表示画面の向きに従い画像を表示する
     ことをコンピュータに実行させるためのプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体。
  10.  情報表示装置に構成される集積回路であって、
     表示画面の向きに従い画像を表示する表示部と、
     加速度センサと角速度センサと地磁気センサとが取得した情報に基づき、前記情報表示装置の姿勢を検出する姿勢検出部と、
     前記情報表示装置の姿勢変化を判定し、前記表示画面の向きを決定する判定部とを備え、
     前記判定部は、前記情報表示装置の前記表示画面が略水平状態であり、かつ、前記情報表示装置の姿勢変化があると判定した場合、前記情報表示装置の姿勢変化があると判定される前の前記情報表示装置の前記表示画面の向きを基準として、前記情報表示装置が所定の角度以上動いたとき、前記基準と前記所定の角度以上なす方向の前記情報表示装置の辺が前記表示画面の上部となるよう前記表示画面の向きを決定し、
     前記表示部は、前記判定部により決定された前記表示画面の向きに従い画像を表示する
     集積回路。
PCT/JP2012/004176 2011-08-10 2012-06-27 情報表示装置 WO2013021539A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201280002232.XA CN103201700B (zh) 2011-08-10 2012-06-27 信息显示装置
JP2013502329A JP6021800B2 (ja) 2011-08-10 2012-06-27 情報表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011175453 2011-08-10
JP2011-175453 2011-08-10

Publications (1)

Publication Number Publication Date
WO2013021539A1 true WO2013021539A1 (ja) 2013-02-14

Family

ID=47668081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/004176 WO2013021539A1 (ja) 2011-08-10 2012-06-27 情報表示装置

Country Status (3)

Country Link
JP (1) JP6021800B2 (ja)
CN (1) CN103201700B (ja)
WO (1) WO2013021539A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070194A (ja) * 2011-09-21 2013-04-18 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法
CN103217895A (zh) * 2013-04-07 2013-07-24 上海与德通讯技术有限公司 支持手势功能的电子腕表和电子通讯设备
CN104077052A (zh) * 2014-06-26 2014-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
JP2015502602A (ja) * 2011-11-09 2015-01-22 サムスン エレクトロニクス カンパニー リミテッド 画面回転制御方法、並びにこれをサポートする端末機及びタッチシステム
JP2015184391A (ja) * 2014-03-21 2015-10-22 大木 光晴 画像表示方法、装置、および、プログラム
KR101588136B1 (ko) * 2014-10-10 2016-02-15 한국과학기술원 모바일 문서 캡쳐를 위한 카메라 탑다운 앵글 보정 방법 및 장치
KR101632538B1 (ko) * 2015-07-28 2016-06-22 한국과학기술원 미세 기울림 특징값 기반 모바일 문서 캡쳐 오리엔테이션 보정 방법 및 시스템
JP2016531340A (ja) * 2013-07-02 2016-10-06 ジャン,ホンミン モバイル操作システム
JP2016536712A (ja) * 2014-08-12 2016-11-24 シャオミ・インコーポレイテッド 天気表示方法、装置、プログラム及び記録媒体
CN107145287A (zh) * 2017-06-05 2017-09-08 努比亚技术有限公司 图片展示方法、移动终端及计算机可读存储介质
JP2018514003A (ja) * 2015-12-25 2018-05-31 小米科技有限責任公司Xiaomi Inc. 電気機器の保護方法及び保護システム、並びに電気機器
WO2019196863A1 (zh) * 2018-04-13 2019-10-17 维沃移动通信有限公司 内容的显示方法及装置
JP7518452B2 (ja) 2018-04-03 2024-07-18 株式会社Mixi 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744510A (zh) * 2014-01-06 2014-04-23 联想(北京)有限公司 一种信息处理的方法及一种电子设备
CN104244045B (zh) * 2014-09-28 2016-02-24 小米科技有限责任公司 控制视频画面呈现的方法及装置
US9949057B2 (en) * 2015-09-08 2018-04-17 Apple Inc. Stereo and filter control for multi-speaker device
CN107402736A (zh) * 2017-07-21 2017-11-28 驭势(上海)汽车科技有限公司 一种信息显示方法与设备
CN107631452A (zh) * 2017-09-13 2018-01-26 珠海格力电器股份有限公司 基于设备安装方向的显示装置、方法、存储介质、及设备
CN113703519A (zh) * 2020-05-21 2021-11-26 北京小米移动软件有限公司 折叠屏姿态确定方法、装置及存储介质
CN112134788B (zh) * 2020-09-18 2023-06-06 Oppo广东移动通信有限公司 事件处理方法、装置、存储介质、移动终端及电脑

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250434A (ja) * 1999-02-26 2000-09-14 Sharp Corp 携帯型情報機器および重力方向検出器
JP2008070884A (ja) * 2004-01-28 2008-03-27 Softbank Mobile Corp 移動体通信端末
JP2008139711A (ja) * 2006-12-05 2008-06-19 Lenovo Singapore Pte Ltd 携帯式電子機器、画面の表示方向の変更方法、プログラムおよび記憶媒体
JP2010026064A (ja) * 2008-07-16 2010-02-04 Sony Computer Entertainment Inc 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2010113503A (ja) * 2008-11-06 2010-05-20 Sharp Corp 携帯端末装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345492A (ja) * 2002-05-27 2003-12-05 Sony Corp 携帯電子機器
JP2005242283A (ja) * 2004-01-28 2005-09-08 Vodafone Kk 移動体通信端末
JP2010237030A (ja) * 2009-03-31 2010-10-21 Alps Electric Co Ltd 現在位置表示装置
JP4823342B2 (ja) * 2009-08-06 2011-11-24 株式会社スクウェア・エニックス タッチパネル式ディスプレイを持った携帯型コンピュータ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250434A (ja) * 1999-02-26 2000-09-14 Sharp Corp 携帯型情報機器および重力方向検出器
JP2008070884A (ja) * 2004-01-28 2008-03-27 Softbank Mobile Corp 移動体通信端末
JP2008139711A (ja) * 2006-12-05 2008-06-19 Lenovo Singapore Pte Ltd 携帯式電子機器、画面の表示方向の変更方法、プログラムおよび記憶媒体
JP2010026064A (ja) * 2008-07-16 2010-02-04 Sony Computer Entertainment Inc 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2010113503A (ja) * 2008-11-06 2010-05-20 Sharp Corp 携帯端末装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070194A (ja) * 2011-09-21 2013-04-18 Kyocera Corp 携帯端末装置、プログラムおよび表示制御方法
JP2015502602A (ja) * 2011-11-09 2015-01-22 サムスン エレクトロニクス カンパニー リミテッド 画面回転制御方法、並びにこれをサポートする端末機及びタッチシステム
US9785202B2 (en) 2011-11-09 2017-10-10 Samsung Electronics Co., Ltd. Method for controlling rotation of screen and terminal and touch system supporting the same
CN103217895A (zh) * 2013-04-07 2013-07-24 上海与德通讯技术有限公司 支持手势功能的电子腕表和电子通讯设备
JP2016531340A (ja) * 2013-07-02 2016-10-06 ジャン,ホンミン モバイル操作システム
US10324583B2 (en) 2013-07-02 2019-06-18 Hongming Jiang Mobile operating system
JP2015184391A (ja) * 2014-03-21 2015-10-22 大木 光晴 画像表示方法、装置、および、プログラム
CN104077052A (zh) * 2014-06-26 2014-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
JP2016536712A (ja) * 2014-08-12 2016-11-24 シャオミ・インコーポレイテッド 天気表示方法、装置、プログラム及び記録媒体
KR101588136B1 (ko) * 2014-10-10 2016-02-15 한국과학기술원 모바일 문서 캡쳐를 위한 카메라 탑다운 앵글 보정 방법 및 장치
KR101632538B1 (ko) * 2015-07-28 2016-06-22 한국과학기술원 미세 기울림 특징값 기반 모바일 문서 캡쳐 오리엔테이션 보정 방법 및 시스템
JP2018514003A (ja) * 2015-12-25 2018-05-31 小米科技有限責任公司Xiaomi Inc. 電気機器の保護方法及び保護システム、並びに電気機器
CN107145287A (zh) * 2017-06-05 2017-09-08 努比亚技术有限公司 图片展示方法、移动终端及计算机可读存储介质
CN107145287B (zh) * 2017-06-05 2021-06-15 努比亚技术有限公司 图片展示方法、移动终端及计算机可读存储介质
JP7518452B2 (ja) 2018-04-03 2024-07-18 株式会社Mixi 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
WO2019196863A1 (zh) * 2018-04-13 2019-10-17 维沃移动通信有限公司 内容的显示方法及装置

Also Published As

Publication number Publication date
CN103201700B (zh) 2017-03-08
JPWO2013021539A1 (ja) 2015-03-05
CN103201700A (zh) 2013-07-10
JP6021800B2 (ja) 2016-11-09

Similar Documents

Publication Publication Date Title
WO2013021539A1 (ja) 情報表示装置
US9214128B2 (en) Information display device
JP6083072B2 (ja) スマートエアマウス
US9165533B2 (en) Display rotation management
JP5959047B2 (ja) 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
JP4690376B2 (ja) 遠隔操作装置、遠隔操作システム及び電気機器
US9454834B2 (en) Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device
US20170068325A1 (en) Scrolling and zooming of a portable device display with device motion
JP2017217139A (ja) ゲーム装置、ゲームシステム、ゲームプログラム、および振り入力判定方法
US20080059888A1 (en) Orientation based multiple mode mechanically vibrated touch screen display
US20130203469A1 (en) Split keyboard modification for a pull-out flexible display
US20120208639A1 (en) Remote control with motion sensitive devices
US20130120240A1 (en) Apparatus and method for controlling image display depending on movement of terminal
US8688966B2 (en) Systems, methods, and computer-readable media for presenting visual content with a consistent orientation
US20120086629A1 (en) Electronic device having movement-based user input and method
KR20150000632A (ko) 포터블 디바이스 및 그 제어 방법
JP2010086192A (ja) 携帯機器、コンピュータプログラムおよび記録媒体
JP6670201B2 (ja) ゲームシステム、ゲームプログラム、及びゲーム処理装置
CN109806589B (zh) 虚拟对象控制方法及装置、电子设备以及存储介质
EP3614239A2 (en) Electronic device control in response to finger rotation upon fingerprint sensor and corresponding methods
JP6100497B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および画像表示方法
US9794506B2 (en) Input apparatus, display apparatus and control method thereof
JP6099237B2 (ja) 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
US20160328077A1 (en) Touch sensor
US9304613B2 (en) Multimedia device and method for controlling operation thereof

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013502329

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12821688

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12821688

Country of ref document: EP

Kind code of ref document: A1