WO2012046295A1 - Information processing device and input device display method - Google Patents

Information processing device and input device display method Download PDF

Info

Publication number
WO2012046295A1
WO2012046295A1 PCT/JP2010/067419 JP2010067419W WO2012046295A1 WO 2012046295 A1 WO2012046295 A1 WO 2012046295A1 JP 2010067419 W JP2010067419 W JP 2010067419W WO 2012046295 A1 WO2012046295 A1 WO 2012046295A1
Authority
WO
WIPO (PCT)
Prior art keywords
keyboard
software keyboard
input
image
software
Prior art date
Application number
PCT/JP2010/067419
Other languages
French (fr)
Japanese (ja)
Inventor
祐一 稲村
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2010/067419 priority Critical patent/WO2012046295A1/en
Publication of WO2012046295A1 publication Critical patent/WO2012046295A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Definitions

  • the present invention relates to an information processing apparatus and an input device display method.
  • a keyboard is used to input data to the computer.
  • computers that do not implement a hardware keyboard.
  • a tablet computer is known as a computer that does not include a hardware keyboard.
  • a digital signage device, an electronic white board device, and the like are known as electronic devices equipped with a computer not mounted with a hardware keyboard.
  • a computer that does not have a hardware keyboard has a software keyboard.
  • a software keyboard is displayed on the screen, a user who sees the software keyboard taps or touches the displayed key image with a finger, a stylus, or the like (hereinafter referred to as contact). This contact is processed as an input to the key present at the touched location. Thereby, pseudo keyboard input is enabled.
  • the keyboard layout of a software keyboard is assigned to a part of the pressure detection panel, and only the marker indicating the home position (reference position) of the software keyboard is normally displayed on the screen, and characters are input from the software keyboard. It has been proposed to execute an input operation to an information screen displayed on a screen without using an input device such as a mouse or a hardware keyboard by executing a character input process to a column or the like.
  • information representing the currently selected menu item among a plurality of selectable menu items is always displayed at a fixed position, and this information is, for example, an icon prepared for each menu item. It has been proposed that the display position of information representing the currently selected menu item is, for example, the upper left corner of the screen.
  • a means for enlarging the selected input item at the position of the specified empty space or the position of the irrelevant input item to be specified, and an item to be input to the input item of the enlarged display It has been proposed to include means for erasing an enlarged display input item and setting the item value as an input value for a selected input item when the value is confirmed.
  • a screen definition information setting function unit for setting information defining whether data input is essential or can be omitted;
  • the screen definition data table for storing the setting result and the data input field in which data input can be omitted on the data input screen according to the stored contents of the screen definition data table at the start and / or during the display of the data input screen
  • a screen display state change function unit that selectively displays either a state of prohibiting data input or a state of allowing data input, and selecting with an “abbreviated input” button has been proposed.
  • the size of the keyboard initially displayed on the screen is fixed.
  • the size of the user's finger is different.
  • the software keyboard is not an easy-to-input device for all users.
  • an operation for correcting the size of the initially displayed software keyboard is required. Such an operation is troublesome for each user.
  • An object of the present invention is to provide an information processing apparatus that displays an input device having a key pitch according to an individual user.
  • the disclosed information processing apparatus includes a display unit that displays an image, a position detection unit that detects a plurality of contact positions on the display unit, and a plurality of software keyboards that have a plurality of input keys based on the plurality of contact positions.
  • a keyboard control unit that determines the key pitch of the input keys, and a keyboard generation unit that generates an image of the software keyboard based on the key pitch and displays the image on the display unit.
  • the disclosed information processing apparatus it is possible to initially display a software keyboard having a key pitch according to the arrangement of fingers of individual users.
  • the present inventor examined a software keyboard displayed on a touch panel in a computer not mounting a hardware keyboard.
  • the software keyboard is initially displayed when the user touches the screen with a finger.
  • the size of the software keyboard that is initially displayed is determined by the number of pixels using the pixels of the touch panel as a unit of size. The number of pixels is fixed. The physical size of one pixel depends on an individual computer and takes various values.
  • the software keyboard 101 when the software keyboard 101 is displayed on the touch panel 100A having a small pixel size, the software keyboard 101 is too small for the user. In this case, the user interferes with the input. However, when the same software keyboard 101 is displayed on the touch panel 100B having a large pixel size, as shown in FIG. 10B, the software keyboard 101 has a size suitable for the user. In this case, the user can execute input without any trouble. As described above, even if the software keyboard 101 is the same, the software keyboard 101 having a size suitable for the user is not always displayed depending on the computer.
  • the display processing unit of the software keyboard 101 can acquire the screen resolution from the system information.
  • the display processing unit of the software keyboard 101 cannot obtain the size of one pixel, in other words, the pixel pitch. This is because the size of one pixel is information indicating the performance of the display unit 10 as hardware.
  • the display processing unit of the software keyboard 101 cannot acquire the size of one pixel, and the physical size of one pixel depends on each computer. For this reason, a fixed size cannot be used as data specifying the size of the software keyboard 101. In other words, considering that the general key pitch of the hardware keyboard is 16 to 19 mm (millimeters), the display processing unit of the software keyboard 101 indicates that the software keyboard 101 is “displayed with a key pitch of 19 mm”. It cannot be specified.
  • the disclosed information processing apparatus and input device display method can initially display a software keyboard having a key pitch according to the arrangement of fingers of individual users.
  • FIG. 1 is a diagram illustrating an example of the configuration of an information processing apparatus.
  • the information processing apparatus is a computer on which a hardware keyboard is not mounted, for example, a tablet computer.
  • the tablet computer is, for example, a notebook personal computer that does not have a hardware keyboard.
  • the information processing apparatus may be an electronic device equipped with a computer not equipped with a hardware keyboard, such as a digital signage device or an electronic white board device.
  • the information processing apparatus includes an input display processing unit 1 and a display unit 10.
  • the input display processing unit 1 is housed inside the housing of the information processing device, and the display unit 10 is provided on one side surface of the housing of the information processing device.
  • the input display processing unit 1 includes an image generation unit 2, an input control unit 3, a keyboard control unit 4, a keyboard data storage unit 5, an event timer 6, an initial display timer 7, a keyboard flag 8, and an editing state flag 9.
  • the image generation unit 2 includes a keyboard generation unit 21.
  • the input control unit 3 includes a position detection unit 31.
  • the keyboard control unit 4 includes a keyboard division determination unit 41 and a layout determination unit 42.
  • the display unit 10 displays a software keyboard 11.
  • the display unit 10 is a display device that displays an image, in other words, an output device.
  • the display unit 10 includes, for example, a so-called touch panel.
  • the display unit 10 includes, for example, a liquid crystal display unit and a touch panel that is a contact detection unit provided thereon.
  • the software keyboard 11 is displayed on the liquid crystal display unit.
  • the touch panel detects contact with the touch panel as, for example, a pressure signal or an electric signal, and sends the detection result to the input control unit 3. In other words, this detection result is input to the input control unit 3 as event information from the software keyboard 11 which is an input device.
  • the software keyboard 11 when the software keyboard 11 is displayed on the screen as the display unit 10, the user can input to the key by touching the key of the software keyboard 11.
  • the user actually touches the touch panel at a position corresponding to the key of the software keyboard 11.
  • the display unit 10 is an input device that enables input by touching the display unit 10 using a finger or the like when the software keyboard 11 is displayed.
  • the software keyboard 11 is a virtual input device that has no entity as a keyboard and is realized by the display unit 10 and the image of the software keyboard 11 displayed on the display unit 10.
  • the software keyboard 11 functions as an input device when it is displayed on the display unit 10.
  • the display unit 10 on which the software keyboard 11 is displayed functions as an input / output device.
  • the CPU, ROM, RAM, input / output device, and hard disk are connected to each other via a bus.
  • the CPU controls the information processing apparatus according to the control program stored in the ROM.
  • the CPU executes an input display program on a RAM which is a main memory.
  • the input display processing unit 1 specifically, the image generation unit 2, the input control unit 3, and the keyboard control unit 4 are realized.
  • the keyboard data storage unit 5, the event timer 6, the initial display timer 7, the keyboard flag 8, and the editing state flag 9 are provided in, for example, a RAM by an input display program.
  • the input display program is stored in a recording medium such as a CD-ROM or DVD, input from the recording medium to the hard disk, and loaded from the hard disk to the RAM.
  • the input / output device includes the display unit 10 and the software keyboard 11 displayed on the screen of the display unit 10 as described above.
  • the display unit 10 includes a liquid crystal display unit and a touch panel that is a contact detection unit.
  • the software keyboard 11 is a virtual input device displayed on the display unit 10 by the keyboard generation unit 21 of the image generation unit 2.
  • FIG. 2 is a diagram showing an example of the software keyboard, which is not divided, in other words, shows one software keyboard 11.
  • the plurality of keys of the software keyboard 11 are regularly arranged in a predetermined arrangement and shape like the hardware keyboard. Data for generating an image of the software keyboard 11 is stored in the keyboard data storage 5 except for the key pitch, as will be described later.
  • the position of the user's index finger is the home position HP of the software keyboard 11, for example.
  • the position of the home position HP is variable and is determined according to the position of the finger touched by the user.
  • the key pitch P is determined by the layout determining unit 42.
  • the key pitch P is a unit for repeating the arrangement of keys, and is the sum of an interval D between keys and a key size K.
  • the key pitch P is variable and is determined according to the position of the finger touched by the user. Since the ratio between the interval D between keys and the key size K is constant, if the key pitch P is determined, the key size K is also determined. Since the key pitch P is variable, the interval D and the key size K are also variable, and are determined according to the position of the finger touched by the user.
  • the layout determining unit 42 may determine the key size K and the interval D.
  • the angle A of the software keyboard 11 is determined by the layout determining unit 42.
  • the row HL of the home position HP and the bottom row LL are parallel.
  • the bottom row LL of the software keyboard 11 intersects the line segment BS ′ parallel to the side (lower side) BS of the display unit 10 at an angle A.
  • the angle A is an angle between the row HL of the home position HP and the side BS of the display unit 10.
  • the angle A is variable and is determined according to the position of the finger touched by the user.
  • the side BS of the display unit 10 is the horizontal direction of the display unit 10 and is the X axis.
  • the distance between the side BS of the display unit 10 and the line segment BS ' is variable and is determined according to the position of the finger touched by the user. In other words, the distance between the side BS of the display unit 10 and the line segment BS ′ is determined based on the position of the home position HP, the key pitch P, and the angle A.
  • FIG. 3 is a diagram showing another example of the software keyboard, and shows two divided software keyboards 11A and 11B.
  • the software keyboards 11A and 11B in FIG. 3 are combined to operate as an input device equivalent to the one software keyboard 11 shown in FIG.
  • the position of the index finger of the user's right hand is the home position HP of the software keyboard 11B.
  • the key pitch P and the angle A of the software keyboard 11 are determined by the layout determining unit 42 as described above.
  • the key pitch P and the angle A are variable and are determined according to the position of the finger touched by the user. Since the key pitch P is variable, the interval D and the key size K are also variable, and are determined according to the position of the finger touched by the user.
  • the home position HP of the software keyboard 11A, the key pitch P, and the angle A of the software keyboard 11A are determined. Accordingly, the distance from the side BS of the display unit 10 of the home position HP (the value of the Y coordinate), the key pitch P, and the angle A may be different between the software keyboard 11A and the software keyboard 11B. In this case, the average values of the distance from the side BS of the display unit 10 of the home position HP, the key pitch P, and the angle A for the software keyboard 11A and the software keyboard 11B are used.
  • a key that exists at the boundary between the two and straddles both, for example, a space key, is divided into two.
  • the software keyboard 11A and the software keyboard 11B different distances from the side BS of the display unit 10 at the home position HP, the key pitch P, and the angle A may be used. In this case, the software keyboard 11A and the software keyboard 11B have different shapes.
  • the distance S between the two software keyboards 11A and 11B is also variable and is determined according to the position of the finger touched by the user.
  • the horizontal direction of the display unit 10 is the X axis, and the vertical direction is the Y axis.
  • the origin of the display unit 10 is assumed to be the lower left vertex. Accordingly, the origin of the image of the software keyboard 11 that is rectangular is also assumed to be the lower left vertex.
  • the position of the user's finger relative to the software keyboard 11 represents an approximate position.
  • the position of the user's finger with respect to the software keyboards 11A and 11B represents an approximate position.
  • the software keyboard 11 suitable for individual user input can be initially displayed for all the distances.
  • the software keyboard 11 suitable for the said user's input can be initially displayed each time without a prior adjustment and setting.
  • the software keyboard 11 can be displayed at a position where the user touches the finger without requiring a marker when the software keyboard 11 is displayed.
  • the image generation unit 2 generates various images to be displayed on the display unit 10.
  • the image generation unit 2 generates a screen including a plurality of input fields such as “sex” shown in FIGS. 2 and 3, in other words, an input screen and displays it on the display unit 10.
  • a state in which the input screen is displayed on the display unit 10 is referred to as an “editing state”.
  • the edit state is a state in which an input to any one of a plurality of input fields on the input screen is accepted.
  • the keyboard generation unit 21 generates an image of the software keyboard 11 among various images displayed on the display unit 10, and displays the generated image of the software keyboard 11 on the display unit 10.
  • the image of the software keyboard 11 is generated based on the presence / absence of division of the software keyboard 11 and the key pitch P determined by the layout determination unit 42 of the keyboard control unit 4.
  • a software keyboard 11 is used for input into the input field. Therefore, the image of the software keyboard 11 is generated when the display unit 10 is in the editing state.
  • the image of the software keyboard 11, in other words, the data for generating the image of the software keyboard 11 is stored in the keyboard data storage unit 5.
  • the key pitch P is determined by the layout determining unit 42, and the interval D between keys and the key size K also change accordingly.
  • data for generating an image of the software keyboard 11 is determined by using a relative value representing a relative positional relationship, and is a length that is a physical quantity and a pixel value in the display unit 10. It is not determined by using the number or the coordinate value on the display unit 10.
  • the position of the key of the software keyboard 11 is expressed using the relative position with respect to the origin of the image of the software keyboard 11.
  • the position of the key of the software keyboard 11 is determined using the ratio of the distance from the origin of the image of the software keyboard 11.
  • the keyboard data storage unit 5 stores both data for generating the image of the software keyboard 11 that is not divided in FIG. 2 and data for generating the images of the divided software keyboards 11A and 11B in FIG. To do.
  • the origin of the image of the software keyboard 11 is, for example, the lower left vertex.
  • the origin of the image of the software keyboard 11A is, for example, the lower right vertex
  • the origin of the image of the software keyboard 11B is, for example, the lower left vertex.
  • the image generation unit 2 combines the generated various images and displays them on the display unit 10. Specifically, as illustrated in FIGS. 2 and 3, the image generation unit 2 displays the software keyboard 11 so as to overlap the input screen. As a result, the user can continue the input while confirming the result of the input in the “sex” input field, for example, in the “sex” input field.
  • An input screen including a plurality of input fields may be scrolled vertically or horizontally so that an uninputted input field does not overlap the software keyboard 11.
  • the input control unit 3 detects an input to the display unit 10 due to the contact.
  • the position detection unit 31 detects a contact position on the display unit 10 based on event information input from the display unit 10. Specifically, the position detection unit 31 detects which position is touched on the touch panel of the display unit 10. Thereby, whenever a user contacts the display part 10, the position is detected about each of the some contact to the display part 10.
  • FIG. Each contact position is represented by, for example, an X coordinate and a Y coordinate in the display unit 10 shown in FIGS.
  • the position detection unit 31 sends the detected plurality of contact positions to the keyboard control unit 4.
  • the keyboard control unit 4 determines whether or not the software keyboard 11 is divided in the display unit 10 and the key pitch P based on the plurality of contact positions detected by the position detection unit 31.
  • the keyboard control unit 4 sends the determined presence / absence of the division of the software keyboard 11 and the key pitch P to the image generation unit 2.
  • the keyboard division determination unit 41 counts the number of contact positions within a predetermined time when the display unit 10 is in the editing state. In other words, the keyboard division determination unit 41 obtains the number of user fingers that have touched the display unit 10. For this purpose, the keyboard division determination unit 41 refers to the editing state flag 9 and refers to the initial display timer 7.
  • the editing state flag 9 stores a flag indicating whether the display unit 10 is in an editing state, in other words, whether an input screen is displayed on the display unit 10.
  • the edit state flag 9 is in an edit state, in other words, “1” is stored when the input screen is displayed on the display unit 10. If it is not in an editing state, in other words, if the input screen is not displayed on the display unit 10, “0” is stored. Thereby, when the display unit 10 is in the editing state, the software keyboard 11 necessary for the editing can be displayed.
  • the initial display timer 7 is a timer for determining whether or not an input for initial display of the software keyboard 11 has occurred within a predetermined elapsed time.
  • the elapsed time is determined in advance, for example, 500 ms (milliseconds). Thereby, the input for the initial display of the software keyboard 11 can be distinguished from the normal input to the software keyboard 11.
  • the keyboard division determination unit 41 counts the number of contact positions when the value of the initial display timer 7 is within 500 ms when the editing state flag is “1”. When the editing state flag is “1”, the keyboard division determination unit 41 does not count the number of contact positions. When the value of the initial display timer 7 exceeds 500 ms, the keyboard division determination unit 41 resets the count value of the number of contact positions.
  • the keyboard division determination unit 41 determines whether or not the software keyboard 11 is divided based on the number of the plurality of contact positions calculated by the above processing. Based on the determination of the presence / absence of division, the keyboard generation unit 21 generates the image of the software keyboards 11A and 11B divided in two in FIG. 3 or the image of one software keyboard 11 in FIG.
  • the keyboard division determination unit 41 determines whether to divide the software keyboard 11 into left and right based on the number of contact positions. Based on this determination, the keyboard generation unit 21 generates an image of the software keyboard 11 divided into left and right.
  • the keyboard division determination unit 41 determines that the software keyboard 11 is not divided. This is because the user is in contact with the display unit 10 with five fingers and is considered to have selected input with one hand. In the case of input with one hand, as shown in FIG. 2, it is easier to input without dividing the software keyboard 11.
  • the keyboard division determination unit 41 may determine that the software keyboard 11 is not divided. This is because, as will be described later, the key pitch P is calculated using the contact positions of four fingers excluding the thumb.
  • the keyboard division determination unit 41 determines to divide the software keyboard 11. This is because the user is in contact with the display unit 10 with ten fingers and is considered to have selected the input with both hands. In the case of input with both hands, as shown in FIG. 3, it is easier to input if the software keyboard 11 (11A and 11B) is divided.
  • the keyboard division determination unit 41 may determine that the software keyboard 11 is to be divided. This is because, as will be described later, the key pitch P is calculated for each of the left and right hands using the contact positions of the four fingers excluding the thumb.
  • the keyboard division determination unit 41 may determine that the software keyboard 11 is to be divided. In this case, since it is considered that the user has touched the display unit 10 with two index fingers of both hands, the key pitch P cannot be calculated. Therefore, in this case, the software keyboard 11 is displayed by using the data for displaying the image of the software keyboard 11 stored in the keyboard data storage unit 5 as it is.
  • the layout determination unit 42 determines the key pitch P of the plurality of input keys in the software keyboard 11 having a plurality of input keys based on the plurality of contact positions. Further, the layout determination unit 42 determines the angle A of the software keyboard 11 with respect to the side of the display unit 10 based on the number of contact positions. Based on the key pitch P and the angle A, the keyboard generation unit 21 generates an image of the software keyboard 11.
  • the layout determining unit 42 forms two groups including five contact positions based on the X coordinates of the contact positions.
  • a group with a small X coordinate is the contact position of the five fingers of the left hand, and a group with a large X coordinate is the contact position of the five fingers of the right hand.
  • the number of contact positions is “5”, the five contact positions are set as one group.
  • the layout determination unit 42 extracts the contact positions of the four fingers excluding the thumb based on the Y coordinate of the contact position.
  • the Y coordinate of the thumb is usually smaller than the Y coordinates of the other four fingers. Therefore, the layout determination unit 42 extracts the remaining four contact positions as the contact positions of the four fingers excluding the thumb except for the contact position having the minimum Y coordinate in each group.
  • the coordinates I (10, 15) of the index finger contact position, the coordinates M (12, 17) of the middle finger contact position, the coordinates R (15, 16) of the ring finger contact position, The coordinate L (19, 15) of the contact position of the little finger is obtained.
  • These coordinates represent the position where the user actually touched, in other words, the size of the user's hand.
  • FIG. 4 shows the contact positions of the four fingers on the right hand and corresponds to FIG. Even when the user touches the display unit 10 with the left hand, the contact positions of the four fingers are similarly extracted. Further, at the contact position of the four fingers in FIG. 4, the value of the Y coordinate is an approximate value.
  • the layout determining unit 42 calculates the average value of the intervals between the plurality of contact positions, and determines the key pitch P based on the average value. Specifically, as shown in FIG. 4, the layout determining unit 42 determines the distance in the X-axis direction between the contact positions of the four fingers excluding the thumb, in other words, the X coordinate of the contact position of the adjacent finger. The difference “2”, “3”, and “4” are calculated, and the average value “3” is calculated. As a result, the layout determining unit 42 determines the key pitch P to be “3”.
  • the layout determining unit 42 determines the angle A of the software keyboard 11 with respect to the side BS of the display unit 10 based on a plurality of contact positions.
  • the angle A is obtained for the following reason. As shown in FIGS. 2 and 3, it is often easier to input when the software keyboard 11 is displayed obliquely. Therefore, in order to display the software keyboard 11 inclined according to the inclination of the user's arm, the angle A of the home position row HL with respect to the side BS of the display unit 10 is obtained.
  • the index finger, middle finger, ring finger and little finger of the right hand are “J”, “K”, “L”, “ Corresponds to the + key. This is because the finger is aligned because the user places his finger on the key. Therefore, the four fingers except the thumb draw a straight line.
  • the layout determination unit 42 calculates a straight line connecting the contact position of the index finger and the contact position of the little finger among the contact positions of the four fingers excluding the thumb, and based on this straight line. Determine the angle A.
  • the contact position of the index finger and the contact position of the little finger are in the vertical direction (Y-axis direction). This is because there is little deviation.
  • the error in the vertical direction for the middle finger and the ring finger is larger than the error in the vertical direction for the index finger and little finger. Therefore, a straight line connecting the index finger and the little finger is obtained except for the contact position of the middle finger and the contact position of the ring finger with large errors.
  • the layout determination unit 42 selects a contact position having the maximum X coordinate and a contact position having the minimum X coordinate from the contact positions of the four fingers excluding the thumb. Are extracted and a straight line connecting them is obtained.
  • An angle c formed by the straight line with the horizontal direction is equal to an angle b formed by the software keyboard 11 with the straight line BS ′, and an angle a formed by the software keyboard 11 with a straight line LS ′ parallel to the side (left side) LS of the display unit 10. .
  • the angle A of the home position row HL in other words, the angle A of the software keyboard 11 is the angle b.
  • the angle A can be calculated accurately, and the angle A can be calculated even if the screen of the display unit 10 is small. it can.
  • the layout determination unit 42 determines the position of the software keyboard 11 with priority given to the home position row HL as shown in the lower part of FIG. In other words, the layout determination unit 42 ignores the contact position of the thumb corresponding to the bottom row LL and prevents the software keyboard 11 from being divided in the vertical direction.
  • FIG. 6 shows a case where the angle A is determined for one of the two software keyboards 11A and 11B.
  • the layout determining unit 42 determines the angle A for the software keyboard 11B, for example, and applies the determined angle A to the software keyboard 11A. Accordingly, the layout determination unit 42 does not calculate the angle A of the software keyboard 11A, for example. Thereby, the process which the layout determination part 42 performs can be reduced.
  • the angle A may be calculated individually for both of the software keyboards 11A and 11B divided into two.
  • FIG. 6 shows the calculation of the angle A when the finger of the right hand contacts the display unit 10.
  • the layout determination unit 42 obtains a straight line based on the contact position having the maximum X coordinate and the contact position having the minimum X coordinate among the contact positions of the four fingers excluding the thumb.
  • the angle A is calculated without distinguishing the hands.
  • the layout determining unit 42 determines the home position HP in the software keyboard 11 based on the contact position of the index finger among the plurality of contact positions.
  • the determination of the home position HP depends on the result of the process for determining whether or not the software keyboard 11 is divided. If the software keyboard 11 is not divided, the number of groups formed by the plurality of contact positions is one, so that one home position HP is determined. When the software keyboard 11 is divided, there are two groups formed by a plurality of contact positions, and thus two home positions HP are determined.
  • the layout determining unit 42 extracts the contact position having the minimum X coordinate from the contact positions of the four fingers excluding the thumb, and uses the contact position as the contact position of the index finger. To do. As a result, the home position HP of the software keyboard 11 is determined.
  • the home position HP corresponds to the index finger of the right hand as shown in FIG.
  • a key “J” is assigned to the home position HP of the right hand.
  • the home position HP corresponds to the index finger of the left hand.
  • a key “F” is assigned to the home position HP of the left hand.
  • the layout determination unit 42 makes contact with the smallest X coordinate among the contact positions of four fingers excluding the thumb for each of two groups formed by a plurality of contact positions. The position is extracted, and the contact position is set as the index finger contact position. Thereby, two home positions HP of the software keyboard 11 are determined.
  • the home position HP in the group in which the straight line obtained for calculating the angle A has a “positive” inclination corresponds to the index finger of the right hand.
  • a key “J” is assigned to the home position HP of the right hand.
  • the home position HP in the group in which the straight line obtained for calculating the angle A has a “negative” inclination corresponds to the left index finger.
  • a key “F” is assigned to the home position HP of the left hand.
  • the layout determination unit 42 sends the presence / absence of division of the software keyboard 11, the key pitch P, the angle A, and the home position HP obtained by the above processing to the keyboard generation unit 21.
  • the keyboard generation unit 21 reads data for generating an image of the software keyboard 11 from the keyboard data storage unit 5. At this time, the keyboard generation unit 21 reads data for displaying an image of one software keyboard 11 when the software keyboard 11 is not divided, and two software when the software keyboard 11 is divided. Data for displaying images of the keyboards 11A and 11B is read.
  • the keyboard generation unit 21 converts the read data into coordinate values of the display unit 10 using the key pitch P. Further, in order to display the software keyboard 11 tilted by the angle A shown in FIG. 2 or FIG. 3, the keyboard generation unit 21 rotates the converted data using the angle A. Further, the keyboard generation unit 21 uses the home position HP for the rotated data to determine the coordinates of a plurality of keys so that a predetermined key corresponds to the home position HP. Accordingly, the distances between the software keyboard 11 and the lower side BS and the left side LS of the display unit 10 are determined. Further, the distance S between the software keyboards 11A and 11B is determined.
  • the image generation unit 2 sends image data including data for displaying the image of the software keyboard 11 to the display unit 10 to display the image including the software keyboard 11.
  • the image data transmitted from the image generation unit 2 to the display unit 10 is a result of being output by the display unit 10 that is an output device.
  • Data for displaying an image of the software keyboard 11 is also sent to an input processing unit that processes input of the software keyboard 11.
  • the image generation unit 2 sets the keyboard flag 8 to “1” when data for displaying the image of the software keyboard 11 is sent to the display unit 10.
  • the keyboard flag 8 stores a flag indicating whether or not the software keyboard 11 is displayed on the display unit 10.
  • the keyboard flag 8 stores “1” when the software keyboard 11 is displayed. If the software keyboard 11 is not displayed, “0” is stored.
  • the input control unit 3 waits for the user to touch the display unit 10 within the event waiting time.
  • the input control unit 3 refers to the event timer 6.
  • the event timer 6 is a timer for determining whether an event, in other words, an input to the software keyboard 11 displayed on the display unit 10 has occurred within the event waiting time.
  • the event waiting time is predetermined, for example, 1 minute.
  • the input control unit 3 detects the contact position in the position detection unit 31 and sends the detection result to the input processing unit.
  • the input processing unit processes the input detection result by detecting the key of the software keyboard 11 touched by the user based on the arrangement of the software keyboard 11.
  • FIG. 7 is a flowchart of input processing to the display unit.
  • the user repeats selective contact with icons, pull-down menus, buttons, etc. displayed on the display unit 10 to connect to a site on the Internet, for example, To buy.
  • a site on the Internet for example, To buy.
  • the user touches the “Purchase product” button on the display unit 10 an input screen, which is a screen for inputting purchaser information, is displayed.
  • the input screen is a screen including input fields such as “gender” and “occupation” shown in FIGS.
  • the image generation unit 2 sets the editing state flag, in other words, “1”.
  • the image generation unit 2 resets the editing state flag, in other words, “0”.
  • the position detection unit 31 of the input control unit 3 detects the touched position, and the input control unit 3 refers to the keyboard flag 8 and the editing state flag 9.
  • the input control unit 3 sends the position detection result to the keyboard control unit 4.
  • the input control unit 3 sends the position detection result to the input processing unit.
  • the keyboard division determination unit 41 determines whether the software keyboard 11 is divided and displayed (step S1). Step S1 will be described later with reference to FIG.
  • the layout determination unit 42 of the keyboard control unit 4 determines the layout of the software keyboard 11 (step S2), and based on the result of the layout determination, the keyboard generation of the image generation unit 2
  • the unit 21 generates image data including the software keyboard 11 in order to display the software keyboard 11 (step S3). Step S2 will be described later with reference to FIG.
  • the keyboard generation unit 21 of the image generation unit 2 uses the generated image data to display an image including the software keyboard 11 superimposed on the input screen as shown in FIG. 2 or 3 (step S4).
  • the event timer 6 is started (step S5).
  • the keyboard generation unit 21 sets the keyboard flag 8, in other words “1”.
  • the position detecting unit 31 of the input control unit 3 waits for an event, in other words, waits for input of event information from the software keyboard 11 of the display unit 10 (step S6). . In a state waiting for input of event information, the position detection unit 31 determines whether or not contact with the display unit 10 (hereinafter also referred to as a tap) has been detected (step S7).
  • step S7 When a tap is detected (Yes in step S7), the position detection unit 31 resets the event timer 6 (step S8), processes the key input input by the tap (step S9), and then repeats step S5. . Therefore, the event timer 6 is started by the keyboard generation unit 21 only once for the first time, and is started by the position detection unit 31 for the second time and thereafter.
  • the input in step S9 is a key input by a normal tap.
  • the position detection unit 31 determines whether or not the event timer 6 has passed 1 minute (Step S10). When the event timer 6 has not elapsed for 1 minute (No at Step S10), the position detection unit 31 repeats Step S6. When the event timer 6 has elapsed for 1 minute (step S10, Yes), the keyboard generation unit 21 deletes the software keyboard 11 from the display unit 10 (step S11). In step S11, the keyboard generation unit 21 sets the keyboard flag 8 to “0”, in other words, it is reset.
  • FIG. 8 is a flowchart of the software keyboard division determination process executed in step S1.
  • step S21 the keyboard division determination unit 41 of the keyboard control unit 4 receives the position detection result.
  • step S21 the keyboard division determination unit 41 also resets the count value of the number of touch positions, in other words, the number of taps.
  • step S21 the keyboard division determination unit 41 immediately restarts the initial display timer 7 (step S22), and waits for an event, in other words, waits for input (step S23). Thereby, after the first finger touches the display unit 10, it is possible to monitor the elapse of the event standby time.
  • the keyboard division determination unit 41 determines whether the value of the initial display timer 7 has not exceeded 500 ms, which is the elapsed time (step S24).
  • step S24 If the value of the initial display timer 7 has not passed the elapsed time (step S24, Yes), whether there is a position where the keyboard division determination unit 41 is tapped on the display unit 10 at a predetermined time interval. This determination is repeated (step S25).
  • the time interval is empirically determined in advance and is, for example, 10 mSec (milliseconds). If there is no tapped position (No at Step S25), the keyboard division determination unit 41 repeats Step S23. When there is a tapped position (Yes in step S25), the keyboard division determination unit 41 increments the number of taps at that time by “+1” to obtain a new number of taps (step S26), and then repeats step S23. .
  • the keyboard division determination unit 41 determines whether or not the number of taps is greater than “1” (step S27). When the number of taps is not larger than 1 (No at Step S27), the keyboard division determination unit 41 repeats Step S21. Thereby, the user repeats the input for displaying the software keyboard 11 again. At this time, an error may be displayed.
  • the keyboard division determination unit 41 further determines whether the number of taps is “10” (step S28). When the number of taps is “10” (Yes at Step S28), the keyboard division determination unit 41 determines that the software keyboard 11 is divided and displayed (Step S29).
  • the keyboard division determination unit 41 further determines whether or not the number of taps is “5” (Step S210). When the number of taps is not “5” (No at Step S210), the keyboard division determination unit 41 repeats Step S21. Thereby, the user repeats the input for displaying the software keyboard 11 again. At this time, an error may be displayed.
  • the keyboard division determination unit 41 determines that the software keyboard 11 is displayed without being divided (step S211).
  • FIG. 9 is a flowchart of software keyboard layout processing.
  • the layout determination unit 42 calculates the key pitch P of the software keyboard 11 by executing the key pitch calculation process (step S31).
  • the layout determining unit 42 calculates the angle A of the home position row HL of the software keyboard 11 by executing an angle calculation process (step S32).
  • the layout determination unit 42 determines whether or not the software keyboard 11 is divided by executing the division determination process for the software keyboard 11 shown in FIG. 8, and the determination result is used as the result of the process in steps S31 to S32. Reflect (step S33).
  • the layout determination unit 42 uses the calculated key pitch P and angle A as they are. Further, in one group formed by a plurality of contact positions, the position of the index finger is set as the home position HP.
  • the layout determining unit 42 uses the calculated angle A as a value for the two software keyboards 11A and 11B to be divided.
  • the calculated key pitch P is used as it is.
  • the position of the index finger is set as the home position HP.
  • the above results are sent from the keyboard control unit 4 to the keyboard generation unit 21, and the keyboard generation unit 21 obtains data for displaying the image of the software keyboard 11 as shown in FIG.
  • the software keyboard 11 is divided into left and right parts, but the keyboard control unit 4 determines whether to divide the software keyboard 11 into two parts vertically based on the number of contact positions. You may make it do. For example, as shown in the upper part of FIG. 6, the position of the lowest row LL of the software keyboard 11 may be determined based on the contact position of the thumb. Thereby, the software keyboard 11 in which the lowermost row LL and a plurality of other rows are divided in the software keyboard 11 shown in FIG. 2 may be displayed. At this time, a plurality of rows other than the lowest row LL are displayed based on the contact positions of the four fingers excluding the thumb as described above.
  • the keyboard generation unit 21 generates an image of the software keyboard 11 or an image of one software keyboard 11 that is divided into two in the vertical direction based on the determination as to whether or not the vertical division is performed.
  • the keyboard control unit 4 may determine whether to divide the software keyboard 11 into four parts vertically and horizontally based on the number of contact positions. For example, as shown in the upper part of FIG. 6, the position of the bottom row LL of the software keyboard 11 may be determined based on the contact positions of the left and right thumbs. Thereby, as shown in the upper part of FIG. 6, in the software keyboards 11A and 11B divided into the left and right, the lowermost row LL and the other plural rows are further divided. The software keyboard 11 divided into two may be displayed. At this time, in the software keyboards 11A and 11B divided into the left and right, a plurality of lines other than the lowest line LL are displayed based on the contact positions of the four fingers excluding the thumb as described above.
  • the keyboard generation unit 21 generates an image of the software keyboard 11 or an image of one software keyboard 11 divided into four parts in the vertical and horizontal directions based on the determination of whether to divide into the vertical and horizontal directions.

Abstract

An information processing device comprises: a display unit (10) for displaying an image, the display unit (10) including a liquid crystal display unit and a touch panel provided as a contact detector on the liquid crystal display unit; a position detector (31) for detecting a plurality of touch positions on the display unit (10); a keyboard controller (4) for determining, on the basis of the plurality of contact positions, the key pitch of a plurality of input keys in a software keyboard (11) having a plurality of input keys; and a keyboard generator (21) for generating an image of the software keyboard (11) on the basis of the key pitch and displaying the image on the display unit (10).

Description

情報処理装置及び入力装置の表示方法Information processing apparatus and display method of input apparatus
　本発明は、情報処理装置及び入力装置の表示方法に関する。 The present invention relates to an information processing apparatus and an input device display method.
　コンピュータへのデータの入力には、例えばキーボードが用いられる。しかし、ハードウェアキーボードを実装しないコンピュータが、多数存在する。ハードウェアキーボードを実装しないコンピュータとしては、例えばタブレットコンピュータが知られている。また、ハードウェアキーボードを実装しないコンピュータが搭載された電子機器として、デジタルサイネージ装置、電子白板装置等が知られている。 For example, a keyboard is used to input data to the computer. However, there are many computers that do not implement a hardware keyboard. For example, a tablet computer is known as a computer that does not include a hardware keyboard. In addition, a digital signage device, an electronic white board device, and the like are known as electronic devices equipped with a computer not mounted with a hardware keyboard.
　ハードウェアキーボードを実装しないコンピュータは、例えば、ソフトウェアキーボードを実装している。例えば、ソフトウェアキーボードが画面上に表示されると、これを見たユーザが、表示されたキーのイメージに、指やスタイラス等によりタップ又は接触する（以下、接触という）。この接触が、接触された位置に存在するキーに対する入力として処理される。これにより、擬似的なキーボード入力が可能とされる。 A computer that does not have a hardware keyboard, for example, has a software keyboard. For example, when a software keyboard is displayed on the screen, a user who sees the software keyboard taps or touches the displayed key image with a finger, a stylus, or the like (hereinafter referred to as contact). This contact is processed as an input to the key present at the touched location. Thereby, pseudo keyboard input is enabled.
　例えば、情報表示入力装置において、圧力検出パネルの一部にソフトウェアキーボードのキーボード配列を割付け、画面には通常、ソフトウェアキーボードのホームポジション（基準位置）を示すマーカのみを表示し、ソフトウェアキーボードから文字入力欄等への文字入力処理を実行することにより、マウス、ハードウェアキーボード等の入力装置を使用することなく、画面に表示される情報画面への入力操作を実行することが、提案されている。 For example, in an information display input device, the keyboard layout of a software keyboard is assigned to a part of the pressure detection panel, and only the marker indicating the home position (reference position) of the software keyboard is normally displayed on the screen, and characters are input from the software keyboard. It has been proposed to execute an input operation to an information screen displayed on a screen without using an input device such as a mouse or a hardware keyboard by executing a character input process to a column or the like.
　また、表示制御方法において、選択可能な複数のメニュー項目のうち、現在選択されているメニュー項目を表す情報を、常に決まった位置に表示し、この情報を例えばメニュー項目毎に用意されたアイコンとし、現在選択されているメニュー項目を表す情報の表示位置を例えば画面の上部左端とすることが、提案されている。 Further, in the display control method, information representing the currently selected menu item among a plurality of selectable menu items is always displayed at a fixed position, and this information is, for example, an icon prepared for each menu item. It has been proposed that the display position of information representing the currently selected menu item is, for example, the upper left corner of the screen.
　また、データ処理装置において、入力項目が選択されるときに、業務画面の持つ空きスペースを特定したり、業務画面の持つ入力項目の中から、その選択される入力項目に関連性のない入力項目を特定する手段と、その特定する空きスペースの位置や、その特定する関連性のない入力項目の位置に、選択される入力項目を拡大表示する手段と、拡大表示の入力項目に入力される項目値が確定するときに、拡大表示の入力項目を消去するとともに、その項目値を選択される入力項目への入力値として設定する手段とを備えることが、提案されている。 In addition, when an input item is selected in the data processing apparatus, the empty space that the business screen has is specified, or the input item that is not related to the selected input item from the input items that the business screen has , A means for enlarging the selected input item at the position of the specified empty space or the position of the irrelevant input item to be specified, and an item to be input to the input item of the enlarged display It has been proposed to include means for erasing an enlarged display input item and setting the item value as an input value for a selected input item when the value is confirmed.
　また、コンピュータシステムにおいて、データ入力画面に表示されるべきデータ入力フィールドそれぞれに関して、データ入力が必須であるか、または省略可能であるかを定義する情報を設定するための画面定義情報設定機能部と、その設定結果を記憶する画面定義データテーブルと、データ入力画面の表示開始時及び／又は表示中において、画面定義データテーブルの記憶内容に従って、データ入力画面においてデータ入力が省略可能なデータ入力フィールドへのデータ入力を禁止する状態、または許可する状態のいずれかを選択的に表示する画面表示状態変更機能部とを備え、「省略入力」ボタンにより選択することが、提案されている。 In addition, in the computer system, for each data input field to be displayed on the data input screen, a screen definition information setting function unit for setting information defining whether data input is essential or can be omitted; The screen definition data table for storing the setting result and the data input field in which data input can be omitted on the data input screen according to the stored contents of the screen definition data table at the start and / or during the display of the data input screen And a screen display state change function unit that selectively displays either a state of prohibiting data input or a state of allowing data input, and selecting with an “abbreviated input” button has been proposed.
特開２００４－０５４５８９号公報JP 2004-054589 A 特開２００５－３２１８９６号公報JP 2005-321896 A 特開２００２－０７３２３５号公報JP 2002-073235 A 特開平１０－２５４５９６号公報JP-A-10-254596
　ソフトウェアキーボードにおいては、画面上に初期表示されるキーボードのサイズは、固定である。一方、ユーザの指のサイズは、個々に異なる。このため、ソフトウェアキーボードは、全てのユーザにとって、入力しやすいデバイスであるとは言えない。個々のユーザに合ったサイズのソフトウェアキーボードを表示するためには、初期表示されたソフトウェアキーボードのサイズを修正する操作が必要である。このような操作は、個々のユーザにとって煩わしい。 In the software keyboard, the size of the keyboard initially displayed on the screen is fixed. On the other hand, the size of the user's finger is different. For this reason, the software keyboard is not an easy-to-input device for all users. In order to display a software keyboard having a size suitable for each user, an operation for correcting the size of the initially displayed software keyboard is required. Such an operation is troublesome for each user.
　本発明は、個々のユーザに応じたキーピッチを有する入力装置を表示する情報処理装置を提供することを目的とする。 An object of the present invention is to provide an information processing apparatus that displays an input device having a key pitch according to an individual user.
　開示される情報処理装置は、画像を表示する表示部と、表示部への複数の接触位置を検出する位置検出部と、複数の接触位置に基づいて、複数の入力キーを有するソフトウェアキーボードにおける複数の入力キーのキーピッチを決定するキーボード制御部と、キーピッチに基づいて、ソフトウェアキーボードの画像を生成して表示部に表示するキーボード生成部とを含む。 The disclosed information processing apparatus includes a display unit that displays an image, a position detection unit that detects a plurality of contact positions on the display unit, and a plurality of software keyboards that have a plurality of input keys based on the plurality of contact positions. A keyboard control unit that determines the key pitch of the input keys, and a keyboard generation unit that generates an image of the software keyboard based on the key pitch and displays the image on the display unit.
　開示される情報処理装置によれば、個々のユーザの指の配置に応じたキーピッチを有するソフトウェアキーボードを初期表示することができる。 According to the disclosed information processing apparatus, it is possible to initially display a software keyboard having a key pitch according to the arrangement of fingers of individual users.
情報処理装置の一例を示す図である。It is a figure which shows an example of information processing apparatus. ソフトウェアキーボードの一例を示す図である。It is a figure which shows an example of a software keyboard. ソフトウェアキーボードの他の一例を示す図である。It is a figure which shows another example of a software keyboard. 入力装置の表示処理の説明図である。It is explanatory drawing of the display process of an input device. 入力装置の表示処理の説明図である。It is explanatory drawing of the display process of an input device. 入力装置の表示処理の説明図である。It is explanatory drawing of the display process of an input device. 入力装置の表示処理フローである。It is a display processing flow of an input device. 入力装置の表示処理フローである。It is a display processing flow of an input device. 入力装置の表示処理フローである。It is a display processing flow of an input device. 本発明者の検討した入力装置の表示処理の説明図である。It is explanatory drawing of the display process of the input device which this inventor examined.
　本発明者は、ハードウェアキーボードを実装しないコンピュータにおいて、タッチパネル上に表示されるソフトウェアキーボードについて検討した。 The present inventor examined a software keyboard displayed on a touch panel in a computer not mounting a hardware keyboard.
　ソフトウェアキーボードは、ユーザが画面に指で接触することにより、初期表示される。初期表示されるソフトウェアキーボードのサイズは、タッチパネルのピクセルを大きさの単位として用いて、ピクセルの数で定められる。ピクセルの数は固定である。１個のピクセルの物理的なサイズは、個々のコンピュータに依存し、種々の値をとる。 The software keyboard is initially displayed when the user touches the screen with a finger. The size of the software keyboard that is initially displayed is determined by the number of pixels using the pixels of the touch panel as a unit of size. The number of pixels is fixed. The physical size of one pixel depends on an individual computer and takes various values.
　このために、１個のピクセルの大きさが異なると、表示されたソフトウェアキーボードにおいて、そのキーサイズ及びキーピッチが異なってしまう。例えば、図１０（Ａ）に示すように、ピクセルのサイズが小さいタッチパネル１００Ａにソフトウェアキーボード１０１が表示された場合には、当該ソフトウェアキーボード１０１は、ユーザにとって小さ過ぎる。この場合、ユーザが入力に支障をきたす。しかし、ピクセルのサイズが大きいタッチパネル１００Ｂに同一のソフトウェアキーボード１０１が表示された場合には、図１０（Ｂ）に示すように、ソフトウェアキーボード１０１は、ユーザに適したサイズとなる。この場合、ユーザは支障なく入力を実行することができる。このように、同一のソフトウェアキーボード１０１であっても、コンピュータによっては、ユーザに適したサイズのソフトウェアキーボード１０１が表示されるとは限らない。 For this reason, if the size of one pixel is different, the key size and key pitch of the displayed software keyboard will be different. For example, as shown in FIG. 10A, when the software keyboard 101 is displayed on the touch panel 100A having a small pixel size, the software keyboard 101 is too small for the user. In this case, the user interferes with the input. However, when the same software keyboard 101 is displayed on the touch panel 100B having a large pixel size, as shown in FIG. 10B, the software keyboard 101 has a size suitable for the user. In this case, the user can execute input without any trouble. As described above, even if the software keyboard 101 is the same, the software keyboard 101 having a size suitable for the user is not always displayed depending on the computer.
　また、ソフトウェアキーボード１０１の表示処理部は、画面の解像度をシステム情報から取得することはできる。しかし、ソフトウェアキーボード１０１の表示処理部は、１個のピクセルの大きさ、換言すれば、ピクセルのピッチを取得することはできない。これは、１個のピクセルの大きさが表示部１０のハードウェアとしての性能を示す情報であるためである。 Also, the display processing unit of the software keyboard 101 can acquire the screen resolution from the system information. However, the display processing unit of the software keyboard 101 cannot obtain the size of one pixel, in other words, the pixel pitch. This is because the size of one pixel is information indicating the performance of the display unit 10 as hardware.
　また、ソフトウェアキーボード１０１の表示処理部は１個のピクセルの大きさを取得することはできず、かつ、１個のピクセルの物理的なサイズは個々のコンピュータに依存する。このため、ソフトウェアキーボード１０１のサイズを指定するデータとして、固定のサイズを用いることもできない。換言すれば、ハードウェアキーボードの一般的なキーピッチが１６～１９ｍｍ（ミリメートル）であることを考慮して、ソフトウェアキーボード１０１を「１９ｍｍのキーピッチで表示する」ことを、ソフトウェアキーボード１０１の表示処理部において規定することはできない。 Further, the display processing unit of the software keyboard 101 cannot acquire the size of one pixel, and the physical size of one pixel depends on each computer. For this reason, a fixed size cannot be used as data specifying the size of the software keyboard 101. In other words, considering that the general key pitch of the hardware keyboard is 16 to 19 mm (millimeters), the display processing unit of the software keyboard 101 indicates that the software keyboard 101 is “displayed with a key pitch of 19 mm”. It cannot be specified.
　更に、図１０（Ａ）及び図１０（Ｂ）のように初期表示されたソフトウェアキーボード１０１のサイズを修正する場合、ユーザによる修正のための手動の操作が必要となる。サイズの修正のための手動の操作は、ソフトウェアキーボード１０１の初期表示の後に、ユーザが改めて実行する必要がある。この操作は、ユーザにとって煩わしい。 Furthermore, when correcting the size of the software keyboard 101 initially displayed as shown in FIGS. 10A and 10B, a manual operation for correction by the user is required. The manual operation for correcting the size needs to be executed again by the user after the initial display of the software keyboard 101. This operation is troublesome for the user.
　開示の情報処理装置及び入力装置の表示方法は、個々のユーザの指の配置に応じたキーピッチを有するソフトウェアキーボードを初期表示することができる。 The disclosed information processing apparatus and input device display method can initially display a software keyboard having a key pitch according to the arrangement of fingers of individual users.
　図１は、情報処理装置の構成の一例を示す図である。 FIG. 1 is a diagram illustrating an example of the configuration of an information processing apparatus.
　情報処理装置は、ハードウェアキーボードを実装しないコンピュータであり、例えばタブレットコンピュータである。タブレットコンピュータは、例えばハードウェアキーボードを持たないノート型のパーソナルコンピュータである。情報処理装置は、ハードウェアキーボードを実装しないコンピュータを搭載した電子機器、例えばデジタルサイネージ装置、電子白板装置等であっても良い。 The information processing apparatus is a computer on which a hardware keyboard is not mounted, for example, a tablet computer. The tablet computer is, for example, a notebook personal computer that does not have a hardware keyboard. The information processing apparatus may be an electronic device equipped with a computer not equipped with a hardware keyboard, such as a digital signage device or an electronic white board device.
　情報処理装置は、入力表示処理部１、表示部１０を含む。例えば、情報処理装置の筐体の内部に入力表示処理部１が収納され、情報処理装置の筐体の１個の側面上に表示部１０が設けられる。 The information processing apparatus includes an input display processing unit 1 and a display unit 10. For example, the input display processing unit 1 is housed inside the housing of the information processing device, and the display unit 10 is provided on one side surface of the housing of the information processing device.
　入力表示処理部１は、画像生成部２、入力制御部３、キーボード制御部４、キーボードデータ格納部５、イベント用タイマ６、初期表示用タイマ７、キーボードフラグ８、編集状態フラグ９を含む。画像生成部２は、キーボード生成部２１を含む。入力制御部３は、位置検出部３１を含む。キーボード制御部４は、キーボード分割判定部４１、レイアウト決定部４２を含む。表示部１０は、ソフトウェアキーボード１１を表示する。 The input display processing unit 1 includes an image generation unit 2, an input control unit 3, a keyboard control unit 4, a keyboard data storage unit 5, an event timer 6, an initial display timer 7, a keyboard flag 8, and an editing state flag 9. The image generation unit 2 includes a keyboard generation unit 21. The input control unit 3 includes a position detection unit 31. The keyboard control unit 4 includes a keyboard division determination unit 41 and a layout determination unit 42. The display unit 10 displays a software keyboard 11.
　表示部１０は、画像を表示する表示装置、換言すれば、出力装置である。表示部１０は、例えばいわゆるタッチパネルを含む。具体的には、表示部１０は、例えば液晶表示部と、その上に設けられた接触検出部であるタッチパネルとを含む。液晶表示部によりソフトウェアキーボード１１が表示される。タッチパネルは、タッチパネルへの接触を例えば圧力信号又は電気信号として検出して、検出結果を入力制御部３へ送る。換言すれば、この検出結果が、入力装置であるソフトウェアキーボード１１からのイベント情報として、入力制御部３に入力される。 The display unit 10 is a display device that displays an image, in other words, an output device. The display unit 10 includes, for example, a so-called touch panel. Specifically, the display unit 10 includes, for example, a liquid crystal display unit and a touch panel that is a contact detection unit provided thereon. The software keyboard 11 is displayed on the liquid crystal display unit. The touch panel detects contact with the touch panel as, for example, a pressure signal or an electric signal, and sends the detection result to the input control unit 3. In other words, this detection result is input to the input control unit 3 as event information from the software keyboard 11 which is an input device.
　例えば、表示部１０である画面上にソフトウェアキーボード１１が表示された場合、ユーザは、ソフトウェアキーボード１１のキーに接触することにより、当該キーへの入力を行うことができる。ユーザが実際に接触するのは、タッチパネルにおける、ソフトウェアキーボード１１のキーに対応する位置である。表示部１０は、ソフトウェアキーボード１１が表示された場合、指等を用いた当該表示部１０への接触による入力を可能とする入力装置である。 For example, when the software keyboard 11 is displayed on the screen as the display unit 10, the user can input to the key by touching the key of the software keyboard 11. The user actually touches the touch panel at a position corresponding to the key of the software keyboard 11. The display unit 10 is an input device that enables input by touching the display unit 10 using a finger or the like when the software keyboard 11 is displayed.
　ソフトウェアキーボード１１は、キーボードとしての実体を持たず、表示部１０とこれに表示されたソフトウェアキーボード１１の画像とにより実現される、仮想入力装置である。ソフトウェアキーボード１１は、それが表示部１０に表示された場合に、入力装置として機能する。ソフトウェアキーボード１１の表示された表示部１０は、入出力装置として機能する。 The software keyboard 11 is a virtual input device that has no entity as a keyboard and is realized by the display unit 10 and the image of the software keyboard 11 displayed on the display unit 10. The software keyboard 11 functions as an input device when it is displayed on the display unit 10. The display unit 10 on which the software keyboard 11 is displayed functions as an input / output device.
　なお、図１の情報処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力装置及びハードディスクを含む。ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力装置及びハードディスクは、バスを介して、相互に接続される。 1 includes a CPU, a ROM, a RAM, an input / output device, and a hard disk. The CPU, ROM, RAM, input / output device, and hard disk are connected to each other via a bus.
　ＣＰＵは、ＲＯＭに格納された制御プログラムに従って、情報処理装置を制御する。ＣＰＵは、例えば主メモリであるＲＡＭ上の入力表示プログラムを実行する。これにより、入力表示処理部１、具体的には、画像生成部２、入力制御部３、キーボード制御部４が実現される。キーボードデータ格納部５、イベント用タイマ６、初期表示用タイマ７、キーボードフラグ８、編集状態フラグ９は、入力表示プログラムにより例えばＲＡＭに設けられる。入力表示プログラムは、例えば、ＣＤ－ＲＯＭやＤＶＤ等の記録媒体に格納され、記録媒体からハードディスクに入力され、ハードディスクからＲＡＭにロードされる。 The CPU controls the information processing apparatus according to the control program stored in the ROM. For example, the CPU executes an input display program on a RAM which is a main memory. Thereby, the input display processing unit 1, specifically, the image generation unit 2, the input control unit 3, and the keyboard control unit 4 are realized. The keyboard data storage unit 5, the event timer 6, the initial display timer 7, the keyboard flag 8, and the editing state flag 9 are provided in, for example, a RAM by an input display program. For example, the input display program is stored in a recording medium such as a CD-ROM or DVD, input from the recording medium to the hard disk, and loaded from the hard disk to the RAM.
　入出力装置は、前述したように、表示部１０と、表示部１０の画面上に表示されたソフトウェアキーボード１１とを含む。表示部１０は、液晶表示部と、接触検出部であるタッチパネルとを含む。ソフトウェアキーボード１１は、画像生成部２のキーボード生成部２１により表示部１０に表示された仮想入力装置である。 The input / output device includes the display unit 10 and the software keyboard 11 displayed on the screen of the display unit 10 as described above. The display unit 10 includes a liquid crystal display unit and a touch panel that is a contact detection unit. The software keyboard 11 is a virtual input device displayed on the display unit 10 by the keyboard generation unit 21 of the image generation unit 2.
　図２は、ソフトウェアキーボードの一例を示す図であり、分割されない、換言すれば、１個のソフトウェアキーボード１１を示す。 FIG. 2 is a diagram showing an example of the software keyboard, which is not divided, in other words, shows one software keyboard 11.
　例えば、ユーザが、５本の指で図２に示すような角度Ａで表示部１０に接触したとする。これは、ユーザが、左腕及び左手で情報処理装置の筐体を支えた状態で、右手で図２に示すような角度Ａで表示部１０に接触したような場合である。この場合、図２に示すようなソフトウェアキーボード１１が、表示部１０に表示される。 For example, assume that the user touches the display unit 10 with five fingers at an angle A as shown in FIG. This is a case where the user touches the display unit 10 at an angle A as shown in FIG. 2 with the right hand while holding the housing of the information processing apparatus with the left arm and the left hand. In this case, a software keyboard 11 as shown in FIG. 2 is displayed on the display unit 10.
　ソフトウェアキーボード１１の複数のキーは、ハードウェアキーボードと同様に、予め定められた配置及び形状で、規則的に並ぶ。ソフトウェアキーボード１１の画像を生成するためのデータは、後述するように、キーピッチを除いて、キーボードデータ格納部５に格納される。 The plurality of keys of the software keyboard 11 are regularly arranged in a predetermined arrangement and shape like the hardware keyboard. Data for generating an image of the software keyboard 11 is stored in the keyboard data storage 5 except for the key pitch, as will be described later.
　ユーザの人差指の位置が、例えばソフトウェアキーボード１１のホームポジションＨＰとされる。ホームポジションＨＰの位置は、可変であり、ユーザが接触した指の位置に応じて定まる。 The position of the user's index finger is the home position HP of the software keyboard 11, for example. The position of the home position HP is variable and is determined according to the position of the finger touched by the user.
　キーピッチＰは、レイアウト決定部４２により定められる。キーピッチＰは、キーの配置の繰り返しの単位であり、キーの間の間隔ＤとキーサイズＫとの和である。キーピッチＰは、可変であり、ユーザが接触した指の位置に応じて定まる。キーの間の間隔ＤとキーサイズＫとの比率は一定であるので、キーピッチＰを定めれば、キーサイズＫも定まる。キーピッチＰが可変であるので、間隔Ｄ及びキーサイズＫも可変であり、ユーザが接触した指の位置に応じて定まる。なお、レイアウト決定部４２がキーサイズＫ及び間隔Ｄを定めるようにしても良い。 The key pitch P is determined by the layout determining unit 42. The key pitch P is a unit for repeating the arrangement of keys, and is the sum of an interval D between keys and a key size K. The key pitch P is variable and is determined according to the position of the finger touched by the user. Since the ratio between the interval D between keys and the key size K is constant, if the key pitch P is determined, the key size K is also determined. Since the key pitch P is variable, the interval D and the key size K are also variable, and are determined according to the position of the finger touched by the user. The layout determining unit 42 may determine the key size K and the interval D.
　更に、ソフトウェアキーボード１１の角度Ａは、レイアウト決定部４２により定められる。ソフトウェアキーボード１１において、ホームポジションＨＰの行ＨＬと、最下行ＬＬとは平行である。ソフトウェアキーボード１１の最下行ＬＬは、表示部１０の辺（下辺）ＢＳに平行な線分ＢＳ’対して角度Ａで交わる。換言すれば、角度Ａは、ホームポジションＨＰの行ＨＬと表示部１０の辺ＢＳとの間の角度である。角度Ａは、可変であり、ユーザが接触した指の位置に応じて定まる。表示部１０の辺ＢＳは、表示部１０の水平方向であり、Ｘ軸である。 Furthermore, the angle A of the software keyboard 11 is determined by the layout determining unit 42. In the software keyboard 11, the row HL of the home position HP and the bottom row LL are parallel. The bottom row LL of the software keyboard 11 intersects the line segment BS ′ parallel to the side (lower side) BS of the display unit 10 at an angle A. In other words, the angle A is an angle between the row HL of the home position HP and the side BS of the display unit 10. The angle A is variable and is determined according to the position of the finger touched by the user. The side BS of the display unit 10 is the horizontal direction of the display unit 10 and is the X axis.
　また、表示部１０の辺ＢＳと線分ＢＳ’との間の距離は、可変であり、ユーザが接触した指の位置に応じて定まる。換言すれば、表示部１０の辺ＢＳと線分ＢＳ’との間の距離は、ホームポジションＨＰの位置と、キーピッチＰと、角度Ａとに基づいて定まる。 Further, the distance between the side BS of the display unit 10 and the line segment BS 'is variable and is determined according to the position of the finger touched by the user. In other words, the distance between the side BS of the display unit 10 and the line segment BS ′ is determined based on the position of the home position HP, the key pitch P, and the angle A.
　なお、ユーザが左手で表示部１０に接触した場合には、これに基づいて角度Ａが定まるので、図２とは異なり、右下がりのソフトウェアキーボード１１が表示される。これにより、左利きのユーザの入力に適したソフトウェアキーボード１１を初期表示することができる。 Note that, when the user touches the display unit 10 with the left hand, the angle A is determined based on this, and therefore, a software keyboard 11 with a lower right is displayed unlike FIG. Thereby, the software keyboard 11 suitable for the input of the left-handed user can be initially displayed.
　図３は、ソフトウェアキーボードの他の一例を示す図であり、分割された、換言すれば、２個のソフトウェアキーボード１１Ａ及び１１Ｂを示す。図３のソフトウェアキーボード１１Ａ及び１１Ｂは、両者が合わさって図２に示す１個のソフトウェアキーボード１１と同等の入力装置として動作する。 FIG. 3 is a diagram showing another example of the software keyboard, and shows two divided software keyboards 11A and 11B. The software keyboards 11A and 11B in FIG. 3 are combined to operate as an input device equivalent to the one software keyboard 11 shown in FIG.
　例えば、ユーザが、１０本の指で図３に示すような角度Ａで表示部１０に接触したとする。これは、ユーザが、机等の上に情報処理装置の筐体を置いた状態で、両手で図３に示すような角度Ａで表示部１０に接触したような場合である。この場合、図３に示すようなソフトウェアキーボード１１Ａ及び１１Ｂが、表示部１０に表示される。なお、ソフトウェアキーボード１１Ａ及び１１Ｂの表示を、単にソフトウェアキーボード１１の表示ということもある。 For example, assume that the user touches the display unit 10 with 10 fingers at an angle A as shown in FIG. This is a case where the user touches the display unit 10 at an angle A as shown in FIG. 3 with both hands in a state where the housing of the information processing apparatus is placed on a desk or the like. In this case, software keyboards 11 </ b> A and 11 </ b> B as shown in FIG. 3 are displayed on the display unit 10. Note that the display of the software keyboards 11A and 11B may be simply referred to as the display of the software keyboard 11.
　ユーザの右手の人差指の位置が、ソフトウェアキーボード１１ＢのホームポジションＨＰとされる。キーピッチＰ及びソフトウェアキーボード１１の角度Ａは、前述したように、レイアウト決定部４２により定められる。キーピッチＰ及び角度Ａは、可変であり、ユーザが接触した指の位置に応じて定まる。キーピッチＰが可変であるので、間隔Ｄ及びキーサイズＫも可変であり、ユーザが接触した指の位置に応じて定まる。 The position of the index finger of the user's right hand is the home position HP of the software keyboard 11B. The key pitch P and the angle A of the software keyboard 11 are determined by the layout determining unit 42 as described above. The key pitch P and the angle A are variable and are determined according to the position of the finger touched by the user. Since the key pitch P is variable, the interval D and the key size K are also variable, and are determined according to the position of the finger touched by the user.
　ユーザの左手の人差指の位置に基づいて、同様に、ソフトウェアキーボード１１ＡのホームポジションＨＰ、キーピッチＰ及びソフトウェアキーボード１１Ａの角度Ａが決定される。従って、ソフトウェアキーボード１１Ａとソフトウェアキーボード１１Ｂとの間において、ホームポジションＨＰの表示部１０の辺ＢＳからの距離（Ｙ座標の値）、キーピッチＰ及び角度Ａが、相互に異なる場合がある。この場合、ソフトウェアキーボード１１Ａとソフトウェアキーボード１１Ｂについての、ホームポジションＨＰの表示部１０の辺ＢＳからの距離、キーピッチＰ及び角度Ａの平均値が用いられる。 Similarly, based on the position of the index finger of the left hand of the user, the home position HP of the software keyboard 11A, the key pitch P, and the angle A of the software keyboard 11A are determined. Accordingly, the distance from the side BS of the display unit 10 of the home position HP (the value of the Y coordinate), the key pitch P, and the angle A may be different between the software keyboard 11A and the software keyboard 11B. In this case, the average values of the distance from the side BS of the display unit 10 of the home position HP, the key pitch P, and the angle A for the software keyboard 11A and the software keyboard 11B are used.
　なお、ソフトウェアキーボード１１Ａ及び１１Ｂにおいて、両者の境界に存在しかつ両者に跨るキー、例えばスペースキーは、２個に分割される。 In the software keyboards 11A and 11B, a key that exists at the boundary between the two and straddles both, for example, a space key, is divided into two.
　また、ソフトウェアキーボード１１Ａとソフトウェアキーボード１１Ｂについて、相互に異なる、ホームポジションＨＰの表示部１０の辺ＢＳからの距離、キーピッチＰ及び角度Ａを用いるようにしても良い。この場合、ソフトウェアキーボード１１Ａとソフトウェアキーボード１１Ｂとは、異なる形状となる。 Further, for the software keyboard 11A and the software keyboard 11B, different distances from the side BS of the display unit 10 at the home position HP, the key pitch P, and the angle A may be used. In this case, the software keyboard 11A and the software keyboard 11B have different shapes.
　また、２個のソフトウェアキーボード１１Ａとソフトウェアキーボード１１Ｂとの間の距離Ｓも、可変であり、ユーザが接触した指の位置に応じて定まる。 Also, the distance S between the two software keyboards 11A and 11B is also variable and is determined according to the position of the finger touched by the user.
　図２及び図３において、表示部１０の左右方向がＸ軸であり、上下方向がＹ軸であるものとする。表示部１０の原点は、左下の頂点であるものとする。これに応じて、長方形であるソフトウェアキーボード１１の画像の原点も、左下の頂点であるものとする。 2 and 3, the horizontal direction of the display unit 10 is the X axis, and the vertical direction is the Y axis. The origin of the display unit 10 is assumed to be the lower left vertex. Accordingly, the origin of the image of the software keyboard 11 that is rectangular is also assumed to be the lower left vertex.
　また、図２において、ソフトウェアキーボード１１に対するユーザの指の位置は、およその位置を表す。図３において、ソフトウェアキーボード１１Ａ及び１１Ｂに対するユーザの指の位置は、およその位置を表す。 In FIG. 2, the position of the user's finger relative to the software keyboard 11 represents an approximate position. In FIG. 3, the position of the user's finger with respect to the software keyboards 11A and 11B represents an approximate position.
　図２及び図３に示すように、ソフトウェアキーボード１１のホームポジションＨＰ、キーの間の間隔ＤとキーサイズＫを含むキーピッチＰ、角度Ａ、表示部１０の辺ＢＳと線分ＢＳ’との間の距離の全てについて、個々のユーザの入力に適したソフトウェアキーボード１１を初期表示することができる。また、初期表示されたソフトウェアキーボード１１は個々のユーザの入力に適しているので、その後、ユーザが手動でソフトウェアキーボード１１の表示を修正する必要がない。また、その時に表示部１０に接触したユーザに応じて、事前の調整や設定なしで、その都度、当該ユーザの入力に適したソフトウェアキーボード１１を初期表示することができる。また、ソフトウェアキーボード１１の表示の際にマーカを必要とすることなく、ユーザが指を接触した位置に、ソフトウェアキーボード１１を表示することができる。 As shown in FIGS. 2 and 3, the home position HP of the software keyboard 11, the key pitch P including the key spacing K and the key size K, the angle A, and the side BS of the display unit 10 and the line segment BS ′. The software keyboard 11 suitable for individual user input can be initially displayed for all the distances. In addition, since the initially displayed software keyboard 11 is suitable for input by each user, it is not necessary for the user to manually correct the display of the software keyboard 11 thereafter. Moreover, according to the user who touched the display part 10 at that time, the software keyboard 11 suitable for the said user's input can be initially displayed each time without a prior adjustment and setting. Further, the software keyboard 11 can be displayed at a position where the user touches the finger without requiring a marker when the software keyboard 11 is displayed.
　図１に戻って、画像生成部２は、表示部１０へ表示される種々の画像を生成する。例えば、画像生成部２は、図２及び図３に示す、「性別」等の複数の入力フィールドを含む画面、換言すれば、入力画面を生成して表示部１０に表示する。入力画面が表示部１０に表示された状態を、「編集状態」という。編集状態は、入力画面における複数の入力フィールドのいずれかへの入力を受け付ける状態である。 Returning to FIG. 1, the image generation unit 2 generates various images to be displayed on the display unit 10. For example, the image generation unit 2 generates a screen including a plurality of input fields such as “sex” shown in FIGS. 2 and 3, in other words, an input screen and displays it on the display unit 10. A state in which the input screen is displayed on the display unit 10 is referred to as an “editing state”. The edit state is a state in which an input to any one of a plurality of input fields on the input screen is accepted.
　キーボード生成部２１は、表示部１０へ表示される種々の画像の中のソフトウェアキーボード１１の画像を生成して、生成したソフトウェアキーボード１１の画像を表示部１０に表示する。ソフトウェアキーボード１１の画像は、キーボード制御部４のレイアウト決定部４２により決定された、ソフトウェアキーボード１１の分割の有無及びキーピッチＰに基づいて、生成される。入力フィールドへの入力のために、ソフトウェアキーボード１１が用いられる。従って、ソフトウェアキーボード１１の画像は、表示部１０が編集状態である場合に、生成される。 The keyboard generation unit 21 generates an image of the software keyboard 11 among various images displayed on the display unit 10, and displays the generated image of the software keyboard 11 on the display unit 10. The image of the software keyboard 11 is generated based on the presence / absence of division of the software keyboard 11 and the key pitch P determined by the layout determination unit 42 of the keyboard control unit 4. A software keyboard 11 is used for input into the input field. Therefore, the image of the software keyboard 11 is generated when the display unit 10 is in the editing state.
　ソフトウェアキーボード１１の画像、換言すれば、ソフトウェアキーボード１１の画像を生成するためのデータは、キーボードデータ格納部５に格納される。しかし、前述したように、キーピッチＰはレイアウト決定部４２により決定され、これに応じてキーの間の間隔ＤとキーサイズＫも変化する。このため、キーボードデータ格納部５において、ソフトウェアキーボード１１の画像を生成するためのデータは、相対的な位置関係を表す相対値を用いて定められ、物理量である長さ、表示部１０におけるピクセルの数、又は、表示部１０における座標値を用いては定められない。 The image of the software keyboard 11, in other words, the data for generating the image of the software keyboard 11 is stored in the keyboard data storage unit 5. However, as described above, the key pitch P is determined by the layout determining unit 42, and the interval D between keys and the key size K also change accordingly. For this reason, in the keyboard data storage unit 5, data for generating an image of the software keyboard 11 is determined by using a relative value representing a relative positional relationship, and is a length that is a physical quantity and a pixel value in the display unit 10. It is not determined by using the number or the coordinate value on the display unit 10.
　例えば、ソフトウェアキーボード１１のキーの位置は、ソフトウェアキーボード１１の画像の原点に対する相対位置を用いて表される。換言すれば、ソフトウェアキーボード１１のキーの位置は、ソフトウェアキーボード１１の画像の原点からの距離の比を用いて定められる。キーピッチＰが決定されれば、これに応じてキーの間の間隔ＤとキーサイズＫも定まり、ソフトウェアキーボード１１の全体が定まる。 For example, the position of the key of the software keyboard 11 is expressed using the relative position with respect to the origin of the image of the software keyboard 11. In other words, the position of the key of the software keyboard 11 is determined using the ratio of the distance from the origin of the image of the software keyboard 11. When the key pitch P is determined, the interval D between keys and the key size K are determined accordingly, and the entire software keyboard 11 is determined.
　なお、キーボードデータ格納部５は、図２の分割されないソフトウェアキーボード１１の画像を生成するためのデータと、図３の分割されたソフトウェアキーボード１１Ａ及び１１Ｂの画像を生成するためのデータの双方を格納する。図２において、ソフトウェアキーボード１１の画像の原点は、例えば左下の頂点とされる。図３において、ソフトウェアキーボード１１Ａの画像の原点は、例えば右下の頂点とされ、ソフトウェアキーボード１１Ｂの画像の原点は、例えば左下の頂点とされる。 The keyboard data storage unit 5 stores both data for generating the image of the software keyboard 11 that is not divided in FIG. 2 and data for generating the images of the divided software keyboards 11A and 11B in FIG. To do. In FIG. 2, the origin of the image of the software keyboard 11 is, for example, the lower left vertex. In FIG. 3, the origin of the image of the software keyboard 11A is, for example, the lower right vertex, and the origin of the image of the software keyboard 11B is, for example, the lower left vertex.
　画像生成部２は、生成した種々の画像を合成して、表示部１０に表示する。具体的には、画像生成部２は、図２及び図３に示すように、ソフトウェアキーボード１１を、入力画面の上に、重ねて表示する。これにより、ユーザは、例えば「性別」の入力フィールドへの入力の結果が当該「性別」の入力フィールドに表示された結果を確認しながら、入力を続行することができる。複数の入力フィールドを含む入力画面を上下方向又は左右方向にスクロールして、未入力の入力フィールドがソフトウェアキーボード１１と重ならないようにしても良い。 The image generation unit 2 combines the generated various images and displays them on the display unit 10. Specifically, as illustrated in FIGS. 2 and 3, the image generation unit 2 displays the software keyboard 11 so as to overlap the input screen. As a result, the user can continue the input while confirming the result of the input in the “sex” input field, for example, in the “sex” input field. An input screen including a plurality of input fields may be scrolled vertically or horizontally so that an uninputted input field does not overlap the software keyboard 11.
　入力制御部３は、ユーザが表示部１０に接触した場合に、当該接触による表示部１０への入力を検出する。特に、位置検出部３１は、表示部１０から入力されたイベント情報に基づいて、表示部１０への接触位置を検出する。具体的には、位置検出部３１は、表示部１０のタッチパネルにおいてどの位置が接触されたかを検出する。これにより、ユーザが表示部１０に接触する都度に、表示部１０への複数の接触の各々について、その位置が検出される。各々の接触位置は、例えば、図２及び図３に示す表示部１０におけるＸ座標及びＹ座標により表される。位置検出部３１は、検出した複数の接触位置をキーボード制御部４に送る。 When the user touches the display unit 10, the input control unit 3 detects an input to the display unit 10 due to the contact. In particular, the position detection unit 31 detects a contact position on the display unit 10 based on event information input from the display unit 10. Specifically, the position detection unit 31 detects which position is touched on the touch panel of the display unit 10. Thereby, whenever a user contacts the display part 10, the position is detected about each of the some contact to the display part 10. FIG. Each contact position is represented by, for example, an X coordinate and a Y coordinate in the display unit 10 shown in FIGS. The position detection unit 31 sends the detected plurality of contact positions to the keyboard control unit 4.
　キーボード制御部４は、位置検出部３１により検出された複数の接触位置に基づいて、表示部１０におけるソフトウェアキーボード１１の分割の有無及びキーピッチＰを決定する。キーボード制御部４は、決定したソフトウェアキーボード１１の分割の有無及びキーピッチＰを、画像生成部２へ送る。 The keyboard control unit 4 determines whether or not the software keyboard 11 is divided in the display unit 10 and the key pitch P based on the plurality of contact positions detected by the position detection unit 31. The keyboard control unit 4 sends the determined presence / absence of the division of the software keyboard 11 and the key pitch P to the image generation unit 2.
　具体的には、キーボード分割判定部４１は、表示部１０が編集状態である場合において、所定の時間内における、接触位置の数をカウントする。換言すれば、キーボード分割判定部４１は、表示部１０に接触したユーザの指の数を求める。このために、キーボード分割判定部４１は、編集状態フラグ９を参照し、初期表示用タイマ７を参照する。 Specifically, the keyboard division determination unit 41 counts the number of contact positions within a predetermined time when the display unit 10 is in the editing state. In other words, the keyboard division determination unit 41 obtains the number of user fingers that have touched the display unit 10. For this purpose, the keyboard division determination unit 41 refers to the editing state flag 9 and refers to the initial display timer 7.
　編集状態フラグ９は、表示部１０が編集状態であるか、換言すれば、表示部１０に入力画面が表示されているか否かを示すフラグを格納する。編集状態フラグ９は、編集状態である、換言すれば、表示部１０に入力画面が表示されている場合には、「１」を格納する。編集状態でない、換言すれば、表示部１０に入力画面が表示されていない場合には、「０」を格納する。これにより、表示部１０が編集状態である場合に、当該編集のために必要なソフトウェアキーボード１１を表示することができる。 The editing state flag 9 stores a flag indicating whether the display unit 10 is in an editing state, in other words, whether an input screen is displayed on the display unit 10. The edit state flag 9 is in an edit state, in other words, “1” is stored when the input screen is displayed on the display unit 10. If it is not in an editing state, in other words, if the input screen is not displayed on the display unit 10, “0” is stored. Thereby, when the display unit 10 is in the editing state, the software keyboard 11 necessary for the editing can be displayed.
　初期表示用タイマ７は、ソフトウェアキーボード１１の初期表示のための入力が所定の経過時間内に発生したか否かを判断するためのタイマである。経過時間は、予め定められ、例えば５００ｍｓ（ミリ秒）とされる。これにより、ソフトウェアキーボード１１の初期表示のための入力を、ソフトウェアキーボード１１への通常の入力と、区別することができる。 The initial display timer 7 is a timer for determining whether or not an input for initial display of the software keyboard 11 has occurred within a predetermined elapsed time. The elapsed time is determined in advance, for example, 500 ms (milliseconds). Thereby, the input for the initial display of the software keyboard 11 can be distinguished from the normal input to the software keyboard 11.
　キーボード分割判定部４１は、編集状態フラグが「１」である場合において、初期表示用タイマ７の値が５００ｍｓ以内である場合における、接触位置の数をカウントする。編集状態フラグが「１」である場合、キーボード分割判定部４１は、接触位置の数をカウントしない。初期表示用タイマ７の値が５００ｍｓを超えた場合、キーボード分割判定部４１は、接触位置の数のカウント値をリセットする。 The keyboard division determination unit 41 counts the number of contact positions when the value of the initial display timer 7 is within 500 ms when the editing state flag is “1”. When the editing state flag is “1”, the keyboard division determination unit 41 does not count the number of contact positions. When the value of the initial display timer 7 exceeds 500 ms, the keyboard division determination unit 41 resets the count value of the number of contact positions.
　キーボード分割判定部４１は、以上の処理により算出した複数の接触位置の数に基づいて、ソフトウェアキーボード１１についての分割の有無を決定する。分割の有無の決定に基づいて、キーボード生成部２１が、図３の２分割したソフトウェアキーボード１１Ａ及び１１Ｂの画像、又は、図２の１個のソフトウェアキーボード１１の画像を生成する。 The keyboard division determination unit 41 determines whether or not the software keyboard 11 is divided based on the number of the plurality of contact positions calculated by the above processing. Based on the determination of the presence / absence of division, the keyboard generation unit 21 generates the image of the software keyboards 11A and 11B divided in two in FIG. 3 or the image of one software keyboard 11 in FIG.
　ここで、ソフトウェアキーボード１１を分割する場合には、キーボード分割判定部４１は、複数の接触位置の数に基づいて、ソフトウェアキーボード１１を左右に分割するか否か決定することになる。この決定に基づいて、キーボード生成部２１は、左右に２分割したソフトウェアキーボード１１の画像を生成する。 Here, when the software keyboard 11 is divided, the keyboard division determination unit 41 determines whether to divide the software keyboard 11 into left and right based on the number of contact positions. Based on this determination, the keyboard generation unit 21 generates an image of the software keyboard 11 divided into left and right.
　接触位置の数が「５」である場合に、キーボード分割判定部４１は、ソフトウェアキーボード１１を分割しないと判定する。これは、ユーザが５本の指で表示部１０に接触しているので、片手での入力を選択したと考えられるからである。片手での入力の場合、図２に示すように、ソフトウェアキーボード１１を分割しない方が入力し易い。 When the number of contact positions is “5”, the keyboard division determination unit 41 determines that the software keyboard 11 is not divided. This is because the user is in contact with the display unit 10 with five fingers and is considered to have selected input with one hand. In the case of input with one hand, as shown in FIG. 2, it is easier to input without dividing the software keyboard 11.
　なお、接触位置の数が「４」である場合に、キーボード分割判定部４１が、ソフトウェアキーボード１１を分割しないと判定するようにしても良い。これは、後述するように、親指を除く４本の指の接触位置を用いて、キーピッチＰを算出するからである。 In addition, when the number of contact positions is “4”, the keyboard division determination unit 41 may determine that the software keyboard 11 is not divided. This is because, as will be described later, the key pitch P is calculated using the contact positions of four fingers excluding the thumb.
　接触位置の数が「１０」である場合に、キーボード分割判定部４１は、ソフトウェアキーボード１１を分割すると判定する。これは、ユーザが１０本の指で表示部１０に接触しているので、両手での入力を選択したと考えられるからである。両手での入力の場合、図３に示すように、ソフトウェアキーボード１１（１１Ａ及び１１Ｂ）を分割した方が入力し易い。 When the number of contact positions is “10”, the keyboard division determination unit 41 determines to divide the software keyboard 11. This is because the user is in contact with the display unit 10 with ten fingers and is considered to have selected the input with both hands. In the case of input with both hands, as shown in FIG. 3, it is easier to input if the software keyboard 11 (11A and 11B) is divided.
　なお、接触位置の数が「８」である場合に、キーボード分割判定部４１が、ソフトウェアキーボード１１を分割すると判定するようにしても良い。これは、後述するように、左右の手について、各々、親指を除く４本の指の接触位置を用いて、キーピッチＰを算出するからである。 Note that when the number of contact positions is “8”, the keyboard division determination unit 41 may determine that the software keyboard 11 is to be divided. This is because, as will be described later, the key pitch P is calculated for each of the left and right hands using the contact positions of the four fingers excluding the thumb.
　また、接触位置の数が「２」である場合に、キーボード分割判定部４１が、ソフトウェアキーボード１１を分割すると判定するようにしても良い。この場合、ユーザが両手の２本の人差指で表示部１０に接触したと考えられるので、キーピッチＰを算出することはできない。従って、この場合、キーボードデータ格納部５に格納された、ソフトウェアキーボード１１の画像を表示するためのデータを、そのまま用いることにより、ソフトウェアキーボード１１が表示される。 Further, when the number of contact positions is “2”, the keyboard division determination unit 41 may determine that the software keyboard 11 is to be divided. In this case, since it is considered that the user has touched the display unit 10 with two index fingers of both hands, the key pitch P cannot be calculated. Therefore, in this case, the software keyboard 11 is displayed by using the data for displaying the image of the software keyboard 11 stored in the keyboard data storage unit 5 as it is.
　レイアウト決定部４２は、複数の接触位置に基づいて、複数の入力キーを有するソフトウェアキーボード１１における複数の入力キーのキーピッチＰを決定する。また、レイアウト決定部４２は、複数の接触位置の数に基づいて、表示部１０の辺に対するソフトウェアキーボード１１の角度Ａを決定する。キーピッチＰと角度Ａとに基づいて、キーボード生成部２１が、ソフトウェアキーボード１１の画像を生成する。 The layout determination unit 42 determines the key pitch P of the plurality of input keys in the software keyboard 11 having a plurality of input keys based on the plurality of contact positions. Further, the layout determination unit 42 determines the angle A of the software keyboard 11 with respect to the side of the display unit 10 based on the number of contact positions. Based on the key pitch P and the angle A, the keyboard generation unit 21 generates an image of the software keyboard 11.
　最初に、レイアウト決定部４２は、接触位置の数が「１０」である場合に、接触位置のＸ座標に基づいて、５個の接触位置を含む２個のグループを形成する。Ｘ座標の小さいグループが左手の５本の指の接触位置であり、Ｘ座標の大きいグループが右手の５本の指の接触位置である。接触位置の数が「５」である場合には、当該５個の接触位置が１個のグループとされる。 First, when the number of contact positions is “10”, the layout determining unit 42 forms two groups including five contact positions based on the X coordinates of the contact positions. A group with a small X coordinate is the contact position of the five fingers of the left hand, and a group with a large X coordinate is the contact position of the five fingers of the right hand. When the number of contact positions is “5”, the five contact positions are set as one group.
　次に、レイアウト決定部４２は、例えば図４に示すように、接触位置のＹ座標に基づいて、親指を除く４本の指の接触位置を抽出する。図２及び図３から判るように、通常、親指のＹ座標は、他の４本の指のＹ座標よりも小さい。そこで、レイアウト決定部４２は、各々のグループにおいて、最少のＹ座標を有する接触位置を除いて、残りの４個の接触位置を、親指を除く４本の指の接触位置として抽出する。 Next, as shown in FIG. 4, for example, the layout determination unit 42 extracts the contact positions of the four fingers excluding the thumb based on the Y coordinate of the contact position. As can be seen from FIGS. 2 and 3, the Y coordinate of the thumb is usually smaller than the Y coordinates of the other four fingers. Therefore, the layout determination unit 42 extracts the remaining four contact positions as the contact positions of the four fingers excluding the thumb except for the contact position having the minimum Y coordinate in each group.
　これにより、例えば図４に示すように、人差指の接触位置の座標Ｉ（１０，１５）、中指の接触位置の座標Ｍ（１２，１７）、薬指の接触位置の座標Ｒ（１５，１６）、小指の接触位置の座標Ｌ（１９，１５）が得られる。これらの座標は、ユーザが実際に接触した位置、換言すれば、ユーザの手の大きさを表す。 Thus, for example, as shown in FIG. 4, the coordinates I (10, 15) of the index finger contact position, the coordinates M (12, 17) of the middle finger contact position, the coordinates R (15, 16) of the ring finger contact position, The coordinate L (19, 15) of the contact position of the little finger is obtained. These coordinates represent the position where the user actually touched, in other words, the size of the user's hand.
　なお、図４は、右手の４本の指についての接触位置を示し、図２に対応する。ユーザが左手で表示部１０に接触した場合でも、同様に、４本の指の接触位置が抽出される。また、図４の４本の指の接触位置において、Ｙ座標の値は、およその値を示す。 FIG. 4 shows the contact positions of the four fingers on the right hand and corresponds to FIG. Even when the user touches the display unit 10 with the left hand, the contact positions of the four fingers are similarly extracted. Further, at the contact position of the four fingers in FIG. 4, the value of the Y coordinate is an approximate value.
　次に、レイアウト決定部４２は、複数の接触位置の各々の間隔の平均値を算出し、平均値に基づいて、キーピッチＰを決定する。具体的には、レイアウト決定部４２は、図４に示すように、親指を除く４本の指の接触位置の間のＸ軸方向の距離、換言すれば、隣接する指の接触位置のＸ座標の差分「２」「３」「４」を算出し、その平均値「３」を算出する。これにより、レイアウト決定部４２は、キーピッチＰを「３」と決定する。 Next, the layout determining unit 42 calculates the average value of the intervals between the plurality of contact positions, and determines the key pitch P based on the average value. Specifically, as shown in FIG. 4, the layout determining unit 42 determines the distance in the X-axis direction between the contact positions of the four fingers excluding the thumb, in other words, the X coordinate of the contact position of the adjacent finger. The difference “2”, “3”, and “4” are calculated, and the average value “3” is calculated. As a result, the layout determining unit 42 determines the key pitch P to be “3”.
　次に、レイアウト決定部４２は、複数の接触位置に基づいて、表示部１０の辺ＢＳに対するソフトウェアキーボード１１の角度Ａを決定する。角度Ａは、以下の理由で求められる。図２及び図３に示すように、ソフトウェアキーボード１１を斜めに表示した方が入力し易い場合が多い。そこで、ユーザの腕の傾きに応じて傾いたソフトウェアキーボード１１を表示するために、表示部１０の辺ＢＳに対するホームポジション行ＨＬの角度Ａを求める。 Next, the layout determining unit 42 determines the angle A of the software keyboard 11 with respect to the side BS of the display unit 10 based on a plurality of contact positions. The angle A is obtained for the following reason. As shown in FIGS. 2 and 3, it is often easier to input when the software keyboard 11 is displayed obliquely. Therefore, in order to display the software keyboard 11 inclined according to the inclination of the user's arm, the angle A of the home position row HL with respect to the side BS of the display unit 10 is obtained.
　ここで、ハードウェアキーボードの場合には、ユーザが指をキーの上においた場合、一般的には、右手の人差指、中指、薬指及び小指は、各々、「Ｊ」「Ｋ」「Ｌ」「＋」のキーに対応する。これは、ユーザがキーに合わせて指をおくので、指が揃うためである。従って、親指を除く４本の指は、直線を描く。 Here, in the case of a hardware keyboard, when the user places his / her finger on the key, generally, the index finger, middle finger, ring finger and little finger of the right hand are “J”, “K”, “L”, “ Corresponds to the + key. This is because the finger is aligned because the user places his finger on the key. Therefore, the four fingers except the thumb draw a straight line.
　しかし、ソフトウェアキーボード１１の場合には、単に平坦な画面に指を接触させるのみであるので、ユーザがキーに合わせて指をおく意識を持たず、指が揃わないことが多い。このため、図５に示すように、ソフトウェアキーボード１１の場合には、親指を除く４本の指の接触位置は、曲線Ｃを描き、直線とはならない。換言すれば、右手の人差指、中指、薬指及び小指の座標が、各々、「Ｊ」「Ｋ」「Ｌ」「＋」のキーに割り当てられたとすると、図５の抜き出した部分ＴＣに示すような、いびつなキーの配置のソフトウェアキーボード１１となる。従って、親指を除く４本の指を用いて、角度Ａを求めることは難しい。 However, in the case of the software keyboard 11, since the finger is simply brought into contact with the flat screen, the user is not aware of placing the finger on the key and often the fingers are not aligned. For this reason, as shown in FIG. 5, in the case of the software keyboard 11, the contact positions of the four fingers excluding the thumb draw a curve C and do not become a straight line. In other words, if the coordinates of the index finger, middle finger, ring finger, and little finger of the right hand are assigned to the keys “J”, “K”, “L”, and “+”, respectively, as shown in the extracted part TC of FIG. The software keyboard 11 has an irregular key arrangement. Therefore, it is difficult to obtain the angle A using four fingers excluding the thumb.
　そこで、レイアウト決定部４２は、図６に示すように、親指を除く４本の指の接触位置の中の人差指の接触位置と小指の接触位置とを結ぶ直線を算出し、この直線に基づいて、角度Ａを決定する。これは、本発明者の検討によれば、ソフトウェアキーボード１１を意識して表示部１０に指を繰り返しおいた場合でも、人差指の接触位置及び小指の接触位置は、上下方向（Ｙ軸方向）におけるずれが少ないためである。換言すれば、表示部１０に指を繰り返しおいた場合には、中指と薬指についての上下方向における誤差は、人差指及び小指についての上下方向における誤差よりも大きい。そこで、誤差が大きい中指の接触位置、薬指の接触位置を除いて、人差指と小指を結ぶ直線を求める。 Therefore, as shown in FIG. 6, the layout determination unit 42 calculates a straight line connecting the contact position of the index finger and the contact position of the little finger among the contact positions of the four fingers excluding the thumb, and based on this straight line. Determine the angle A. According to the study of the present inventor, even when the finger is repeatedly placed on the display unit 10 in consideration of the software keyboard 11, the contact position of the index finger and the contact position of the little finger are in the vertical direction (Y-axis direction). This is because there is little deviation. In other words, when a finger is repeatedly placed on the display unit 10, the error in the vertical direction for the middle finger and the ring finger is larger than the error in the vertical direction for the index finger and little finger. Therefore, a straight line connecting the index finger and the little finger is obtained except for the contact position of the middle finger and the contact position of the ring finger with large errors.
　具体的には、レイアウト決定部４２は、図６に示すように、親指を除く４本の指の接触位置の中から、最大のＸ座標を持つ接触位置と最小のＸ座標を持つ接触位置とを抽出して、これらの間を結ぶ直線を求める。この直線が水平方向となす角度ｃは、ソフトウェアキーボード１１が直線ＢＳ’となす角度ｂと等しく、ソフトウェアキーボード１１が表示部１０の辺（左辺）ＬＳに平行な直線ＬＳ’となす角度ａと等しい。この例では、角度ａ＝角度ｂ＝角度ｃ＝３０度である。ホームポジション行ＨＬの角度Ａ、換言すれば、ソフトウェアキーボード１１の角度Ａは、角度ｂである。以上により、ユーザの指の接触位置に基づいて角度Ａを求めることができるので、正確に角度Ａを算出することができ、また、表示部１０の画面が小さくても角度Ａを算出することができる。 Specifically, as shown in FIG. 6, the layout determination unit 42 selects a contact position having the maximum X coordinate and a contact position having the minimum X coordinate from the contact positions of the four fingers excluding the thumb. Are extracted and a straight line connecting them is obtained. An angle c formed by the straight line with the horizontal direction is equal to an angle b formed by the software keyboard 11 with the straight line BS ′, and an angle a formed by the software keyboard 11 with a straight line LS ′ parallel to the side (left side) LS of the display unit 10. . In this example, angle a = angle b = angle c = 30 degrees. The angle A of the home position row HL, in other words, the angle A of the software keyboard 11 is the angle b. As described above, since the angle A can be obtained based on the contact position of the user's finger, the angle A can be calculated accurately, and the angle A can be calculated even if the screen of the display unit 10 is small. it can.
　なお、ハードウェアキーボードの場合には、ユーザが親指をキーの上においた場合、一般的には、最下行におかれる。しかし、ソフトウェアキーボード１１の最下行ＬＬの位置を親指の接触位置に基づいて決定すると、図６の上段に示すように、最下行ＬＬと他の複数の行とが分割してしまう場合がある。そこで、レイアウト決定部４２は、図６の下段に示すように、ホームポジション行ＨＬを優先してソフトウェアキーボード１１の位置を決定する。換言すれば、レイアウト決定部４２は、最下行ＬＬに対応する親指の接触位置を無視して、ソフトウェアキーボード１１が上下方向に分割しないようにする。 In the case of a hardware keyboard, when the user places his thumb on the key, it is generally placed on the bottom line. However, if the position of the bottom row LL of the software keyboard 11 is determined based on the contact position of the thumb, the bottom row LL and other rows may be divided as shown in the upper part of FIG. Therefore, the layout determination unit 42 determines the position of the software keyboard 11 with priority given to the home position row HL as shown in the lower part of FIG. In other words, the layout determination unit 42 ignores the contact position of the thumb corresponding to the bottom row LL and prevents the software keyboard 11 from being divided in the vertical direction.
　また、図６は、２個に分割されたソフトウェアキーボード１１Ａ及び１１Ｂの一方について角度Ａを決定する場合について示す。換言すれば、レイアウト決定部４２は、例えばソフトウェアキーボード１１Ｂについて角度Ａを決定し、決定した角度Ａをソフトウェアキーボード１１Ａに適用する。従って、レイアウト決定部４２は、例えばソフトウェアキーボード１１Ａの角度Ａの算出は行わない。これにより、レイアウト決定部４２が実行する処理を削減することができる。なお、２個に分割されたソフトウェアキーボード１１Ａ及び１１Ｂの双方について、個々に角度Ａを算出するようにしても良い。 FIG. 6 shows a case where the angle A is determined for one of the two software keyboards 11A and 11B. In other words, the layout determining unit 42 determines the angle A for the software keyboard 11B, for example, and applies the determined angle A to the software keyboard 11A. Accordingly, the layout determination unit 42 does not calculate the angle A of the software keyboard 11A, for example. Thereby, the process which the layout determination part 42 performs can be reduced. The angle A may be calculated individually for both of the software keyboards 11A and 11B divided into two.
　また、図６は、右手の指が表示部１０に接触した場合における角度Ａの算出について示す。しかし、レイアウト決定部４２は、親指を除く４本の指の接触位置の中の、最大のＸ座標を持つ接触位置と最小のＸ座標を持つ接触位置とに基づいて直線を求めるので、左右の手を区別することなく、角度Ａを算出する。 FIG. 6 shows the calculation of the angle A when the finger of the right hand contacts the display unit 10. However, the layout determination unit 42 obtains a straight line based on the contact position having the maximum X coordinate and the contact position having the minimum X coordinate among the contact positions of the four fingers excluding the thumb. The angle A is calculated without distinguishing the hands.
　次に、レイアウト決定部４２は、複数の接触位置の中の人差指の接触位置に基づいて、ソフトウェアキーボード１１におけるホームポジションＨＰを決定する。ホームポジションＨＰの決定は、ソフトウェアキーボード１１の分割の有無の決定処理の結果に依存する。ソフトウェアキーボード１１を分割しない場合、複数の接触位置が形成するグループは１個であるので、１個のホームポジションＨＰが決定される。ソフトウェアキーボード１１を分割する場合、複数の接触位置が形成するグループは２個であるので、２個のホームポジションＨＰが決定される。 Next, the layout determining unit 42 determines the home position HP in the software keyboard 11 based on the contact position of the index finger among the plurality of contact positions. The determination of the home position HP depends on the result of the process for determining whether or not the software keyboard 11 is divided. If the software keyboard 11 is not divided, the number of groups formed by the plurality of contact positions is one, so that one home position HP is determined. When the software keyboard 11 is divided, there are two groups formed by a plurality of contact positions, and thus two home positions HP are determined.
　ソフトウェアキーボード１１を分割しない場合、レイアウト決定部４２は、親指を除く４本の指の接触位置の中の、最小のＸ座標を持つ接触位置を抽出して、当該接触位置を人差指の接触位置とする。これにより、ソフトウェアキーボード１１のホームポジションＨＰが定まる。角度Ａを算出するために求めた直線が「正」の傾きである場合、図６に示すように、当該ホームポジションＨＰは右手の人差指に対応する。右手のホームポジションＨＰには、「Ｊ」のキーが割り当てられる。角度Ａを算出するために求めた直線が「負」の傾きである場合、当該ホームポジションＨＰは左手の人差指に対応する。左手のホームポジションＨＰには、「Ｆ」のキーが割り当てられる。 When the software keyboard 11 is not divided, the layout determining unit 42 extracts the contact position having the minimum X coordinate from the contact positions of the four fingers excluding the thumb, and uses the contact position as the contact position of the index finger. To do. As a result, the home position HP of the software keyboard 11 is determined. When the straight line obtained for calculating the angle A has a “positive” inclination, the home position HP corresponds to the index finger of the right hand as shown in FIG. A key “J” is assigned to the home position HP of the right hand. When the straight line obtained for calculating the angle A has a “negative” inclination, the home position HP corresponds to the index finger of the left hand. A key “F” is assigned to the home position HP of the left hand.
　ソフトウェアキーボード１１を分割する場合、レイアウト決定部４２は、複数の接触位置が形成する２個のグループの各々について、親指を除く４本の指の接触位置の中の、最小のＸ座標を持つ接触位置を抽出して、当該接触位置を人差指の接触位置とする。これにより、ソフトウェアキーボード１１の２個のホームポジションＨＰが定まる。角度Ａを算出するために求めた直線が「正」の傾きであるグループにおける当該ホームポジションＨＰは右手の人差指に対応する。右手のホームポジションＨＰには、「Ｊ」のキーが割り当てられる。角度Ａを算出するために求めた直線が「負」の傾きであるグループにおける当該ホームポジションＨＰは左手の人差指に対応する。左手のホームポジションＨＰには、「Ｆ」のキーが割り当てられる。 When the software keyboard 11 is divided, the layout determination unit 42 makes contact with the smallest X coordinate among the contact positions of four fingers excluding the thumb for each of two groups formed by a plurality of contact positions. The position is extracted, and the contact position is set as the index finger contact position. Thereby, two home positions HP of the software keyboard 11 are determined. The home position HP in the group in which the straight line obtained for calculating the angle A has a “positive” inclination corresponds to the index finger of the right hand. A key “J” is assigned to the home position HP of the right hand. The home position HP in the group in which the straight line obtained for calculating the angle A has a “negative” inclination corresponds to the left index finger. A key “F” is assigned to the home position HP of the left hand.
　次に、レイアウト決定部４２は、以上の処理により求めた、ソフトウェアキーボード１１の分割の有無、キーピッチＰ、角度Ａ、ホームポジションＨＰを、キーボード生成部２１に送る。キーボード生成部２１は、キーボードデータ格納部５から、ソフトウェアキーボード１１の画像を生成するためのデータを読み出す。この時、キーボード生成部２１は、ソフトウェアキーボード１１を分割しない場合には、１個のソフトウェアキーボード１１の画像を表示するためのデータを読出し、ソフトウェアキーボード１１を分割する場合には、２個のソフトウェアキーボード１１Ａ及び１１Ｂの画像を表示するためのデータを読出す。 Next, the layout determination unit 42 sends the presence / absence of division of the software keyboard 11, the key pitch P, the angle A, and the home position HP obtained by the above processing to the keyboard generation unit 21. The keyboard generation unit 21 reads data for generating an image of the software keyboard 11 from the keyboard data storage unit 5. At this time, the keyboard generation unit 21 reads data for displaying an image of one software keyboard 11 when the software keyboard 11 is not divided, and two software when the software keyboard 11 is divided. Data for displaying images of the keyboards 11A and 11B is read.
　更に、キーボード生成部２１は、読み出したデータを、キーピッチＰを用いて表示部１０の座標値に変換する。更に、図２又は図３に示す角度Ａだけ傾いたソフトウェアキーボード１１を表示するために、キーボード生成部２１は、変換したデータを、角度Ａを用いて回転させる。更に、キーボード生成部２１は、回転させたデータについて、ホームポジションＨＰを用いて、当該ホームポジションＨＰに所定のキーが対応するように、複数のキーの座標を定める。これに伴って、ソフトウェアキーボード１１と表示部１０の下辺ＢＳ及び左辺ＬＳとの間の距離が定まる。また、ソフトウェアキーボード１１Ａ及び１１Ｂの間の距離Ｓが定まる。 Furthermore, the keyboard generation unit 21 converts the read data into coordinate values of the display unit 10 using the key pitch P. Further, in order to display the software keyboard 11 tilted by the angle A shown in FIG. 2 or FIG. 3, the keyboard generation unit 21 rotates the converted data using the angle A. Further, the keyboard generation unit 21 uses the home position HP for the rotated data to determine the coordinates of a plurality of keys so that a predetermined key corresponds to the home position HP. Accordingly, the distances between the software keyboard 11 and the lower side BS and the left side LS of the display unit 10 are determined. Further, the distance S between the software keyboards 11A and 11B is determined.
　この後、画像生成部２は、ソフトウェアキーボード１１の画像を表示するためのデータを含む画像データを表示部１０に送り、ソフトウェアキーボード１１を含む画像を表示させる。換言すれば、画像生成部２から表示部１０に送信された画像データが、出力装置である表示部１０により出力される結果である。ソフトウェアキーボード１１の画像を表示するためのデータは、ソフトウェアキーボード１１の入力を処理する入力処理部にも送られる。 Thereafter, the image generation unit 2 sends image data including data for displaying the image of the software keyboard 11 to the display unit 10 to display the image including the software keyboard 11. In other words, the image data transmitted from the image generation unit 2 to the display unit 10 is a result of being output by the display unit 10 that is an output device. Data for displaying an image of the software keyboard 11 is also sent to an input processing unit that processes input of the software keyboard 11.
　画像生成部２は、ソフトウェアキーボード１１の画像を表示するためのデータを表示部１０に送ると、キーボードフラグ８を「１」とする。キーボードフラグ８は、表示部１０にソフトウェアキーボード１１が表示されているか否かを示すフラグを格納する。キーボードフラグ８は、ソフトウェアキーボード１１が表示されている場合には、「１」を格納する。ソフトウェアキーボード１１が表示されていない場合には、「０」を格納する。 The image generation unit 2 sets the keyboard flag 8 to “1” when data for displaying the image of the software keyboard 11 is sent to the display unit 10. The keyboard flag 8 stores a flag indicating whether or not the software keyboard 11 is displayed on the display unit 10. The keyboard flag 8 stores “1” when the software keyboard 11 is displayed. If the software keyboard 11 is not displayed, “0” is stored.
　ソフトウェアキーボード１１が表示されると、入力制御部３は、イベント待ち時間内にユーザが表示部１０に接触するのを待つ。このために、入力制御部３は、イベント用タイマ６を参照する。イベント用タイマ６は、イベント、換言すれば、表示部１０に表示されたソフトウェアキーボード１１への入力がイベント待ち時間内に発生したか否かを判断するためのタイマである。イベント待ち時間は、予め定められ、例えば１分とされる。 When the software keyboard 11 is displayed, the input control unit 3 waits for the user to touch the display unit 10 within the event waiting time. For this purpose, the input control unit 3 refers to the event timer 6. The event timer 6 is a timer for determining whether an event, in other words, an input to the software keyboard 11 displayed on the display unit 10 has occurred within the event waiting time. The event waiting time is predetermined, for example, 1 minute.
　入力制御部３は、ソフトウェアキーボード１１が表示された状態でイベント待ち時間内にユーザが表示部１０に接触すると、位置検出部３１において接触位置を検出し、検出結果を、入力処理部に送る。入力処理部は、ソフトウェアキーボード１１の配置に基づいて、ユーザが接触したソフトウェアキーボード１１のキーを検出することにより、入力の検出結果を処理する。 When the user touches the display unit 10 within the event waiting time while the software keyboard 11 is displayed, the input control unit 3 detects the contact position in the position detection unit 31 and sends the detection result to the input processing unit. The input processing unit processes the input detection result by detecting the key of the software keyboard 11 touched by the user based on the arrangement of the software keyboard 11.
　図７は、表示部への入力処理のフローチャートである。 FIG. 7 is a flowchart of input processing to the display unit.
　情報処理装置の電源が投入されると、ユーザは、表示部１０に表示されたアイコン、プルダウンメニュー、ボタン等への選択的な接触を繰り返すことにより、例えば、インターネット上のサイトに接続し、商品を購入する。この時、例えば、ユーザが表示部１０の「商品を購入する」のボタンに接触すると、購入者の情報を入力するための画面である入力画面が表示される。入力画面は、前述したように、図２及び図３に示す「性別」「職業」等の入力フィールドを含む画面である。入力画面の表示に応じて、例えば画像生成部２により、編集状態フラグがセットされる、換言すれば、「１」とされる。入力画面の消去に応じて、例えば画像生成部２により、編集状態フラグがリセットされる、換言すれば、「０」とされる。 When the information processing apparatus is turned on, the user repeats selective contact with icons, pull-down menus, buttons, etc. displayed on the display unit 10 to connect to a site on the Internet, for example, To buy. At this time, for example, when the user touches the “Purchase product” button on the display unit 10, an input screen, which is a screen for inputting purchaser information, is displayed. As described above, the input screen is a screen including input fields such as “gender” and “occupation” shown in FIGS. Depending on the display of the input screen, for example, the image generation unit 2 sets the editing state flag, in other words, “1”. In response to erasure of the input screen, for example, the image generation unit 2 resets the editing state flag, in other words, “0”.
　表示部１０に指が接触した場合、入力制御部３の位置検出部３１が、接触された位置を検出して、入力制御部３が、キーボードフラグ８及び編集状態フラグ９を参照する。キーボードフラグ８が「０」で編集状態フラグ９が「１」である場合、入力制御部３は、位置の検出結果を、キーボード制御部４に送る。キーボードフラグ８が「０」で編集状態フラグ９が「１」である場合以外の場合、入力制御部３は、位置の検出結果を、入力処理部に送る。 When the finger touches the display unit 10, the position detection unit 31 of the input control unit 3 detects the touched position, and the input control unit 3 refers to the keyboard flag 8 and the editing state flag 9. When the keyboard flag 8 is “0” and the editing state flag 9 is “1”, the input control unit 3 sends the position detection result to the keyboard control unit 4. In cases other than the case where the keyboard flag 8 is “0” and the editing state flag 9 is “1”, the input control unit 3 sends the position detection result to the input processing unit.
　位置の検出結果を受信したキーボード制御部４において、キーボード分割判定部４１が、ソフトウェアキーボード１１を分割して表示するか否かを判定する（ステップＳ１）。ステップＳ１については、図８を参照して後述する。 In the keyboard control unit 4 that has received the position detection result, the keyboard division determination unit 41 determines whether the software keyboard 11 is divided and displayed (step S1). Step S1 will be described later with reference to FIG.
　ステップＳ１における分割判定の結果に基づいて、キーボード制御部４のレイアウト決定部４２が、ソフトウェアキーボード１１のレイアウトを決定し（ステップＳ２）、レイアウト決定の結果に基づいて、画像生成部２のキーボード生成部２１が、ソフトウェアキーボード１１を表示するために、ソフトウェアキーボード１１を含む画像データを生成する（ステップＳ３）。ステップＳ２については、図９を参照して後述する。 Based on the result of the division determination in step S1, the layout determination unit 42 of the keyboard control unit 4 determines the layout of the software keyboard 11 (step S2), and based on the result of the layout determination, the keyboard generation of the image generation unit 2 The unit 21 generates image data including the software keyboard 11 in order to display the software keyboard 11 (step S3). Step S2 will be described later with reference to FIG.
　生成した画像データを用いて、画像生成部２のキーボード生成部２１が、図２又は図３に示すような、入力画面上に重ねられたソフトウェアキーボード１１を含む画像を表示し（ステップＳ４）、イベント用タイマ６をスタートさせる（ステップＳ５）。ステップＳ４において、キーボード生成部２１により、キーボードフラグ８がセットされる、換言すれば、「１」とされる。 Using the generated image data, the keyboard generation unit 21 of the image generation unit 2 displays an image including the software keyboard 11 superimposed on the input screen as shown in FIG. 2 or 3 (step S4). The event timer 6 is started (step S5). In step S4, the keyboard generation unit 21 sets the keyboard flag 8, in other words “1”.
　イベント用タイマ６のスタートに応じて、入力制御部３の位置検出部３１が、イベント待ち、換言すれば、表示部１０のソフトウェアキーボード１１からのイベント情報の入力待ちの状態となる（ステップＳ６）。イベント情報の入力待ちの状態において、位置検出部３１が、表示部１０への接触（以下、タップとも言う）を検知したか否かを判断する（ステップＳ７）。 In response to the start of the event timer 6, the position detecting unit 31 of the input control unit 3 waits for an event, in other words, waits for input of event information from the software keyboard 11 of the display unit 10 (step S6). . In a state waiting for input of event information, the position detection unit 31 determines whether or not contact with the display unit 10 (hereinafter also referred to as a tap) has been detected (step S7).
　タップを検知した場合（ステップＳ７　Ｙｅｓ）、位置検出部３１が、イベント用タイマ６をリセットして（ステップＳ８）、タップにより入力されたキー入力を処理した後（ステップＳ９）、ステップＳ５を繰り返す。従って、イベント用タイマ６は、最初の１回だけキーボード生成部２１によりスタートされ、２回目以降は位置検出部３１によりスタートされる。ステップＳ９における入力は、通常のタップによるキー入力である。 When a tap is detected (Yes in step S7), the position detection unit 31 resets the event timer 6 (step S8), processes the key input input by the tap (step S9), and then repeats step S5. . Therefore, the event timer 6 is started by the keyboard generation unit 21 only once for the first time, and is started by the position detection unit 31 for the second time and thereafter. The input in step S9 is a key input by a normal tap.
　タップを検知しない場合（ステップＳ７　Ｎｏ）、位置検出部３１が、イベント用タイマ６が１分経過したか否かを判断する（ステップＳ１０）。イベント用タイマ６が１分経過しない場合（ステップＳ１０　Ｎｏ）、位置検出部３１が、ステップＳ６を繰り返す。イベント用タイマ６が１分経過した場合（ステップＳ１０　Ｙｅｓ）、キーボード生成部２１が、ソフトウェアキーボード１１を表示部１０上から消去する（ステップＳ１１）。ステップＳ１１において、キーボード生成部２１により、キーボードフラグ８が「０」とされる、換言すれば、リセットされる。 When the tap is not detected (No at Step S7), the position detection unit 31 determines whether or not the event timer 6 has passed 1 minute (Step S10). When the event timer 6 has not elapsed for 1 minute (No at Step S10), the position detection unit 31 repeats Step S6. When the event timer 6 has elapsed for 1 minute (step S10, Yes), the keyboard generation unit 21 deletes the software keyboard 11 from the display unit 10 (step S11). In step S11, the keyboard generation unit 21 sets the keyboard flag 8 to “0”, in other words, it is reset.
　図８は、ステップＳ１において実行される、ソフトウェアキーボードの分割判定処理のフローチャートである。 FIG. 8 is a flowchart of the software keyboard division determination process executed in step S1.
　キーボード制御部４のキーボード分割判定部４１が、位置の検出結果を受信すると、初期表示用タイマ７をリセットする（ステップＳ２１）。ステップＳ２１において、キーボード分割判定部４１により、接触位置の数のカウント値、換言すれば、タップ数もリセットされる。 When the keyboard division determination unit 41 of the keyboard control unit 4 receives the position detection result, the initial display timer 7 is reset (step S21). In step S21, the keyboard division determination unit 41 also resets the count value of the number of touch positions, in other words, the number of taps.
　ステップＳ２１の後、キーボード分割判定部４１が、直ちに初期表示用タイマ７を再度スタートさせて（ステップＳ２２）、イベント待機、換言すれば、入力待ちの状態となる（ステップＳ２３）。これにより、最初の指が表示部１０に接触してから、イベント待機の時間の経過を監視することができる。 After step S21, the keyboard division determination unit 41 immediately restarts the initial display timer 7 (step S22), and waits for an event, in other words, waits for input (step S23). Thereby, after the first finger touches the display unit 10, it is possible to monitor the elapse of the event standby time.
　入力待ちの状態において、キーボード分割判定部４１が、初期表示用タイマ７の値が経過時間である５００ｍｓを経過していないか否かを判断する（ステップＳ２４）。 In the state of waiting for input, the keyboard division determination unit 41 determines whether the value of the initial display timer 7 has not exceeded 500 ms, which is the elapsed time (step S24).
　初期表示用タイマ７の値が経過時間を経過していない場合（ステップＳ２４　Ｙｅｓ）、キーボード分割判定部４１が、予め定められた時間間隔で、表示部１０上においてタップされた位置があるか否かの判断を繰り返す（ステップＳ２５）。時間間隔は、経験的に予め定められ、例えば１０ｍＳｅｃ（ミリ秒）とされる。タップされた位置がない場合（ステップＳ２５　Ｎｏ）、キーボード分割判定部４１が、ステップＳ２３を繰り返す。タップされた位置がある場合（ステップＳ２５　Ｙｅｓ）、キーボード分割判定部４１が、その時点におけるタップ数を「＋１」だけインクリメントして、新たなタップ数とした後に（ステップＳ２６）、ステップＳ２３を繰り返す。 If the value of the initial display timer 7 has not passed the elapsed time (step S24, Yes), whether there is a position where the keyboard division determination unit 41 is tapped on the display unit 10 at a predetermined time interval. This determination is repeated (step S25). The time interval is empirically determined in advance and is, for example, 10 mSec (milliseconds). If there is no tapped position (No at Step S25), the keyboard division determination unit 41 repeats Step S23. When there is a tapped position (Yes in step S25), the keyboard division determination unit 41 increments the number of taps at that time by “+1” to obtain a new number of taps (step S26), and then repeats step S23. .
　初期表示用タイマ７の値が経過時間を経過した場合（ステップＳ２４　Ｎｏ）、キーボード分割判定部４１が、タップ数が「１」より大きいか否かを判断する（ステップＳ２７）。タップ数が１より大きくない場合（ステップＳ２７　Ｎｏ）、キーボード分割判定部４１が、ステップＳ２１を繰り返す。これにより、ユーザはソフトウェアキーボード１１を表示するための入力を、再度繰り返す。なお、この時、エラーを表示するようにしても良い。 When the value of the initial display timer 7 has passed the elapsed time (step S24, No), the keyboard division determination unit 41 determines whether or not the number of taps is greater than “1” (step S27). When the number of taps is not larger than 1 (No at Step S27), the keyboard division determination unit 41 repeats Step S21. Thereby, the user repeats the input for displaying the software keyboard 11 again. At this time, an error may be displayed.
　タップ数が「１」より大きい場合（ステップＳ２７　Ｙｅｓ）、キーボード分割判定部４１が、更に、タップ数が「１０」であるか否かを判断する（ステップＳ２８）。タップ数が「１０」である場合（ステップＳ２８　Ｙｅｓ）、キーボード分割判定部４１が、ソフトウェアキーボード１１を分割して表示すると判断する（ステップＳ２９）。 If the number of taps is larger than “1” (step S27, Yes), the keyboard division determination unit 41 further determines whether the number of taps is “10” (step S28). When the number of taps is “10” (Yes at Step S28), the keyboard division determination unit 41 determines that the software keyboard 11 is divided and displayed (Step S29).
　タップ数が「１０」でない場合（ステップＳ２８　Ｎｏ）、キーボード分割判定部４１が、更に、タップ数が「５」であるか否かを判断する（ステップＳ２１０）。タップ数が「５」でない場合（ステップＳ２１０　Ｎｏ）、キーボード分割判定部４１が、ステップＳ２１を繰り返す。これにより、ユーザはソフトウェアキーボード１１を表示するための入力を、再度繰り返す。この時、エラーを表示するようにしても良い。 When the number of taps is not “10” (No at Step S28), the keyboard division determination unit 41 further determines whether or not the number of taps is “5” (Step S210). When the number of taps is not “5” (No at Step S210), the keyboard division determination unit 41 repeats Step S21. Thereby, the user repeats the input for displaying the software keyboard 11 again. At this time, an error may be displayed.
　タップ数が「５」である場合（ステップＳ２１０　Ｙｅｓ）、キーボード分割判定部４１が、ソフトウェアキーボード１１を分割しないで表示すると判断する（ステップＳ２１１）。 When the number of taps is “5” (Yes in step S210), the keyboard division determination unit 41 determines that the software keyboard 11 is displayed without being divided (step S211).
　図９は、ソフトウェアキーボードのレイアウト処理のフローチャートである。 FIG. 9 is a flowchart of software keyboard layout processing.
　レイアウト決定部４２が、キーピッチ算出処理を実行することにより、ソフトウェアキーボード１１のキーピッチＰを算出する（ステップＳ３１）。 The layout determination unit 42 calculates the key pitch P of the software keyboard 11 by executing the key pitch calculation process (step S31).
　この後、レイアウト決定部４２が、角度算出処理を実行することにより、ソフトウェアキーボード１１のホームポジション行ＨＬの角度Ａを計算する（ステップＳ３２）。 Thereafter, the layout determining unit 42 calculates the angle A of the home position row HL of the software keyboard 11 by executing an angle calculation process (step S32).
　この後、レイアウト決定部４２が、図８に示すソフトウェアキーボード１１の分割判定処理を実行することにより、ソフトウェアキーボード１１の分割の有無を決定して、決定結果をステップＳ３１～Ｓ３２における処理の結果に反映させる（ステップＳ３３）。 Thereafter, the layout determination unit 42 determines whether or not the software keyboard 11 is divided by executing the division determination process for the software keyboard 11 shown in FIG. 8, and the determination result is used as the result of the process in steps S31 to S32. Reflect (step S33).
　具体的には、ソフトウェアキーボード１１を分割しない場合、レイアウト決定部４２は、算出したキーピッチＰ及び角度Ａを、そのまま用いる。また、複数の接触位置が形成する１個のグループにおいて、人差指の位置がホームポジションＨＰとされる。 Specifically, when the software keyboard 11 is not divided, the layout determination unit 42 uses the calculated key pitch P and angle A as they are. Further, in one group formed by a plurality of contact positions, the position of the index finger is set as the home position HP.
　ソフトウェアキーボード１１を分割する場合、レイアウト決定部４２は、算出した角度Ａを、分割する２個のソフトウェアキーボード１１Ａ及び１１Ｂについての値として用いる。なお、算出したキーピッチＰは、そのまま用いられる。また、複数の接触位置が形成する２個のグループにおいて、各々、人差指の位置がホームポジションＨＰとされる。 When dividing the software keyboard 11, the layout determining unit 42 uses the calculated angle A as a value for the two software keyboards 11A and 11B to be divided. The calculated key pitch P is used as it is. In the two groups formed by the plurality of contact positions, the position of the index finger is set as the home position HP.
　以上の結果が、キーボード制御部４からキーボード生成部２１に送られて、キーボード生成部２１において、図２又は図３に示すようなソフトウェアキーボード１１の画像を表示するためのデータが得られる。 The above results are sent from the keyboard control unit 4 to the keyboard generation unit 21, and the keyboard generation unit 21 obtains data for displaying the image of the software keyboard 11 as shown in FIG.
　なお、図３においては、ソフトウェアキーボード１１を左右に２分割しているが、キーボード制御部４が、複数の接触位置の数に基づいて、ソフトウェアキーボード１１を上下に２分割するか否かを決定するようにしても良い。例えば、図６の上段に示すように、ソフトウェアキーボード１１の最下行ＬＬの位置を、親指の接触位置に基づいて決定するようにしても良い。これにより、図２に示すソフトウェアキーボード１１において最下行ＬＬと他の複数の行とが分割されたソフトウェアキーボード１１を、表示するようにしても良い。この時、最下行ＬＬ以外の複数の行は、前述したように、親指を除く４本の指の接触位置に基づいて、表示される。キーボード生成部２１は、上下に分割するか否かの決定に基づいて、上下に２分割したソフトウェアキーボード１１の画像又は１個のソフトウェアキーボード１１の画像を生成する。 In FIG. 3, the software keyboard 11 is divided into left and right parts, but the keyboard control unit 4 determines whether to divide the software keyboard 11 into two parts vertically based on the number of contact positions. You may make it do. For example, as shown in the upper part of FIG. 6, the position of the lowest row LL of the software keyboard 11 may be determined based on the contact position of the thumb. Thereby, the software keyboard 11 in which the lowermost row LL and a plurality of other rows are divided in the software keyboard 11 shown in FIG. 2 may be displayed. At this time, a plurality of rows other than the lowest row LL are displayed based on the contact positions of the four fingers excluding the thumb as described above. The keyboard generation unit 21 generates an image of the software keyboard 11 or an image of one software keyboard 11 that is divided into two in the vertical direction based on the determination as to whether or not the vertical division is performed.
　更に、キーボード制御部４が、複数の接触位置の数に基づいて、ソフトウェアキーボード１１を上下左右に４分割するか否かを決定するようにしても良い。例えば、図６の上段に示すように、ソフトウェアキーボード１１の最下行ＬＬの位置を、左右の親指の接触位置に基づいて決定するようにしても良い。これにより、図６の上段に示すように、左右に分割されたソフトウェアキーボード１１Ａ及び１１Ｂにおいて、更に、最下行ＬＬと他の複数の行とが分割された、換言すれば、上下左右に４個に分割されたソフトウェアキーボード１１を、表示するようにしても良い。この時、左右に分割されたソフトウェアキーボード１１Ａ及び１１Ｂにおいて、最下行ＬＬ以外の複数の行は、前述したように、親指を除く４本の指の接触位置に基づいて、表示される。キーボード生成部２１は、上下左右に分割するか否かの決定に基づいて、上下左右に４分割したソフトウェアキーボード１１の画像又は１個のソフトウェアキーボード１１の画像を生成する。 Furthermore, the keyboard control unit 4 may determine whether to divide the software keyboard 11 into four parts vertically and horizontally based on the number of contact positions. For example, as shown in the upper part of FIG. 6, the position of the bottom row LL of the software keyboard 11 may be determined based on the contact positions of the left and right thumbs. Thereby, as shown in the upper part of FIG. 6, in the software keyboards 11A and 11B divided into the left and right, the lowermost row LL and the other plural rows are further divided. The software keyboard 11 divided into two may be displayed. At this time, in the software keyboards 11A and 11B divided into the left and right, a plurality of lines other than the lowest line LL are displayed based on the contact positions of the four fingers excluding the thumb as described above. The keyboard generation unit 21 generates an image of the software keyboard 11 or an image of one software keyboard 11 divided into four parts in the vertical and horizontal directions based on the determination of whether to divide into the vertical and horizontal directions.
　　１　　入力表示処理部
　　２　　画像生成部
　　３　　入力制御部
　　４　　キーボード制御部
　　５　　キーボードデータ格納部
　　６　　イベント用タイマ
　　７　　初期表示用タイマ
　　８　　キーボードフラグ
　　９　　編集状態フラグ
　　１０　　表示部
　　１１　　ソフトウェアキーボード
　　２１　　キーボード生成部
　　３１　　位置検出部
　　４１　　キーボード分割判定部
　　４２　　レイアウト決定部 DESCRIPTION OF SYMBOLS 1 Input display process part 2 Image generation part 3 Input control part 4 Keyboard control part 5 Keyboard data storage part 6 Event timer 7 Initial display timer 8 Keyboard flag 9 Edit state flag 10 Display part 11 Software keyboard 21 Keyboard generation part 31 Position Detection unit 41 Keyboard division determination unit 42 Layout determination unit

Claims (8)

  1. 　画像を表示する表示部と、
    　前記表示部への複数の接触位置を検出する位置検出部と、
    　前記複数の接触位置に基づいて、複数の入力キーを有するソフトウェアキーボードにおける前記複数の入力キーのキーピッチを決定するキーボード制御部と、
    　前記キーピッチに基づいて、前記ソフトウェアキーボードの画像を生成して前記表示部に表示するキーボード生成部とを含む
    　ことを特徴とする情報処理装置。     A display for displaying an image;
    A position detection unit for detecting a plurality of contact positions on the display unit;
    A keyboard control unit for determining a key pitch of the plurality of input keys in a software keyboard having a plurality of input keys based on the plurality of contact positions;
    An information processing apparatus comprising: a keyboard generation unit that generates an image of the software keyboard based on the key pitch and displays the image on the display unit.
  2. 　前記キーボード制御部が、前記複数の接触位置の各々の間隔の平均値を算出し、前記平均値に基づいて、前記キーピッチを決定する
    　ことを特徴とする請求項１に記載の情報処理装置。     The information processing apparatus according to claim 1, wherein the keyboard control unit calculates an average value of intervals between the plurality of contact positions, and determines the key pitch based on the average value.
  3. 　前記キーボード制御部が、前記複数の接触位置の中の人差指の接触位置に基づいて、前記ソフトウェアキーボードにおけるホームポジションを決定する
    　ことを特徴とする請求項１に記載の情報処理装置。     The information processing apparatus according to claim 1, wherein the keyboard control unit determines a home position in the software keyboard based on a contact position of an index finger among the plurality of contact positions.
  4. 　前記キーボード制御部が、前記複数の接触位置に基づいて、更に、前記表示部の辺に対する前記ソフトウェアキーボードの角度を決定し、
    　前記キーボード生成部が、前記角度に基づいて、前記ソフトウェアキーボードの前記画像を生成する
    　ことを特徴とする請求項１に記載の情報処理装置。     The keyboard control unit further determines an angle of the software keyboard with respect to a side of the display unit based on the plurality of contact positions;
    The information processing apparatus according to claim 1, wherein the keyboard generation unit generates the image of the software keyboard based on the angle.
  5. 　前記キーボード制御部が、前記複数の接触位置の中の人差指の接触位置と小指の接触位置とを結ぶ直線を算出し、前記直線に基づいて、前記角度を決定する
    　ことを特徴とする請求項４に記載の情報処理装置。     5. The keyboard control unit calculates a straight line connecting a contact position of an index finger and a contact position of a little finger among the plurality of contact positions, and determines the angle based on the straight line. The information processing apparatus described in 1.
  6. 　前記キーボード制御部が、前記複数の接触位置の数に基づいて、前記ソフトウェアキーボードについての分割の有無を決定し、
    　前記キーボード生成部が、前記分割の有無の決定に基づいて、２分割したソフトウェアキーボードの画像又は１個のソフトウェアキーボードの画像を生成する
    　ことを特徴とする請求項１又は４に記載の情報処理装置。     The keyboard control unit determines whether or not to split the software keyboard based on the number of the plurality of contact positions;
    5. The information processing apparatus according to claim 1, wherein the keyboard generation unit generates an image of a software keyboard divided into two or an image of one software keyboard based on the determination of the presence or absence of the division. .
  7. 　前記キーボード制御部が、前記複数の接触位置の数に基づいて、前記ソフトウェアキーボードを左右に分割するか否かを決定し、
    　前記キーボード生成部が、前記左右に分割するか否かの決定に基づいて、左右に２分割したソフトウェアキーボードの画像又は１個のソフトウェアキーボードの画像を生成する
    　ことを特徴とする請求項６に記載の情報処理装置。     The keyboard control unit determines whether to divide the software keyboard into left and right based on the number of the plurality of contact positions;
    The said keyboard generation part produces | generates the image of the software keyboard or the image of one software keyboard divided | segmented into right and left based on the determination of whether it divides | segments into the said right and left. Information processing device.
  8. 　画像を表示する表示部への複数の接触位置を検出するステップと、
    　前記複数の接触位置に基づいて、複数の入力キーを有するソフトウェアキーボードにおける前記複数の入力キーのキーピッチを決定するステップと、
    　前記キーピッチに基づいて、前記ソフトウェアキーボードの画像を生成するステップと、
    　前記ソフトウェアキーボードの前記画像を前記表示部に表示するステップとを含む
    　ことを特徴とする入力装置の表示方法。     Detecting a plurality of contact positions on a display unit for displaying an image;
    Determining a key pitch of the plurality of input keys in a software keyboard having a plurality of input keys based on the plurality of contact positions;
    Generating an image of the software keyboard based on the key pitch;
    And a step of displaying the image of the software keyboard on the display unit.
PCT/JP2010/067419 2010-10-05 2010-10-05 Information processing device and input device display method WO2012046295A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/067419 WO2012046295A1 (en) 2010-10-05 2010-10-05 Information processing device and input device display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/067419 WO2012046295A1 (en) 2010-10-05 2010-10-05 Information processing device and input device display method

Publications (1)

Publication Number Publication Date
WO2012046295A1 true WO2012046295A1 (en) 2012-04-12

Family

ID=45927315

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/067419 WO2012046295A1 (en) 2010-10-05 2010-10-05 Information processing device and input device display method

Country Status (1)

Country Link
WO (1) WO2012046295A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744588A (en) * 2013-12-26 2014-04-23 苏州佳世达电通有限公司 Touch-control display device and functional menu control method thereof
JP2015203889A (en) * 2014-04-10 2015-11-16 キヤノン株式会社 Information processing terminal, information processing method, and computer program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325655A (en) * 1994-05-31 1995-12-12 Wacom Co Ltd Method and device for information input
JPH09330175A (en) * 1996-06-11 1997-12-22 Hitachi Ltd Information processor and its operating method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325655A (en) * 1994-05-31 1995-12-12 Wacom Co Ltd Method and device for information input
JPH09330175A (en) * 1996-06-11 1997-12-22 Hitachi Ltd Information processor and its operating method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744588A (en) * 2013-12-26 2014-04-23 苏州佳世达电通有限公司 Touch-control display device and functional menu control method thereof
CN103744588B (en) * 2013-12-26 2016-09-28 苏州佳世达电通有限公司 Touch control display apparatus and functional menu control method thereof
JP2015203889A (en) * 2014-04-10 2015-11-16 キヤノン株式会社 Information processing terminal, information processing method, and computer program

Similar Documents

Publication Publication Date Title
US8749497B2 (en) Multi-touch shape drawing
TWI428812B (en) Method for controlling application program, electronic device thereof, recording medium thereof, and computer program product using the method
US8363026B2 (en) Information processor, information processing method, and computer program product
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
JP5675622B2 (en) Display device
US9041653B2 (en) Electronic device, controlling method thereof and computer program product
US20140380209A1 (en) Method for operating portable devices having a touch screen
US20110025627A1 (en) Touchscreen panel unit, scrolling control method, and recording medium
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
US20120218308A1 (en) Electronic apparatus with touch screen and display control method thereof
US20100328232A1 (en) Touch Screen Cursor Presentation Preview Window
JP5991320B2 (en) Input device, image display method and program
TWI442305B (en) A operation method and a system of the multi-touch
JP5275429B2 (en) Information processing apparatus, program, and pointing method
JP2013168144A (en) Image display method and device thereof
US9324130B2 (en) First image and a second image on a display
JP5414134B1 (en) Touch-type input system and input control method
WO2012046295A1 (en) Information processing device and input device display method
US9501210B2 (en) Information processing apparatus
JP6197559B2 (en) Object operation system, object operation control program, and object operation control method
US10101905B1 (en) Proximity-based input device
US20150309601A1 (en) Touch input system and input control method
JP5575027B2 (en) Display-integrated coordinate input device and virtual keyboard function activation method
JP4602199B2 (en) Input device, input method, computer program, semiconductor device
JP5950509B2 (en) Display device and display method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10858103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10858103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP