WO2010064387A1 - 表示入力装置 - Google Patents

表示入力装置 Download PDF

Info

Publication number
WO2010064387A1
WO2010064387A1 PCT/JP2009/006390 JP2009006390W WO2010064387A1 WO 2010064387 A1 WO2010064387 A1 WO 2010064387A1 JP 2009006390 W JP2009006390 W JP 2009006390W WO 2010064387 A1 WO2010064387 A1 WO 2010064387A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
touch panel
displayed
input device
icon
Prior art date
Application number
PCT/JP2009/006390
Other languages
English (en)
French (fr)
Inventor
下谷光生
松原勉
貞廣崇
太田正子
岡野祐一
泉福剛
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US13/062,713 priority Critical patent/US8963849B2/en
Priority to DE112009002462T priority patent/DE112009002462T5/de
Priority to JP2010541212A priority patent/JP5511682B2/ja
Priority to CN2009801490378A priority patent/CN102239465A/zh
Publication of WO2010064387A1 publication Critical patent/WO2010064387A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Definitions

  • the present invention particularly relates to a display input device suitable for use in an in-vehicle information device such as a navigation system.
  • the touch panel is, for example, an electronic component in which a matrix touch sensor is stacked on an LCD (liquid crystal) panel, and a user detects a finger or a pen in an input button display area such as an icon displayed on the LCD panel.
  • This is a display input device that can detect coordinate position information on a touched screen and operate a device by touching it using a target. For this reason, it is often used by being incorporated in a device such as an in-vehicle navigation system or a bank ATM (Automatic Teller Machine) that requires an intuitive operation.
  • Patent Document 1 when a finger is brought closer, a nearby icon is enlarged, so that an erroneous operation can be prevented and a selection operation is facilitated. Since it is only displayed, in-vehicle information devices in which icons are distributed and arranged on the screen, it is necessary to move a finger in various directions for operation, which is not preferable for safe driving, and is disclosed in Patent Document 2 A new user interface using a three-dimensional touch panel has not been provided.
  • the display position of the icon depends on the mounting position of the arm switch, and in order to change the arrangement of the icons displayed on the screen, it is assumed that the user's hand is in contact with the arm switch. Conversely, the operability may be impaired.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a display input device that further improves operability.
  • a display input device includes a touch panel that displays and inputs information, a proximity sensor that detects a movement of a detection target positioned opposite to the touch panel, and the proximity A control unit that moves and displays a specific display target displayed on the touch panel in the vicinity of the stop position of the detection target when a predetermined amount of approach of the detection target is detected on the touch panel by a sensor; It is provided.
  • FIG. 1 is a block diagram showing a configuration of a display input device according to Embodiment 1 of the present invention.
  • the display input device according to Embodiment 1 of the present invention includes a touch panel display device (hereinafter abbreviated as a touch panel) 1, an external sensor 2, and a control unit 3.
  • a touch panel display device hereinafter abbreviated as a touch panel
  • an external sensor 2 an external sensor
  • the touch panel 1 displays and inputs information.
  • a touch sensor 11 that inputs information is stacked on an LCD panel 10 that displays information.
  • the touch sensor 11 further includes a touch sensor 11.
  • a plurality of proximity sensors 12 that non-contact detect two-dimensionally the movement of a detection target such as a finger or a pen positioned opposite to the touch panel 1 are mounted along the outer periphery of the touch panel 1.
  • the proximity sensor 12 uses, for example, infrared rays as a detection medium, an infrared light emitting LED (Light Emitted Diode) and a light receiving transistor are arranged opposite to each other in a grid pattern on the outer periphery of the touch sensor 11, and the detection target approaches. An approach is detected by shielding or reflected light, and its coordinate position is detected.
  • the proximity sensor 12 is not limited to the above-described infrared ray, and, for example, the proximity sensor 12 is a static sensor that detects proximity by a change in capacitance that occurs between a detection target and two flat plates arranged in parallel like a capacitor. A capacitance type may be substituted.
  • the flat plate has a grounding surface on one side facing the detection target, and the other side serves as a sensor detection surface, and detects the approach of the detection target by a change in capacitance formed between the two poles and coordinates thereof. The position can be detected.
  • the external sensor 2 is mounted everywhere in the vehicle and includes at least a GPS (Global Positioning System) sensor 21, a vehicle speed sensor 22, and an acceleration sensor 23.
  • the GPS sensor 21 receives a radio wave from a GPS satellite, and the control unit 3 generates a signal for positioning the latitude and longitude and outputs the signal to the control unit 3.
  • the vehicle speed sensor 22 is, for example, a vehicle speed sensor, measures a vehicle speed pulse for determining whether or not the vehicle is traveling, and outputs the measured vehicle speed pulse to the control unit 3.
  • the acceleration sensor 23 is a sensor that estimates, for example, the acceleration applied to the weight by measuring the amount of displacement of the weight attached to the spring.
  • a triaxial acceleration sensor for example, from 0 (gravity acceleration only) to several hundred Hz
  • the direction (attitude) with respect to the ground is measured from the sum of the acceleration vectors in the X and Y directions, and is output to the control unit 3.
  • the control unit 3 stops the display target displayed on the touch panel 1, for example, an icon or specific image information. It has a function of moving and displaying near the position by a method such as smooth scrolling. For this reason, the control unit 3 is composed of a CPU mainly for navigation (hereinafter referred to as a navigation CPU 30), a drawing circuit 31, a memory 32, and a map DB (Data (Base) 33.
  • the navigation CPU 30 performs a navigation process in accordance with a menu selected by the user such as a destination guidance displayed on the touch panel 1.
  • the navigation CPU 30 refers to the map information stored in the map DB 33 and performs route search or the above-described destination guidance based on various sensor signals acquired from the external sensor 2.
  • the navigation CPU 30 detects at least one of the information of one or more display areas in a certain range displayed on the touch panel 1.
  • image information is generated according to a program stored in the memory 32 and the drawing circuit 31 is controlled.
  • the structure of the program executed by the navigation CPU 30 in that case is shown in FIG. 2, and details thereof will be described later.
  • the drawing circuit 31 develops image information generated by the navigation CPU 30 at a constant speed on a built-in or external bitmap memory, and also develops an image developed on the bitmap memory by a built-in display control unit. Information is read out in synchronization with the display timing of the touch panel 1 (LCD panel 10) and displayed on the touch panel 1.
  • the bitmap memory and display control unit described above are shown in FIG. 3 and will be described in detail later.
  • an icon attribute storage area, an image information storage area, and the like are allocated and stored in the work area in addition to the program area in which the above-described program is stored.
  • the “icon attribute” is information indicating a default display position defined for each icon and whether or not the above-described moving display is possible by a flag
  • the display input device is an in-vehicle man-machine. When applied as a device, information indicating whether the icon is used by a driver seat passenger or a passenger seat passenger may be added as an attribute. Details will be described later.
  • the map DB 33 stores maps and facility information necessary for navigation such as route search and guidance.
  • FIG. 2 is a functional block diagram showing the structure of a program executed by the navigation CPU 30 of FIG. 1 included in the display input device (control unit 3) according to Embodiment 1 of the present invention.
  • the navigation CPU 30 includes a main control unit 300, a proximity coordinate position calculation unit 301, a touch coordinate position calculation unit 302, an image information generation unit 303, an image information transfer unit 304, and an overlap detection.
  • the proximity coordinate position calculation unit 301 has a function of calculating the XY coordinate position and delivering it to the main control unit 300 when the proximity sensor 12 detects the approach of the detection target.
  • the touch coordinate position calculation unit 302 has a function of calculating the XY coordinate position and passing it to the main control unit 300 when the touch sensor 11 detects a touch on the touch panel 1 as a detection target.
  • the image information generation unit 303 has a function of generating image information including icons to be displayed on the touch panel 1 under the control of the main control unit 300 and outputting the image information to the image information transfer unit 304.
  • the navigation CPU 30 performs “screen switching” or The “smooth scroll” method is used.
  • Screen switching means that the image information generation unit 303 instantaneously updates the image information to be displayed within the non-display period of the touch panel 1 (LCD panel 10) and writes it in the image information storage area 322 of the memory 32.
  • the image information transfer unit 304 transfers the image information updated instantaneously during the display period to the drawing circuit 31 and instantaneously moves and displays it.
  • “Smooth scrolling” means that the image information generation unit 303 uses the touch panel 1 (LCD The update of the image information is repeated in units of bits for each non-display period of the panel 10), and the image information transfer unit 304 transfers the image information updated for each display period to the drawing circuit 31 so that it can be moved and displayed smoothly.
  • the image information generation unit 303 is an icon that is displayed by moving near the stop position of the detection target according to the distance that the detection target such as a finger or a pen approaches the touch panel 1 under the control of the main control unit 300. It is also possible to enlarge information on a display area in a certain range such as one or more.
  • “enlargement processing” means that the image information generation unit 303 reads, for example, a bitmap image such as an already generated icon at a certain rate, interpolates, and draws it on a new bitmap.
  • bit image enlargement / reduction method has been described here, in the case of a vector image instead of a bit image, a clean image can be enlarged / reduced by a predetermined enlargement / reduction calculation process.
  • the image information transfer unit 304 has a function of transferring the image information generated by the image information generation unit 303 to the drawing circuit 31 by timing control by the main control unit 300.
  • the overlap detection unit 305 has a function of detecting an overlap of icon display positions that may occur when a plurality of icons are moved and displayed near the stop position of a detection target such as a finger or a pen.
  • the image information generation unit 303 When the overlap of the display positions is detected, the image information generation unit 303 generates image information including icons rearranged so that no overlap occurs and transfers the image information to the image information storage area 322 of the memory 32.
  • the overlap detection and rearrangement of icon display positions are performed based on the default display position defined in the icon attribute allocated and stored in a predetermined area of the memory 32, and the display address of each icon after moving display. It can be realized by calculating and comparing.
  • the operation information processing unit 306 is touched if it is operation information defined in an icon based on the touch coordinate position calculated by the touch coordinate position calculation unit 302 under the control of the main control unit 300, for example, a soft keyboard.
  • Image information based on the key is generated and output to the image information transfer unit 304.
  • navigation processing such as destination search defined in the icon button is executed to generate image information. It has the function to output to the transfer part 304, and to display on the touch panel 1 (LCD monitor 10), respectively.
  • a predetermined amount of work area is allocated in the memory 32, and the icon attributes described above are defined and stored in this work area.
  • An icon attribute storage area 321 and an image information storage area 322 in which image information generated by the image information generation unit 303 is temporarily stored are included.
  • FIG. 3 is a block diagram showing an internal configuration of the drawing circuit 31 shown in FIG.
  • the drawing circuit 31 includes a drawing control unit 310, an image buffer unit 311, a drawing unit 312, a bitmap memory unit 313, and a display control unit 314. Commonly connected via a local bus 316 composed of a plurality of lines for address, data, and control.
  • image information transferred from the navigation CPU 30 (image information transfer unit 304) shown in FIG. 2 is held in the image buffer unit 311 under the control of the drawing control unit 310.
  • the drawing control unit 310 Decodes commands such as drawing and rectangular drawing, or performs drawing preprocessing for straight line inclination and the like.
  • the drawing unit 312 activated by the drawing control unit 310 draws the image information decoded by the drawing control unit 310 at high speed in the bitmap memory unit 313, and the display control unit 314 is held in the bitmap memory unit 313.
  • the read image information is read out and displayed in synchronization with the display timing of the LCD panel 10 of the touch panel 1.
  • FIG. 4 is a flowchart showing the operation of the display input apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a screen transition diagram schematically showing on the touch panel 1 an icon group as information of one or more display areas in a certain range and a finger movement as a detection target at that time.
  • the icon group is displayed at the default position a on the touch panel 1 (LCD panel 10) (step ST401 in FIG. 4).
  • the proximity sensor 12 detects this and transmits a proximity signal to the navigation CPU 30.
  • the navigation CPU 30 determines whether or not the distance between the position of the finger on the Z-axis and the panel surface of the touch panel 1 is within a predetermined value (step ST402).
  • “within a predetermined value” refers to Zref shown in FIG.
  • the proximity coordinate position calculation unit 301 calculates the XY coordinate value O xy of the finger, the XY coordinate values O xy finger, the main control unit 300, for example, enter only 0.1 seconds every 0.01 seconds (step ST 403).
  • the main control unit 300 can determine the movement or stop of the finger by continuously receiving the input XY coordinate value O xy of the finger for 0.1 seconds.
  • the main control Unit 300 determines whether or not the distance between the icon display position and the XY coordinate value O xy of the finger is equal to or greater than a predetermined value (step ST405). If the distance is equal to or greater than the predetermined value (step ST405 “YES”), The main control unit 300 activates image information (scroll image) generation processing by the image information generation unit 303. For convenience of explanation, the main control unit 300 determines the presence or absence of movement in 0.1 seconds.
  • the main control unit 300 may determine the movement based on information of 0.1 seconds ⁇ several times by remembering a continuous past history. . In this case, it can be determined that the slight trembling of the finger does not change the XY coordinate value Oxy, and the accuracy increases.
  • the image information generation unit 303 generates image information so that the icon display position approaches the XY coordinate value O xy of the finger, and the generated image information is written in the image information storage area 322 of the memory 32. It is updated each time according to the scroll speed, and is output to the image information transfer unit 304.
  • the image information transfer unit 304 transfers the image information generated by the image information generation unit 303 to the drawing circuit 31, and the drawing circuit 31 expands the transferred image information by the drawing control unit 310. 312 draws in the bitmap memory unit 313 at high speed.
  • the display control unit 314 performs a desired scroll display on the touch panel 1, that is, a smooth scroll display in which the icon is gradually moved closer to the XY coordinate value O xy of the finger on the touch panel 1 (step ST406).
  • a desired scroll display on the touch panel 1 that is, a smooth scroll display in which the icon is gradually moved closer to the XY coordinate value O xy of the finger on the touch panel 1 (step ST406).
  • step ST404 If it is determined in step ST404 that the finger has moved in the XY direction (step ST404 “YES”), or the distance between the icon display position in step ST405 and the XY coordinate value O xy of the finger. If it is determined in the determination process that there is no distance greater than or equal to the predetermined value (step ST405 “NO”), it can be seen that there is no change in the icon display position (step ST407). An example of the screen transition at this time is shown in FIG.
  • step ST402 If it is determined in step ST402 that the distance between the finger and the touch panel surface is within the predetermined range (step ST402 “YES”), main controller 300 detects that the touch panel 1 has touched the icon with the finger. Until this is done (“YES” in step ST410), the processes in steps ST402 to ST407 described above are repeated. As a result, as shown in the screen transition of FIG. 5E, the icon display position is scrolled and displayed as close as possible to the XY coordinate value O xy of the finger on the touch panel 1.
  • touch coordinate position calculation unit 302 calculates the touch coordinate position and performs operation information processing.
  • the operation information processing unit 306 executes an operation process based on the key corresponding to the touch coordinate calculated by the touch coordinate position calculation unit 302 (step ST411).
  • the key corresponding to the touch coordinate is set.
  • image processing based on a touched key is generated and output to the image information transfer unit 304.
  • an icon button a destination search or the like defined for the touched icon button is used.
  • Image information is generated and output to the image information transfer unit 304. It refers to display in 1 (LCD monitor 10).
  • main controller 300 displays the display position and icon of the currently displayed icon. Is compared with the default coordinate position a (step ST408).
  • step ST408 “NO” that is, when the icon is moving on the screen of the touch panel 1 from the default position
  • the main control unit 300 controls the image information generation unit 303.
  • the image information generation unit 303 generates image information so that the icon approaches the default display position a, and the generated image information is stored in the image information storage area 322 of the memory 32 and each time, It is output to the image information transfer unit 304.
  • the image information transfer unit 304 transfers the image information to the drawing circuit 31, the drawing circuit 31 expands the image information transferred by the drawing control unit 310, and the drawing unit 312 stores the bitmap information in the bitmap memory unit 313.
  • the display control unit 314 performs a desired display on the touch panel 1 (LCD panel 10). That is, display control section 314 performs smooth scroll display for bringing the icon closer to default display position a from the current display position located near the finger stop position (step ST409). The screen transition at this time is shown in FIG.
  • step ST402 When it is determined in step ST402 that the distance between the position on the Z-axis of the finger and the touch panel surface is equal to or greater than a predetermined value (step ST402 “NO”), main controller 300 returns the icon to default position a. Until then, the icon coordinate determination process in step ST408 and the smooth scroll display process to the default position in ST409 are repeatedly executed.
  • a new user interface can be provided by moving and displaying at least one of the displayed icons in the vicinity of the stop position of the finger, especially when used in an in-vehicle information device that performs navigation, etc. The operability can be improved.
  • the navigation CPU 30 (image information generation unit 303) needs to generate and update a switching image in which the icon has been moved in order to instantaneously switch the image displayed on the touch panel 1 (LCD panel 10). As a result, the load on the navigation CPU 30 is reduced.
  • FIG. 6 is an operation conceptual diagram schematically showing the operation of the display input device according to Embodiment 1 of the present invention on the touch panel.
  • FIG. 6A shows icons (each icon indicating “azimuth”, “scale”, and “direction”) that are gathered in the vicinity of the finger position by smooth scrolling when the finger approaches, and FIG. ) Shows icons that are collected in that case ("scaled scale” icon) and icons that are not collected ("azimuth” icon, etc.).
  • the image information generation unit 303 when the icon display positions overlap due to the movement display of a plurality of icons, the image information generation unit 303 generates rearranged icon images so that the overlap does not occur under the control of the main control unit 300. There is a need.
  • the navigation CPU 30 overlap detection unit 305 needs to detect icon overlap by referring to the icon attributes stored in the memory 32 and control the icon rearranged image generation processing by the image information generation unit 303. is there. As a result, the visibility of the icon is improved, and an erroneous operation can be prevented. Further, the navigation CPU 30 may enlarge and display the icon according to the distance that the finger approaches the touch panel 1.
  • the icon is enlarged and displayed as the distance approaches, for example, an erroneous operation due to a shake such as a vibration of the vehicle can be prevented, and the operability can be further improved.
  • the icon when the process moves from step ST408 to step ST409, the icon is immediately brought close to the default position a. However, the icon remains after the finger has been distant for a certain time (for example, about 0.5 seconds). May be moved to the default position. In this case, the operational feeling when the finger is accidentally moved away from the touch panel is improved.
  • FIG. FIG. 7 is an operation conceptual diagram showing the operation of the display input device according to Embodiment 2 of the present invention on the screen of the touch panel.
  • the display input device according to the second embodiment of the present invention uses the same configuration as the display input device shown in FIG. 1 as in the first embodiment, and has the same program structure as the navigation CPU 30 shown in FIG. The structure shall be used.
  • the icon displayed on the touch panel 1 is displayed by moving to the XY coordinate value O xy of the finger, but the second embodiment described below. Then, instead of the XY coordinate value O xy of the finger, it is displayed close to a predetermined coordinate position of the touch panel 1. That is, as shown in operation conceptual view of FIG. 7, for example, the representative point on the lattice points of the touch panel 1 q1 (X1Y1) have defined ⁇ q4 a (X2Y3), close to the XY coordinate value O xy finger representative The control is performed so that the icon approaches the point q1 ( X1Y1 ).
  • the navigation CPU 30 calculates the difference between a plurality of predefined representative points and the XY coordinate value Q xy of the finger when generating image information including an icon, This can be realized by writing image information including an icon generated at a representative point having the smallest difference in the image information storage area 322 of the memory 32.
  • the control unit 3 detects that a predetermined amount of finger approach is detected by the proximity sensor 12
  • at least one of the icons displayed on the touch panel 1 is displayed.
  • the coordinates of the touch panel 1 on which the icons are moved and displayed are fixed by moving one of them to a predetermined location near the stop position of the finger and displaying it. This makes it easier to create software. Further, since it is only necessary to prepare patterns for collecting icons by the number of representative grid points, processing such as overlapping of icons can be omitted.
  • FIG. FIG. 8 is an operation conceptual diagram showing the operation of the display input device according to Embodiment 3 of the present invention on the screen of the touch panel.
  • the display input device according to the third embodiment of the present invention has the same structure as the program structure of the navigation CPU 30 shown in FIG. 2 using the same configuration as the display input device shown in FIG. Shall be used.
  • the navigation CPU 30 causes the proximity sensor 12 to move the finger position to the left half (toward) the touch panel 1.
  • the icon group is moved and displayed near the stop position of the finger based on the first pattern (A) in which one or more icons according to the icon attribute are laid out.
  • the navigation CPU 30 follows the icon attribute when the proximity sensor 12 detects that the finger is positioned on the right half (toward) the touch panel 1 as shown in FIG. 8B.
  • the icon group is moved to the vicinity of the finger stop position and displayed. Since the principle of moving display is the same as that of the first embodiment, the description is omitted to avoid duplication.
  • the icon pattern arrangement is changed.
  • the passenger on the passenger seat operates from the left when used in the country.
  • the icons are displayed together on the left side of the touch panel 1, and the driver's seat occupant brings the finger closer from the right side of the touch panel 1.
  • the icon group is gathered and displayed on the right side of the touch panel 1.
  • an icon arrangement suitable for the operation of the passenger on the passenger seat and the driver on the driver seat is possible, and the usability for each passenger can be improved.
  • the icon group arranged in a group on the left or right side is stored in advance in the icon attribute storage area 321 of the memory 32. Can be realized by defining each icon in advance as a driver's seat occupant icon.
  • FIG. 9 is a block diagram showing the functions of the program structure of the navigation CPU 30 of the display input device according to Embodiment 4 of the present invention.
  • the navigation CPU 30 is further provided with an operator detection unit 307 in addition to the structure of the first embodiment shown in FIG. Yes.
  • the operator detection unit 307 has a function of detecting whether a finger located facing the touch panel 1 has entered from the driver seat side or the passenger seat side of the vehicle.
  • the operator detection unit 307 processes the image captured by a vehicle-mounted camera (not shown) based on the proximity coordinate position calculation based on the signal output from the proximity sensor 12, so that the finger It is detected from which direction the driver's seat side or the passenger's seat side has entered, and the scroll image generation processing by the image information generation unit 303 is controlled.
  • the control unit 3 (the navigation CPU 30) has a first pattern in which one or more icons suitable for the operation of the driver's seat occupant are laid out. Is moved and displayed at a predetermined speed, and when it is determined that the vehicle has entered from the passenger seat side, the second pattern in which icons suitable for the operation of the passenger on the passenger seat are laid out is moved at the predetermined speed. indicate. Since the principle of moving display is the same as that of the first embodiment, the description is omitted to avoid duplication.
  • FIG. 10 is an operation concept diagram showing the operation of the display input device according to Embodiment 4 of the present invention on the touch panel.
  • FIG. 10A shows a group of icons arranged when the driver's seat occupant brings his finger close to the touch panel 1 and when the passenger's occupant brings his finger close to the touch panel 1.
  • the corresponding icon group is shown on the left side
  • the icon group corresponding to the second pattern is shown on the right side.
  • the “DVD stop” and “DVD playback” button icons are displayed on the left side for passenger passenger operation
  • the “peripheral search” and “route change” button icons are displayed at the center of the screen. It is displayed on the right side for the driver ’s seat. Further, as shown in FIG.
  • an icon to be moved and displayed may be selectively displayed depending on whether the finger to be approached is a driver seat passenger or a passenger seat passenger.
  • the control unit 3 (navigation CPU 30) stores the icon attribute in the memory 32 in each of the case where it is determined by the proximity sensor 12 that the vehicle has entered from the driver's seat side and the case where it is determined that the vehicle has entered from the passenger seat side.
  • an icon to be moved in the vicinity of the finger stop position is selected and displayed.
  • an example is shown in which a driver's seat occupant selects a navigation menu and a passenger's seat occupant selects an audio menu to move and display near the finger position.
  • the display input device in addition to the effects of the first embodiment, when applied to an in-vehicle information device that performs navigation or the like, the operations of the front passenger seat and the driver seat passenger
  • An icon arrangement suitable for the content is possible, and by allowing selection of icons displayed on each, it is possible to provide a user interface with excellent flexibility and expandability, further improving operability, Usability is improved.
  • Embodiment 5 FIG.
  • the display input device according to Embodiment 5 described below is applied to a three-dimensional touch panel that can also measure the distance in the Z direction between a panel surface and a finger. That is, the touch panel 1 capable of detecting the position in the XY directions shown in FIG. 1 is replaced with a three-dimensional touch panel capable of measuring the distance in the Z direction. Since the technique for measuring a three-dimensional position is disclosed in Patent Document 2, it will be described as applying this technique.
  • the icon movement display speed is variably controlled in accordance with the approach distance of the finger.
  • FIG. 11 is a block diagram showing the functions of the program structure of the navigation CPU 30 of the display input device according to Embodiment 5 of the present invention.
  • the navigation CPU 30 used in the display input device according to the fifth embodiment of the present invention is a proximity coordinate position calculation possessed by the navigation CPU 30 of the display input device according to the first embodiment shown in FIG.
  • the function of the unit 301 is expanded so that three-dimensional coordinate position calculation is possible, and a UI (User Interface) providing unit 308 is added.
  • the UI providing unit 308 has a function of providing a user interface that can change the icon display movement speed determined according to the distance between the touch panel 1 and the finger in the Z direction by user settings input via the three-dimensional touch panel. That is, the icon display moving speed (scrolling speed) by the user is made variable using the setting screen.
  • the display moving speed described above may be displayed by moving to the vicinity of the finger stop position at a speed determined according to the distance between the touch panel 1 and the finger detected by the proximity sensor 12, regardless of the user setting. Further, the display movement speed may be variable depending on the icon attribute defined in the icon attribute storage area 321 of the memory 32.
  • FIG. 12 is a flowchart showing the operation of the display input device according to Embodiment 5 of the present invention.
  • FIG. 13 shows the relationship between the distance between the touch panel 1 and the finger and the moving speed of the icon. It is the figure displayed on the graph. As shown in the graph of FIG. 13, when the finger approaches the touch panel 1 within 4 cm, the icons are smoothly scrolled and displayed near the finger position, the speed is 1 cm, the maximum is less than 1 cm, and the icon does not move. Will be described.
  • the operation of the display input apparatus according to Embodiment 5 of the present invention will be described in detail with reference to FIGS.
  • the icon group is displayed at the default position a on the screen of the three-dimensional touch panel (step ST121).
  • the proximity sensor 12 detects this and transmits a signal to the navigation CPU 30.
  • the navigation CPU 30 causes the main control unit 300 to detect the position of the finger on the Z axis. It is determined whether or not the distance from the 3D touch panel surface is within a predetermined distance of 4 cm (step ST122).
  • the proximity coordinate position calculation unit 301 determines the XY coordinate value O xy of the finger, Then, the Z coordinate value O z of the finger is calculated, and the XYZ coordinate value O xyz of the finger is output to the main control unit 300, for example, every 0.1 second for only 0.1 second (step ST123).
  • the main control unit 300 can determine the movement of the finger by continuously receiving the coordinate values.
  • step ST124 “NO" if there is no change in the XY coordinate values O xy finger during 0.1 seconds, it is determined that there is no movement of the finger in the XY direction of the touch panel 1 (step ST124 "NO"), the main control unit 300, Further, it is determined whether or not the distance between the icon display position and the XY coordinate value O xy of the finger is a predetermined value or more (step ST125). Here, when the value is equal to or greater than the predetermined value (step ST125 “YES”), the main control unit 300 activates the scroll image generation processing by the image information generation unit 303.
  • the image information generation unit 303 generates image information (scroll image) so that the icon display position approaches the XY coordinate value O xy of the finger, and the generated image information is stored in the image information storage area of the memory 32.
  • the information is stored in 322 and output to the image information transfer unit 304.
  • the image information transfer unit 304 transfers the image information to the drawing circuit 31.
  • the drawing circuit 31 develops the transferred image information by the drawing control unit 310, and the drawing unit 312 transfers the image information to the bitmap memory unit 313 at high speed. Draw with.
  • the display control unit 314 then displays a desired display, that is, an icon on the touch panel 1 on the touch panel 1 (LCD panel 10) at a speed corresponding to the distance between the finger and the panel surface (Z coordinate value O z of the finger). Smooth scroll display is performed so as to be close to the XY coordinate value O xy of (step ST126).
  • step ST124 If it is determined in step ST124 that the finger has moved in the XY direction (step ST124 “YES”), or the distance between the icon display position in step ST125 and the XY coordinate value O xy of the finger.
  • step ST124 determines whether the finger has moved in the XY direction has moved in the XY direction has moved in the XY direction has moved in the XY direction has moved in the XY direction.
  • step ST124 “YES” the distance between the icon display position in step ST125 and the XY coordinate value O xy of the finger.
  • step ST122 If it is determined in step ST122 that the distance between the finger and the touch panel surface is within the predetermined range (step ST122 “YES”), main controller 300 detects that the touch panel 1 has touched the icon with the finger. Until this is done ("YES" in step ST130), the processes in steps ST122 to ST127 described above are repeated. Thus, the icon group is displayed close as possible to the XY coordinate value O xy of the three-dimensional touch finger accordance moving speed corresponding to the distance between the finger and the panel surface (Z-coordinate value O z finger) The When it is detected that the icon is touched with a finger on the three-dimensional touch panel (step ST130 “YES”), the touch coordinate position calculation unit 302 calculates the touch coordinates and controls the operation information processing unit 306. The operation information processing unit 306 executes an operation process such as navigation defined in the calculated touch coordinate icon (step ST131).
  • main controller 300 determines the display position of the currently displayed icon. Comparison with the default coordinate position a is performed (step ST128).
  • the main control unit 300 controls the image information generation unit 303 to control the image information.
  • the generation unit 303 generates image information so that the icon approaches the original display position a.
  • the image information generated here is stored in the image information storage area 322 of the memory 32 and further output to the image information transfer unit 304.
  • the image information transfer unit 304 transfers the image information to the drawing circuit 31, the drawing circuit 31 expands the image information transferred by the drawing control unit 310, and the drawing unit 312 stores the bitmap information in the bitmap memory unit 313.
  • the display control unit 314 performs a desired display on the three-dimensional touch panel. That is, the display control unit 314 moves the icon on the three-dimensional touch panel according to the moving speed according to the distance between the finger and the panel surface (Z coordinate value O z of the finger) so that the icon approaches the default position a from the current display position.
  • the smooth scroll display is performed (step ST129).
  • step ST122 When it is determined in step ST122 that the distance between the position on the Z-axis of the finger and the panel surface is 4 cm or more (step ST122 “NO”), main controller 300 until the icon returns to default position a.
  • steps ST128 and ST129 are repeatedly executed.
  • the control unit 3 determines the icon according to the Z-direction distance between the finger detected by the proximity sensor 12 and the panel surface.
  • the icons By moving and displaying near the finger stop position at a speed, for example, when the Z-axis distance approaches within 4 cm, the icons gradually gather at the finger stop position and gather between 4 cm and 1 cm.
  • the speed (scroll display speed) is increased, the speed is maximized at 1 cm, and the icon is controlled to not move below 1 cm. This further improves usability.
  • the relationship between the distance in the Z direction and the moving speed (scroll display speed) of the icon is not limited to the linear numerical value of the graph shown in FIG.
  • the display movement speed may be variable depending on the icon attribute stored in the icon attribute storage area 321 or may be variable depending on user settings. Since these selections are arbitrary, a flexible user interface can be provided.
  • FIG. FIG. 14 is a block diagram showing the functions of the program structure of the navigation CPU 30 of the display input device according to Embodiment 6 of the present invention.
  • the navigation CPU 30 included in the display input device according to Embodiment 6 of the present invention further includes a vehicle information acquisition unit 309 in addition to the program structure included in Embodiment 1 shown in FIG. Is.
  • the vehicle information acquisition unit 309 has a function of measuring the vehicle speed pulse output from the vehicle speed sensor 22 that detects the traveling state of the vehicle and notifying the control unit 3 (navigation CPU 30).
  • the navigation CPU 30 displays an icon set in advance by a flag at a predetermined speed in the vicinity of the stop position of the finger. Further, the navigation CPU 30 may move and display a preselected icon near the stop position of the finger when it is determined by the proximity sensor 12 that the finger has entered from the passenger seat side.
  • FIG. 15 is an operation conceptual diagram showing the operation of the display input device according to the sixth embodiment of the present invention on the touch panel 1.
  • the “azimuth” icon, the “scale” icon, and the “surround search” button icon move to the vicinity of the finger stop position.
  • the “play movie” button icon remains displayed at the default position.
  • an icon that is not desired to be moved and moved that is not desired to be close to the finger position
  • all icons may be displayed close to the finger position.
  • the setting of the icon attribute is arbitrary.
  • the control unit 3 when the control unit 3 detects that the vehicle is traveling by the vehicle speed sensor 22, the preselected icon is placed near the finger stop position. By moving and displaying at a predetermined speed, usability when used for in-vehicle use is improved. Further, when the control unit 3 determines that the approach sensor 12 has entered from the passenger seat side, the driver's seat occupant can be used by moving and displaying a preselected icon near the finger stop position. This makes it possible to limit the number of icons, which contributes to safe driving. Further, the user can improve the usability because it is possible to arbitrarily create an icon arrangement that is gathered when the passenger on the passenger seat approaches the finger.
  • a specific display such as an icon displayed on the screen can be performed only by bringing a detection target such as a finger or a pen close to each other. According to a predetermined rule, a new user interface can be provided in which a target moves to the vicinity of the detection target and displayed, and the operability is further improved.
  • the display input device according to the first to sixth embodiments described above only the icon has been described as the object of moving display.
  • the display input device is not limited to the icon, and is displayed in an arbitrary display area of the touch panel 1. It may be specific information. Further, although only the finger is illustrated as the detection target, the same effect can be obtained even with a detection object such as a pen instead of the finger.
  • control unit 3 (navigation CPU 30) shown in FIGS. 2, 9, 11, and 14 may be realized entirely by hardware, or at least a part thereof may be realized by software.
  • the proximity sensor 12 detects a predetermined amount of approach of the detection target on the touch panel 1
  • at least one of the information of one or more display areas in a certain range displayed on the touch panel 1 is detected near the stop position of the detection target.
  • the data processing to be moved and displayed may be realized on a computer by one or a plurality of programs, or at least a part thereof may be realized by hardware.
  • the touch panel display device that detects the proximity of the finger and the touch of the finger is used.
  • a predetermined operation corresponding to the icon may be performed.
  • the operation feeling is further improved by using an operation method such as stopping the movement of the icon.
  • the icon may be moved after a little time (for example, waiting for about 0.5 seconds) after the touch.
  • the display input device can further improve the operability, it is suitable for use in an in-vehicle information device of a navigation system.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　表示入力装置を、情報の表示および入力を行うタッチパネル１と、タッチパネル１に対向して位置する検出対象の動きを非接触で検出する近接センサ１２と、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された特定の表示対象を、検出対象の停止位置近傍に移動させて表示する制御部３と、で構成した。

Description

表示入力装置
　この発明は、特に、ナビゲーションシステム等の車載情報機器に用いて好適な、表示入力装置に関するものである。
　タッチパネルは、例えば、ＬＣＤ（液晶）パネル上にマトリクス状のタッチセンサが積層され構成された電子部品であり、ＬＣＤパネルに表示されたアイコン等の入力ボタン表示領域にユーザが指やペン等の検出対象を用いてタッチすることにより、タッチされた画面上の座標位置情報を検出し、機器を操作することのできる表示入力装置である。このため、車載ナビゲーションシステムや銀行ＡＴＭ（Automatic Teller Machine）等、操作を直感的に扱えることが要求される機器に組み込まれ使用されることが多い。
　上記したタッチパネルの操作性や使い勝手を向上させるための提案が従来から多数出願されている。
　例えば、指を近づけたときに指の近傍に位置するキースイッチを拡大して表示し、選択操作を容易化した表示入力装置（例えば、特許文献１参照）、垂直方向の距離を検出し、その距離に応じた拡大率で情報を表示するＣＲＴ装置（例えば、特許文献２参照）、アームスイッチに手が接触したか否かを検出し、手が接触したときにアイコンの並びを変更するタッチパネルを備えた入力装置（例えば、特許文献３参照）、等が知られている。
特開２００６－３１４９９号公報 特開平０４－１２８８７７号公報 特開２００８－１２９６８９号公報
　上記した特許文献１に開示された技術によれば、指を近づけたときに近傍のアイコンが拡大表示されるため、誤操作を防止でき、選択操作を容易にするが、単に拡大処理して画面に表示するだけであるため、アイコンが画面上に分散して配置される車載情報機器では操作のために指を多方面に動かす必要があり安全運転上好ましくなく、また、特許文献２に開示された３次元タッチパネルを利用した新たなユーザインタフェースを提供するには至っていない。
　また、特許文献３に開示された技術によれば、ユーザの手を検出しない場合に比べてアイコンを所定の位置に近づけて表示するため、入力操作は容易化され、操作性は向上するが、この場合のアイコンの表示位置はアームスイッチの実装位置に依存し、また、画面に表示されるアイコンの並びを変更するためにはユーザの手がアームスイッチに接触していることが前提になるため、逆に操作性を損なう場合がある。
　この発明は上記した課題を解決するためになされたものであり、一層の操作性の向上をはかった表示入力装置を提供することを目的とする。
　上記した課題を解決するためにこの発明の表示入力装置は、情報の表示および入力を行うタッチパネルと、前記タッチパネルに対向して位置する検出対象の動きを非接触で検出する近接センサと、前記近接センサで前記タッチパネルに前記検出対象の所定量の接近が検出された場合に、前記タッチパネルに表示された特定の表示対象を、前記検出対象の停止位置近傍に移動させて表示する制御部と、を備えたものである。
　この発明によれば、一層の操作性の向上をはかった表示入力装置を提供することができる。
この発明の実施の形態１に係る表示入力装置の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態１に係る表示入力装置が有する描画回路の内部構成を示すブロック図である。 この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態１に係る表示入力装置の動作をタッチパネル上に模式的に示した画面遷移図である。 この発明の実施の形態１に係る表示入力装置動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態２に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態３に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態４に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形４に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。 この発明の実施の形態５に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態５に係る表示入力装置の動作を示すフローチャートである。 この発明の実施の形態５に係る表示入力装置の動作をグラフにより示した図である。 この発明の実施の形態６に係る表示入力装置が有するナビＣＰＵのプログラム構造を機能展開して示したブロック図である。 この発明の実施の形態６に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る表示入力装置の構成を示すブロック図である。図１に示されるように、この発明の実施の形態１に係る表示入力装置は、タッチパネル式表示装置（以下、タッチパネルと略称する）１と、外部センサ２と、制御部３と、により構成される。
　タッチパネル１は、情報の表示ならびに入力を行うもので、例えば、情報の表示を行うＬＣＤパネル１０上に、情報の入力を行うタッチセンサ１１が積層されて構成され、ここでは、更に、タッチセンサ１１の外周に沿うように、タッチパネル１と、タッチパネル１に対向して位置する指やペン等検出対象の動きを２次元で非接触検知する近接センサ１２が複数実装されている。
　近接センサ１２は、検出媒体として例えば赤外線を使用した場合、赤外線発光ＬＥＤ（Light Emitted Diode）と、受光トランジスタとが、タッチセンサ１１の外周に格子状に対向配置され、検出対象が近づいたことによる遮蔽もしくは反射光により、接近を検出するとともに、その座標位置を検出するものである。
　近接センサ１２は、その検出媒体が上記した赤外線に限らず、例えば、検出対象とコンデンサのように平行に配置された２枚の平板との間に生じる静電容量の変化により接近を検出する静電容量型で代替してもよい。この場合、平板は、一方の片側が検出対象に向く接地面、他方の片側がセンサ検出面となり、この２極間に形成される静電容量の変化により検出対象の接近を検出するとともにその座標位置を検出することができる。
　一方、外部センサ２は車両の随所に実装され、少なくとも、ＧＰＳ（Global Positioning System）センサ２１と、車速センサ２２と、加速度センサ２３とを含む。
　ＧＰＳセンサ２１は、ＧＰＳ衛星からの電波を受信して、制御部３が、緯度、経度を測位するための信号を生成して制御部３に出力する。車速センサ２２は、例えば、車速センサであり、車両が走行中か否かを判定するための車速バルスを計測して制御部３に出力する。加速度センサ２３は、例えば、バネに取り付けた錘が変位する量を計測して錘にかかる加速度を推定するセンサであり、３軸加速度センサの場合、例えば、０（重力加速度のみ）から数１００Ｈｚまでの加速度変動に追従し、Ｘ、Ｙ方向の加速度ベクトルの合計から地面に対する向き（姿勢）を測定して制御部３に出力する。
　制御部３は、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された、例えば、アイコンや特定の画像情報等の表示対象を検出対象の停止位置近傍に、例えばスムーズスクロール等の方法で移動させ、表示する機能を有する。このため、制御部３は、ナビゲーションを主目的とするＣＰＵ（以下、ナビＣＰＵ３０という）と、描画回路３１と、メモリ３２と、地図ＤＢ（Data Base）３３、とにより構成される。
　ナビＣＰＵ３０は、タッチパネル１に表示された目的地誘導等のナビゲーションメニューがユーザにより選択されることで、そのメニューにしたがうナビゲーション処理を行う。ナビゲーション処理を行うにあたり、ナビＣＰＵ３０は、地図ＤＢ３３に格納された地図情報を参照し、外部センサ２から取得される各種センサ信号に基づき、ルート検索、あるいは上記した目的地誘導等を行う。
　また、ナビＣＰＵ３０は、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された１以上の一定範囲の表示領域の情報の少なくとも一つを検出対象の停止位置近傍に移動させ表示する、制御部３としての機能を実現するために、メモリ３２に記憶されたプログラムにしたがい画像情報を生成して描画回路３１の制御を行う。その場合のナビＣＰＵ３０が実行するプログラムの構造は図２に示されており、その詳細は後述する。
　描画回路３１は、ナビＣＰＵ３０により生成される画像情報を一定の速度で、内蔵し、あるいは外付けされるビットマップメモリ上に展開し、同じく内蔵する表示制御部によりビットマップメモリに展開された画像情報をタッチパネル１（ＬＣＤパネル１０）の表示タイミングに同期して読み出し、タッチパネル１に表示する。上記したビットマップメモリおよび表示制御部は、図３に示されており、その詳細は後述する。
　なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域の他に、作業領域に、アイコン属性記憶領域や、画像情報記憶領域等が割り付けられ記憶されている。
　ここで、「アイコン属性」とは、アイコン毎に定義される、デフォルト表示位置、および上記した移動表示が可能か否かをフラグにより示す情報であり、更に、表示入力装置が車載用のマンマシン機器として適用される場合には、運転席乗員、助手席乗員のいずれによって使用されるアイコンであるかを示す情報についても属性として付加してもよい。詳細は後述する。また、地図ＤＢ３３には、ルート検索、誘導等、ナビゲーションに必要な地図や施設情報等が格納されている。
　図２は、この発明の実施の形態１に係る表示入力装置（制御部３）が有する図１のナビＣＰＵ３０が実行するプログラムの構造を機能展開して示したブロック図である。
　図２に示されるように、ナビＣＰＵ３０は、主制御部３００と、近接座標位置計算部３０１と、タッチ座標位置計算部３０２と、画像情報生成部３０３と、画像情報転送部３０４と、重なり検出部３０５と、操作情報処理部３０６と、を含む。
　近接座標位置計算部３０１は、近接センサ１２により検出対象の接近が検出されたときにそのＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
　タッチ座標位置計算部３０２は、タッチセンサ１１により検出対象によるタッチパネル１へのタッチが検出された場合にそのＸＹ座標位置を計算して主制御部３００に引き渡す機能を有する。
　画像情報生成部３０３は、主制御部３００による制御の下でタッチパネル１に表示するアイコンを含む画像情報を生成して画像情報転送部３０４へ出力する機能を有する。
　ここで、タッチパネル１に表示されたアイコン等１以上の一定範囲の表示領域の情報を指やペン等検出対象の停止位置近傍に移動させて表示するにあたり、ナビＣＰＵ３０は、「画面切り替え」、あるいは「スムーズスクロール」の方法を用いることとする。「画面切り替え」とは、画像情報生成部３０３がタッチパネル１（ＬＣＤパネル１０）の非表示期間内に表示すべき画像情報を瞬時に更新してメモリ３２の画像情報記憶領域３２２に書き込み、次の表示期間で瞬時に更新された画像情報を画像情報転送部３０４が描画回路３１に転送して瞬時に移動表示することをいい、「スムーズスクロール」とは、画像情報生成部３０３がタッチパネル１（ＬＣＤパネル１０）の非表示期間毎にビット単位で画像情報の更新を繰り返し、画像情報転送部３０４が表示期間毎に都度更新された画像情報を描画回路３１に転送してスムーズに移動表示することをいう。「画面切り替え」、あるいは「スムーズスクロール」の方法はＨ／Ｗ、Ｓ／Ｗによって種々の方法があり、上記の方法に拘るものではない。
　また、画像情報生成部３０３は、主制御部３００による制御の下で、指やペン等の検出対象がタッチパネル１に接近する距離に応じて検出対象の停止位置近傍に移動して表示されるアイコン等１以上の一定範囲の表示領域の情報を拡大処理することもできる。
　ここで、「拡大処理」は、画像情報生成部３０３が、例えば、既に生成済みのアイコン等のビットマップ画像を一定の割合で読み出して補間し、新しいビットマップに描画することをいう。例えば、２倍に拡大する場合、元のビットマップのピクセルの１つを縦横方向に２×２に重ねて描画し、逆に、縮小の場合、元のビットマップのピクセルを一定の割合で間引いて描画していくことにより実現が可能である。ここではビット画像の拡大縮小の方法で説明したが、ビット画像ではなくベクタ画像の場合は所定の拡縮計算処理によりきれいな画像の拡大縮小ができる。
　画像情報転送部３０４は、画像情報生成部３０３により生成される画像情報を主制御部３００によるタイミング制御により描画回路３１に転送する機能を有する。
　重なり検出部３０５は、複数のアイコンを指やペン等検出対象の停止位置近傍に移動させて表示するにあたって発生する可能性があるアイコン表示位置の重なりを検出する機能を有し、ここで、アイコン表示位置の重なりが検出された場合、画像情報生成部３０３は、重なりが発生しないように再配置されたアイコンを含む画像情報を生成してメモリ３２の画像情報記憶領域３２２に転送する。ここで、アイコン表示位置の重なり検出、および再配置は、メモリ３２の所定の領域に割り付けられ格納されたアイコン属性に定義されたデフォルト表示位置を基点に、移動表示後の各アイコンの表示アドレスを算出し、比較することにより実現が可能である。
　操作情報処理部３０６は、主制御部３００による制御の下、タッチ座標位置計算部３０２で計算されたタッチ座標位置に基づくアイコンに定義された操作情報、例えば、ソフトキーボードであれば、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４へ出力し、アイコンボタンであれば、そのアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成し、画像情報転送部３０４へ出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示する機能を有する。
　なお、メモリ３２には、上記したプログラムが記憶されるプログラム領域３２０の他に、所定量の作業領域が割り当てられており、この作業領域の中には、上記したアイコン属性が定義され記憶されるアイコン属性記憶領域３２１、画像情報生成部３０３により生成される画像情報がテンポラリに記憶される画像情報記憶領域３２２が含まれる。
　図３は、図１に示す描画回路３１の内部構成を示すブロック図である。図３に示されるように、描画回路３１は、描画制御部３１０と、画像バッファ部３１１と、描画部３１２と、ビットマップメモリ部３１３と、表示制御部３１４と、により構成され、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるローカルバス３１６経由で共通接続されている。
　上記構成において、図２に示したナビＣＰＵ３０（画像情報転送部３０４）から転送される画像情報は、描画制御部３１０による制御の下で画像バッファ部３１１に保持され、描画制御部３１０は、直線描画や矩形描画等の命令をデコードし、あるいは直線の傾き等についての描画の前処理を行う。そして、描画制御部３１０により起動される描画部３１２は、描画制御部３１０によりデコードされた画像情報をビットマップメモリ部３１３に高速描画し、表示制御部３１４は、ビットマップメモリ部３１３に保持された画像情報をタッチパネル１のＬＣＤパネル１０の表示タイミングに同期して読出し表示する。
　図４は、この発明の実施の形態１に係る表示入力装置の動作を示すフローチャートである。また、図５は、そのときの１以上の一定範囲の表示領域の情報としてのアイコン群、および検出対象としての指の動きをタッチパネル１上に模式して示した画面遷移図である。
　以下、図４、図５を参照しながら、図１～図３に示したこの発明の実施の形態１に係る表示入力装置の動作について詳細に説明する。
　図５（ａ）に示されるように、アイコン群は、タッチパネル１（ＬＣＤパネル１０）におけるデフォルト位置ａに表示されているものとする（図４のステップＳＴ４０１）。
　ユーザは、タッチパネル１を操作しようとして指をタッチパネル１に近づけると、近接センサ１２がこれを検知し、ナビＣＰＵ３０に近接信号を送信する。このとき、ナビＣＰＵ３０は、主制御部３００が、指のＺ軸上の位置とタッチパネル１のパネル面との距離が所定値内にあるか否かを判定する（ステップＳＴ４０２）。ここでいう所定値内とは、図５（ｂ）に示すＺｒｅｆをいう。
　ここで、指とパネル面との距離が所定値内にあることが検出されると（ステップＳＴ４０２“ＹＥＳ”）、近接座標位置計算部３０１は、指のＸＹ座標値Ｏxyを計算し、その指のＸＹ座標値Ｏxyを、主制御部３００に、例えば、０．０１秒毎に０．１秒間だけ入力する（ステップＳＴ４０３）。
　主制御部３００は、入力された指のＸＹ座標値Ｏxyを、０．１秒の間連続して受信することにより、指の移動あるいは停止を判別することができる。すなわち、０．１秒の間に指のＸＹ座標値Ｏxyの変化がない場合、すなわち、タッチパネル１のＸＹ方向に指の移動がないと判別された場合（ステップＳＴ４０４“ＮＯ”）、主制御部３００は、更に、アイコン表示位置と指のＸＹ座標値Ｏxyとの距離が所定値以上あるか否かを判定し（ステップＳＴ４０５）、所定値以上あった場合（ステップＳＴ４０５“ＹＥＳ”）、主制御部３００は、画像情報生成部３０３による画像情報（スクロール画像）の生成処理を起動する。説明の都合上、主制御部３００は０．１秒間で移動の有無を判断したが、連続する過去の履歴を覚えておき０．１秒×何回かの情報で移動を判定しても良い。この場合、多少の指の震えは上記ＸＹ座標値Ｏｘｙの変化がないと判断することができ、精度があがる。
　すなわち、画像情報生成部３０３は、アイコン表示位置を指のＸＹ座標値Ｏxyに近づけるように画像情報を生成し、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に書き込まれ、スクロール速度に応じて都度更新されるとともに、画像情報転送部３０４に出力される。
　画像情報転送部３０４はこれを受け、画像情報生成部３０３により生成された画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４がタッチパネル１に所望のスクロール表示、すなわち、アイコンをタッチパネル１の指のＸＹ座標値Ｏxyに徐々に移動して近づけるスムーズスクロール表示を行う（ステップＳＴ４０６）。このときの画面遷移の一例は、図５（ｃ）に示されている。
　なお、ステップＳＴ４０４のＸＹ方向の指の移動判定処理で指の移動ありと判定された場合（ステップＳＴ４０４“ＹＥＳ”）、あるいは、ステップＳＴ４０５のアイコン表示位置と指のＸＹ座標値Ｏxyとの距離判定処理で、所定値以上の距離がないと判定された場合は（ステップＳＴ４０５“ＮＯ”）、いずれもアイコンの表示位置に変化はないことがわかる（ステップＳＴ４０７）。このときの画面遷移の例が図５（ｄ）に示されている。
　主制御部３００は、ステップＳＴ４０２で、指とタッチパネル面との距離が所定の範囲内にあると判定された場合（ステップＳＴ４０２“ＹＥＳ”）、タッチパネル１によりアイコンが指でタッチされたことが検出されるまで（ステップＳＴ４１０“ＹＥＳ”）、上記したステップＳＴ４０２～ＳＴ４０７の処理を繰り返し実行する。
　このことにより、図５（ｅ）の画面遷移に示されるように、アイコン表示位置がタッチパネル１の指のＸＹ座標値Ｏxyに限りなく近づいてスクロール表示される。
　なお、タッチパネル１（タッチセンサ１１）によりアイコンが指でタッチされたことが検出されると（ステップＳＴ４１０“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標位置を計算して操作情報処理部３０６を起動し、操作情報処理部３０６は、タッチ座標位置計算部３０２で計算されたタッチ座標に相当するキーに基づく操作処理を実行する（ステップＳＴ４１１）ここで、タッチ座標に相当するキーに基づく操作処理とは、ソフトキーボードの場合、タッチされたキーに基づく画像情報を生成して画像情報転送部３０４に出力し、アイコンボタンの場合、タッチされたアイコンボタンに定義された目的地検索等のナビゲーション処理を実行して画像情報を生成して画像情報転送部３０４に出力し、それぞれタッチパネル１（ＬＣＤモニタ１０）に表示することをいう。
　一方、ステップＳＴ４０２において、指とパネル面との距離が所定値以上であることが検出されると（ステップＳＴ４０２“ＮＯ”）、主制御部３００は、現在表示されているアイコンの表示位置とアイコンのデフォルト座標位置ａとの比較判定を行う（ステップＳＴ４０８）。ここで、異なると判定された場合（ステップＳＴ４０８“ＮＯ”）、すなわち、デフォルト位置からタッチパネル１の画面上をアイコンが移動している場合、主制御部３００は、画像情報生成部３０３を制御し、画像情報生成部３０３は、アイコンをデフォルトの表示位置ａに近づけるように画像情報を生成し、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに、都度、画像情報転送部３０４に出力される。
　画像情報転送部３０４は、これをうけて画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。
　そして、表示制御部３１４がタッチパネル１（ＬＣＤパネル１０）に所望の表示を行う。すなわち、表示制御部３１４は、アイコンを指の停止位置近傍に位置する現在の表示位置からデフォルト表示位置ａに近づけるためのスムーズスクロール表示を行う（ステップＳＴ４０９）。このときの画面遷移が図５（ｆ）に示されている。
　なお、ステップＳＴ４０２で指のＺ軸上の位置とタッチパネル面との距離が所定値以上あると判定された場合（ステップＳＴ４０２“ＮＯ”）、主制御部３００は、アイコンがデフォルト位置ａに復帰するまで、ステップＳＴ４０８のアイコン座標判定処理と、ＳＴ４０９のデフォルト位置へのスムーズスクロール表示処理とを繰り返し実行する。
　上記したこの発明の実施の形態１に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２でタッチパネル１に指の所定量の接近が検出された場合に、タッチパネル１に表示されたアイコンの少なくとも一つを指の停止位置近傍に移動させ、表示することで新規なユーザインタフェースを提供でき、特に、ナビゲーション等を行う車載情報機器に用いた場合に使い勝手が向上し、一層の操作性向上がはかれる。
　なお、この発明の実施の形態１に係る表示入力装置によれば、移動表示を実現するために、アイコンが一定速度で指の座標位置に近づくスムーズスクロールすることとして説明したが、スムーズスクロールによる移動表示に代え、瞬時に移動表示させてもよい。
　この場合、ナビＣＰＵ３０（画像情報生成部３０３）は、タッチパネル１（ＬＣＤパネル１０）に表示される画像を瞬時に切り替えるために、アイコンが移動済みの切り替え画像を生成し、更新する必要がある。このことにより、ナビＣＰＵ３０の負荷が軽減される。
　また、この発明の実施の形態１に係る表示入力装置によれば、複数のアイコンが指の停止位置に集まって表示される例について説明したが、指の接近に影響を受けないアイコンは移動表示の対象から除外し、また、指の接近に伴い、逆に離れるアイコンを設定してもよい。これは、メモリ３２のアイコン属性記憶領域３２１に定義されるアイコン属性を書き換えることで実現が可能である。
　図６に、この発明の実施の形態１に係る表示入力装置の動作をタッチパネル上に模式的に示した動作概念図が示されている。図６（ａ）には、指が近づいたことでスムーズスクロールにより指位置近傍に集まるアイコン（「方位」、「縮尺」、「方向」を示す各アイコン）が示されており、図６（ｂ）には、その場合に集まるアイコン（「縮尺」アイコン）と、集まらないアイコン（「方位」アイコン他）が示されている。
　また、複数アイコンの移動表示により、アイコン表示位置の重なりが生じた場合、画像情報生成部３０３は、主制御部３００による制御の下で重なりが発生しないように再配置されたアイコン画像を生成する必要がある。このとき、ナビＣＰＵ３０（重なり検出部３０５）は、メモリ３２に記憶されたアイコン属性を参照してアイコンの重なりを検出し、画像情報生成部３０３によるアイコンの再配置画像生成処理を制御する必要がある。このことにより、アイコンの視認性が向上し、誤操作を防止することができる。
　更に、ナビＣＰＵ３０は、指がタッチパネル１に接近する距離に応じてアイコンを拡大処理して表示してもよい。この場合、距離が近づくにつれ、アイコンが拡大表示されれば、例えば、車両の振動等のブレによる誤操作を防止することができ、操作性の一層の向上がはかれる。本実施例では、ステップＳＴ４０８からステップＳＴ４０９に処理が移行したときに、すぐにアイコンをデフォルト位置ａに近づけたが、一定時間（例えば０．５秒程度）この指が遠い状態が続いてからアイコンをデフォルト位置に移動する様にしてもよい。この場合、誤って指がタッチパネルから遠くなった場合の操作感が良くなる。
実施の形態２．
　図７は、この発明の実施の形態２に係る表示入力装置の動作をタッチパネルの画面上に示した動作概念図である。
　この発明の実施の形態２に係る表示入力装置は、上記した実施の形態１同様、図１に示す表示入力装置と同様の構成を用い、また、図２に示すナビＣＰＵ３０のプログラム構造と同様の構造を用いるものとする。
　図４に示すフローチャートにしたがい動作する実施の形態１では、タッチパネル１に表示されたアイコンが指のＸＹ座標値Ｏxyに移動して表示されるものとしたが、以下に説明する実施の形態２では、指のＸＹ座標値Ｏxyではなく、タッチパネル１の予め定められた座標位置に近づけて表示させることにしたものである。
　すなわち、図７の動作概念図に示されるように、例えば、タッチパネル１の格子点上に代表点ｑ１（X1Y1）～ｑ４（X2Y3）を定義しておき、指のＸＹ座標値Ｏxyに近い代表点ｑ１（X1Y1）にアイコンが近づくように制御することとした。これは、ナビＣＰＵ３０（画像情報生成部３０３）が、アイコンを含む画像情報を生成する際に、予め定義された複数の代表点と、指のＸＹ座標値Ｑxyとの差分を演算し、その差分が最小となる代表点に生成されたアイコンを含む画像情報をメモリ３２の画像情報記憶領域３２２に書き込むことで実現が可能である。
　上記した実施の形態２に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、近接センサ１２で指の所定量の接近が検出された場合に、タッチパネル１に表示されたアイコンの少なくとも一つを、指の停止位置近傍の予め規定された場所に移動させて表示することにより、上記した実施の形態１が有する効果の他に、アイコンが移動表示されるタッチパネル１の座標が固定されるため、ソフトウェアの作りが容易になる。
　また、アイコンが移動して集まるパターンを代表の格子点の数だけ準備すればよいため、アイコンの重なり等の処理を省くことができる。
実施の形態３．
　図８は、この発明の実施の形態３に係る表示入力装置の動作をタッチパネルの画面上に示した動作概念図である。
　この発明の実施の形態３に係る表示入力装置は、上記した実施の形態１同様、図１に示す表示入力装置と同様の構成を用い、図２に示すナビＣＰＵ３０のプログラム構造と同様の構造を用いるものとする。
　以下に説明する実施の形態３に係る表示入力装置によれば、図８（ａ）に示されるように、ナビＣＰＵ３０は、近接センサ１２により、指位置がタッチパネル１の（向かって）左半分に位置することが検出された場合に、アイコン属性にしたがう１以上のアイコンがレイアウトされた第１のパターン（Ａ）に基づき、アイコン群を指の停止位置近傍に移動させて表示する。
　一方、ナビＣＰＵ３０は、図８（ｂ）に示されるように、近接センサ１２により、指の位置がタッチパネル１の（向かって）右半分に位置することが検出された場合に、アイコン属性にしたがう１以上のアイコンがレイアウトされた第２のパターン（Ｂ）に基づき、アイコン群を指の停止位置近傍に移動させて表示する。なお、移動表示の原理は実施の形態１と同様であるため、重複を回避する意味で説明を省略する。
　上記したこの発明の実施の形態３に係る表示入力装置によれば、指がタッチパネル１に接近した場合、アイコンパターンの配置を変更し、例えば、助手席乗員は国内で使用する場合左からの操作が容易であるため、タッチパネル１の左サイドから指を近づけた場合に、アイコン群がタッチパネル１の左サイドに集合して表示され、運転席乗員がタッチパネル１の右サイドから指を近づけた場合に、アイコン群がタッチパネル１の右サイドに集合して表示される。
　このため、助手席乗員、運転席乗員の操作に適したアイコン配列が可能であり、それぞれの乗員に対する使い勝手の向上がはかれる。ここで、左あるいは右サイドに集合して配列されるアイコン群は、あらかじめメモリ３２のアイコン属性記憶領域３２１に、例えば、「ＤＶＤ再生」アイコンは、助手席乗員用アイコンとして、「ルート検索」アイコンは運転席乗員用アイコンとして、それぞれあらかじめ定義しておくことで実現が可能である。
実施の形態４．
　図９は、この発明の実施の形態４に係る表示入力装置のナビＣＰＵ３０が有するプログラムの構造を機能展開して示したブロック図である。
　図９に示されるように、この発明の実施の形態４に係る表示入力装置において、ナビＣＰＵ３０は、図２に示す実施の形態１が有する構造に、更に、操作者検知部３０７が付加されている。操作者検知部３０７は、タッチパネル１に対向して位置する指が、車両の運転席側と助手席側のいずれの方向から進入してきたかを検出する機能を有する。操作者検知部３０７は、具体的には、近接センサ１２により出力される信号に基づく近接座標位置計算により、あるいは不図示の車載カメラにより撮影された画像を処理することにより、指が、車両の運転席側と助手席側のいずれの方向から進入してきたかを検出し、画像情報生成部３０３によるスクロール画像の生成処理を制御する。
　制御部３（ナビＣＰＵ３０）は、例えば、近接センサ１２により指が運転席側から進入したと判定された場合に、運転席乗員の操作に適した１以上のアイコンがレイアウトされた第１のパターンを所定の速度で移動して表示し、助手席側から進入したと判定された場合に、助手席の乗員の操作に適したアイコンがレイアウトされた第２のパターンを所定の速度で移動して表示する。なお、移動表示の原理は実施の形態１と同様であるため、重複を回避する意味で説明を省略する。
　図１０は、この発明の実施の形態４に係る表示入力装置の動作をタッチパネル上に示した動作概念図である。
　図１０（ａ）は、運転席乗員がタッチパネル１に指を近づけた場合と、助手席乗員が指を近づけた場合に配列されるアイコン群を示したものであり、上記した第１のパターンに相当するアイコン群は向かって左サイドに、第２のパターンに相当するアイコン群は、向かって右サイドに示されている。ここでは、画面の略中央を境に、「ＤＶＤ停止」、「ＤＶＤ再生」のボタンアイコンが、助手席乗員操作用に左サイドに表示され、「周辺検索」、「ルート変更」のボタンアイコンが、運転席乗員用に右サイドに表示されている。また、図１０（ｂ）に示されるように、近づける指が運転席乗員か助手席乗員かの別により、移動表示されるアイコンが選択表示されてもよい。この場合、制御部３（ナビＣＰＵ３０）は、近接センサ１２により運転席側から進入したと判定された場合と助手席側から進入したと判定された場合とのそれぞれにおいて、メモリ３２のアイコン属性記憶領域３２１が示す属性により、指の停止位置近傍に移動させるアイコンを選択して表示することになる。ここでは、運転席乗員がナビメニューを、助手席乗員がオーディオメニューを選択して指位置近傍に移動表示する例が示されている。
　上記したこの発明の実施の形態４に係る表示入力装置によれば、実施の形態１が有する効果の他に、ナビゲーション等を行う車載情報機器に適用した場合、助手席乗員、運転席乗員の操作内容に適したアイコン配列が可能になり、また、それぞれに表示されるアイコン選択を可能にすることで、柔軟性、拡張性に優れたユーザインタフェースを提供でき、一層の操作性の向上が図れ、使い勝手が向上する。
実施の形態５．
　以下に説明する実施の形態５に係る表示入力装置は、パネル面と指との間のＺ方向の距離も測定可能な３次元タッチパネルに適用したものである。すなわち、図１に示すＸＹ方向の位置検知が可能なタッチパネル１を、Ｚ方向の距離も測定可能な３次元タッチパネルに置換えるものである。３次元位置を計測する技術は、特許文献２に開示されているため、この技術を適用するものとして説明する。以下に説明する実施の形態５では、指の接近距離に応じてアイコンの移動表示速度を可変制御するものである。
　図１１は、この発明の実施の形態５に係る表示入力装置のナビＣＰＵ３０が有するプログラムの構造を機能展開して示したブロック図である。
　図１１に示されるように、この発明の実施の形態５に係る表示入力装置において使用されるナビＣＰＵ３０は、図２に示す実施の形態１に係る表示入力装置のナビＣＰＵ３０が有する近接座標位置計算部３０１を、３次元座標位置計算が可能なように機能拡張し、更に、ＵＩ（User Interface）提供部３０８を付加した構造になっている。ＵＩ提供部３０８は、タッチパネル１と指のＺ方向の距離に応じて決まるアイコンの表示移動速度を、３次元タッチパネルを介して入力されるユーザ設定により可変とするユーザインタフェースを提供する機能を有する。つまり、設定画面を利用してユーザによるアイコンの表示移動速度（スクロール速度）を可変とするものである。
　なお、上記した表示移動速度は、ユーザ設定によらず、近接センサ１２により検出されたタッチパネル１と指との距離に応じて決まる速度で指の停止位置近傍に移動させ、表示してもよく、また、メモリ３２のアイコン属性記憶領域３２１に定義されたアイコン属性により表示移動速度を可変としてもよい。
　図１２は、この発明の実施の形態５に係る表示入力装置の動作を示すフローチャートであり、図１３は、そのときのタッチパネル１と指との間の距離と、アイコンの移動速度との関係をグラフ表示した図である。
　図１３のグラフに示されるように、指がタッチパネル１に４ｃｍ以内に近づくとアイコンがスムーズスクロールして指位置近傍に集まって表示され、その速度は１ｃｍで最大、１ｃｍ未満ではアイコンは動かないものとして説明する。以下、図１２、図１３を参照しながら、この発明の実施の形態５に係る表示入力装置の動作について詳細に説明する。
　まず、アイコン群は、３次元タッチパネルの画面上のデフォルト位置ａに表示されているものとする（ステップＳＴ１２１）。
　ユーザが、３次元タッチパネルを操作しようとして指を近づけると、近接センサ１２はこれを検知してナビＣＰＵ３０に信号を送信し、ナビＣＰＵ３０は、主制御部３００が、指のＺ軸上の位置と３次元タッチパネル面との距離が所定距離４ｃｍ内にあるか否かを判定する（ステップＳＴ１２２）。
　ここで、指とタッチパネル面とのＺ軸上の距離が４ｃｍ範囲内にあることが検出されると（ステップＳＴ１２２“ＹＥＳ”）、近接座標位置計算部３０１は、指のＸＹ座標値Ｏxy、および指のＺ座標値Ｏzを計算し、その指のＸＹＺ座標値Ｏxyzを、主制御部３００に、例えば、０．０１秒毎に、０．１秒間だけ出力する（ステップＳＴ１２３）。
　主制御部３００は、この座標値を連続して受信することにより指の移動を判別することができる。すなわち、０．１秒の間に指のＸＹ座標値Ｏxyの変化がない場合、タッチパネル１のＸＹ方向に指の移動がないと判別され（ステップＳＴ１２４“ＮＯ”）、主制御部３００は、更に、アイコン表示位置と指のＸＹ座標値Ｏxyとの距離が所定値以上か否かを判定する（ステップＳＴ１２５）。ここで、所定値以上あった場合に（ステップＳＴ１２５“ＹＥＳ”）、主制御部３００は、画像情報生成部３０３によるスクロール画像の生成処理を起動する。
　すなわち、画像情報生成部３０３は、アイコン表示位置を指のＸＹ座標値Ｏxyに近づけるように画像情報（スクロール画像）を生成し、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶されるとともに、画像情報転送部３０４に出力される。
　画像情報転送部３０４はこれをうけて画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４は、タッチパネル１（ＬＣＤパネル１０）に指とパネル面との距離（指のＺ座標値Ｏz）に応じた速度で所望の表示、すなわち、アイコンをタッチパネル１上の指のＸＹ座標値Ｏxyに近づけるスムーズスクロール表示を行う（ステップＳＴ１２６）。
　なお、ステップＳＴ１２４のＸＹ方向の指の移動判定処理で指の移動ありと判定された場合（ステップＳＴ１２４“ＹＥＳ”）、あるいは、ステップＳＴ１２５のアイコン表示位置と指のＸＹ座標値Ｏxyとの距離判定処理で所定値以上の距離がないと判定された場合は（ステップＳＴ１２５“ＮＯ”）、いずれもアイコンの表示位置に変化はない（ステップＳＴ１２７）。
　主制御部３００は、ステップＳＴ１２２で、指とタッチパネル面との距離が所定の範囲内にあると判定された場合（ステップＳＴ１２２“ＹＥＳ”）、タッチパネル１によりアイコンが指でタッチされたことが検出されるまで（ステップＳＴ１３０“ＹＥＳ”）、上記したステップＳＴ１２２～ＳＴ１２７の処理を繰り返し実行する。このことにより、アイコン群が、指とパネル面との距離（指のＺ座標値Ｏz）に応じた移動速度にしたがい３次元タッチパネル上の指のＸＹ座標値Ｏxyに限りなく近づいて表示される。
　なお、３次元タッチパネルによりアイコンが指でタッチされたことが検出されると（ステップＳＴ１３０“ＹＥＳ”）、タッチ座標位置計算部３０２は、そのタッチ座標を計算して操作情報処理部３０６に制御を移し、操作情報処理部３０６は、計算されたタッチ座標のアイコンに定義されたナビゲーション等の操作処理を実行する（ステップＳＴ１３１）。
　一方、指のＺ軸上の位置とパネル面との距離が４ｃｍ以上であることが検出されると（ステップＳＴ１２２“ＮＯ”）、主制御部３００は、現在表示されているアイコンの表示位置とデフォルト座標位置ａとの比較を行う（ステップＳＴ１２８）。
　ここで、異なると判定された場合（ステップＳＴ１２８“ＮＯ”）、すなわち、デフォルト位置からパネル上をアイコンが移動している場合、主制御部３００は、画像情報生成部３０３を制御し、画像情報生成部３０３は、アイコンを元の表示位置ａに近づけるように画像情報を生成する。そして、ここで生成された画像情報は、メモリ３２の画像情報記憶領域３２２に記憶され、更に、画像情報転送部３０４に出力される。
　画像情報転送部３０４は、これを受けて画像情報を描画回路３１に転送し、描画回路３１は、描画制御部３１０が転送された画像情報を展開し、描画部３１２がビットマップメモリ部３１３に高速で描画する。そして、表示制御部３１４が３次元タッチパネルに所望の表示を行う。すなわち、表示制御部３１４は、アイコンを現在の表示位置からデフォルト位置ａに近づけるように、指とパネル面との距離（指のＺ座標値Ｏz）に応じた移動速度にしたがい３次元タッチパネル上でスムーズスクロール表示を行う（ステップＳＴ１２９）。
　なお、ステップＳＴ１２２で指のＺ軸上の位置とパネル面との距離が４ｃｍ以上あると判定された場合（ステップＳＴ１２２“ＮＯ”）、主制御部３００は、アイコンがデフォルト位置ａに復帰するまで、ステップＳＴ１２８と、ＳＴ１２９の処理を繰り返し実行する。
　上記したこの発明の実施の形態５に係る表示入力装置によれば、制御部３（ナビＣＰＵ３０）が、アイコンを、近接センサ１２により検出される指とパネル面とのＺ方向の距離に応じた速度で指の停止位置近傍に移動させ、表示することにより、例えば、Ｚ軸の距離が４ｃｍ以内に近づくとアイコンが徐々に（スムーズ）指の停止位置に集まり、４ｃｍから１ｃｍに至る間で集まる速度（スクロール表示速度）を早め、１ｃｍで速度が最大となり、１ｃｍ未満でアイコンが動かない状態に制御される。このことにより、使い勝手がより向上する。
　なお、Ｚ方向の距離とアイコンの移動速度（スクロール表示速度）との関係は、図１３に示されるグラフの直線的な数値に制限されることなく、曲線であってもよく、また、メモリ３２のアイコン属性記憶領域３２１に記憶されたアイコン属性により表示移動速度を可変とし、あるいは、ユーザ設定により可変としてもよく、これらの選択は任意であるため柔軟なユーザインタフェースの提供が可能である。
実施の形態６．
　図１４は、この発明の実施の形態６に係る表示入力装置のナビＣＰＵ３０が有するプログラムの構造を機能展開して示したブロック図である。
　図１４に示されるように、この発明の実施の形態６に係る表示入力装置が有するナビＣＰＵ３０は、図２に示す実施の形態１が有するプログラム構造に、更に、車両情報取得部３０９を付加したものである。車両情報取得部３０９は、車両の走行状態を検知する車速センサ２２から出力される車速パルスを計測して制御部３（ナビＣＰＵ３０）に通知する機能を有する。このとき、ナビＣＰＵ３０は、車両が走行中であることが検出された場合、予めフラグで設定されたアイコンを、指の停止位置近傍に所定の速度で移動させて表示する。また、ナビＣＰＵ３０は、指が近接センサ１２により助手席側から進入したと判定された場合に、予め選択されたアイコンを指の停止位置近傍に移動させて表示してもよい。
　図１５は、この発明の実施の形態６に係る表示入力装置の動作をタッチパネル１上に示した動作概念図である。
　図１５に示されるように、運転席乗員の指がパネル面に近づいた場合、「方位」アイコン、「縮尺」アイコン、「周辺検索」ボタンアイコンのそれぞれが、指の停止位置近傍に移動して表示され、このとき、「動画再生」ボタンアイコンは、デフォルト位置に表示されたままである。このように、車両走行中、移動表示させたくない（指位置近傍に近づけたくない）アイコンは、メモリ３２のアイコン属性記憶領域３２１に記憶させるアイコン属性にそのことを定義しておくだけで移動を見合わせることができる。なお、助手席乗員が操作した場合には全てのアイコンを指位置に近づけて表示してもよい。アイコン属性の設定は任意である。
　上記した実施の形態６に係る表示入力装置によれば、制御部３が、車速センサ２２で車両が走行中であることが検出された場合、予め選択されたアイコンを、指の停止位置近傍に所定の速度で移動させて表示することにより、車載用途に用いた場合の使い勝手が向上する。また、制御部３が、近接センサ１２により助手席側から進入したと判定された場合に、予め選択されたアイコンを指の停止位置近傍に移動させて表示することにより、運転席乗員が使用可能なアイコンを制限することができるため、安全運転に寄与し、また、助手席乗員が指を近づけたときに集まるアイコン配列についても任意に作ることができるため使い勝手が一層向上する。
　以上説明のように、上記した実施の形態１～実施の形態６に係る表示入力装置によれば、指やペン等の検出対象を近づけただけで、画面に表示されたアイコン等の特定の表示対象が所定の規則にしたがいその検出対象の近傍に移動して表示される新規なユーザインタフェースを提供することができ、より一層、操作性の向上がはかれる。
　なお、上記した実施の形態１～実施の形態６に係る表示入力装置によれば、アイコンのみを移動表示の対象として説明したが、アイコンに限らず、タッチパネル１の任意の表示領域に表示された特定の情報であってもよい。また、検出対象として、指のみ例示したが、指に代わるペン等の検出物であっても同様の効果が得られる。
　なお、図２、図９、図１１、図１４に示す制御部３（ナビＣＰＵ３０）が有する機能は、全てをハードウェアによって実現しても、あるいはその少なくとも一部をソフトウェアで実現してもよい。
　例えば、近接センサ１２でタッチパネル１に検出対象の所定量の接近が検出された場合に、タッチパネル１に表示された１以上の一定範囲の表示領域の情報の少なくとも一つを検出対象の停止位置近傍に移動させて表示するデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。上記実施例では、指の近接と、指のタッチを検出するタッチパネル表示装置を用いたが、指の接触と押下とを検出するタッチパネル表示装置を用いて、タッチした場合にはアイコンを近づけ、押下の場合にアイコンに応じた所定の操作をするように構成しても良い。この場合、指が２点で接触した場合は、アイコンの移動を止めるなどの操作方法にすれば更に操作感が良くなる。このとき、アイコンの移動はタッチ後、少し時間が経ってから（例えば０．５秒程度待って）移動するようにしても良い。
　この発明に係る表示入力装置は、一層の操作性の向上を図ることができるためナビゲーションシステムの車載情報機器等に用いるのに適している。

Claims (13)

  1. 　情報の表示および入力を行うタッチパネルと、
    　前記タッチパネルに対向して位置する検出対象の動きを検出する近接センサと、
    　前記近接センサで前記タッチパネルに前記検出対象の所定量の接近が検出された場合に、前記タッチパネルに表示された特定の表示対象を、前記検出対象の停止位置近傍に移動させて表示する制御部と、
    　を備えたことを特徴とする表示入力装置。
  2. 　前記表示対象は、前記移動が可能であることを示す属性情報を有し、
    　前記制御部は、
    　前記属性情報を参照して、前記タッチパネルに表示された前記表示対象を前記検出対象の停止位置近傍に移動させ、表示することを特徴とする請求項１記載の表示入力装置。
  3. 　前記制御部は、
    　前記表示対象を前記検出対象の停止位置近傍に所定の速度で移動させて表示する際に、前記表示対象が互いに重ならないように、前記表示対象を再配置して表示することを特徴とする請求項１記載の表示入力装置。
  4. 　前記制御部は、
    　前記検出対象と前記タッチパネルとの距離に応じて前記表示対象を拡大処理して表示することを特徴とする請求項１記載の表示入力装置。
  5. 　前記制御部は、
    　前記近接センサで前記検出対象の所定量の接近が検出された場合に、前記タッチパネルに表示された前記表示対象を、前記検出対象の停止位置近傍の予め規定された場所に移動させて表示することを特徴とする請求項１記載の表示入力装置。
  6. 　前記表示対象は、前記移動が可能であることを示す属性情報を有し、
    　前記属性情報は、前記表示対象の表示パターンを指定する情報を含むものであり、
    　前記制御部は、
    　前記近接センサにより、前記検出対象の位置が前記タッチパネルの左半分に位置することが検出された場合に、前記属性情報にしたがって、前記表示対象を第１のパターンに基づき、前記検出対象の停止位置近傍に移動させて表示し、前記検出対象の位置が前記タッチパネルの右半分に位置することが検出された場合に、前記属性情報にしたがって、前記表示対象を第２のパターンに基づき、前記検出対象の停止位置近傍に移動させて表示することを特徴とする請求項１記載の表示入力装置。
  7. 　前記表示対象は、前記移動が可能であることを示す属性情報を有し、
    　運転者が操作したか助手席者が操作したかを検出する操作者検出手段を有し、
    　前記属性情報は、前記表示対象の表示パターンを指定する情報を含むものであり、
    　前記制御部は、
    　前記操作者検出手段により前記運転者が操作したと判定された場合に、前記運転席の乗員の操作に適した表示パターンに基づいて前記表示対象を表示し、前記助手席者が操作したと判定された場合に、前記助手席の乗員の操作に適した表示パターンに基づいて前記表示対象を表示することを特徴とする請求項１記載の表示入力装置。
  8. 　前記制御部は、
    　前記操作者検出手段により前記運転者が操作したと判定された場合と前記助手席者が操作したと判定された場合のそれぞれにおいて、前記属性情報が示す属性により、前記検出対象の停止位置近傍に移動させる前記表示対象物を選択することを特徴とする請求項７記載の表示入力装置。
  9. 　前記制御部は、
    　前記表示対象を、前記近接センサにより検出される前記タッチパネルと前記検出対象との距離に応じた速度で前記検出対象の停止位置近傍に移動させて表示することを特徴とする請求項１記載の表示入力装置。
  10. 　前記制御部は、
    　前記表示対象の属性情報により表示移動速度を変化させることを特徴とする請求項９記載の表示入力装置。
  11. 　前記制御部は、
    　前記タッチパネルと前記検出対象との距離に応じて決まる前記表示対象の前記表示移動速度を、前記タッチパネルを介して入力されるユーザ設定により変化させることを特徴とする請求項９記載の表示入力装置。
  12. 　車両の走行状態を検知する車速センサを備え、
    　前記制御部は、
    　前記車速センサで前記車両が走行中であることが検出された場合、予め選択された前記表示対象を、前記検出対象の停止位置近傍に所定の速度で移動させて表示することを特徴とする請求項１記載の表示入力装置。
  13. 　前記近接センサは、前記検出対象が、車両の運転席側と助手席側のいずれの方向から進入してきたかを検出し、
    　前記制御部は、
    　前記近接センサにより前記助手席側から進入したと判定された場合に、予め選択された前記表示対象を前記検出対象の停止位置近傍に移動させて表示することを特徴とする請求項１２記載の表示入力装置。
PCT/JP2009/006390 2008-12-04 2009-11-26 表示入力装置 WO2010064387A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/062,713 US8963849B2 (en) 2008-12-04 2009-11-26 Display input device
DE112009002462T DE112009002462T5 (de) 2008-12-04 2009-11-26 Anzeigeeingabeeinrichtung
JP2010541212A JP5511682B2 (ja) 2008-12-04 2009-11-26 表示入力装置及びナビゲーションシステム
CN2009801490378A CN102239465A (zh) 2008-12-04 2009-11-26 显示输入装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008309799 2008-12-04
JP2008-309799 2008-12-04

Publications (1)

Publication Number Publication Date
WO2010064387A1 true WO2010064387A1 (ja) 2010-06-10

Family

ID=42233046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/006390 WO2010064387A1 (ja) 2008-12-04 2009-11-26 表示入力装置

Country Status (5)

Country Link
US (1) US8963849B2 (ja)
JP (2) JP5511682B2 (ja)
CN (2) CN102239465A (ja)
DE (1) DE112009002462T5 (ja)
WO (1) WO2010064387A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003690A (ja) * 2010-06-21 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
CN102314269A (zh) * 2010-07-02 2012-01-11 谊达光电科技股份有限公司 触控面板近接侦测装置与方法
CN102346636A (zh) * 2010-07-28 2012-02-08 索尼公司 信息处理设备、信息处理方法和计算机可读存储介质
CN102402384A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理装置、信息处理方法和计算机程序
CN102457730A (zh) * 2010-10-14 2012-05-16 株式会社尼康 投影仪
WO2012157271A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 入力装置、情報端末装置および入力システム
JP2012238152A (ja) * 2011-05-11 2012-12-06 Nec Saitama Ltd 表示装置、表示方法およびプログラム
JP2013061680A (ja) * 2010-10-14 2013-04-04 Nikon Corp 表示装置
JP2013073529A (ja) * 2011-09-28 2013-04-22 Kyocera Corp 装置、方法、及びプログラム
WO2013067776A1 (zh) * 2011-11-08 2013-05-16 中兴通讯股份有限公司 一种终端显示界面的控制方法及终端
JP2013096736A (ja) * 2011-10-28 2013-05-20 Denso Corp 車両用表示装置
WO2013157092A1 (ja) * 2012-04-18 2013-10-24 富士通株式会社 マウスカーソル制御方法、マウスカーソル制御装置およびプログラム
JP2014026674A (ja) * 2013-10-25 2014-02-06 Kyocera Corp 携帯端末、制御方法及びプログラム
JP2014059803A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 入力装置
US9041664B2 (en) 2010-11-22 2015-05-26 International Business Machines Corporation Moving an object by drag operation on a touch panel
JP2015170102A (ja) * 2014-03-06 2015-09-28 トヨタ自動車株式会社 情報処理装置
JP5861638B2 (ja) * 2010-09-22 2016-02-16 日本電気株式会社 表示装置および表示方法ならびにそのプログラム、端末装置
JPWO2015001875A1 (ja) * 2013-07-05 2017-02-23 クラリオン株式会社 情報処理装置
US10410319B2 (en) 2014-10-31 2019-09-10 Audi Ag Method and system for operating a touch-sensitive display device of a motor vehicle

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
JP5847407B2 (ja) * 2010-03-16 2016-01-20 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プレタッチ及びトゥルータッチのためのシステム及び方法
DE102011015806A1 (de) * 2011-04-01 2012-10-04 Ident Technology Ag Displayeinrichtung
JP5817716B2 (ja) * 2010-04-30 2015-11-18 日本電気株式会社 情報処理端末およびその操作制御方法
US8531417B2 (en) * 2010-09-02 2013-09-10 Blackberry Limited Location of a touch-sensitive control method and apparatus
FR2971066B1 (fr) 2011-01-31 2013-08-23 Nanotec Solution Interface homme-machine tridimensionnelle.
US20130033436A1 (en) * 2011-02-17 2013-02-07 Htc Corporation Electronic device, controlling method thereof and computer program product
JP5810554B2 (ja) * 2011-02-28 2015-11-11 ソニー株式会社 電子装置、表示方法、およびプログラム
GB201104427D0 (en) * 2011-03-16 2011-04-27 Fortrus Ltd Data storage and retrieval system
US10146423B1 (en) * 2011-04-07 2018-12-04 Wells Fargo Bank, N.A. System and method for generating a position based user interface
MY174907A (en) * 2011-10-03 2020-05-21 Intel Corp Techniques for solar cell management for computing devices
CN102520860B (zh) * 2011-12-09 2018-01-19 中兴通讯股份有限公司 一种进行桌面显示控制的方法及移动终端
CN103164057B (zh) * 2011-12-09 2017-12-01 腾讯科技（深圳）有限公司 一种显示信息的方法和装置
US20130244730A1 (en) * 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University User terminal capable of sharing image and method for controlling the same
US9310922B2 (en) * 2012-04-30 2016-04-12 Blackberry Limited Method and apparatus for determining a selection option
US9046917B2 (en) * 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
DE102012014910A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
CN103577081B (zh) * 2012-07-30 2018-07-03 联想(北京)有限公司 一种调整显示输出的方法及电子设备
JP5977132B2 (ja) * 2012-09-28 2016-08-24 富士ゼロックス株式会社 表示制御装置、画像表示装置、およびプログラム
JP6036163B2 (ja) * 2012-10-23 2016-11-30 富士ゼロックス株式会社 情報処理装置及びプログラム
CN103902206B (zh) * 2012-12-25 2017-11-28 广州三星通信技术研究有限公司 操作具有触摸屏的移动终端的方法和设备及移动终端
FR3002052B1 (fr) 2013-02-14 2016-12-09 Fogale Nanotech Procede et dispositif pour naviguer dans un ecran d'affichage et appareil comprenant une telle navigation
US10394434B2 (en) * 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
CN107908345B (zh) * 2013-02-26 2020-04-24 联想(北京)有限公司 一种响应方法及电子设备
CN104035634B (zh) * 2013-03-06 2019-10-29 联想(北京)有限公司 一种信息处理方法及电子设备
KR20140110452A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 전자장치에서 근접 터치를 이용한 사용자 인터페이스 제어 방법 및 장치
US20140298219A1 (en) * 2013-03-29 2014-10-02 Microsoft Corporation Visual Selection and Grouping
CN104077042B (zh) * 2013-03-29 2018-02-02 联想(北京)有限公司 一种显示方法及装置、电子设备
CN103389857A (zh) * 2013-07-24 2013-11-13 珠海市魅族科技有限公司 虚拟控件的调整方法和终端
KR20150024139A (ko) * 2013-08-26 2015-03-06 삼성디스플레이 주식회사 표시장치 및 그 제어방법
US9626568B2 (en) * 2013-11-26 2017-04-18 Rowan University Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation
US9400572B2 (en) * 2013-12-02 2016-07-26 Lenovo (Singapore) Pte. Ltd. System and method to assist reaching screen content
US9639261B2 (en) * 2013-12-04 2017-05-02 Sony Corporation Apparatus and method for controlling a suspended state
CN104750400B (zh) * 2013-12-27 2017-12-15 华为技术有限公司 终端界面的优化操作方法和装置
CN105021204B (zh) * 2014-04-24 2018-10-16 深圳市赛格导航科技股份有限公司 一种非接触式车载导航***及导航方法
CN105488382A (zh) * 2014-09-19 2016-04-13 联想(北京)有限公司 一种信息处理方法及电子设备
CN104317466B (zh) * 2014-10-28 2017-07-11 深圳市汇顶科技股份有限公司 触摸屏控制方法和触摸屏装置
CN105760005B (zh) * 2014-12-19 2019-04-05 宏达国际电子股份有限公司 触控显示装置及其控制方法
TWI598785B (zh) * 2015-01-29 2017-09-11 政美應用股份有限公司 觸控面板之檢測方法及裝置
CN106325726B (zh) * 2015-06-30 2019-12-13 中强光电股份有限公司 触控互动方法
US9563329B1 (en) * 2015-09-15 2017-02-07 Thunder Power Hong Kong Ltd. Interchangeable display of information panels on a dashboard
CN105205541A (zh) * 2015-09-22 2015-12-30 河南智业科技发展有限公司 一种物联网连接餐饮服务***
JP2017073128A (ja) * 2015-10-08 2017-04-13 船井電機株式会社 空間入力装置
WO2017138702A1 (ko) 2016-02-12 2017-08-17 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10042550B2 (en) * 2016-03-28 2018-08-07 International Business Machines Corporation Displaying virtual target window on mobile device based on directional gesture
US10091344B2 (en) 2016-03-28 2018-10-02 International Business Machines Corporation Displaying virtual target window on mobile device based on user intent
US10281990B2 (en) * 2016-12-07 2019-05-07 Ford Global Technologies, Llc Vehicle user input control system and method
US11175738B2 (en) 2016-12-13 2021-11-16 Immersion Corporation Systems and methods for proximity-based haptic feedback
CN108700985A (zh) * 2017-06-28 2018-10-23 华为技术有限公司 一种图标显示方法及装置
WO2019163503A1 (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム
CN108614653A (zh) * 2018-03-18 2018-10-02 平安科技（深圳）有限公司 按钮自适应的方法、装置、移动终端和存储介质
CN108733255A (zh) * 2018-04-13 2018-11-02 苏州佳世达电通有限公司 触屏电子装置的控制方法及触屏电子装置
CN108920056A (zh) * 2018-07-09 2018-11-30 北京车和家信息技术有限公司 应用卡片操作方法、装置及车辆
JP7335487B2 (ja) * 2019-04-02 2023-08-30 船井電機株式会社 入力装置
CN111913635B (zh) * 2020-08-14 2022-12-13 广东申义实业投资有限公司 三维全景图片显示方法、装置、移动终端及存储介质
CN113253849A (zh) * 2021-07-01 2021-08-13 湖北亿咖通科技有限公司 控制栏的显示控制方法、装置及设备
WO2023187611A1 (en) * 2022-03-28 2023-10-05 Promethean Limited User interface modification systems and related methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01209520A (ja) * 1988-02-17 1989-08-23 Hitachi Ltd プラント制御装置
JP2005327262A (ja) * 2004-05-11 2005-11-24 Hitachi Ltd 情報表示方法及び情報表示システム
JP2008114772A (ja) * 2006-11-07 2008-05-22 Denso Corp 表示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4942514A (en) 1987-11-17 1990-07-17 Hitachi, Ltd. Process monitoring and control system and method of process monitoring and control
JP2835167B2 (ja) 1990-09-20 1998-12-14 株式会社東芝 Ｃｒｔ表示装置
JP2995719B2 (ja) * 1992-07-01 1999-12-27 松下電器産業株式会社 ペン入力・メニュー表示装置
JP2002358162A (ja) * 2001-06-01 2002-12-13 Sony Corp 画像表示装置
JP2003005912A (ja) 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
FR2847997B1 (fr) * 2002-11-28 2005-10-07 Thales Sa Dispositif d'affichage a detection de proximite et procede d'utilisation de ce procede
JP3925421B2 (ja) * 2003-02-10 2007-06-06 株式会社デンソー 車載機器の操作装置
JP2006031499A (ja) 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
KR100672478B1 (ko) * 2005-04-26 2007-01-24 엘지전자 주식회사 이동통신 단말기와 메뉴 동작 제어 방법
JP2007157243A (ja) * 2005-12-06 2007-06-21 Hitachi Ltd 情報再生装置および情報再生プログラム
KR101135100B1 (ko) * 2005-12-07 2012-04-16 엘지전자 주식회사 차량 단말기에서의 네비게이션 간편화면 표시 장치 및 방법
JP2008129689A (ja) 2006-11-17 2008-06-05 Xanavi Informatics Corp タッチパネルを備えた入力装置、その入力受付方法
JP2008197934A (ja) 2007-02-14 2008-08-28 Calsonic Kansei Corp 操作者判別方法
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
KR100929236B1 (ko) * 2007-09-18 2009-12-01 엘지전자 주식회사 터치스크린을 구비하는 휴대 단말기 및 그 동작 제어방법
CN101587419B (zh) * 2008-05-21 2012-08-29 鸿富锦精密工业（深圳）有限公司 控制触摸屏图标显示的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01209520A (ja) * 1988-02-17 1989-08-23 Hitachi Ltd プラント制御装置
JP2005327262A (ja) * 2004-05-11 2005-11-24 Hitachi Ltd 情報表示方法及び情報表示システム
JP2008114772A (ja) * 2006-11-07 2008-05-22 Denso Corp 表示装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
JP2012003690A (ja) * 2010-06-21 2012-01-05 Toyota Infotechnology Center Co Ltd ユーザインタフェース装置
CN102314269A (zh) * 2010-07-02 2012-01-11 谊达光电科技股份有限公司 触控面板近接侦测装置与方法
CN102346636A (zh) * 2010-07-28 2012-02-08 索尼公司 信息处理设备、信息处理方法和计算机可读存储介质
CN102402384A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理装置、信息处理方法和计算机程序
CN102402384B (zh) * 2010-09-07 2017-04-12 索尼公司 信息处理装置和信息处理方法
JP5861638B2 (ja) * 2010-09-22 2016-02-16 日本電気株式会社 表示装置および表示方法ならびにそのプログラム、端末装置
JP2013061680A (ja) * 2010-10-14 2013-04-04 Nikon Corp 表示装置
US10203594B2 (en) 2010-10-14 2019-02-12 Nikon Corporation Projector
CN102457730B (zh) * 2010-10-14 2017-04-19 株式会社尼康 投影仪
CN102457730A (zh) * 2010-10-14 2012-05-16 株式会社尼康 投影仪
US10656821B2 (en) 2010-11-22 2020-05-19 International Business Machines Corporation Moving an object by drag operation on a touch panel
US10379727B2 (en) 2010-11-22 2019-08-13 International Business Machines Corporation Moving an object by drag operation on a touch panel
US10140010B2 (en) 2010-11-22 2018-11-27 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9898181B2 (en) 2010-11-22 2018-02-20 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9875011B2 (en) 2010-11-22 2018-01-23 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9041664B2 (en) 2010-11-22 2015-05-26 International Business Machines Corporation Moving an object by drag operation on a touch panel
US9298359B2 (en) 2010-11-22 2016-03-29 International Business Machines Corporation Moving an object by drag operation on a touch panel
JP2012238152A (ja) * 2011-05-11 2012-12-06 Nec Saitama Ltd 表示装置、表示方法およびプログラム
WO2012157271A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 入力装置、情報端末装置および入力システム
JP2013073529A (ja) * 2011-09-28 2013-04-22 Kyocera Corp 装置、方法、及びプログラム
JP2013096736A (ja) * 2011-10-28 2013-05-20 Denso Corp 車両用表示装置
WO2013067776A1 (zh) * 2011-11-08 2013-05-16 中兴通讯股份有限公司 一种终端显示界面的控制方法及终端
JPWO2013157092A1 (ja) * 2012-04-18 2015-12-21 富士通株式会社 マウスカーソル制御方法、マウスカーソル制御装置およびプログラム
WO2013157092A1 (ja) * 2012-04-18 2013-10-24 富士通株式会社 マウスカーソル制御方法、マウスカーソル制御装置およびプログラム
US9910556B2 (en) 2012-04-18 2018-03-06 Fujitsu Limited Mouse cursor control method and apparatus
JP2014059803A (ja) * 2012-09-19 2014-04-03 Alps Electric Co Ltd 入力装置
JPWO2015001875A1 (ja) * 2013-07-05 2017-02-23 クラリオン株式会社 情報処理装置
JP2014026674A (ja) * 2013-10-25 2014-02-06 Kyocera Corp 携帯端末、制御方法及びプログラム
JP2015170102A (ja) * 2014-03-06 2015-09-28 トヨタ自動車株式会社 情報処理装置
US10410319B2 (en) 2014-10-31 2019-09-10 Audi Ag Method and system for operating a touch-sensitive display device of a motor vehicle

Also Published As

Publication number Publication date
US20110164063A1 (en) 2011-07-07
JP5777745B2 (ja) 2015-09-09
DE112009002462T5 (de) 2012-05-31
JP5511682B2 (ja) 2014-06-04
CN104298398A (zh) 2015-01-21
JPWO2010064387A1 (ja) 2012-05-10
CN102239465A (zh) 2011-11-09
US8963849B2 (en) 2015-02-24
JP2014102851A (ja) 2014-06-05

Similar Documents

Publication Publication Date Title
JP5777745B2 (ja) 表示入力装置及びナビゲーションシステム
JP5430782B2 (ja) 表示入力装置および車載情報機器
JP5312655B2 (ja) 表示入力装置および車載情報装置
JP5052677B2 (ja) 表示入力装置
JP5355683B2 (ja) 表示入力装置および車載情報機器
EP1950653A2 (en) Apparatus and method for improvement of usability of touch screen
CN101944304A (zh) 地图信息显示装置、地图信息显示方法和程序
JP2011210083A (ja) 表示装置
JP2017194364A (ja) 地図表示システム、ナビゲーションシステム及びコンピュータプログラム
US8731824B1 (en) Navigation control for a touch screen user interface
JP5933468B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP6041708B2 (ja) 車載用情報表示制御装置、車載用情報表示装置および情報表示制御方法
JP5889230B2 (ja) 情報表示制御装置、情報表示装置および情報表示制御方法
JP2014191818A (ja) 操作支援システム、操作支援方法及びコンピュータプログラム
JP2014170346A (ja) 情報表示制御装置、情報表示装置および情報表示制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980149037.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09830158

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010541212

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13062713

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1120090024629

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09830158

Country of ref document: EP

Kind code of ref document: A1