WO2014106910A1 - 情報処理装置及び情報入力制御プログラム - Google Patents

情報処理装置及び情報入力制御プログラム Download PDF

Info

Publication number
WO2014106910A1
WO2014106910A1 PCT/JP2013/061816 JP2013061816W WO2014106910A1 WO 2014106910 A1 WO2014106910 A1 WO 2014106910A1 JP 2013061816 W JP2013061816 W JP 2013061816W WO 2014106910 A1 WO2014106910 A1 WO 2014106910A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
information
input means
touch screen
identified
Prior art date
Application number
PCT/JP2013/061816
Other languages
English (en)
French (fr)
Inventor
哲朗 増田
近藤　誠
秀美 辻
濱津　誠
Original Assignee
株式会社ユビキタスエンターテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユビキタスエンターテインメント filed Critical 株式会社ユビキタスエンターテインメント
Priority to US14/758,861 priority Critical patent/US9846494B2/en
Priority to JP2014555419A priority patent/JP6091525B2/ja
Publication of WO2014106910A1 publication Critical patent/WO2014106910A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Definitions

  • the present invention relates to an information processing apparatus such as a tablet computer or a smartphone, and an information input control program used for information input processing when searching or editing information, starting an application program, or the like in these information processing apparatuses. It is.
  • Touch screens touch panels
  • the input to the touch screen is performed by touching the screen, and the input means to the screen mainly includes a touch pen and a finger.
  • Entry with a touch pen has the merit of being suitable for inputting small characters and fine button operations, but it has the disadvantage of having to carry the touch pen.
  • the input with one finger is not suitable for inputting small characters or operating fine buttons, but has an advantage that it can be operated intuitively and does not need to carry a touch pen.
  • an invention relating to an input device that can be input with either a touch pen or a finger and can identify whether the input means is a touch pen or a finger is disclosed (for example, Patent Document 1). reference).
  • the invention may change the arrangement and size of the operation buttons depending on whether the input means is a touch pen or a finger (see, for example, Patent Document 2).
  • inventions that perform different functions depending on input means such as page scrolling (for example, see Patent Documents 3 and 4) are disclosed.
  • the present invention has been made to cope with such problems, and information input operations for searching and editing information, starting application programs, and the like in information processing apparatuses such as tablet computers and smartphones. It is an object of the present invention to provide an information processing apparatus and an information input control program that contribute to the implementation of various processes by an intuitive operation combining two input means of a touch pen and a finger.
  • an information processing apparatus such as a tablet computer or a smartphone capable of inputting information by both the first input means such as a touch pen and the second input means such as a finger
  • the information is input by the first input means.
  • Intuitive operation using two input means by configuring a predetermined process such as information search and editing and application program startup by combining the information specified by the second input means and the area specified by the second input means
  • Various operations can be executed by simple operations.
  • 1st invention which solves the subject concerning this application is an information processor provided with the touch screen which can input information by the 1st input means and the 2nd input means, and performs input operation to a touch screen
  • the input means is identified as either the first input means or the second input means
  • the input means that has performed the input operation is identified as the first input means
  • Detecting an input operation executed by the second input means for identifying the information input by the first input means and outputting the information to the touch screen and designating an area on the touch screen where the information is displayed
  • An information processing apparatus comprising: means for performing a predetermined process related to the information when the input operation is detected.
  • a second invention for solving the problem according to the present application is an information processing apparatus including a touch screen capable of inputting information by the first input means and the second input means, and performs an input operation on the touch screen.
  • the input means is identified as either the first input means or the second input means, and the input means that has performed the input operation is identified as the second input means
  • An information processing apparatus comprising: means for identifying the information that has been identified; and means for executing a predetermined process associated with the information when the information is identified.
  • a third invention for solving the problem according to the present application is an information processing apparatus including a touch screen capable of inputting information by the first input means and the second input means, and performs an input operation on the touch screen.
  • the input means identifying means for identifying whether the input means is the first input means or the second input means, and the input means for performing the input operation by the input means identifying means is the first input means.
  • the second input means for identifying the information input by the first input means and outputting the information to the touch screen; and the second input means for designating the area where the information is displayed on the touch screen.
  • the means for recognizing the area on the touch screen designated by the input operation executed by the second input means In addition, a means for detecting an input operation executed by the first input means and identifying information inputted by the input operation, and a second process related to the information when the information is identified are executed. And an information processing apparatus.
  • a touch pen as the first input means and a finger as the second input hand.
  • a search for information related to the information of the displayed character or the like is performed.
  • processing such as starting an application program is executed.
  • a region designation operation such as drawing a circle with a finger
  • an application program related to information such as the written characters is started.
  • Processing such as information retrieval is executed.
  • the third invention is a combination of these. In any of the inventions, it is possible to execute various processes specified from characters or the like input by input with a touch pen.
  • the predetermined process is a process using the information, a process requesting an operation for executing the process using the information, a process specified by the information, or It may be a process that requests an operation for executing the process specified by the information. The same applies to the first process and the second process in the third invention.
  • the process using the information includes, for example, a search process using the identified information as a keyword, a process of forming the identified information into a file, and a process of making the file into an editable state.
  • the process for requesting an operation for executing the process using the information includes, for example, a selection button for allowing the user to select a desired process from a plurality of processes using the identified information. Applicable to output.
  • the process specified by the information corresponds to, for example, a process for starting an application program corresponding to the identified information.
  • the process requesting an operation for executing the process specified by the information includes, for example, output of a selection button for selecting a desired process from a plurality of processes specified from the identified information. And so on.
  • a desired function can be realized by an intuitive operation such as surrounding a letter or number with a finger.
  • the first process is a process for requesting an operation for executing the process using the information or the process using the information
  • the second process is specified by the information.
  • a process for requesting an operation for executing the process specified by the information may be a touch pen for a touch screen
  • the second input means may be a finger of an operator of the information output device.
  • the first process and the second process in the third invention are a predetermined process for previously input information when executing a process using the identified information such as information retrieval.
  • the process specified by the identified information such as the start of the application program, is executed, the predetermined process is requested first. Since it is usually the order of specifying what processing is executed as a command after indicating that, the combination of execution as the second processing is preferable.
  • input such as information to be searched and the type of application program to be started is usually specified by letters or numbers, so it is preferable to use a touch pen that can input detailed information. It is preferable to use an operator's finger because it is only necessary to specify a rough range for specifying the area where the displayed letters and numbers are displayed.
  • the present invention can also be specified as an information input control program that operates in the information processing apparatus according to the present invention.
  • An information input control program corresponding to the first invention is an input for executing an input operation on a touch screen in an information processing apparatus having a touch screen capable of inputting information by the first input means and the second input means.
  • An information input control program corresponding to the second invention is an input for executing an input operation on a touch screen in an information processing apparatus including a touch screen capable of inputting information by the first input means and the second input means.
  • a step of identifying whether the means is the first input means or the second input means; and when the input means that has performed the input operation is identified as the second input means, A step of recognizing an area on the touch screen designated by the input operation executed by the input means, and detecting the input operation executed by the first input means in the area and inputting the area by the input operation
  • An information identifying step and a step of executing a predetermined process related to the information when the information is identified.
  • An information input control program corresponding to a third aspect of the present invention provides an information processing apparatus provided with a touch screen capable of inputting information by the first input means and the second input means, and performing an input operation on the touch screen
  • An input means identifying step for identifying whether the means is the first input means or the second input means, and the input means that executed the input operation in the input means identifying step is identified as the first input means.
  • the step of identifying the information input by the first input means and outputting it to the touch screen, and the second input means for designating the area on the touch screen where the information is displayed Detecting the input operation performed, executing the first process related to the information when the input operation is detected, A step of recognizing an area on the touch screen designated by the input operation executed by the second input means when the input means that has executed the input operation in the force means identification step is identified as the second input means; Detecting an input operation performed by the first input means in the area and identifying information input by the input operation; and when the information is identified, a second associated with the information And an information input control program characterized by causing the process to be executed.
  • the predetermined process is a process using the information or a process for requesting an operation for executing the process using the information, or It may be a process that requests a process specified by information or an operation for executing a process specified by the information. The same applies to the first process and the second process in the information input control program corresponding to the third invention.
  • the first process is a process for requesting an operation for executing the process using the information or the process using the information.
  • the process may be a process that requests an operation for executing a process specified by the information or a process specified by the information.
  • the first input means may be a touch pen for a touch screen, and the second input means may be a finger of an operator of the information output device.
  • an information processing apparatus such as a tablet computer or a smartphone that inputs information through a touch screen
  • combining two input means such as a touch pen and a finger
  • the execution of the process can be realized by an intuitive operation, and it can be expected that the operability of the information processing apparatus including the touch screen is improved.
  • FIG. 1 shows an example of the configuration of an information processing apparatus according to the present invention.
  • the input / output of information to / from the tablet computer main body 10 may be provided with means used for executing other input / output functions such as voice input and output to an external device in addition to the touch screen 20.
  • the input / output using at least the touch screen 20 is possible.
  • the calculation result in the tablet computer main body 10 is displayed on the screen, and information is input by touching the screen with a touch pen or a finger or drawing characters or figures. Is called.
  • the tablet computer main body 10 is a computer including an auxiliary storage device such as a CPU, a main memory, and an HDD.
  • the input / output control unit 11, the input means identification unit 12, and the application execution unit 13 provided in the tablet computer main body 10 are all functionally specified, and programs corresponding to the respective functions are stored in the auxiliary storage device.
  • a predetermined function is realized by executing arithmetic processing by the CPU.
  • a predetermined storage area of the auxiliary storage device is assigned to the application setting unit 14.
  • the input / output control unit 11 executes processing related to input / output of information from the touch screen 20. Specifically, contact of the touch pen or the finger with the touch screen 20 is detected, and an operation of pressing a button displayed on the touch screen is accepted, or a character or a figure drawn by the touch pen or the finger is identified and identified. Processing such as output of characters and graphics to the touch screen 20 is executed.
  • the program corresponding to the input / output control unit 11 is mainly included in the operating system (OS) of the tablet computer main body 10. However, other than the OS, the program may operate as middleware that links the OS and application programs. Good.
  • the input unit identification unit 12 executes a process of identifying a first input unit such as a touch pen that has touched the touch screen 20 and a second input unit such as a finger.
  • a first input unit such as a touch pen that has touched the touch screen 20
  • a second input unit such as a finger.
  • both input means to enable input (for example, touch that combines an electromagnetic induction method corresponding to input with a touch pen and a capacitance method corresponding to input with a finger)
  • a screen may be used, or an analog resistive film method that allows input by both sides may be adopted), and by what method the two are identified (for example, also shown in prior art documents) It is possible to distinguish between the two based on the size of the detection width, and to combine the electromagnetic induction method and the capacitance type corresponding to finger input.
  • touch screen can be identified by it has detected the input by either method) is not particularly limited.
  • the application execution unit 13 corresponds to various application programs such as a web browser, a camera application, a weather application, paint software, and document creation software.
  • the information input control program according to the present invention includes activation of these application programs corresponding to the application execution unit 13, reading of files in the application program, search using input information as a keyword, editing of input information, and the like. It controls the execution of a predetermined process and corresponds to a part of functions of the input / output control unit 11.
  • the application setting unit 14 has rules regarding what application program is to be started or what processing is to be executed in the application program in accordance with information such as characters and graphics output on the touch screen 20. Is set.
  • a first example of screen transition on the touch screen 20 shown in FIGS. 2 to 4 will be described.
  • an area is designated with a finger as a second input means, and processing using information such as characters is executed.
  • a process for requesting the above operation specifically, a selection button for causing the user to select one of a plurality of processes is output to the touch screen 20.
  • the user operates the touch screen 20 to start an application program capable of inputting information with a touch pen such as paint software and a finger in the tablet computer main body 10, and using the touch pen as a first input means, An operation of drawing a character (here, “tablet”) on the touch screen 20 is performed.
  • a touch pen such as paint software and a finger in the tablet computer main body 10
  • An operation of drawing a character here, “tablet”
  • the input means identifying unit 12 identifies that the input means is a touch pen, and the touch screen 20 shows a trace traced with the touch pen, that is, a drawn character. As shown in FIG. 2, the data is output as it is by the input / output control unit 11.
  • the initial screen on which the tablet computer main body 10 is activated may be set to be such an input screen.
  • the user performs an operation of drawing a trajectory that circles the character displayed on the touch screen 20 with the finger as the second input means.
  • the input means identifying unit 12 recognizes that the input means is a finger, while the input / output control unit 11 outputs a trace traced with the finger to the touch screen 20. The following processing is executed.
  • the character previously input with the touch pen (here, “tablet”) is displayed.
  • processing using the identified character in the example shown in FIG. 4, search processing using the identified character on the Web as a keyword (corresponding to the “Web” selection button) , Search processing of the file containing the identified character stored in the tablet computer main body 10 (corresponding to the “Note” selection button), save the identified character as a file and store it in another file or Web page, etc.
  • a process of outputting a screen that allows the user to select which process to execute by pressing the selection button that is, a process using the identified character
  • a selection button is displayed as in the example of FIG. 4 and a process to be requested by the user among the processes using the identified characters is selected by pressing the selection button with a touch pen or a finger, the selection is performed.
  • An application such as a Web browser corresponding to the processed process is started, and the selected process is executed.
  • the information input and identified by the touch pen is not limited to characters, and may be numbers or figures.
  • the trajectory surrounding a character or the like with a finger is not limited to a circle as long as the displayed area of the character or the like can be specified. Even if the trajectory that completely surrounds the character, etc. is not drawn, if the trajectory is clearly specified, such as overlapping the character etc. or drawing the auxiliary line connecting both ends to completely enclose the character etc., the character etc. It may be recognized as the designation of the area where is displayed.
  • the processing executed when the selection button is displayed and the selection button is pressed is not limited to the processing shown in the example of FIG. 4, and editing of the identified character or the like by the paint software or document creation software is not limited. Or processing such as copying, cutting, etc., and when the input by the touch pen is identified as a number, processing for executing a predetermined calculation using the identified number as an argument may be executed. However, it may be set so that these selectable processes can be changed. Further, the method for requesting an operation for executing processing using information such as the identified character is not limited to the output and pressing of the selection button as shown in the example of FIG. Depending on the method, the user may be requested to perform a desired process.
  • the process executed here is not limited to the process using information such as the identified character.
  • the identified character such as the start of an application program specified by the identified character, etc.
  • requires the operation for performing the process specified by this information may be performed.
  • the user operates the touch screen 20 to start an application program capable of inputting information with a touch pen such as paint software and a finger in the tablet computer main body 10, and using the touch pen as a first input means, An operation of drawing a character (here, “Weather”) on the touch screen 20 is performed.
  • a touch pen such as paint software and a finger in the tablet computer main body 10
  • An operation of drawing a character here, “Weather”
  • the input means identifying unit 12 identifies that the input means is a touch pen, and the touch screen 20 shows a trace traced with the touch pen, that is, a drawn character. As shown in FIG. 5, the data is output as it is by the input / output control unit 11.
  • the initial screen on which the tablet computer main body 10 is activated may be set to be such an input screen.
  • the user performs an operation of drawing a trajectory that circles the character displayed on the touch screen 20 with the finger as the second input means.
  • the input means identifying unit 12 recognizes that the input means is a finger, while the input / output control unit 11 outputs a trace traced with the finger to the touch screen 20. The following processing is executed.
  • processing executed after detecting the input by the finger is specified by information such as the identified character, but is not limited to the activation of the application program. For example, when the identified character is “invert”, the white and black of the entire touch screen 20 are reversed. When the identified character is “reset”, the character is displayed on the touch screen 20. Processing such as erasing information may be executed.
  • the process executed here is not limited to the process specified by the information such as the identified character.
  • the identified character on the web after starting the web browser is used as a keyword.
  • a process using the identified character may be executed like execution of a search process.
  • the information input and identified by the touch pen is not limited to characters, but may be for a figure (for example, if it is a sun figure, it is identified in the same way as a “Weather” character). Good.
  • the trajectory surrounding a character or the like with a finger is not limited to a circle as long as the displayed area of the character or the like can be specified. Even if the trajectory that completely surrounds the character, etc. is not drawn, if the trajectory is clearly specified, such as overlapping the character etc. or drawing the auxiliary line connecting both ends to completely enclose the character etc., the character etc. It may be recognized as the designation of the area where is displayed.
  • the user activates an application program capable of inputting information with a touch pen and a finger, such as paint software, using the tablet-type computer main body 10, and uses the finger as the second input means on the touch screen 20.
  • An operation to draw a locus of an enclosing figure such as an ellipse is performed.
  • the input means identifying unit 12 identifies that the input means is a finger, and the touch screen 20 has an elliptical shape traced with a finger as shown in FIG.
  • the locus of the enclosing figure is output by the input / output control unit 11 and the area designated by the enclosing figure is recognized.
  • the user inputs a character (here, “photo”) using a touch pen as the first input means in the area where the enclosed figure is displayed on the touch screen 20.
  • a character here, “photo”
  • the input means identifying unit 12 identifies that the input means is a touch pen, and the touch screen 20 inputs / outputs a trace traced with the touch pen, that is, a drawn character.
  • the following processing is executed while being output by the control unit 11.
  • the character (here, “photo”) input with the touch pen is identified in the area where the enclosing graphic drawn by the finger is displayed, and the application program corresponding to the identified character is read out from the rules of the application setting unit 14. Confirmation is performed, and a corresponding application program (camera application in this case) is started by the application execution unit 13.
  • the screen on the touch screen 20 transitions to the operation screen of the application program, but the area for displaying the operation screen of the application program may be the entire window opened on the touch screen 20 or as shown in FIG.
  • the image may be displayed in the area of the enclosed graphic drawn by the finger (in the example of FIG. 10, the viewfinder image output by the camera application is displayed in a black portion).
  • processing executed after detecting the input with the touch pen is specified by information such as the identified character, but is not limited to the activation of the application program. This is the same as the second example. For example, when the identified character is “invert”, the white and black of the entire touch screen 20 are reversed. When the identified character is “reset”, the character is displayed on the touch screen 20. Processing such as erasing information may be executed.
  • processing is not limited to the processing specified by the information such as the identified character.
  • the retrieval processing using the identified character on the web as a keyword after starting the web browser is performed.
  • the processing using the identified character may be executed as in the case of the second example described above.
  • the information input and identified by the touch pen is not limited to characters, but is intended for figures (for example, if the figure depicts a camera, “photo” identifies and activates the camera application). There may be.
  • the trajectory that surrounds a character or the like with a finger is not limited to a figure such as a circle as long as it can recognize a certain area, and an auxiliary line that connects both ends even if a closed trajectory is not drawn. A certain region may be set from the drawn locus, such as closing the box by pulling.
  • processing using information such as characters input by the touch pen is immediately executed, but processing using information such as characters is executed as in the first example.
  • a process for requesting an operation to be performed specifically, a selection button for selecting one of a plurality of processes is output to the touch screen 20 (for example, when “camera” is input) , “Photo” and “video” selection buttons may be output to allow the user to select one).
  • FIG. 11 to FIG. 12 show the processing flow by the information input control program operating in the information processing apparatus according to the present invention described above as flowcharts.
  • the information input control program according to the present invention is activated with the activation of a predetermined application program such as paint software (may be the activation of an information processing apparatus such as a tablet computer or a smartphone).
  • a predetermined application program such as paint software
  • an information processing apparatus such as a tablet computer or a smartphone.
  • the input means is a touch pen
  • the locus drawn by the touch pen is output to the touch screen (S03). Then, until the application program that has been the trigger for activation ends (S12), it is monitored whether there is a next input (S01).
  • the trajectory drawn by the finger on the touch screen is output to the touch screen (S04), and the area (enclosed area) designated by the trajectory drawn by the finger is recognized (S05). .
  • a process related to information identified as information input with the touch pen such as a process specified by the identified information, is executed (S07). Thereafter, until the application program that has been the trigger for activation ends (S12), it is monitored whether there is a next input (S01).
  • the process proceeds to the flowchart of FIG.
  • the recognized area enclosed area
  • S11 the application program that has been the trigger for activation ends
  • S12 it is monitored whether there is a next input (S01).
  • the enclosed area is erased, the presence / absence of input by the touch pen into the enclosed area is monitored (S08).
  • a locus drawn by the touch pen is output to the touch screen (S09), information input by the touch pen is identified, and processing using the identified information is performed.
  • a process related to information identified as information input with the touch pen such as a process specified by the identified information, is executed (S10). Thereafter, until the application program that has been the trigger for activation ends (S12), it is monitored whether there is a next input (S01).
  • the flowchart of FIG. 13 shows a first example
  • the flowchart of FIG. 14 shows a second example.
  • identification is performed as processing related to the information identified from the information input by the touch pen.
  • the first example shown in FIG. 13 is to execute the process using the identified information, and it is identified which of the process using the identified information and the process specified by the identified information is to be performed.
  • the second example shown in FIG. 14 is determined and executed according to the information.
  • information such as characters and numbers displayed by input with a touch pen is identified (S071)
  • the identified information is searched for as a keyword, and the identified information is filed.
  • a selection button for selecting one of the processes that can be executed using the identified information is output to the touch screen (S072).
  • S073 When an operation for selecting any selection button by the user is received (S073), the selected process is executed using the identified information as a keyword or the like (S074).
  • step S07 in the flowchart shown in FIG. 11 the processing to be executed is determined according to the order of inputting information with a touch pen and specifying an area with a finger.
  • some processing using the input information such as editing
  • the input of information is likely to be performed in this order, and the area is specified later. Therefore, as shown in the first example here, it is preferable to limit the process to be executed to the process using the identified information, but as in the second example shown in FIG. Processing specified by the identified information may be executable.
  • the selection button is output to the touch screen (S174).
  • a selection operation of any selection button by the user is accepted (S175), the selected process is executed using the identified information as a keyword or the like (S176).
  • the process executed using the identified information is selected by the user using the selection button, but the output of the selection button and the selection by the user
  • the process of accepting the operation may be omitted, the process executed using the identified information may be limited to one process, and the process using the identified information may be immediately executed.
  • the flowchart of FIG. 15 shows a first example
  • the flowchart of FIG. 16 shows a second example.
  • the process is related to the information identified from the information input by the touch pen, and is specified from the identified information.
  • the first example shown in FIG. 15 determines whether to execute the process specified by the identified information or the process using the identified information based on the identified information.
  • the second example shown in FIG. 16 is executed.
  • information such as characters and numbers input with the touch pen is identified (S101), an application program specified from the identified information is started, and processing is executed (S102). ). If the application program cannot be specified by the identified information, error processing may be executed, such as automatically deleting the input information after a certain time has elapsed.
  • the processing to be executed is determined according to the order of area designation with the finger and information input with the touch pen.
  • the input information is a command for starting an application or the like. In the case where the information itself is not stored and used, this order is likely to occur. Therefore, as shown in the first example here, it is preferable to limit the processing to be executed to the processing specified by the identified information, but as in the second example shown in FIG. Processing using the identified information may be executable.
  • the selection button is output to the touch screen (S204).
  • a selection operation of one of the selection buttons by the user is accepted (S205)
  • the selected process is executed using the identified information as a keyword or the like (S206).
  • the process executed using the identified information in the second example is selected by the user using the selection button, but is identified by omitting the selection button output and the selection acceptance process by the user. It is also possible to limit the processing executed using the information to one processing and immediately execute the processing using the identified information.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　タブレット型コンピュータやスマートフォン等の情報処理装置において、アプリケーションプログラムの起動、情報の検索や編集などを行うための情報の入力操作を、タッチペンと指という二つの入力手段を組合せることによる直感的な操作によって、多様な処理の実行を実現する。本発明に係る情報処理装置には、タッチペンなどの第１の入力手段と、指などの第２の入力手段を識別したうえで、第１の入力手段によって入力された情報を識別し、第２の入力手段によって指定された領域を認識して、認識された領域内において識別された情報から、アプリケーションプログラムの起動、情報の検索や編集といった所定の処理を実行する情報入力制御プログラムが備えられており、２つの入力手段を用いた直感的な操作によって、多様な処理の実行が可能となっている。

Description

情報処理装置及び情報入力制御プログラム
　本発明は、タブレット型コンピュータやスマートフォン等の情報処理装置、及びこれらの情報処理装置において情報の検索や編集、アプリケーションプログラムの起動などを行う際の情報の入力処理に用いられる情報入力制御プログラムに関するものである。
　近年、タブレット型コンピュータやスマートフォンなど、情報処理機能を備えた携帯型のネットワーク端末が急速に普及しているが、これらの端末への情報の入出力には、入力装置と表示装置が一体化されたタッチスクリーン（タッチパネル）が用いられることが多い。タッチスクリーンへの入力はスクリーンにタッチすることによって行われるが、スクリーンへの入力手段には、主としてタッチペンによるものと指によるものがある。
　タッチペンによる入力は、小さな文字の入力や細かいボタン操作などに適しているというメリットがあるものの、タッチペンを持ち歩かなければならないことがデメリットになる。一方の指による入力は、小さな文字の入力や細かいボタンの操作には適さないものの、直感的に操作できる、タッチペンを持ち歩く必要がないといったメリットがある。
　こうした両者の特性を活かすため、タッチペン、指のいずれによっても入力が可能で、入力手段がタッチペンであるか、指であるかを識別できる入力装置に関する発明が開示されている（例えば、特許文献１参照）。また、入力手段がタッチペンであるか、指であるかによって、操作用のボタンの配置や大きさを変更する発明（例えば、特許文献２参照）や、タッチペンであれば情報の入力、指であればページのスクロールのように、入力手段によって異なる機能を実行する発明（例えば、特許文献３、４参照）が開示されている。
特開２００１－４３００３号公報 特開２０１０－１８２０７１号公報 特開２００８－１０８２３３号公報 特開２００４－２１３３１２号公報
　特許文献３、４に例示した発明によると、情報の入力など細かい操作が要求される機能はタッチペンで、ページのスクロールのように直感的に操作が好ましい機能は指で、それぞれ入力するよう設定することが可能になる。しかしながら、これらによって可能なのは、あらかじめそれぞれの入力手段に割り当てられた機能に限られており、両者を組み合わせることによって、多様な機能や直感的な操作を実現することはできない。
　本発明は、このような課題に対応するためになされたものであり、タブレット型コンピュータやスマートフォン等の情報処理装置において、情報の検索や編集、アプリケーションプログラムの起動などを行うための情報の入力操作を、タッチペンと指という二つの入力手段を組み合わせた直感的な操作によって、多様な処理の実行の実現に資する情報処理装置及び情報入力制御プログラムを提供することを目的とするものである。
　本発明では、タッチペンなどの第１の入力手段、指などの第２の入力手段の双方によって情報の入力が可能なタブレット型コンピュータやスマートフォン等の情報処理装置において、第１の入力手段によって入力された情報と、第２の入力手段によって指定された領域の組み合せによって、情報の検索や編集、アプリケーションプログラムの起動といった所定の処理を実行するよう構成することによって、２つの入力手段を用いた直感的な操作によって、多様な処理の実行を可能にしている。
　本願にかかる課題を解決する第１の発明は、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する手段と、前記入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、前記入力操作が検出されると、前記情報に関連する所定の処理を実行する手段と、を備えることを特徴とする情報処理装置である。
　本願にかかる課題を解決する第２の発明は、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する手段と、前記入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、前記情報が識別されると、前記情報に関連する所定の処理を実行する手段と、を備えることを特徴とする情報処理装置である。
　本願にかかる課題を解決する第３の発明は、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別手段と、前記入力手段識別手段によって入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、前記入力操作が検出されると、前記情報に関連する第１の処理を実行する手段と、前記入力手段識別手段によって入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、前記情報が識別されると、前記情報に関連する第２の処理を実行する手段と、を備えることを特徴とする情報処理装置である。
　本発明では、第１の入力手段にタッチペンを、第２の入力手に指を用いることが好ましい。第１の発明では、タッチペンによる入力によってタッチスクリーンに表示された文字等を、指によって丸く囲むといった領域を指定する操作を行うことによって、表示されている文字等の情報に関連する、情報の検索やアプリケーションプログラムの起動などの処理が実行される。第２の発明では、指で丸を描くといった領域指定の操作の後に、指定された領域にタッチペンによる入力によって文字等が書き込まれると、書き込まれた文字等の情報に関連するアプリケーションプログラムの起動や情報の検索などの処理が実行される。第３の発明はこれらを組み合わせたものであるが、いずれの発明においても、タッチペンによる入力によって入力された文字等から特定される多様な処理を実行することが可能となっている。
　第１の発明及び第２の発明において、前記所定の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理、若しくは前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴とすることもできる。第３の発明における前記第１の処理及び前記第２の処理についても同様である。
　前記情報を用いた処理には、例えば、識別された情報をキーワードとする検索処理、識別された情報をファイル化する処理やファイル化して編集可能な状態にする処理などが該当する。また、前記情報を用いた処理を実行するための操作を要求する処理には、例えば、識別された情報を用いた複数の処理の中から、ユーザに所望の処理を選択させるための選択ボタンの出力などが該当する。前記情報によって特定される処理には、例えば、識別された情報に対応するアプリケーションプログラムを起動する処理などが該当する。また、前記情報によって特定される処理を実行するための操作を要求する処理には、例えば、識別された情報から特定される複数の処理の中から所望の処理を選択させるための選択ボタンの出力などが該当する。
　このように設定することによって、タッチペンによる入力によって入力された情報から、情報の検索や編集、起動するアプリケーションプログラムの特定などが可能になるので、ユーザは要求する処理をタッチペンで入力し、表示された文字や数字を指で囲むといった直感的な操作によって、所望の機能を実現することができる。
　第３の発明において、前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴とすることもできる。前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報出力装置の操作者の指であることを特徴としてもよい。
　第３の発明における第１の処理と第２の処理は、情報の検索など、識別された情報を用いた処理を実行する際には、先に入力されている情報に対して、所定の処理を要求するという順序になるのが通常なので、第１の処理として実行し、アプリケーションプログラムの起動など、識別された情報により特定される処理を実行する際には、先に所定の処理を要求することを示したうえで、どのような処理を実行するかをコマンドとして特定するという順序になるのが通常なので、第２の処理として実行するという組合せが好適である。
　このうち、検索対象となる情報や起動するアプリケーションプログラムの種別などの入力には、文字や数字などによって特定されることが通常なので、細かな情報の入力が可能なタッチペンを用いることが好ましく、入力された文字や数字が表示された領域の指定にはおおまかな範囲が指定できればよいので、操作者の指を用いることとするのが好ましい。
　本発明は、本発明にかかる情報処理装置において動作する情報入力制御プログラムとして特定することもできる。
　第１の発明に対応する情報入力制御プログラムは、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別するステップと、前記入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、前記入力操作が検出されると、前記情報に関連する所定の処理を実行するステップと、を実行させることを特徴とする情報入力制御プログラムである。
　第２の発明に対応する情報入力制御プログラムは、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別するステップと、前記入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、前記情報が識別されると、前記情報に関連する所定の処理を実行するステップと、を実行させることを特徴とする情報入力制御プログラムである。
　第３の発明に対応する情報入力制御プログラムは、第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別ステップと、前記入力手段識別ステップにおいて入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、前記入力操作が検出されると、前記情報に関連する第１の処理を実行するステップと、前記入力手段識別ステップにおいて入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、前記情報が識別されると、前記情報に関連する第２の処理を実行するステップと、を実行させることを特徴とする情報入力制御プログラムである。
　第１の発明及び第２の発明に対応する情報入力制御プログラムにおいて、前記所定の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理、若しくは前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴としてもよい。第３の発明に対応する情報入力制御プログラムにおける前記第１の処理及び前記第２の処理についても同様である。
　第３の発明に対応する情報入力制御プログラムにおいて、前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であることを特徴とすることもできる。前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報出力装置の操作者の指であることを特徴としてもよい。
　本発明によると、タッチスクリーンにより情報を入力するタブレット型コンピュータやスマートフォン等の情報処理装置において、タッチペンと指という二つの入力手段を組み合わせることによって、情報の検索や編集、アプリケーションプログラムの起動など多様な処理の実行を、直感的な操作によって実現することが可能になり、タッチスクリーンを備えた情報処理装置の操作性が向上することが期待できる。
本発明にかかる情報処理装置の構成を示すブロック図である。 本発明におけるタッチスクリーン上の画面推移の第１の例における、第１の図である。 本発明におけるタッチスクリーン上の画面推移の第１の例における、第２の図である。 本発明におけるタッチスクリーン上の画面推移の第１の例における、第３の図である。 本発明におけるタッチスクリーン上の画面推移の第２の例における、第１の図である。 本発明におけるタッチスクリーン上の画面推移の第２の例における、第２の図である。 本発明におけるタッチスクリーン上の画面推移の第２の例における、第３の図である。 本発明におけるタッチスクリーン上の画面推移の第３の例における、第１の図である。 本発明におけるタッチスクリーン上の画面推移の第３の例における、第２の図である。 本発明におけるタッチスクリーン上の画面推移の第３の例における、第３の図である。 本発明にかかる情報入力制御プログラムの処理フローを示した第１のフローチャートである。 本発明にかかる情報入力制御プログラムの処理フローを示した第２のフローチャートである。 図１１に示したフローチャートのＳ０７における詳細なフローの第１の例を示したフローチャートである。 図１１に示したフローチャートのＳ０７における詳細なフローの第２の例を示したフローチャートである。 図１２に示したフローチャートのＳ１０における詳細なフローの第１の例を示したフローチャートである。 図１２に示したフローチャートのＳ１０における詳細なフローの第２の例を示したフローチャートである。
　本発明を実施するための形態について、図面を用いて以下に詳細に説明する。尚、以下の説明は、本発明の実施形態の一例を示したものであって、本発明はかかる実施形態に限定されるものではない。
　図１は、本発明にかかる情報処理装置の構成の一例を示している。本発明には、タブレット型コンピュータやスマートフォンなどの、タッチスクリーンによる入出力機能を備えた情報処理装置が用いられる。
　タブレット型コンピュータ本体１０への情報の入出力は、タッチスクリーン２０の他にも、音声入力や外部デバイスへの出力など他の入出力機能の実行に用いられる手段を備えるものであってもよいが、少なくともタッチスクリーン２０を用いた入出力が可能な構成となっている。タッチスクリーン２０には、タブレット型コンピュータ本体１０での演算結果がスクリーン上に表示されるとともに、タッチペンや指でスクリーンにタッチしたり、文字や図形を描画したりすることによって、情報の入力が行われる。
　タブレット型コンピュータ本体１０は、ＣＰＵ、メインメモリ、ＨＤＤ等の補助記憶装置を備えたコンピュータである。タブレット型コンピュータ本体１０に備えられる入出力制御部１１、入力手段識別部１２、アプリケーション実行部１３は、いずれも機能的に特定されるものであって、各々の機能に対応するプログラムが補助記憶装置からメインメモリに読み出され、ＣＰＵで演算処理を実行することによって所定の機能が実現される。アプリケーション設定部１４には、補助記憶装置の所定の記憶領域が割り当てられる。
　入出力制御部１１は、タッチスクリーン２０からの情報の入出力にかかる処理を実行する。具体的には、タッチスクリーン２０へのタッチペンや指の接触を検出し、タッチスクリーン上に表示されたボタンを押下する操作の受付けや、タッチペンや指によって描かれた文字や図形の識別、識別した文字や図形のタッチスクリーン２０への出力などの処理を実行する。入出力制御部１１に対応するプログラムは、主にタブレット型コンピュータ本体１０のオペレーティングシステム（ＯＳ）に含まれるが、ＯＳ以外にも、ＯＳとアプリケーションプログラムを連携させるミドルウェアとして動作するものであってもよい。
　入力手段識別部１２は、タッチスクリーン２０に接触したタッチペンなどの第１の入力手段と、指などの第２の入力手段を識別する処理を実行する。本発明では、タッチペンなどの第１の入力手段、指などの第２の入力手段の双方によってタッチスクリーンからの情報の入力が可能であるとともに、いずれの入力手段によって入力されたかを識別可能であることが必要になるが、どのような方式によって双方の入力手段による入力を可能にするか（例えば、タッチペンによる入力に対応する電磁誘導方式と指による入力に対応する静電容量式を組み合わせたタッチスクリーンを用いることとしてもよいし、双方での入力が可能なアナログ抵抗膜方式を採用することとしてもよい）、どのような方式によって両者を識別するか（例えば、先行技術文献にも示されているように検出幅の大小によって両者を識別することが可能であるし、電磁誘導方式と指による入力に対応する静電容量式を組み合わせたタッチスクリーンを用いる場合には、いずれの方式により入力を検出したかにより識別することが可能である）は、特に限定されるものではない。
　アプリケーション実行部１３には、Ｗｅｂブラウザ、カメラアプリ、天気アプリ、ペイントソフト、文書作成ソフトなどの様々なアプリケーションプログラムが対応する。本発明にかかる情報入力制御プログラムは、アプリケーション実行部１３に対応するこれらのアプリケーションプログラムの起動や、アプリケーションプログラムにおけるファイルの読出し、入力された情報をキーワードとする検索、入力された情報の編集などの所定の処理の実行を制御するもので、入出力制御部１１の一部の機能に対応するものである。
　アプリケーション設定部１４には、タッチスクリーン２０に出力された文字や図形などの情報に対応して、どのようなアプリケーションプログラムを起動するか、あるいはアプリケーションプログラムにおいてどのような処理を実行するかのルールが設定されている。
　以上の構成を前提に、図２～図４に示した、タッチスクリーン２０上における画面の推移の第１の例について説明する。第１の例は、第１の入力手段であるタッチペンで入力した文字等の情報について、第２の入力手段である指で領域を指定して、文字等の情報を用いた処理を実行するための操作を要求する処理、具体的には、複数の処理の中からいずれかの処理をユーザに選択させるための選択ボタンをタッチスクリーン２０に出力するものである。
　まず、ユーザがタッチスクリーン２０を操作して、タブレット型コンピュータ本体１０においてペイントソフトなどのタッチペンと指により情報の入力が可能なアプリケーションプログラムを起動し、第１の入力手段であるタッチペンを用いて、タッチスクリーン２０上に文字（ここでは「ｔａｂｌｅｔ」）を描く操作を行う。
　この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段がタッチペンであると識別され、タッチスクリーン２０には、タッチペンでなぞられた軌跡、すなわち描かれた文字が、図２に示したように、入出力制御部１１によってそのまま出力される。尚、タブレット型コンピュータ本体１０を起動した初期画面が、このような入力画面となる設定であってもよい。
　次に、図３に示したように、ユーザがタッチスクリーン２０上に表示された文字を、第２の入力手段である指で、丸く囲むような軌跡を描く操作を行う。この操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段が指であると識別され、タッチスクリーン２０には、指でなぞられた軌跡を入出力制御部１１によって出力しながら、以下の処理を実行する。
　タッチスクリーン２０上の指でなぞられた領域には、先にタッチペンで入力された文字（ここでは「ｔａｂｌｅｔ」）が表示されている。この文字を識別するとともに、識別された文字を用いた処理、図４に示した例であれば、Ｗｅｂ上での識別された文字をキーワードとする検索処理（「Ｗｅｂ」の選択ボタンに対応）、タブレット型コンピュータ本体１０に保存された識別された文字を含むファイルの検索処理（「Ｎｏｔｅ」の選択ボタンに対応）、識別された文字をファイル化して保存するとともに他のファイルやＷｅｂページ等にリンクさせる処理（「Ｌｉｎｋ」の選択ボタンに対応）のうち、いずれの処理を実行するかを選択ボタンの押下によってユーザに選択させる画面を出力する処理、すなわち、識別された文字を用いた処理を実行するための操作を要求する処理を実行する。
　図４の例のように選択ボタンが表示され、識別された文字を用いた処理のうち、ユーザがいずれの処理を要求するかが、タッチペン又は指による選択ボタンの押下によって選択されると、選択された処理に対応するＷｅｂブラウザ等のアプリケーションが起動され、選択された処理が実行される。
　尚、タッチペンによって入力され、識別される情報は文字に限られるものではなく、数字や図形などを対象にするものであってもよい。また、指によって文字等を囲う軌跡は、文字等の表示された領域が指定できるものであれば、円に限られるものではない。文字等を完全に囲う軌跡が描かれなくても、文字等に重なる、両端を結ぶ補助線を引けば文字等が完全に囲われるなど、文字等の指定が明らかな軌跡であれば、文字等が表示された領域の指定と認識することとしてもよい。
　また、選択ボタンが表示され、選択ボタンの押下によって実行される処理は、図４の例に示した処理に限定されるものではなく、ペイントソフトや文書作成ソフトでの識別された文字等の編集やコピー、切取りなどの処理、タッチペンにより入力されたものが数字であると識別された場合には、識別された数字を引数として所定の計算を実行する処理などを実行するものであってもよいし、これらの選択可能な処理を変更できるように設定されていてもよい。さらに、識別された文字等の情報を用いた処理を実行するための操作を要求する方法も、図４の例に示したような選択ボタンの出力、押下に限定されるものではなく、他の方法によってユーザに対して実行したい処理を要求させるものであってもよい。
　さらに、ここで実行される処理は、識別された文字等の情報を用いた処理に限定されるものではなく、例えば、識別された文字によって特定されるアプリケーションプログラムの起動など、識別された文字等の情報によって特定される処理を実行するための操作を要求する処理を実行するものであってもよい。
　続いて、図５～図７に示した、タッチスクリーン２０上における画面の推移の第２の例について説明する。第２の例は、第１の入力手段であるタッチペンで入力した文字等の情報について、第２の入力手段である指で領域を指定して、文字等の情報を用いた処理を実行するものである。
　まず、ユーザがタッチスクリーン２０を操作して、タブレット型コンピュータ本体１０においてペイントソフトなどのタッチペンと指により情報の入力が可能なアプリケーションプログラムを起動し、第１の入力手段であるタッチペンを用いて、タッチスクリーン２０上に文字（ここでは「Ｗｅａｔｈｅｒ」）を描く操作を行う。
　この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段がタッチペンであると識別され、タッチスクリーン２０には、タッチペンでなぞられた軌跡、すなわち描かれた文字が、図５に示したように、入出力制御部１１によってそのまま出力される。尚、タブレット型コンピュータ本体１０を起動した初期画面が、このような入力画面となる設定であってもよい。
　次に、図６に示したように、ユーザがタッチスクリーン２０上に表示された文字を、第２の入力手段である指で、丸く囲むような軌跡を描く操作を行う。この操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段が指であると識別され、タッチスクリーン２０には、指でなぞられた軌跡を入出力制御部１１によって出力しながら、以下の処理を実行する。
　タッチスクリーン２０上の指でなぞられた領域には、先にタッチペンで入力された文字（ここでは「Ｗｅａｔｈｅｒ」）が表示されている。この文字を識別して、識別された文字によって特定されるアプリケーションプログラムをアプリケーション設定部１４のルールを読み出して確認し、対応するアプリケーションプログラム（ここでは天気アプリ）をアプリケーション実行部１３で起動して、図７に示したように、タッチスクリーン２０上に表示させる。
　尚、指による入力を検出した後に実行される処理は、識別された文字等の情報によって特定されるものであるが、アプリケーションプログラムの起動に限定されるものではない。例えば、識別された文字が「ｉｎｖｅｒｔ」だった場合には、タッチスクリーン２０全体の白と黒を反転させる、識別された文字が「ｒｅｓｅｔ」だった場合には、タッチスクリーン２０に表示されている情報を消去する、といった処理を実行するものであってもよい。
　また、ここで実行する処理は、識別された文字等の情報によって特定される処理に限定されるものでもなく、例えば、Ｗｅｂブラウザを起動してのＷｅｂ上での識別された文字をキーワードとする検索処理の実行のように、識別された文字を用いた処理を実行するものであってもよい。
　また、タッチペンによって入力され、識別される情報は文字に限られるものではなく、図形（例えば、太陽の図形であれば「Ｗｅａｔｈｅｒ」の文字と同様に識別する）を対象にするものであってもよい。また、指によって文字等を囲う軌跡は、文字等の表示された領域が指定できるものであれば、円に限られるものではない。文字等を完全に囲う軌跡が描かれなくても、文字等に重なる、両端を結ぶ補助線を引けば文字等が完全に囲われるなど、文字等の指定が明らかな軌跡であれば、文字等が表示された領域の指定と認識することとしてもよい。
　続いて、図８～図１０に示した、タッチスクリーン２０上における画面の推移の第３の例について説明する。第３の例は、第２の入力手段である指で指定した領域に、第１の入力手段であるタッチペンで文字等の情報を入力して、文字等の情報を用いた処理を実行するものである。
　まず、ユーザがタブレット型コンピュータ本体１０を用いて、ペイントソフトなどのタッチペンと指により情報の入力が可能なアプリケーションプログラムを起動し、第２の入力手段である指を用いて、タッチスクリーン２０上に楕円形などの囲み図形の軌跡を描く操作を行う。
　この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段が指であると識別され、タッチスクリーン２０には、図８に示したように、指でなぞられた楕円形などの囲み図形の軌跡を入出力制御部１１によって出力するとともに、囲み図形によって指定された領域を認識しておく。
　次に、図９に示したように、ユーザがタッチスクリーン２０上に囲み図形が表示された領域に、第１の入力手段であるタッチペンを用いて、文字（ここでは「ｐｈｏｔｏ」）を入力する。この入力操作を検出したタブレット型コンピュータ本体１０では、入力手段識別部１２において入力手段がタッチペンであると識別され、タッチスクリーン２０には、タッチペンでなぞられた軌跡、すなわち描かれた文字を入出力制御部１１によって出力しながら、以下の処理を実行する。
　指によって描かれた囲み図形が表示された領域にタッチペンで入力された文字（ここでは「ｐｈｏｔｏ」）を識別して、識別された文字に対応するアプリケーションプログラムをアプリケーション設定部１４のルールを読み出して確認し、対応するアプリケーションプログラム（ここではカメラアプリ）をアプリケーション実行部１３で起動する。タッチスクリーン２０上の画面は、アプリケーションプログラムの操作画面に遷移するが、アプリケーションプログラムの操作画面を表示する領域は、タッチスクリーン２０上に開かれたウィンドウ全面としてもよいし、図１０に示したように、指によって描かれた囲み図形の領域内に表示させることとしてもよい（図１０の例では、カメラアプリによって出力されるファインダーの映像が黒色の部分に表示されるものとする）。
　尚、タッチペンによる入力を検出した後に実行される処理は、識別された文字等の情報によって特定されるものであるが、アプリケーションプログラムの起動に限定されるものではないことは、先に説明した第２の例と同様である。例えば、識別された文字が「ｉｎｖｅｒｔ」だった場合には、タッチスクリーン２０全体の白と黒を反転させる、識別された文字が「ｒｅｓｅｔ」だった場合には、タッチスクリーン２０に表示されている情報を消去する、といった処理を実行するものであってもよい。
　また、識別された文字等の情報によって特定される処理に限定されるものでもなく、例えば、Ｗｅｂブラウザを起動してのＷｅｂ上での識別された文字をキーワードとする検索処理の実行のように、識別された文字を用いた処理を実行するものであってもよいことも、先に説明した第２の例の場合と同様である。
　さらに、タッチペンによって入力され、識別される情報は文字に限られるものではなく、図形（例えば、カメラを描いた図形であれば「ｐｈｏｔｏ」と識別してカメラアプリを起動）を対象にするものであってもよい。さらに、指によって文字等を囲う軌跡は、一定の領域を認識できるものであれば円などの図形に限られるものではなく、囲みが閉じられた軌跡が描かれなくても、両端を結ぶ補助線を引いて囲みを閉じるなど、描かれた軌跡から一定の領域を設定することとすればよい。
　尚、以上の第３の例では、タッチペンによって入力された文字等の情報を用いた処理を直ちに実行することとしているが、第１の例と同様に、文字等の情報を用いた処理を実行するための操作を要求する処理、具体的には、複数の処理の中からいずれかの処理を選択させるための選択ボタンをタッチスクリーン２０に出力する（例えば、「ｃａｍｅｒａ」と入力された場合に、「ｐｈｏｔｏ」と「ｖｉｄｅｏ」の選択ボタンを出力してユーザにいずれかを選択させる）こととしてもよい。
　以上に説明した本発明にかかる情報処理装置において動作する、情報入力制御プログラムによる処理フローをフローチャートとして示したのが、図１１～１２である。
　本発明にかかる情報入力制御プログラムは、ペイントソフトなどの所定のアプリケーションプログラムの起動（タブレット型コンピュータやスマートフォンなどの情報処理装置の起動であってもよい）をトリガとして起動される。まず、図１１のフローチャートに示したように、タッチスクリーンに何らかの情報の入力が検出されると（Ｓ０１）、入力手段がタッチペンであるか、指であるかを識別する（Ｓ０２）。
　入力手段がタッチペンであれば、タッチペンによって描かれた軌跡をタッチスクリーンに出力する（Ｓ０３）。そして、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。
　入力手段が指であれば、タッチスクリーン上に指によって描かれた軌跡をタッチスクリーンに出力するとともに（Ｓ０４）、指で描かれた軌跡によって指定された領域（囲み領域）を認識する（Ｓ０５）。認識された領域（囲み領域）に、タッチペンで入力された情報が表示されているかを確認し（Ｓ０６）、表示されている場合にはその情報を識別して、識別された情報を用いた処理、識別された情報によって特定される処理など、タッチペンで入力された情報として識別された情報に関連する処理を実行する（Ｓ０７）。その後は、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。
　タッチスクリーン上の認識された領域に、タッチペンによって入力された情報が表示されていない場合は、図１２のフローチャートに移行する。認識された領域（囲み領域）の範囲内に、タッチペンによる入力がないかを監視して（Ｓ０８）、入力がなく、タッチスクリーン上の囲み領域が消去される操作が実行されたことが検出されると（Ｓ１１）、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。囲み領域が消去されるまでは、囲み領域の範囲内へのタッチペンによる入力の有無を監視する（Ｓ０８）。
　囲み領域内にタッチペンによる入力が検出されると、タッチペンによって描かれた軌跡をタッチスクリーンに出力するとともに（Ｓ０９）、タッチペンによって入力された情報を識別して、識別された情報を用いた処理、識別された情報によって特定される処理など、タッチペンで入力された情報として識別された情報に関連する処理を実行する（Ｓ１０）。その後は、起動のトリガとなったアプリケーションプログラムが終了するまでは（Ｓ１２）、次の入力がないかを監視する（Ｓ０１）。
　図１１に示したフローチャートのＳ０７における詳細なフローについて、図１３のフローチャートは第１の例を、図１４のフローチャートは第２の例を示している。タッチペンによって入力された情報が表示されている部分に、指での入力操作による領域（囲み領域）が認識された場合に、タッチペンによって入力された情報から識別された情報に関連する処理として、識別された情報を用いた処理を実行するのが図１３に示した第１の例、識別された情報を用いた処理と識別された情報によって特定される処理のいずれを実行するかを識別された情報によって決定して実行するのが、図１４に示した第２の例である。
　図１３に示した第１の例では、タッチペンでの入力によって表示されている文字、数字などの情報を識別し（Ｓ０７１）、識別された情報をキーワードとする検索、識別された情報のファイル化など、識別された情報を用いて実行可能な処理から、いずれかの処理を選択させるための選択ボタンをタッチスクリーンに出力する（Ｓ０７２）。ユーザによるいずれかの選択ボタンを選択する操作を受け付けると（Ｓ０７３）、識別された情報をキーワード等に用いて、選択された処理を実行する（Ｓ０７４）。
　図１１に示したフローチャートのＳ０７は、タッチペンによる情報の入力、指による領域の指定という順序によって実行する処理が決定されるが、一般に、ペイントソフトや文書作成ソフトで入力した文字等を用いて検索、編集を行うなど、入力した情報を用いて何らかの処理を実行したいケースでは、このように情報の入力が先、領域の指定が後という順序になりやすい。そのため、ここでは第１の例として示したように、実行する処理を、識別された情報を用いた処理に限定するのが好適であるが、図１４に示した第２の例のように、識別された情報により特定される処理も実行可能としてもよい。
　図１４に示した第２の例では、タッチペンでの入力によって表示されている文字、数字などの情報を識別すると（Ｓ１７１）、識別された情報が所定のアプリケーションに対応して、あらかじめ登録されている登録語に該当するかを判断し（Ｓ１７２）、登録語に該当する場合には、識別された情報から特定されるアプリケーションプログラムを起動して、処理を実行する（Ｓ１７３）。
　登録語に該当しない場合には、識別された情報をキーワードとする検索、識別された情報のファイル化など、識別された情報を用いて実行可能な処理から、いずれかの処理を選択させるための選択ボタンをタッチスクリーンに出力する（Ｓ１７４）。ユーザによるいずれかの選択ボタンの選択操作を受け付けると（Ｓ１７５）、識別された情報をキーワード等に用いて、選択された処理を実行する（Ｓ１７６）。
　尚、ここでは第１の例、第２の例のいずれにおいても、識別された情報を用いて実行する処理は、選択ボタンによってユーザが選択することとしているが、選択ボタンの出力とユーザによる選択操作を受け付ける工程を省略して、識別された情報を用いて実行する処理を一つの処理に限定し、識別された情報を用いた処理を直ちに実行することとしてもよい。
　図１２に示したフローチャートのＳ１０における詳細なフローについて、図１５のフローチャートは第１の例を、図１６のフローチャートは第２の例を示している。指での入力操作によって認識された領域（囲み領域）に、タッチペンによって情報が入力された場合に、タッチペンによって入力された情報から識別された情報に関連する処理として、識別された情報から特定される処理を実行するのが図１５に示した第１の例、識別された情報によって特定される処理と識別された情報を用いた処理のいずれを実行するかを識別された情報によって決定して実行するのが、図１６に示した第２の例である。
　図１５に示した第１の例では、タッチペンによって入力された文字、数字などの情報を識別し（Ｓ１０１）、識別された情報から特定されるアプリケーションプログラムを起動して、処理を実行する（Ｓ１０２）。尚、識別された情報によってアプリケーションプログラムが特定できない場合には、一定の時間が経過したら入力された情報を自動消去するなど、エラー処理を実行することとすればよい。
　図１２に示したフローチャートのＳ１０は、指による領域の指定、タッチペンによる情報の入力という順序によって実行する処理が決定されるが、一般に、入力される情報はアプリケーションの起動などのコマンドとなるものであって、その情報自体を保存して利用するものでないケースで、このような順序になりやすい。そのため、ここでは第１の例として示したように、実行する処理を識別された情報によって特定される処理に限定するのが好適であるが、図１６に示した第２の例のように、識別された情報を用いた処理も実行可能としてもよい。
　図１６に示した第２の例では、タッチペンによって入力された文字、数字などの情報を識別すると（Ｓ２０１）、識別された情報が所定のアプリケーションに対応して、あらかじめ登録されている登録語に該当するかを判断し（Ｓ２０２）、登録語に該当する場合には、識別された情報から特定されるアプリケーションプログラムを起動して、アプリケーションの処理を実行する（Ｓ２０３）。
　登録語に該当しない場合には、識別された情報をキーワードとする検索、識別された情報のファイル化など、識別された情報を用いて実行可能な処理から、いずれかの処理を選択させるための選択ボタンをタッチスクリーンに出力する（Ｓ２０４）。ユーザによるいずれかの選択ボタンの選択操作を受け付けると（Ｓ２０５）、識別された情報をキーワード等に用いて、選択された処理を実行する（Ｓ２０６）。
　尚、第２の例における識別された情報を用いて実行する処理は、選択ボタンによってユーザが選択することとしているが、選択ボタンの出力やユーザによる選択の受け付けの工程を省略して、識別された情報を用いて実行する処理を一つの処理に限定し、識別された情報を用いた処理を直ちに実行することとしてもよい。
１０　タブレット型コンピュータ本体
１１　入出力制御部
１２　入力手段識別部
１３　アプリケーション実行部
１４　アプリケーション設定部
２０　タッチスクリーン

Claims (12)

  1. 　第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、
    タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する手段と、
    前記入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、
    タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、
    前記入力操作が検出されると、前記情報に関連する所定の処理を実行する手段と、
    を備えることを特徴とする情報処理装置。
  2. 　第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、
    タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する手段と、
    前記入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、
    前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、
    前記情報が識別されると、前記情報に関連する所定の処理を実行する手段と、
    を備えることを特徴とする情報処理装置。
  3. 　前記所定の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理、若しくは前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であること
    を特徴とする請求項１又は２記載の情報処理装置。
  4. 　第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置であって、
    タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別手段と、
    前記入力手段識別手段によって入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力する手段と、
    タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出する手段と、
    前記入力操作が検出されると、前記情報に関連する第１の処理を実行する手段と、
    前記入力手段識別手段によって入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識する手段と、
    前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別する手段と、
    前記情報が識別されると、前記情報に関連する第２の処理を実行する手段と、
    を備えることを特徴とする情報処理装置。
  5. 　前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であること
    を特徴とする請求項４記載の情報処理装置。
  6. 　前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報出力装置の操作者の指であること
    を特徴とする請求項５記載の情報処理装置。
  7. 　第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、
    タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別するステップと、
    前記入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、
    タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、
    前記入力操作が検出されると、前記情報に関連する所定の処理を実行するステップと、
    を実行させることを特徴とする情報入力制御プログラム。
  8. 　第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、
    タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別するステップと、
    前記入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、
    前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、
    前記情報が識別されると、前記情報に関連する所定の処理を実行するステップと、
    を実行させることを特徴とする情報入力制御プログラム。
  9. 　前記所定の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理、若しくは前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であること
    を特徴とする請求項７又は８記載の情報入力制御プログラム。
  10. 　第１の入力手段及び第２の入力手段によって情報の入力が可能なタッチスクリーンを備えた情報処理装置に、
    タッチスクリーンに対する入力操作を実行した入力手段が、第１の入力手段又は第２の入力手段のいずれの入力手段かを識別する入力手段識別ステップと、
    前記入力手段識別ステップにおいて入力操作を実行した入力手段が第１の入力手段と識別された場合には、第１の入力手段によって入力された情報を識別し、タッチスクリーンに出力するステップと、
    タッチスクリーン上の前記情報が表示された領域を指定する、第２の入力手段によって実行された入力操作を検出するステップと、
    前記入力操作が検出されると、前記情報に関連する第１の処理を実行するステップと、
    前記入力手段識別ステップにおいて入力操作を実行した入力手段が第２の入力手段と識別された場合には、第２の入力手段によって実行された入力操作により指定されたタッチスクリーン上の領域を認識するステップと、
    前記領域に、第１の入力手段によって実行された入力操作を検出し、前記入力操作によって入力された情報を識別するステップと、
    前記情報が識別されると、前記情報に関連する第２の処理を実行するステップと、
    を実行させることを特徴とする情報入力制御プログラム。
  11. 　前記第１の処理は、前記情報を用いた処理又は前記情報を用いた処理を実行するための操作を要求する処理であり、前記第２の処理は、前記情報によって特定される処理又は前記情報によって特定される処理を実行するための操作を要求する処理であること
    を特徴とする請求項１０記載の情報入力制御プログラム。
  12. 　前記第１の入力手段はタッチスクリーン用のタッチペン、前記第２の入力手段は前記情報出力装置の操作者の指であること
    を特徴とする請求項１１記載の情報入力制御プログラム。
PCT/JP2013/061816 2013-01-04 2013-04-23 情報処理装置及び情報入力制御プログラム WO2014106910A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/758,861 US9846494B2 (en) 2013-01-04 2013-04-23 Information processing device and information input control program combining stylus and finger input
JP2014555419A JP6091525B2 (ja) 2013-01-04 2013-04-23 情報処理装置及び情報入力制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013000268 2013-01-04
JP2013-000268 2013-01-04

Publications (1)

Publication Number Publication Date
WO2014106910A1 true WO2014106910A1 (ja) 2014-07-10

Family

ID=51062232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061816 WO2014106910A1 (ja) 2013-01-04 2013-04-23 情報処理装置及び情報入力制御プログラム

Country Status (3)

Country Link
US (1) US9846494B2 (ja)
JP (2) JP6091525B2 (ja)
WO (1) WO2014106910A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710136B (zh) * 2015-06-23 2021-02-02 株式会社理光 管理***、通信***、显示方法
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155424A (ja) * 2004-11-30 2006-06-15 Fujitsu Ltd 手書き情報入力装置
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
JP2010122987A (ja) * 2008-11-20 2010-06-03 Canon Inc オブジェクト処理装置、その処理方法及びプログラム
JP2012088807A (ja) * 2010-10-15 2012-05-10 Sharp Corp 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175775A (ja) * 1992-12-09 1994-06-24 Hitachi Ltd 情報処理装置
JPH09190268A (ja) * 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
JP2001005599A (ja) * 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
JP2001043003A (ja) 1999-07-29 2001-02-16 Matsushita Electric Ind Co Ltd タッチパネル入力装置
JP4071620B2 (ja) 2002-12-27 2008-04-02 株式会社日立製作所 情報処理装置
US20040240739A1 (en) * 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
JP4813110B2 (ja) 2005-07-01 2011-11-09 日東電工株式会社 多孔質シートおよびその製造方法
JP4927633B2 (ja) 2006-09-28 2012-05-09 京セラ株式会社 携帯端末及びその制御方法
US8130203B2 (en) * 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
JP4752921B2 (ja) * 2009-01-28 2011-08-17 ソニー株式会社 情報処理装置、アニメーション付加方法、及びプログラム
JP5058187B2 (ja) 2009-02-05 2012-10-24 シャープ株式会社 携帯情報端末
US20100306705A1 (en) * 2009-05-27 2010-12-02 Sony Ericsson Mobile Communications Ab Lockscreen display
US8261213B2 (en) * 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9152277B1 (en) * 2010-06-30 2015-10-06 Amazon Technologies, Inc. Touchable projection surface system
GB2496793B (en) * 2010-08-17 2018-06-20 Google Llc Touch-based gesture detection for a touch-sensitive device
JP2012058857A (ja) * 2010-09-06 2012-03-22 Sony Corp 情報処理装置、操作方法及び情報処理プログラム
JP5606242B2 (ja) * 2010-09-24 2014-10-15 株式会社ジャパンディスプレイ 表示装置
CA2826390A1 (en) * 2011-02-08 2012-08-16 Haworth, Inc. Multimodal touchscreen interaction apparatuses, methods and systems
CN102768616A (zh) * 2012-06-29 2012-11-07 鸿富锦精密工业（深圳）有限公司 电子设备及其备忘添加方法
TWI472974B (zh) * 2012-09-06 2015-02-11 Au Optronics Corp 多類物體觸控點偵測方法
US9164658B2 (en) * 2012-10-12 2015-10-20 Cellco Partnership Flexible selection tool for mobile devices
US9513748B2 (en) * 2012-12-13 2016-12-06 Microsoft Technology Licensing, Llc Combined display panel circuit
US10809865B2 (en) * 2013-01-15 2020-10-20 Microsoft Technology Licensing, Llc Engaging presentation through freeform sketching
KR20150003957A (ko) * 2013-07-01 2015-01-12 삼성전자주식회사 전자 장치의 잠금 화면 운용 방법 및 장치
US10042446B2 (en) * 2013-08-13 2018-08-07 Samsung Electronics Company, Ltd. Interaction modes for object-device interactions
JP6094550B2 (ja) * 2013-09-17 2017-03-15 株式会社リコー 情報処理装置、プログラム
US20150100874A1 (en) * 2013-10-04 2015-04-09 Barnesandnoble.Com Llc Ui techniques for revealing extra margin area for paginated digital content
TWI514229B (zh) * 2013-11-22 2015-12-21 Elan Microelectronics Corp 圖形編輯方法以及電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006155424A (ja) * 2004-11-30 2006-06-15 Fujitsu Ltd 手書き情報入力装置
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
JP2010122987A (ja) * 2008-11-20 2010-06-03 Canon Inc オブジェクト処理装置、その処理方法及びプログラム
JP2012088807A (ja) * 2010-10-15 2012-05-10 Sharp Corp 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2017084388A (ja) 2017-05-18
JPWO2014106910A1 (ja) 2017-01-19
JP6091525B2 (ja) 2017-03-08
US20150338941A1 (en) 2015-11-26
US9846494B2 (en) 2017-12-19

Similar Documents

Publication Publication Date Title
CN114467068B (zh) 基于应用布局和用户工作流来定位用户界面组件
KR102339674B1 (ko) 디스플레이 장치 및 방법
WO2019128732A1 (zh) 一种图标管理的方法及装置
US8487888B2 (en) Multi-modal interaction on multi-touch display
US20090271733A1 (en) Information processing apparatus, control method, and storage medium
US20140100850A1 (en) Method and apparatus for performing preset operation mode using voice recognition
US20150277571A1 (en) User interface to capture a partial screen display responsive to a user gesture
RU2623885C2 (ru) Запись формулы для ограниченного устройства отображения
EP2992420B1 (en) Content-based directional placement application launch
WO2016095689A1 (zh) 基于终端界面多次触控操作进行识别搜索的方法及***
US20140145945A1 (en) Touch-based input control method
US20150146986A1 (en) Electronic apparatus, method and storage medium
US20140089841A1 (en) Device and method for providing application interface based on writing input
JP2019514096A (ja) 文字列に文字を挿入するための方法およびシステム
WO2015136645A1 (ja) 電子機器、方法及びプログラム
CN105426049B (zh) 一种删除方法及终端
CN104516674A (zh) 文字处理方法和装置
JP2014106625A (ja) 携帯端末、携帯端末の制御方法、プログラム、および記録媒体
JP2016085512A (ja) 電子機器、方法及びプログラム
JP6014170B2 (ja) 情報処理装置及び情報更新プログラム
JP6091525B2 (ja) 情報処理装置及び情報入力制御プログラム
KR101355846B1 (ko) 전자책의 데이터 처리방법
US20150268805A1 (en) User interface to open a different ebook responsive to a user gesture
JP5213794B2 (ja) 情報処理装置及び情報処理方法
CN111813366A (zh) 通过语音输入对文字进行编辑的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13869940

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014555419

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14758861

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13869940

Country of ref document: EP

Kind code of ref document: A1