WO2015040740A1 - 電子機器および方法 - Google Patents
電子機器および方法 Download PDFInfo
- Publication number
- WO2015040740A1 WO2015040740A1 PCT/JP2013/075488 JP2013075488W WO2015040740A1 WO 2015040740 A1 WO2015040740 A1 WO 2015040740A1 JP 2013075488 W JP2013075488 W JP 2013075488W WO 2015040740 A1 WO2015040740 A1 WO 2015040740A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- character
- attribute
- handwritten
- stroke
- size
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000010365 information processing Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 235000016496 Panda oleosa Nutrition 0.000 description 4
- 240000000220 Panda oleosa Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 102100032768 Complement receptor type 2 Human genes 0.000 description 3
- 101000941929 Homo sapiens Complement receptor type 2 Proteins 0.000 description 3
- 230000005674 electromagnetic induction Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 102100038080 B-cell receptor CD22 Human genes 0.000 description 1
- 101000884305 Homo sapiens B-cell receptor CD22 Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
Definitions
- Embodiments of the present invention relate to processing of handwritten documents.
- OCR optical character recognition
- a character (font) corresponding to a character code as a recognition result is displayed on the screen in a size corresponding to the size of the recognized handwritten character.
- An object of one embodiment of the present invention is to provide an electronic apparatus and method that can display an appropriate size when a handwritten document including a handwritten character is converted into a formatted document including a character code.
- the electronic device includes an input unit and a display processing unit.
- the input means inputs a plurality of strokes by handwriting.
- the display processing means includes a combination of an attribute of the first character corresponding to the first handwritten character detected from the plurality of strokes and a size of the first stroke corresponding to the first handwritten character, or the plurality of strokes.
- a font size determined based on a combination of an attribute of the second character corresponding to the second handwritten character detected from the second stroke and a size of the second stroke corresponding to the second handwritten character. Two characters are displayed on the screen.
- FIG. 1 is a perspective view illustrating an appearance of an electronic apparatus according to an embodiment.
- FIG. 2 is a diagram illustrating an example of a handwritten document processed by the electronic apparatus of the embodiment.
- FIG. 3 is a diagram for describing time-series information corresponding to the handwritten document of FIG. 2 that is stored in the storage medium by the electronic apparatus of the embodiment.
- FIG. 4 is a block diagram showing a system configuration of the electronic apparatus of the embodiment.
- FIG. 5 is a block diagram showing a functional configuration of a digital notebook application program executed by the electronic apparatus of the embodiment.
- FIG. 6 is a diagram illustrating an example in which handwritten characters are converted into characters (fonts) of an inappropriate size.
- FIG. 7 is a diagram illustrating an example in which handwritten characters are converted into characters (fonts) of an appropriate size by the electronic device of the embodiment.
- FIG. 8 is a diagram illustrating another example in which handwritten characters are converted into characters (fonts) of an appropriate size by the electronic apparatus of the embodiment.
- FIG. 9 is a diagram for explaining the attributes of characters detected by the electronic apparatus of the embodiment.
- FIG. 10 is a diagram illustrating an example of a font size determination table used by the electronic apparatus of the embodiment.
- FIG. 11 is a diagram illustrating another example in which handwritten characters are converted into characters (fonts) of an inappropriate size.
- FIG. 12 is a flowchart illustrating an example of a procedure of handwriting input processing executed by the electronic apparatus of the embodiment.
- FIG. 13 is a flowchart illustrating an example of the procedure of a formatted document generation process executed by the electronic apparatus of the embodiment.
- FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment.
- This electronic device is, for example, a pen-based portable electronic device that can be handwritten with a pen or a finger.
- This electronic device can be realized as a tablet computer, a notebook personal computer, a smartphone, a PDA, or the like.
- the tablet computer 10 is a portable electronic device also called a tablet or a slate computer, and includes a main body 11 and a touch screen display 17 as shown in FIG.
- the touch screen display 17 is attached to be superposed on the upper surface of the main body 11.
- the main body 11 has a thin box-shaped housing.
- the touch screen display 17 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
- the flat panel display may be, for example, a liquid crystal display (LCD).
- As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used. In the following, it is assumed that two types of sensors, a digitizer and a touch panel, are incorporated in the touch screen display 17.
- Each of the digitizer and touch panel is provided so as to cover the screen of the flat panel display.
- the touch screen display 17 can detect not only a touch operation on a screen using a finger but also a touch operation on a screen using the pen 100.
- the pen 100 may be an electromagnetic induction pen, for example.
- the user can perform a handwriting input operation on the touch screen display 17 using an external object (the pen 100 or a finger).
- an external object the pen 100 or a finger
- the trajectory of the movement of the external object (the pen 100 or the finger) on the screen that is, the stroke trajectory (handwriting) handwritten by the handwriting input operation is drawn in real time. Displayed on the screen.
- the trajectory of the movement of the external object while the external object is in contact with the screen corresponds to one stroke.
- a set of many strokes corresponding to handwritten characters or figures, that is, a set of many trajectories (handwriting) constitutes a handwritten document.
- this handwritten document is stored in the storage medium as handwritten document data including not only image data but a time-series information indicating the coordinate sequence of the trajectory of each stroke and the order relationship between the strokes.
- This time series information generally means a set of time series stroke data respectively corresponding to a plurality of strokes.
- Each stroke data may be any data as long as it can express a single stroke that can be input by handwriting.
- a coordinate data series corresponding to each point on the locus of this stroke time Series coordinates.
- the order of arrangement of the stroke data corresponds to the order in which the strokes are handwritten, that is, the stroke order.
- the tablet computer 10 reads arbitrary existing handwritten document data from the storage medium, and the handwritten document corresponding to the handwritten document data, that is, the handwritten document in which the trajectory corresponding to each of the plurality of strokes indicated by the time series information is drawn. Can be displayed on the screen.
- FIG. 2 shows an example of a handwritten document (handwritten character string) handwritten on the touch screen display 17 using the pen 100 or the like.
- the handwritten character “A” is represented by two strokes (“ ⁇ ” shape trajectory, “ ⁇ ” shape trajectory) handwritten using the pen 100 or the like, that is, two trajectories.
- the trajectory of the first “ ⁇ ” -shaped pen 100 handwritten is sampled in real time, for example, at equal time intervals, whereby time-series coordinates CD11, CD12,... CD1n of the “ ⁇ ⁇ ⁇ ⁇ ⁇ ” -shaped stroke are obtained.
- the trajectory of the “ ⁇ ” shaped pen 100 to be handwritten next is also sampled, and thereby the time series coordinates CD21, CD21,... CD2n of the “ ⁇ ” shaped stroke are obtained.
- the handwritten character “B” is represented by two strokes handwritten using the pen 100 or the like, that is, two trajectories.
- the handwritten character “C” is represented by one stroke handwritten using the pen 100 or the like, that is, one locus.
- the handwritten “arrow” is expressed by two strokes handwritten using the pen 100 or the like, that is, two trajectories.
- FIG. 3 shows time-series information 200 corresponding to the handwritten document of FIG.
- the time series information includes a plurality of stroke data CD1, CD2,.
- the stroke data CD1, CD2,..., CD7 are arranged in time series in the order of handwriting, that is, the order in which a plurality of strokes are handwritten.
- the first two stroke data CD1 and CD2 indicate two strokes of the handwritten character “A”, respectively.
- the third and fourth stroke data CD3 and CD4 indicate two strokes constituting the handwritten character “B”, respectively.
- the fifth stroke data CD5 indicates one stroke constituting the handwritten character “C”.
- the sixth and seventh stroke data CD6 and CD7 indicate two strokes constituting a handwritten arrow, respectively.
- Each stroke data includes a coordinate data series (time series coordinates) corresponding to one stroke, that is, a plurality of coordinates corresponding to a plurality of points on the trajectory of one stroke.
- a plurality of coordinates are arranged in time series in the order in which the strokes are written.
- the stroke data CD1 is a coordinate data series (time series coordinates) corresponding to each point on the locus of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n coordinates.
- Data CD11, CD12,... CD1n are included.
- the stroke data CD2 includes coordinate data series corresponding to each point on the trajectory of the stroke of the “ ⁇ ” shape of the handwritten character “A”, that is, n coordinate data CD21, CD22,. Note that the number of coordinate data may be different for each stroke data.
- Each coordinate data indicates an X coordinate and a Y coordinate corresponding to one point in the corresponding locus.
- the coordinate data CD11 indicates the X coordinate (X11) and the Y coordinate (Y11) of the start point of the “ ⁇ ” -shaped stroke.
- CD1n indicates the X coordinate (X1n) and Y coordinate (Y1n) of the end point of the “ ⁇ ” -shaped stroke.
- each coordinate data may include time stamp information T corresponding to the time when the point corresponding to the coordinate is handwritten.
- the handwritten time may be either absolute time (for example, year / month / day / hour / minute / second) or relative time based on a certain time.
- the absolute time for example, year / month / day / hour / minute / second
- each coordinate data in the stroke data indicates a difference from the absolute time.
- the relative time may be added as time stamp information T.
- Information (Z) indicating writing pressure may be added to each coordinate data.
- the handwritten document is stored not as an image or a character recognition result but as time-series information 200 composed of a set of time-series stroke data, so it does not depend on a language. Can handle handwritten characters and figures. Therefore, the structure of the time-series information 200 according to the present embodiment can be used in common in various countries around the world with different languages.
- FIG. 4 is a diagram illustrating a system configuration of the tablet computer 10.
- the tablet computer 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 104, a BIOS-ROM 105, a nonvolatile memory 106, a wireless communication device 107, an embedded controller (EC) 108, and the like. .
- the CPU 101 is a processor that controls the operation of various modules in the tablet computer 10.
- the CPU 101 executes various software loaded into the main memory 103 from the nonvolatile memory 106 that is a storage device.
- These software include an operating system (OS) 201 and various application programs.
- the application program includes a digital notebook application program 202.
- the digital notebook application program 202 has a function of creating and displaying the above-mentioned handwritten document, a function of converting the handwritten document into a formatted document including a character code (characters corresponding to the character code), and the like. .
- the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
- BIOS is a program for hardware control.
- the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
- the system controller 102 also includes a memory controller that controls access to the main memory 103.
- the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS serial bus or the like.
- the graphics controller 104 is a display controller that controls the LCD 17 ⁇ / b> A used as a display monitor of the tablet computer 10.
- a display signal generated by the graphics controller 104 is sent to the LCD 17A.
- the LCD 17A displays a screen image based on the display signal.
- a touch panel 17B and a digitizer 17C are disposed on the LCD 17A.
- the touch panel 17B is a capacitance-type pointing device for inputting on the screen of the LCD 17A.
- the touch position on the screen where the finger is touched and the movement of the touch position are detected by the touch panel 17B.
- the digitizer 17C is an electromagnetic induction type pointing device for inputting on the screen of the LCD 17A.
- the digitizer 17C detects the contact position on the screen where the pen 100 is touched, the movement of the contact position, and the like.
- the wireless communication device 107 is a device configured to perform wireless communication such as wireless LAN or 3G mobile communication.
- the EC 108 is a one-chip microcomputer including an embedded controller for power management.
- the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
- the digital notebook application program 202 creates, displays, and edits a handwritten document by using stroke data input by a handwriting input operation using the touch screen display 17. Further, the digital notebook application program 202 formats the handwritten document, that is, converts the handwritten character in the handwritten document into a character code, and data of the formatted document in which the character (font) corresponding to the character code is arranged (hereinafter referred to as the character code). , Also referred to as formatted document data).
- the digital notebook application program 202 includes, for example, a trajectory display processing unit 301, a time series information generation unit 302, a line recognition unit 303, a character recognition unit 304, an attribute detection unit 305, a height detection unit 306, a size determination unit 307, a shaping unit.
- a document generation unit 308, a page storage processing unit 309, a page acquisition processing unit 310, a document display processing unit 311 and the like are provided.
- the touch screen display 17 is configured to detect the occurrence of events such as “touch”, “movement (slide)”, “release”, and the like. “Touch” is an event indicating that an external object has touched the screen. “Move (slide)” is an event indicating that the contact position has been moved while an external object is in contact with the screen. “Release” is an event indicating that an external object has been released from the screen.
- the trajectory display processing unit 301 and the time-series information generation unit 302 receive a “touch” or “move (slide)” event generated by the touch screen display 17 and detect a handwriting input operation based on the event.
- the “touch” event includes the coordinates of the contact position.
- the “movement (slide)” event includes the coordinates of the contact position of the movement destination. Therefore, the trajectory display processing unit 301 and the time-series information generation unit 302 can receive a coordinate sequence corresponding to the trajectory of the movement of the contact position from the touch screen display 17.
- the trajectory display processing unit 301 receives a coordinate string from the touch screen display 17, and based on the coordinate string, the trajectory of each stroke handwritten by a handwriting input operation using the pen 100 or the like is displayed on the LCD 17A in the touch screen display 17. On the screen.
- the trajectory display processing unit 301 draws the trajectory of the pen 100 while the pen 100 is in contact with the screen, that is, the trajectory of each stroke, on the screen of the LCD 17A.
- the time-series information generation unit 302 receives the above-described coordinate sequence output from the touch screen display 17, and based on this coordinate sequence, generates time-series information (stroke data) having the structure described in detail in FIG. Generate.
- time series information that is, coordinates and time stamp information corresponding to each point of the stroke may be temporarily stored in the work memory 401.
- the page storage processing unit 309 stores the generated time series information (time series information temporarily stored in the work memory 401) in the storage medium 402 as handwritten document data.
- the storage medium 402 is, for example, a storage device in the tablet computer 10.
- the page acquisition processing unit 310 reads arbitrary handwritten document data already stored from the storage medium 402.
- the read handwritten document data is sent to the document display processing unit 311.
- the document display processing unit 311 analyzes the handwritten document data, and displays the trajectory of each stroke indicated by the time-series information as a handwritten document (handwritten page) on the screen based on the analysis result.
- the user can create and browse a handwritten document including handwritten characters.
- handwritten characters in the created handwritten document can be converted into character codes by character recognition.
- generation part 302 into the shaping document data containing the character code corresponding to the handwritten character in a handwritten document is demonstrated.
- the line recognition unit 303 recognizes a plurality of lines included in the handwritten document using the handwritten document data. For example, the line recognition unit 303 recognizes a plurality of lines each including one or more handwritten characters on the handwritten document, using stroke data (time-series coordinates) included in the handwritten document data. More specifically, the line recognition unit 303 recognizes a line based on a change in the coordinates of the handwritten stroke by using a plurality of stroke data corresponding to the plurality of strokes handwritten on the handwritten document. .
- the line recognition unit 303 moves the contact position of the object (finger or pen 100) on the touch screen display 17 from the end of one line to the beginning of the next line from time series information (a plurality of stroke data). Detect the coordinates that indicate
- the line recognizing unit 303 uses the coordinate data series in time order of handwriting, and the X coordinate (horizontal coordinate) changes greatly from right to left in the handwritten document. Then, two strokes handwritten are detected.
- the line recognition unit 303 uses, for example, the last coordinate data of the Nth stroke and the first coordinate data of the (N + 1) th stroke subsequent to the Nth stroke to calculate the difference between the X coordinates of these coordinate data.
- the absolute value is equal to or greater than the threshold value, it is detected that one or more strokes up to the Nth stroke and one or more strokes from the (N + 1) th stroke belong to different rows.
- the line recognition unit 303 recognizes lines in the handwritten document by detecting line breaks.
- the character recognition unit 304 recognizes character codes corresponding to a plurality of handwritten characters included in a plurality of recognized lines. That is, the character recognition unit 304 converts the handwritten characters into character codes by recognizing the handwritten characters included in each of the plurality of lines. The character recognition unit 304 recognizes a character corresponding to one or more strokes among a plurality of strokes in each line.
- the character recognition unit 304 uses, for example, one or more stroke data corresponding to one or more strokes (strokes to be processed) among a plurality of strokes, and the first feature amount indicating the shape of the one or more strokes Is calculated. Then, the character recognition unit 304 detects characters having a feature amount similar to the calculated first feature amount using character dictionary data stored in advance in the storage medium 402. In the character dictionary data, for example, a plurality of characters and a plurality of feature amounts corresponding to the plurality of characters are defined. Therefore, the character recognizing unit 304 recognizes a character having the second feature amount whose similarity to the calculated first feature amount is equal to or greater than a threshold value from a plurality of characters defined in the character dictionary data. Thus, the handwritten character corresponding to the stroke to be processed is converted into a character code.
- the character recognition unit 304 may detect a plurality of character candidates having a feature amount whose similarity to the first feature amount is equal to or greater than a threshold value from a plurality of characters defined in the character dictionary data.
- the character recognition unit 304 is recognized from, for example, language dictionary data indicating the co-occurrence probabilities of words and characters, and strokes in the vicinity of the processing target stroke (for example, the left and right strokes of the processing target stroke). Based on the characters, the likely characters (characters with high likelihood) are narrowed down from the detected plurality of character candidates with respect to the stroke to be processed. Accordingly, the character recognition unit 304 determines a character corresponding to the stroke to be processed.
- the attribute detection unit 305, the height detection unit 306, and the size determination unit 307 have one or more characters corresponding to one or more handwritten characters included in each line (that is, characters represented by a character code obtained by character recognition). Determines the size (font size) displayed on the formatted document.
- the attribute detection unit 305, the height detection unit 306, and the size determination unit 307 determine the size at which characters are displayed on the formatted document for each line.
- the size at which characters corresponding to a certain line are displayed on the formatted document may be determined based on the height of the line on the handwritten document.
- the height 41A of the line of the handwritten character string “day” 41 included in a certain line that is, the uppermost part 411 of the stroke corresponding to the handwritten character string 41 (stroke corresponding to “d”).
- the handwritten character string “day” 41 has a font size based on the difference (vertical difference) between the Y coordinate and the Y coordinate at the bottom 412 of the stroke corresponding to the handwritten character string 41 (stroke corresponding to “y”).
- a character (font) 42 corresponding to is displayed.
- the font size is determined based on the line height 41 ⁇ / b> A of the handwritten character string 41, for example, an appropriate font size corresponding to the handwritten character is determined by variations in the position, size, shape, etc. of the handwritten character. It may not be possible.
- the character “y” is handwritten in a shape that protrudes downward relative to the other characters “d” and “a”.
- the height 41A of the line corresponding to the handwritten character string 41 includes the height of the character “y” protruding below, and is therefore affected by the variation in the height of the characters in the handwritten character string 41.
- the determined font size may be a size that is not intended by the user.
- the font size is determined so that the character (font) 42 is arranged in accordance with the height 41 ⁇ / b> A of the handwritten character string “day” 41, the character 42 is larger than the size of the handwritten character string 41. Displayed with an inappropriate size too. That is, the apparent size of the handwritten character string 41 cannot be matched with the apparent size of the font of the character 42 in which the handwritten character string 41 is replaced.
- the first character has a font size determined based on a combination of the attribute of the second character corresponding to the second handwritten character detected from the plurality of strokes and the size of the second stroke corresponding to the second handwritten character.
- the second character are displayed on the screen. That is, in this embodiment, when converting a handwritten document including a handwritten character into a formatted document including a character (font), at least one handwritten character among one or more handwritten characters included in a certain line in the handwritten document.
- One or more characters corresponding to one or more handwritten characters in the line based on the attribute of at least one character (character code) and the size (eg, height) of the at least one handwritten character. Determines the font size at which characters (fonts) are displayed on the screen.
- FIG. 7 and 8 show examples in which handwritten characters are converted into characters (fonts) of an appropriate size by the digital notebook application 202 of the present embodiment.
- the height 41C of the character “a” in the handwritten character string “day” 41 that is, the difference between the Y coordinate of the uppermost portion 414 and the Y coordinate of the lowermost portion 415 of the stroke corresponding to the character “a”.
- the font size is determined based on the attribute of the character “a”.
- the height 45A of the character “D” in the handwritten character string “Day” 45 that is, the Y coordinate of the uppermost portion 416 and the Y coordinate of the lowermost portion 417 of the stroke corresponding to the character “D”
- the font size is determined based on the attribute of the character “D”.
- the attribute detection unit 305 first detects the attribute of a character (character code) recognized from the processing target line. For example, the attribute detection unit 305 detects an attribute of at least one character corresponding to at least one handwritten character among one or more handwritten characters included in the line to be processed. Characters whose attributes are detected are arbitrary handwritten characters in the processing target line (for example, a first handwritten character in the line, a handwritten character at an arbitrary position in the line, a handwritten character other than the last handwritten character in the line, etc.) Corresponding character. Further, the attribute detection unit 305 detects the attribute of the character (character code) corresponding to the handwritten character in the line until the character with the specific attribute is detected from the processing target line, for example, in order from the first character. Also good.
- FIG. 9 shows an example of character attributes detected by the attribute detection unit 305. As shown in FIG. 9, each of the plurality of types of characters 55, 56, 57, and 58 is associated with one attribute among a plurality of attributes based on the character shape.
- the plurality of attributes include, for example, a shape in which a character is included in any one or more partial areas among a plurality of partial areas obtained by dividing an area 60 including a plurality of attribute characters (for example, alphabetic characters). It is defined based on whether it is a character.
- the plurality of partial areas include, for example, three partial areas 61, 62, and 63 defined by dividing the area 60 into three parts in the vertical direction (that is, dividing the height of the area 60 into three parts). These three partial regions 61, 62, and 63 are also referred to as a first partial region 61, a second partial region 62, and a third partial region 63 in order from the top.
- the character having the first attribute is included in the region 51 including the first partial region 61 and the second partial region 62, and part of the character is the first partial region 61 and the second partial region.
- 62 has a shape included in each.
- the character having the second attribute has a shape included in the second partial region 62.
- a character having a third attribute is included in a region 52 including a second partial region 62 and a third partial region 63, and a part of the character is included in each of the second partial region 62 and the third partial region 63.
- the character having the fourth attribute is included in the region 60 (the region including the first partial region 61, the second partial region 62, and the third partial region 63), and a part of the character is included in the first partial region 61 and the second partial region 61.
- Each of the partial regions 62 and the third partial region 63 has a shape included therein.
- Each of a plurality of types of characters such as alphabetic characters is associated with one attribute of the plurality of attributes.
- capital letters “A” to “Z” are included in a region 51 composed of a first partial region 61 and a second partial region 62, and a part thereof is the first partial region 61 and the second partial region 62.
- the first attribute character 55 has a shape to be included in each of the characters.
- the letters “b”, “d”, “f”, “h”, “i”, “k”, “l”, and “t” are also the first attribute characters 55.
- Alphabets “a”, “c”, “e”, “m”, “n”, “o”, “r”, “s”, “u”, “v”, “w”, “x”, and “Z” is a second attribute character 56 having a shape to be included in the second partial region 62.
- the alphabets “g”, “p”, “q”, and “y” are included in the region 52 including the second partial region 62 and the third partial region 63, and a part of the characters is included in the second partial region 62.
- the third attribute character 57 having a shape to be included in each of the third partial regions 63.
- the alphabet “j” is a character having the fourth attribute, which is included in the region 60 and has a shape in which a part of the character should be included in each of the first partial region 61, the second partial region 62, and the third partial region 63. 58.
- the attribute detection unit 305 detects one of the plurality of attributes defined as described above as an attribute of a character (character code) corresponding to the recognized handwritten character.
- the height detection unit 306 detects the size (for example, height) of at least one handwritten character among one or more handwritten characters in the row to be processed. For example, the height detection unit 306 uses the stroke data of the handwritten character corresponding to the character code whose attribute is detected, and uses the vertical coordinate between the uppermost coordinate and the lowermost coordinate of the stroke corresponding to the handwritten character. The difference is detected as the character size (height).
- the size for example, height
- the height detection unit 306 uses the stroke data of the handwritten character corresponding to the character code whose attribute is detected, and uses the vertical coordinate between the uppermost coordinate and the lowermost coordinate of the stroke corresponding to the handwritten character. The difference is detected as the character size (height).
- the size determination unit 307 detects the attribute of the character corresponding to at least one of the one or more characters included in the processing target row detected by the attribute detection unit 305, and the height detection unit 306.
- a font size determined based on a combination with the height of the at least one character is determined, that is, one or more characters corresponding to one or more characters in the processing target line.
- the font size to be displayed on the formatted document is determined.
- the attribute detection unit 305 includes an attribute of a first character corresponding to a first handwritten character detected from a plurality of strokes input by handwriting, and a second corresponding to a second handwritten character detected from the plurality of strokes. Detect character attributes.
- the height detection unit 306 detects the size of the first stroke corresponding to the first handwritten character and the size of the second stroke corresponding to the second handwritten character.
- the size determination part 307 is a 2nd character corresponding to the combination of the attribute of the 1st character corresponding to a 1st handwritten character, and the magnitude
- a font size determined based on a combination of the second attribute and the size of the second stroke corresponding to the second handwritten character when the attribute of the first character is the first attribute, the font size determined based on the combination of the attribute of the first character and the size of the first stroke is the first value, and the attribute of the first character Is the second attribute, the font size determined based on the combination of the first character attribute and the first stroke size is the second value, and the first value and the second value are different.
- the character recognition unit 304 recognizes three handwritten characters included in the handwritten character string 41.
- the three handwritten characters are converted into three character codes.
- the attribute detection unit 305 detects the second attribute associated with the character “a” among the three characters corresponding to the converted three character codes.
- the height detection unit 306 uses the stroke data corresponding to the handwritten character “a” and uses the vertical difference between the uppermost coordinate 414 and the lowermost coordinate 415 of the stroke corresponding to “a” (the size of the stroke). ) Is detected as the height 41C of the handwritten character “a”.
- the size determination unit 307 calculates a font size determined based on a combination of the attribute of the character “a” and the stroke size corresponding to the handwritten character “a”.
- the size determination unit 307 determines the font size for displaying the character 44 corresponding to the handwritten character string 41 based on the detected second attribute and the height 41C of the handwritten character “a”.
- the size determination unit 307 for example, has a shape in which the second attribute character “a” is included in the second partial region 62, and the handwritten character “a” as the second attribute is handwritten at a height of 41C.
- the font size for displaying the corresponding character is determined.
- the size determination unit 307 determines the font size when the height of the second partial region 62 is 41C (that is, the height of the region 60 that includes characters with a plurality of attributes (height 41C ⁇ 3)). Font size in the case of. Then, the character size determination unit 307 uses the calculated font size to display one or more characters (characters indicated by character codes) corresponding to one or more handwritten characters included in the processing target line on the screen. To decide.
- the size determination unit 307 assumes that the first character of the line is a capital letter of the alphabet that is the first attribute, and the size (height) of the first character in the handwritten character string included in the certain line. Based on the above, the font size of the character corresponding to the handwritten character string may be determined.
- the character recognition unit 304 recognizes the three characters included in the handwritten character string 45, thereby Convert to 3 character codes. Since “D” is the first character of the line, the first character of the line is regarded as an uppercase letter, and the attribute corresponding to the character “D” is detected without detecting the attribute by the attribute detecting unit 305. One attribute is determined.
- the height detection unit 306 uses the stroke data corresponding to the handwritten character “D” to determine the vertical difference between the uppermost coordinates 416 and the lowermost coordinates 417 of the stroke corresponding to “D”. It is detected as a height 45A (stroke size) of “D”.
- the size determination unit 307 determines the font size for displaying the character 46 corresponding to the handwritten character string 45 based on the determined first attribute and the height 45A of the handwritten character “D”.
- the size determining unit 307 includes that the character “D” having the first attribute is included in the region 51 including the first partial region 61 and the second partial region 62, and the character “D” that is the first attribute.
- the font size for displaying the corresponding character is determined based on the fact that is handwritten at a height of 45A.
- the size determination unit 307 determines the font size (that is, the region 60 that includes characters having a plurality of attributes) when the sum of the height of the first partial region 61 and the height of the second partial region 62 is 45A. Is calculated (font size when height is 45A ⁇ 3/2). Then, the character size determination unit 307 determines the calculated font size as a font size for displaying one or more characters corresponding to one or more handwritten characters included in the processing target line on the screen.
- the size determination unit 307 may determine the font size using, for example, a pre-defined font size determination table.
- FIG. 10 shows a configuration example of the font size determination table.
- the font size determination table is a table in which a font size determined based on a combination of a character attribute and a stroke size (height) corresponding to the character is defined.
- the size determination unit 307 detects a font size corresponding to the combination of the character attribute detected by the attribute detection unit 305 and the character height detected by the height detection unit 306 from the font size determination table.
- the formatted document generation unit 308 arranges a plurality of characters (that is, fonts corresponding to character codes) recognized by the character recognition unit 304 having the determined font size on the formatted document, and corresponds to the formatted document. Generate formatted document data.
- the formatted document generation unit 308 generates formatted document data including a plurality of pairs of character codes and font sizes, for example. Thereby, the document display processing unit 311 can display a formatted document including characters of an appropriate font size for each line on the screen of the LCD 17A using the formatted document data.
- the page storage processing unit 309 may store the generated formatted document data in the storage medium 402.
- the page acquisition processing unit 310 reads arbitrary formatted document data already stored from the storage medium 402.
- the read formatted document data is sent to the document display processing unit 311.
- the document display processing unit 311 analyzes the formatted document data, and displays a formatted document (formatted page) on which the characters indicated by the character codes are arranged with the associated font size based on the analysis result. .
- the handwritten character string may include characters with low stability by handwriting. Characters with low stability are, for example, characters that are likely to be handwritten differently by the user, characters that tend to vary in size and height with respect to other characters in the same line when handwritten, etc. .
- the handwritten character string “day” 41 includes a character “y” with low handwriting stability. This character “y” is handwritten in a shape protruding downward relative to the other characters “d” and “a”.
- the font size for displaying the character (font) corresponding to the handwritten character string “day” 41 is determined, it corresponds to the height 41B of the character “y” having low stability, that is, “y”.
- the font size is determined based on the vertical difference between the uppermost coordinate 413 and the lowermost coordinate 412 of the stroke, the character 43 has an inappropriate size that is too large for the size of the handwritten character string 41. It may be displayed.
- the size determination unit 307 when one or more characters (character codes) corresponding to one or more handwritten characters in the processing target line are acquired, the handwritten characters corresponding to the character having a specific attribute.
- the font size at which one or more characters in the line are displayed may be determined based on the height of.
- This specific attribute is an attribute having a statistically high character stability (for example, an attribute having a statistically high correlation between the height of a line and the height of a handwritten character).
- the second attribute corresponding to a character (“a”, “c”, etc.) that is unlikely to extend the stroke in the vertical direction is used as the specific attribute.
- an attribute whose character stability is equal to or greater than a threshold is set as a specific attribute based on the calculation result. It can also be used.
- the attribute detection unit 305 determines that the one or more characters Detect attributes corresponding to each of.
- the height detection unit 306 extracts one or more characters of a specific attribute from one or more characters corresponding to the line based on the detected attribute, and corresponds to one or more characters of the extracted specific attribute
- the height (stroke size) of one or more handwritten characters to be detected is detected.
- the size determination unit 307 determines the font size based on this specific attribute and the height of one or more detected handwritten characters. For example, the size determination unit 307 determines the font size based on a specific attribute and the median height of the detected one or more handwritten characters. By using the median height of one or more handwritten characters, a singular value included in the height of one or more handwritten characters can be excluded.
- the size determination unit 307 also calculates a weighted average of the height of one or more handwritten characters corresponding to one or more characters having a specific attribute and the height of one or more handwritten characters corresponding to one or more characters having other attributes.
- the font size may be determined based on (or weighted addition).
- Weighted small In the calculation of the weighted average, for example, the height of a character having a statistically high character stability is heavily weighted, and the stability of the character is statistically low to a height of a character having a low attribute. , Weighted small. Thereby, when determining the font size in which the character code is displayed, it is possible to reduce the influence due to the height of the character having an attribute of statistically low stability.
- the size determination unit 307 may determine the font size without using the height of the last handwritten character in the line. In other words, the size determination unit 307 may determine the font size using the height of characters other than the last character in the line among one or more handwritten characters included in the line.
- the size determination unit 307 determines the font size without using the height of the last handwritten character in the line.
- kanji is defined as an attribute character having a shape included in the first area
- kana is defined as being in the first area. It is defined as an attribute character having a shape included in the small second area.
- the attribute detection unit 305 determines the attribute of a character (character code) corresponding to at least one handwritten character among one or more handwritten characters included in the processing target line based on this rule. To detect. Then, the size determining unit 307 corresponds to one or more handwritten characters in the processing target line based on the detected attribute and the height of the at least one handwritten character detected by the height detecting unit 306. A font size for displaying one or more characters on the formatted document is determined. Thus, by defining the attribute based on the character shape, the present embodiment can be applied to handwritten characters in various languages.
- the trajectory display processing unit 301 displays a trajectory (stroke) of the movement of the pen 100 or the like by a handwriting input operation on the display 17A (block B11).
- the time-series information generation unit 302 generates the above-described time-series information (a plurality of stroke data arranged in time-series order) based on the coordinate sequence corresponding to the locus by the handwriting input operation (block B12).
- the time series information generation unit 302 may temporarily store the time series information in the work memory 401.
- the page storage processing unit 309 may store the time series information generated by the time series information generation unit 302 (time series information temporarily stored in the work memory 401) in the storage medium 402 as handwritten document data.
- FIG. 13 shows an example of the procedure of the formatted document generation process executed by the digital notebook application 202.
- the line recognition unit 303 recognizes one or more lines from a plurality of strokes using the generated time-series information (handwritten document data) (block B21).
- the character recognizing unit 303 recognizes one or more characters from the stroke corresponding to one line to be processed among the one or more recognized lines (block B22). For example, in a horizontally written document, the recognized one or more lines are set as processing target lines in order from the top.
- the character recognition unit 303 converts each of one or more handwritten characters included in the processing target line into a character code.
- the attribute detection unit 305 detects the attribute of the first character (at least one character) among the recognized one or more characters (block B23). Then, the height detection unit 306 detects the height of the first character (the size of the corresponding stroke) (block B24). The height detection unit 306 detects, for example, the uppermost coordinates and the lowermost coordinates using coordinates corresponding to one or more strokes constituting the first character, and the maximum and minimum coordinates in the vertical direction. Is calculated as the height of the first character.
- the size determining unit 307 determines the font size based on the detected height and attribute of the first character (block B25). For example, the size determination unit 307 determines the font size using a font size determination table in which the font size is determined from the height and attribute of the first character.
- the formatted document generation unit 308 arranges characters of the determined font size corresponding to one or more recognized characters on the formatted document (block B26).
- the size determination unit 307 combines the attribute of the first character corresponding to the first handwritten character among the one or more handwritten characters in the processing target row and the size of the first stroke corresponding to the first handwritten character. Or, the font size is determined based on a combination of the attribute of the second character corresponding to the second handwritten character among the one or more handwritten characters and the size of the second stroke corresponding to the second handwritten character. Also good.
- the line recognizing unit 303 determines whether there is a line that follows the line to be processed (block B27). If there is a subsequent line (YES in block B27), the line is set as a new process target line, and the process returns to block B22. If there is no subsequent row (NO in block B27), the process is terminated.
- a handwritten document including a handwritten character when converted into a formatted document including a character code, it can be displayed in an appropriate size.
- the trajectory display processing unit 301 and the time-series information generating unit 302 detect an operation of inputting a plurality of strokes by handwriting, display the plurality of strokes on the screen, and generate corresponding stroke data.
- the size determination unit 307 is a combination of the attribute of the first character corresponding to the first handwritten character detected from the plurality of strokes and the size of the first stroke corresponding to the first handwritten character, or the plurality of strokes.
- the font size determined based on the combination of the attribute of the second character corresponding to the detected second handwritten character and the size of the second stroke corresponding to the second handwritten character is determined.
- the document display processing unit 311 displays the first character and the second character on the screen with the determined font size.
- the font size is determined based on the combination, and the apparent size when the character (font) corresponding to the handwritten character in the line is displayed. Can be reduced.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
Abstract
実施形態によれば、情報処理装置は、入力手段と表示処理手段とを具備する。入力手段は、複数のストロークを手書きにより入力する。表示処理手段は、前記複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、前記第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、前記第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する。
Description
本発明の実施形態は、手書き文書の処理に関する。
近年、タブレット、PDA、スマートフォンといった種々の手書き機能を有する電子機器が開発されている。また、ノートのような紙のページに手書きされた文字をスキャンすることによって、そのページの画像データを生成し、この画像データを用いて手書きされた文字を認識する光学文字認識(OCR)の技術が利用されている。この技術により、手書きされた文字を文字コードに変換することができる。
OCRでは、例えば、認識された手書き文字の大きさに応じたサイズで、認識結果である文字コードに対応する文字(フォント)が画面に表示される。
しかし、手書き文書上の文字には、例えば、手書きによる形状や大きさのばらつきあるので、対応する文字(フォント)が適切なサイズで表示されない可能性がある。
本発明の一形態は、手書き文字を含む手書き文書を、文字コードを含む整形文書に変換する場合に、適切なサイズで表示できる電子機器および方法を提供することを目的とする。
実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、複数のストロークを手書きにより入力する。表示処理手段は、前記複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、前記第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、前記第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する。
以下、実施の形態について図面を参照して説明する。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、この電子機器がタブレットコンピュータ10として実現されている場合を想定する。タブレットコンピュータ10は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図1に示すように、本体11とタッチスクリーンディスプレイ17とを備える。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わせるように取り付けられている。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、この電子機器がタブレットコンピュータ10として実現されている場合を想定する。タブレットコンピュータ10は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図1に示すように、本体11とタッチスクリーンディスプレイ17とを備える。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わせるように取り付けられている。
本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を想定する。
デジタイザおよびタッチパネルの各々は、フラットパネルディスプレイの画面を覆うように設けられる。このタッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作のみならず、ペン100を使用した画面に対するタッチ操作も検出することができる。ペン100は例えば電磁誘導ペンであってもよい。
ユーザは、外部オブジェクト(ペン100又は指)を使用してタッチスクリーンディスプレイ17上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト(ペン100又は指)の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡(筆跡)がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が1ストロークに相当する。手書きされた文字または図形などに対応する多数のストロークの集合、つまり多数の軌跡(筆跡)の集合が手書き文書を構成する。
本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報を含む手書き文書データとして記憶媒体に保存される。この時系列情報の詳細は図3を参照して後述するが、この時系列情報は、概して、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、手書きにより入力可能なある一つのストロークを表現可能なデータであればどのようなものであってもよく、例えば、このストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
タブレットコンピュータ10は、記憶媒体から既存の任意の手書き文書データを読み出し、この手書き文書データに対応する手書き文書、つまり、時系列情報によって示される複数のストロークそれぞれに対応する軌跡が描画された手書き文書を、画面上に表示することができる。
次いで、図2および図3を参照して、ユーザによって手書きされたストローク(文字、マーク、図形、表など)と時系列情報との関係について説明する。図2は、ペン100などを使用してタッチスクリーンディスプレイ17上に手書きされる手書き文書(手書き文字列)の例を示している。
手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図2においては、「ABC」の手書き文字列が「A」、「B」、「C」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「A」のすぐ近くに手書きされた場合が想定されている。
手書き文字「A」は、ペン100などを使用して手書きされる2つのストローク(「∧」形状の軌跡、「-」形状の軌跡)によって、つまり2つの軌跡によって表現される。最初に手書きされる「∧」形状のペン100の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標CD11、CD12、…CD1nが得られる。同様に、次に手書きされる「-」形状のペン100の軌跡もサンプリングされ、これによって「-」形状のストロークの時系列座標CD21、CD21、…CD2nが得られる。
手書き文字「B」は、ペン100などを使用して手書きされた2つのストローク、つまり2つの軌跡によって表現される。手書き文字「C」は、ペン100などを使用して手書きされた1つのストローク、つまり1つの軌跡によって表現される。手書きの「矢印」は、ペン100などを使用して手書きされた2つのストローク、つまり2つの軌跡によって表現される。
図3は、図2の手書き文書に対応する時系列情報200を示している。時系列情報は、複数のストロークデータCD1、CD2、…、CD7を含む。時系列情報200内においては、これらストロークデータCD1、CD2、…、CD7は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べられている。
時系列情報200において、先頭の2つのストロークデータCD1、CD2は、手書き文字「A」の2つのストロークをそれぞれ示している。3番目と4番目のストロークデータCD3、CD4は、手書き文字「B」を構成する2つのストロークをそれぞれ示している。5番目のストロークデータCD5は、手書き文字「C」を構成する1つのストロークを示している。6番目と7番目のストロークデータCD6、CD7は、手書き矢印を構成する2つのストロークをそれぞれ示している。
各ストロークデータは、一つのストロークに対応する座標データ系列(時系列座標)、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいて、複数の座標は、ストロークが書かれた順に時系列に並べられている。例えば、手書き文字「A」に関しては、ストロークデータCD1は、手書き文字「A」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)、つまりn個の座標データCD11、CD12、…CD1nを含む。ストロークデータCD2は、手書き文字「A」の「-」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりn個の座標データCD21、CD22、…CD2nを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。
各座標データは、対応する軌跡内のある1点に対応するX座標およびY座標を示す。例えば、座標データCD11は、「∧」形状のストロークの始点のX座標(X11)およびY座標(Y11)を示す。CD1nは、「∧」形状のストロークの終点のX座標(X1n)およびY座標(Y1n)を示す。
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Tを含んでいてもよい。手書きされた時点は、絶対時間(例えば、年月日時分秒)またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間(例えば、年月日時分秒)をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Tとして付加してもよい。
このように、各座標データにタイムスタンプ情報Tが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。
各座標データには、筆圧を示す情報(Z)を追加してもよい。
各座標データには、筆圧を示す情報(Z)を追加してもよい。
さらに、本実施形態では、上述したように、手書き文書は、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報200として記憶されるので、言語に依存せずに手書きの文字や図形を扱うことができる。よって、本実施形態の時系列情報200の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
図4は、タブレットコンピュータ10のシステム構成を示す図である。
タブレットコンピュータ10は、図4に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ104、BIOS-ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
タブレットコンピュータ10は、図4に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ104、BIOS-ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
CPU101は、タブレットコンピュータ10内の各種モジュールの動作を制御するプロセッサである。CPU101は、ストレージデバイスである不揮発性メモリ106から主メモリ103にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム(OS)201、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム202が含まれている。このデジタルノートブックアプリケーションプログラム202は、上述の手書き文書を作成および表示する機能、手書き文書を文字コード(文字コードに対応する文字)を含む整形された文書に変換する機能、等を有している。
また、CPU101は、BIOS-ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ102は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、本タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。このグラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。このLCD17A上にはタッチパネル17Bおよびデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン100が接触される画面上の接触位置および接触位置の動き等はデジタイザ17Cによって検出される。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
次に、図5を参照して、タブレットコンピュータ10によって実行されるデジタルノートブックアプリケーションプログラム202の機能構成について説明する。デジタルノートブックアプリケーションプログラム202は、タッチスクリーンディスプレイ17を用いた手書き入力操作によって入力されるストロークデータを使用することによって、手書き文書の作成、表示、編集等を行う。また、デジタルノートブックアプリケーションプログラム202は、手書き文書を整形する、すなわち、手書き文書内の手書き文字を文字コードに変換し、文字コードに対応する文字(フォント)が配置された整形文書のデータ(以下、整形文書データとも称する)を生成可能である。
デジタルノートブックアプリケーションプログラム202は、例えば、軌跡表示処理部301、時系列情報生成部302、行認識部303、文字認識部304、属性検出部305、高さ検出部306、サイズ決定部307、整形文書生成部308、ページ保存処理部309、ページ取得処理部310、文書表示処理部311、等を備える。
タッチスクリーンディスプレイ17は、「タッチ」、「移動(スライド)」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動(スライド)」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17によって発生される「タッチ」または「移動(スライド)」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動(スライド)」イベントには、移動先の接触位置の座標が含まれている。したがって、軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17から、接触位置の動きの軌跡に対応する座標列を受信することができる。
軌跡表示処理部301は、タッチスクリーンディスプレイ17から座標列を受信し、この座標列に基づいて、ペン100等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ17内のLCD17Aの画面上に表示する。この軌跡表示処理部301により、画面にペン100が接触している間のペン100の軌跡、つまり各ストロークの軌跡がLCD17Aの画面上に描かれる。
時系列情報生成部302は、タッチスクリーンディスプレイ17から出力される上述の座標列を受信し、この座標列に基づいて、図3で詳述したような構造を有する時系列情報(ストロークデータ)を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ401に一時保存してもよい。
ページ保存処理部309は、生成された時系列情報(作業メモリ401に一時保存された時系列情報)を、手書き文書データとして記憶媒体402に保存する。記憶媒体402は、例えば、タブレットコンピュータ10内のストレージデバイスである。
ページ取得処理部310は、記憶媒体402から既に格納されている任意の手書き文書データを読み出す。読み出された手書き文書データは文書表示処理部311に送られる。文書表示処理部311は、手書き文書データを解析し、この解析結果に基づいて、時系列情報によって示される各ストロークの軌跡を、画面上に手書き文書(手書きページ)として表示する。
上述の構成により、ユーザは、手書き文字を含む手書き文書を作成および閲覧することができる。
上述の構成により、ユーザは、手書き文字を含む手書き文書を作成および閲覧することができる。
また、作成された手書き文書内の手書き文字は、文字認識によって文字コードに変換することもできる。以下では、時系列情報生成部302によって生成された時系列情報を含む手書き文書データを、手書き文書内の手書き文字に対応する文字コードを含む整形文書データに変換する処理について説明する。
まず、行認識部303は、手書き文書データを用いて、手書き文書に含まれる複数の行を認識する。例えば、行認識部303は、手書き文書データに含まれるストロークデータ(時系列座標)を用いて、手書き文書上の、1以上の手書き文字をそれぞれ含む複数の行を認識する。より具体的には、行認識部303は、手書き文書上に手書きされた複数のストロークに対応する複数のストロークデータを用いることにより、手書きされたストロークの座標の変化に基づいて、行を認識する。
例えば、手書き文書内に文字が横書きされる場合、ユーザは、1つの行に属する文字を、手書き文書内の左から右に向かって手書きしていくことが想定される。そのため、行認識部303は、時系列情報(複数のストロークデータ)から、タッチスクリーンディスプレイ17上でのオブジェクト(指またはペン100)の接触位置が、ある行の末尾から次の行の先頭に移動していることを示す座標を検出する。
より具体的には、行認識部303は、手書きされた時刻順の座標データ系列を用いて、X座標(水平方向の座標)が手書き文書内の右から左へと大きく変化している、連続して手書きされた二つのストロークを検出する。行認識部303は、例えば、第Nストロークの最後の座標データと、その第Nストロークに後続する、第(N+1)ストロークの最初の座標データとを用いて、それら座標データのX座標の差の絶対値がしきい値以上である場合に、第Nストロークまでの1以上のストロークと、第(N+1)ストロークからの1以上のストロークとが、別々の行に属することを検出する。行認識部303は、同様にして、行の切れ目を検出することによって、手書き文書内の行を認識する。
次いで、文字認識部304は、認識された複数の行に含まれる複数の手書き文字に対応する文字コードを認識する。つまり、文字認識部304は、複数の行の各々に含まれる手書き文字を文字認識することによって、それら手書き文字を文字コードに変換する。文字認識部304は、各行内の複数のストロークの内の1以上のストロークに対応する文字を認識する。
文字認識部304は、例えば、複数のストロークの内の、1以上のストローク(処理対象のストローク)に対応する1以上のストロークデータを用いて、その1以上のストロークの形状を示す第1特徴量を算出する。そして、文字認識部304は、記憶媒体402に予め格納された文字辞書データを用いて、算出された第1特徴量と類似する特徴量を有する文字を検出する。この文字辞書データでは、例えば、複数の文字と、それら複数の文字に対応する複数の特徴量とが規定されている。したがって、文字認識部304は、文字辞書データに規定された複数の文字から、算出された第1特徴量との類似度がしきい値以上である、第2特徴量を有する文字を認識することによって、処理対象のストロークに対応する手書き文字を文字コードに変換する。
なお、文字認識部304は、文字辞書データに規定された複数の文字から、第1特徴量との類似度がしきい値以上である特徴量を有する複数の文字候補を検出してもよい。その場合、文字認識部304は、例えば、単語や文字の共起確率等を示す言語辞書データと、処理対象のストロークの近傍のストローク(例えば、処理対象のストロークの左右のストローク)から認識された文字とに基づいて、検出された複数の文字候補から、処理対象のストロークに対して尤もらしい文字(尤度が高い文字)を絞り込む。これにより、文字認識部304は、処理対象のストロークに対応する文字を決定する。
属性検出部305、高さ検出部306およびサイズ決定部307は、各行に含まれる1以上の手書き文字に対応する1以上の文字(すなわち、文字認識によって得られた文字コードで表現される文字)が、整形文書上で表示される大きさ(フォントサイズ)を決定する。属性検出部305、高さ検出部306およびサイズ決定部307は、行毎に、文字が整形文書上で表示されるサイズを決定する。
ところで、ある行に対応する文字が整形文書上で表示されるサイズは、手書き文書上でのその行の高さに基づいて決定される場合がある。
図6に示す例では、ある行に含まれる手書き文字列“day”41の行の高さ41A、すなわち、手書き文字列41に対応するストローク(“d”に対応するストローク)の最上部411のY座標と、手書き文字列41に対応するストローク(“y”に対応するストローク)の最下部412のY座標との差(垂直方向の差)に基づくフォントサイズで、手書き文字列“day”41に対応する文字(フォント)42が表示されている。しかし、手書き文字列41の行の高さ41Aに基づいてフォントサイズが決定される場合、例えば、手書き文字の位置、サイズ、形状、等のばらつきによって、手書き文字に応じた適切なフォントサイズを決定できない可能性がある。
例えば、この手書き文字列“day”41では、文字“y”が、他の文字“d”および“a”に対して、相対的に下に突き出した形状で手書きされている。手書き文字列41に対応する行の高さ41Aは、この下に突き出した文字“y”の高さを含み、したがって、手書き文字列41における文字の高さのばらつきに影響されるので、この行の高さ41Aに基づいてフォントサイズが決定された場合、決定されたフォントサイズは、ユーザが意図しないサイズになる可能性がある。例えば、フォントサイズが、手書き文字列“day”41の高さ41Aに合わせて文字(フォント)42が配置されるように決定された場合、文字42が、手書き文字列41のサイズに対して大きすぎる不適切なサイズで表示される。つまり、手書き文字列41の見た目の大きさと、この手書き文字列41が置き換えられた文字42のフォントとの見た目の大きさとを合わせることができない。
そのため本実施形態では、手書きにより入力された複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、その第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、その第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、第1文字と第2文字とを画面に表示する。つまり、本実施形態では、手書き文字を含む手書き文書を、文字(フォント)を含む整形文書に変換する場合、手書き文書内のある行に含まれる1以上の手書き文字の内の少なくとも1つの手書き文字に対応する、少なくとも1つの文字(文字コード)の属性と、その少なくとも1つの手書き文字の大きさ(例えば、高さ)とに基づいて、その行内の1以上の手書き文字に対応する1以上の文字(フォント)が画面に表示されるフォントサイズを決定する。
図7および図8は、本実施形態のデジタルノートブックアプリケーション202によって手書き文字が適切なサイズの文字(フォント)に変換される例を示す。
図7では、手書き文字列“day”41の内の文字“a”の高さ41C、すなわち、文字“a”に対応するストロークの最上部414のY座標と最下部415のY座標との差と、この文字“a”の属性とに基づいてフォントサイズが決定されている。
図7では、手書き文字列“day”41の内の文字“a”の高さ41C、すなわち、文字“a”に対応するストロークの最上部414のY座標と最下部415のY座標との差と、この文字“a”の属性とに基づいてフォントサイズが決定されている。
また、図8では、手書き文字列“Day”45の内の文字“D”の高さ45A、すなわち、文字“D”に対応するストロークの最上部416のY座標と最下部417のY座標との差と、この文字“D”の属性とに基づいてフォントサイズが決定されている。
このようなフォントサイズ決定のために、まず、属性検出部305は、処理対象の行から認識された文字(文字コード)の属性を検出する。属性検出部305は、例えば、処理対象の行に含まれる1以上の手書き文字の内の少なくとも1つの手書き文字に対応する、少なくとも1つの文字の属性を検出する。属性が検出される文字は、処理対象の行内の任意の手書き文字(例えば、行内の先頭の手書き文字、行内の任意の位置の手書き文字、行内の最後の手書き文字以外の手書き文字、等)に対応する文字である。また、属性検出部305は、処理対象の行から特定の属性の文字が検出されるまで、その行内の手書き文字に対応する文字(文字コード)の属性を、例えば先頭の文字から順に検出してもよい。
図9は、属性検出部305によって検出される文字の属性の例を示す。図9に示すように、複数種の文字55,56,57,58の各々は、文字の形状に基づく複数の属性の内の1つの属性に関連付けられている。
この複数の属性は、例えば、文字が、複数の属性の文字(例えば、アルファベットの文字)を包含する領域60を分割した複数の部分領域の内、いずれの1以上の部分領域に含まれる形状の文字であるかに基づいて規定される。この複数の部分領域は、例えば、領域60を垂直方向に三分割(すなわち、領域60の高さを三分割)することによって規定される3つの部分領域61,62,63を含む。なお、これら3つの部分領域61,62,63は、上方から順に第1部分領域61、第2部分領域62、第3部分領域63とも称する。
図9に示すように、第1属性の文字は、第1部分領域61と第2部分領域62とからなる領域51に包含され、且つ文字の一部が第1部分領域61と第2部分領域62のそれぞれに含まれる形状を有する。第2属性の文字は、第2部分領域62に包含される形状を有する。第3属性の文字は、第2部分領域62と第3部分領域63とからなる領域52に包含され、且つ文字の一部が第2部分領域62と第3部分領域63のそれぞれに含まれる形状を有する。第4属性の文字は、領域60(第1部分領域61と第2部分領域62と第3部分領域63とからなる領域)に包含され、且つ文字の一部が第1部分領域61と第2部分領域62と第3部分領域63のそれぞれに含まれる形状を有する。
アルファベットの文字のような複数種の文字の各々は、複数の属性の内の1つの属性に関連付けられる。
例えば、大文字のアルファベット“A”~“Z”は、第1部分領域61と第2部分領域62とからなる領域51に包含され、且つその一部が第1部分領域61と第2部分領域62のそれぞれに含まれるべき形状を有する、第1属性の文字55である。同様に、アルファベット“b”,“d”,“f”,“h”,“i”,“k”,“l”,および“t”も第1属性の文字55である。
例えば、大文字のアルファベット“A”~“Z”は、第1部分領域61と第2部分領域62とからなる領域51に包含され、且つその一部が第1部分領域61と第2部分領域62のそれぞれに含まれるべき形状を有する、第1属性の文字55である。同様に、アルファベット“b”,“d”,“f”,“h”,“i”,“k”,“l”,および“t”も第1属性の文字55である。
アルファベット“a”,“c”,“e”,“m”,“n”,“o”,“r”,“s”,“u”,“v”,“w”,“x”,および“z”は、第2部分領域62に包含されるべき形状を有する、第2属性の文字56である。
アルファベット“g”,“p”,“q”,および“y”は、第2部分領域62と第3部分領域63とからなる領域52に包含され、且つ文字の一部が第2部分領域62と第3部分領域63のそれぞれに含まれるべき形状を有する、第3属性の文字57である。
アルファベット“j”は、領域60に包含され、且つ文字の一部が第1部分領域61と第2部分領域62と第3部分領域63のそれぞれに含まれるべき形状を有する、第4属性の文字58である。
属性検出部305は、このように規定された複数の属性の内の1つの属性を、認識された手書き文字に対応する文字(文字コード)の属性として検出する。
次いで、高さ検出部306は、処理対象の行内の1以上の手書き文字の内の、少なくとも1つの手書き文字の大きさ(例えば、高さ)を検出する。高さ検出部306は、例えば、属性が検出された文字コードに対応する手書き文字のストロークデータを用いて、その手書き文字に対応するストロークの最上部の座標と最下部の座標との垂直方向の差を、文字の大きさ(高さ)として検出する。
サイズ決定部307は、属性検出部305によって検出された、処理対象の行に含まれる1以上の文字の内の少なくとも1つの文字に対応する文字の属性と、高さ検出部306によって検出された当該少なくとも1つの文字の高さ(文字に対応するストロークの大きさ)との組み合わせに基づいて定まるフォントサイズを決定する、すなわち、その処理対象の行内の1以上の文字に対応する1以上の文字を、整形文書上に表示するフォントサイズを決定する。
例えば、属性検出部305は、手書き入力された複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、それら複数のストロークから検出される第2手書き文字に対応する第2文字の属性とを検出する。高さ検出部306は、第1手書き文字に対応する第1ストロークの大きさと、第2手書き文字に対応する第2ストロークの大きさとを検出する。そして、サイズ決定部307は、第1手書き文字に対応する第1文字の属性と、第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、第2手書き文字に対応する第2文字の属性と、第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズを決定する。その際、第1文字の属性が第1属性である場合に、第1文字の属性と第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第1値であり、第1文字の属性が第2属性である場合に、第1文字の属性と第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第2値であり、これら第1値と第2値とは相異する。
より具体的には、処理対象の行内に図7に示す手書き文字列“day”41が含まれている場合、文字認識部304は、手書き文字列41に含まれる3つの手書き文字を認識することによって、それら3つの手書き文字を3つの文字コードに変換する。属性検出部305は、変換された3つの文字コードに対応する3文字の内の“a”の文字に関連付けられた第2属性を検出する。高さ検出部306は、手書き文字“a”に対応するストロークデータを用いて、“a”に対応するストロークの最上部の座標414と最下部の座標415との垂直方向の差(ストロークの大きさ)を、手書き文字“a”の高さ41Cとして検出する。
そして、サイズ決定部307は、“a”の文字の属性と、“a”の手書き文字に対応するストロークの大きさとの組み合わせに基づいて定まるフォントサイズを算出する。サイズ決定部307は、検出された第2属性と手書き文字“a”の高さ41Cとに基づいて、手書き文字列41に対応する文字44が表示されるフォントサイズを決定する。サイズ決定部307は、例えば、第2属性の文字“a”が第2部分領域62に包含される形状を有することと、その第2属性である手書き文字“a”が高さ41Cで手書きされていることとに基づいて、対応する文字が表示されるフォントサイズを決定する。つまり、サイズ決定部307は、第2部分領域62の高さが高さ41Cである場合のフォントサイズ(すなわち、複数の属性の文字を包含する領域60の高さが(高さ41C×3)である場合のフォントサイズ)を算出する。そして、文字サイズ決定部307は、算出されたフォントサイズを、処理対象の行内に含まれる1以上の手書き文字に対応する1以上の文字(文字コードで示される文字)を画面に表示するフォントサイズに決定する。
なお、サイズ決定部307は、行の先頭の文字が第1属性であるアルファベットの大文字であることを想定し、ある行に含まれる手書き文字列の内の先頭の文字の大きさ(高さ)に基づいて、その手書き文字列に対応する文字のフォントサイズを決定してもよい。
例えば、処理対象の行内に図8に示す手書き文字列“Day”45が含まれている場合、文字認識部304は、手書き文字列45に含まれる3文字を認識することによって、それら3文字を3つの文字コードに変換する。そして、“D”が行の先頭の文字であるので、行の先頭の文字が大文字であると見なして、属性検出部305による属性の検出を行うことなく、“D”の文字に対応する第1属性が決定される。高さ検出部306は、手書き文字“D”に対応するストロークデータを用いて、“D”に対応するストロークの最上部の座標416と最下部の座標417との垂直方向の差を、手書き文字“D”の高さ45A(ストロークの大きさ)として検出する。
そして、サイズ決定部307は、決定された第1属性と手書き文字“D”の高さ45Aとに基づいて、手書き文字列45に対応する文字46が表示されるフォントサイズを決定する。サイズ決定部307は、例えば、第1属性の文字“D”が第1部分領域61と第2部分領域62とからなる領域51に包含されることと、その第1属性である文字“D”が高さ45Aで手書きされていることとに基づいて、対応する文字が表示されるフォントサイズを決定する。つまり、サイズ決定部307は、第1部分領域61の高さと第2部分領域62の高さとの和が、高さ45Aである場合のフォントサイズ(すなわち、複数の属性の文字を包含する領域60の高さが(高さ45A×3/2)である場合のフォントサイズ)を算出する。そして、文字サイズ決定部307は、算出されたフォントサイズを、処理対象の行内に含まれる1以上の手書き文字に対応する1以上の文字を画面に表示するフォントサイズに決定する。
なお、サイズ決定部307は、例えば、予め規定されたフォントサイズ決定テーブルを用いて、フォントサイズを決定してもよい。
図10は、フォントサイズ決定テーブルの一構成例を示す。フォントサイズ決定テーブルは、文字の属性と文字に対応するストロークの大きさ(高さ)との組み合わせに基づいて定まるフォントサイズが規定されたテーブルである。サイズ決定部307は、このフォントサイズ決定テーブルから、属性検出部305によって検出された文字の属性と、高さ検出部306によって検出された文字の高さとの組み合わせに対応するフォントサイズを検出する。
整形文書生成部308は、決定されたフォントサイズを有する、文字認識部304によって認識された複数の文字(すなわち、文字コードに対応するフォント)を整形文書上に配置し、当該整形文書に対応する整形文書データを生成する。整形文書生成部308は、例えば、文字コードとフォントサイズとの複数のペアを含む整形文書データを生成する。これにより、文書表示処理部311は、整形文書データを用いて、行毎の適切なフォントサイズの文字を含む整形文書をLCD17Aの画面に表示することができる。
ページ保存処理部309は、生成された整形文書データを記憶媒体402に保存してもよい。
ページ取得処理部310は、記憶媒体402から既に格納されている任意の整形文書データを読み出す。読み出された整形文書データは文書表示処理部311に送られる。文書表示処理部311は、整形文書データを解析し、この解析結果に基づいて、関連付けられたフォントサイズで、文字コードによって示される文字が配置された整形文書(整形ページ)を画面上に表示する。
以上の構成により、手書き文字を含む手書き文書を、文字コードを含む整形文書に変換する場合に、文字を適切なサイズで表示することができる。
なお、手書き文字列には、手書きによる安定度が低い文字が含まれることがある。安定度が低い文字とは、例えば、ユーザによって手書きされる形状が異なりやすい文字や、手書きされる場合に同じ行内の他の文字に対してサイズや高さのばらつきが生じやすい文字、等である。
図11に示す例では、手書き文字列“day”41において、手書きによる安定度が低い文字“y”が含まれている。この文字“y”は、他の文字“d”および“a”に対して、相対的に下に突き出した形状で手書きされている。このような手書き文字列“day”41に対応する文字(フォント)が表示されるフォントサイズを決定するときに、安定度が低い文字“y”の高さ41B、すなわち、“y”に対応するストロークの最上部の座標413と最下部の座標412との垂直方向の差に基づいてフォントサイズが決定された場合、文字43が、手書き文字列41のサイズに対して大きすぎる不適切なサイズで表示されてしまう可能性がある。
そのため、本実施形態のサイズ決定部307は、処理対象の行内の1以上の手書き文字に対応する1以上の文字(文字コード)が取得された場合に、特定の属性の文字に対応する手書き文字の高さに基づいて、その行内の1以上の文字が表示されるフォントサイズを決定してもよい。この特定の属性は、文字の安定度が統計的に高い属性(例えば、行の高さと手書きされた文字の高さとの相関が統計的に高い属性)である。例えば、図9に示した4つの属性の内、ストロークを上下方向に伸ばす可能性が低い文字(“a”、“c”、等)に対応する第2属性が、特定の属性として用いられる。また、この文字の安定度は、予め収集された手書き文書を解析することによって算出することができるので、その算出結果に基づき、文字の安定度がしきい値以上である属性を特定の属性として用いることもできる。
より具体的には、文字認識部304によって、処理対象の行内の1以上の手書き文字に対応する1以上の文字(文字コード)を取得された場合、属性検出部305は、それら1以上の文字の各々に対応する属性を検出する。高さ検出部306は、検出された属性に基づいて、その行に対応する1以上の文字から特定の属性の1以上の文字を抽出し、抽出された特定の属性の1以上の文字に対応する1以上の手書き文字の高さ(ストロークの大きさ)を検出する。そして、サイズ決定部307は、この特定の属性と、検出された1以上の手書き文字の高さとに基づいて、フォントサイズを決定する。サイズ決定部307は、例えば、特定の属性と、検出された1以上の手書き文字の高さの中央値とに基づいて、フォントサイズを決定する。1以上の手書き文字の高さの中央値を用いることにより、1以上の手書き文字の高さに含まれる特異値を除外することができる。
また、サイズ決定部307は、特定の属性の1以上の文字に対応する1以上の手書き文字の高さと、他の属性の1以上の文字に対応する1以上の手書き文字の高さとの加重平均(または重み付け加算)に基づいて、フォントサイズを決定してもよい。この加重平均の算出では、例えば、文字の安定度が統計的に高い属性の文字の高さに対して、大きく重み付けされ、文字の安定度が統計的に低い属性の文字の高さに対して、小さく重み付けされる。
これにより、文字コードが表示されるフォントサイズを決定する場合に、安定度が統計的に低い属性の文字の高さによる影響を軽減することができる。
これにより、文字コードが表示されるフォントサイズを決定する場合に、安定度が統計的に低い属性の文字の高さによる影響を軽減することができる。
さらに、サイズ決定部307は、行の最後の手書き文字の高さを用いずに、フォントサイズを決定してもよい。換言すると、サイズ決定部307は、行に含まれる1以上の手書き文字の内、当該行の最後の文字以外の文字の高さを用いて、フォントサイズを決定してもよい。
例えば、行の最後の文字はピリオドのような句読点であることが想定され、その場合、ピリオドに対応する文字の高さによって、フォントサイズが不適切なサイズに決定される可能性がある。そのため、サイズ決定部307は、行の最後の手書き文字の高さを用いずに、フォントサイズを決定する。
また、上述した説明では、文字がアルファベットである場合について記載した。しかし、本実施形態は、アルファベットに限らず、日本語の漢字や仮名(ひらがな、カタカナ)のような、他の言語の文字にも適用することができる。
例えば、漢字や仮名の場合にも、図9に示したような文字の形状に基づく属性を規定することができる。より具体的には、漢字は仮名よりも大きく手書きされることが多いことに基づき、例えば、漢字が第1領域に包含される形状を有する属性の文字と規定され、仮名が第1領域よりも小さい第2領域に包含される形状を有する属性の文字と規定される。
属性検出部305は、日本語の手書き文書の場合、この規定に基づき、処理対象の行に含まれる1以上の手書き文字の内の少なくとも1つの手書き文字に対応する文字(文字コード)の属性を検出する。そして、サイズ決定部307は、検出された属性と、高さ検出部306によって検出された当該少なくとも1つの手書き文字の高さとに基づいて、その処理対象の行内の1以上の手書き文字に対応する1以上の文字を、整形文書上に表示するフォントサイズを決定する。
このように、文字の形状に基づく属性を規定することにより、様々な言語の手書き文字に対して、本実施形態を適用することができる。
このように、文字の形状に基づく属性を規定することにより、様々な言語の手書き文字に対して、本実施形態を適用することができる。
次いで、図12のフローチャートを参照して、デジタルノートブックアプリケーション202によって実行される手書き入力処理の手順の例について説明する。
まず、軌跡表示処理部301は、手書き入力操作によるペン100等の動きの軌跡(ストローク)をディスプレイ17Aに表示する(ブロックB11)。また、時系列情報生成部302は、手書き入力操作による軌跡に対応する座標列に基づいて上述の時系列情報(時系列順に並べられた複数のストロークデータ)を生成する(ブロックB12)。時系列情報生成部302は、その時系列情報を作業メモリ401に一時保存してもよい。また、ページ保存処理部309は、時系列情報生成部302によって生成された時系列情報(作業メモリ401に一時保存された時系列情報)を手書き文書データとして記憶媒体402に保存してもよい。
また、図13のフローチャートは、デジタルノートブックアプリケーション202によって実行される整形文書生成処理の手順の例を示す。
まず、行認識部303は、生成された時系列情報(手書き文書データ)を用いて、複数のストロークから1以上の行を認識する(ブロックB21)。文字認識部303は、認識された1以上の行の内の処理対象の1行に対応するストロークから1以上の文字を認識する(ブロックB22)。認識された1以上の行は、例えば、横書きの文書では、上方から順に処理対象の行に設定される。文字認識部303は、例えば、処理対象の行内に含まれる1以上の手書き文字のそれぞれを文字コードに変換する。
属性検出部305は、認識された1以上の文字の内の第1文字(少なくとも1つの文字)の属性を検出する(ブロックB23)。そして、高さ検出部306は、その第1文字の高さ(対応するストロークの大きさ)を検出する(ブロックB24)。高さ検出部306は、例えば、第1文字を構成する1以上のストロークに対応する座標を用いて、最上部の座標と最下部の座標とを検出し、それら垂直方向の最大の座標と最小の座標との差分を、第1文字の高さとして算出する。
サイズ決定部307は、検出された第1文字の高さと属性とに基づいて、フォントサイズを決定する(ブロックB25)。サイズ決定部307は、例えば、第1文字の高さと属性とからフォントサイズが決定されるフォントサイズ決定テーブルを用いて、フォントサイズを決定する。整形文書生成部308は、整形文書上に、認識された1以上の文字に対応する、決定されたフォントサイズの文字を配置する(ブロックB26)。
なお、サイズ決定部307は、処理対象の行内の1以上の手書き文字の内の第1手書き文字に対応する第1文字の属性と、第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、1以上の手書き文字の内の第2手書き文字に対応する第2文字の属性と、第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいてフォントサイズを決定してもよい。
次いで、行認識部303は、処理対象の行に後続する行があるか否かを判定する(ブロックB27)。後続する行がある場合(ブロックB27のYES)、その行を新たな処理対象の行に設定し、ブロックB22に戻る。後続する行がない場合(ブロックB27のNO)、処理を終了する。
以上説明したように、本実施形態によれば、手書き文字を含む手書き文書を、文字コードを含む整形文書に変換する場合に、適切なサイズで表示することができる。軌跡表示処理部301および時系列情報生成部302は、複数のストロークを手書き入力する操作を検出し、それら複数のストロークを画面に表示し、また対応するストロークデータを生成する。サイズ決定部307は、複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、その第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、その第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズを決定する。文書表示処理部311は、決定されたフォントサイズで、前記第1文字と前記第2文字とを画面に表示する。
このように、行内の第1手書き文字に対応する第1文字の属性と、当該第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は第2手書き文字に対応する第2文字の属性と、当該第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいてフォントサイズを決定することによって、行内の手書き文字に対応する文字(フォント)を表示した場合の見た目の大きさのばらつきを低減することができる。
なお、図12および図13のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
Claims (15)
- 複数のストロークを手書きにより入力する入力手段と、
前記複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、前記第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、前記第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する表示処理手段とを具備する電子機器。 - 文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの1以上の部分領域に含まれる形状の文字であるかに基づいて規定される請求項1記載の電子機器。
- 前記第1文字の属性が第1属性である場合に、前記第1文字の属性と前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第1値であって、
前記第1文字の属性が第2属性である場合に、前記第1文字の属性と前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第2値であって、
前記第1値と、前記第2値とは、相異する請求項1記載の電子機器。 - 前記複数の部分領域は、前記領域を分割することによって規定される、第1部分領域と第2部分領域と第3部分領域とを含み、
前記複数の属性の内の第1属性の文字は、前記第1部分領域と前記第2部分領域とからなる領域に包含され、且つ文字の一部が前記第1部分領域と前記第2部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第2属性の文字は、前記第2部分領域に包含される形状を有し、
前記複数の属性の内の第3属性の文字は、前記第2部分領域と前記第3部分領域とからなる領域に包含され、且つ文字の一部が前記第2部分領域と前記第3部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第4属性の文字は、前記領域に包含され、且つ文字の一部が前記第1部分領域と前記第2部分領域と前記第3部分領域のそれぞれに含まれる形状を有する請求項2記載の電子機器。 - 前記表示処理手段は、前記第1手書き文字が行内の先頭の文字である場合、前記第1属性と、前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する請求項4記載の電子機器。
- 複数のストロークを手書きにより入力し、
前記複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、前記第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、前記第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する方法。 - 文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの1以上の部分領域に含まれる形状の文字であるかに基づいて規定される請求項6記載の方法。
- 前記第1文字の属性が第1属性である場合に、前記第1文字の属性と前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第1値であって、
前記第1文字の属性が第2属性である場合に、前記第1文字の属性と前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第2値であって、
前記第1値と、前記第2値とは、相異する請求項6記載の方法。 - 前記複数の部分領域は、前記領域を分割することによって規定される、第1部分領域と第2部分領域と第3部分領域とを含み、
前記複数の属性の内の第1属性の文字は、前記第1部分領域と前記第2部分領域とからなる領域に包含され、且つ文字の一部が前記第1部分領域と前記第2部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第2属性の文字は、前記第2部分領域に包含される形状を有し、
前記複数の属性の内の第3属性の文字は、前記第2部分領域と前記第3部分領域とからなる領域に包含され、且つ文字の一部が前記第2部分領域と前記第3部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第4属性の文字は、前記領域に包含され、且つ文字の一部が前記第1部分領域と前記第2部分領域と前記第3部分領域のそれぞれに含まれる形状を有する請求項7記載の方法。 - 前記表示することは、前記第1手書き文字が行内の先頭の文字である場合、前記第1属性と、前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する請求項9記載の方法。
- コンピュータにより実行されるプログラムであって、前記プログラムは、
複数のストロークを手書きにより入力する手順と、
前記複数のストロークから検出される第1手書き文字に対応する第1文字の属性と、前記第1手書き文字に対応する第1ストロークの大きさとの組み合わせ、又は、前記複数のストロークから検出される第2手書き文字に対応する第2文字の属性と、前記第2手書き文字に対応する第2ストロークの大きさとの組み合わせ、に基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する手順とを前記コンピュータに実行させるプログラム。 - 文字の属性は、文字が、複数の属性の文字を包含する領域を分割した複数の部分領域の内、いずれの1以上の部分領域に含まれる形状の文字であるかに基づいて規定される請求項11記載のプログラム。
- 前記第1文字の属性が第1属性である場合に、前記第1文字の属性と前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第1値であって、
前記第1文字の属性が第2属性である場合に、前記第1文字の属性と前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズは、第2値であって、
前記第1値と、前記第2値とは、相異する請求項11記載のプログラム。 - 前記複数の部分領域は、前記領域を分割することによって規定される、第1部分領域と第2部分領域と第3部分領域とを含み、
前記複数の属性の内の第1属性の文字は、前記第1部分領域と前記第2部分領域とからなる領域に包含され、且つ文字の一部が前記第1部分領域と前記第2部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第2属性の文字は、前記第2部分領域に包含される形状を有し、
前記複数の属性の内の第3属性の文字は、前記第2部分領域と前記第3部分領域とからなる領域に包含され、且つ文字の一部が前記第2部分領域と前記第3部分領域のそれぞれに含まれる形状を有し、
前記複数の属性の内の第4属性の文字は、前記領域に包含され、且つ文字の一部が前記第1部分領域と前記第2部分領域と前記第3部分領域のそれぞれに含まれる形状を有する請求項12記載のプログラム。 - 前記表示する手順は、前記第1手書き文字が行内の先頭の文字である場合、前記第1属性と、前記第1ストロークの大きさとの組み合わせに基づいて定まるフォントサイズで、前記第1文字と前記第2文字とを画面に表示する請求項14記載のプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/075488 WO2015040740A1 (ja) | 2013-09-20 | 2013-09-20 | 電子機器および方法 |
JP2015537525A JP6081606B2 (ja) | 2013-09-20 | 2013-09-20 | 電子機器および方法 |
US14/937,188 US9940536B2 (en) | 2013-09-20 | 2015-11-10 | Electronic apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/075488 WO2015040740A1 (ja) | 2013-09-20 | 2013-09-20 | 電子機器および方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/937,188 Continuation US9940536B2 (en) | 2013-09-20 | 2015-11-10 | Electronic apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015040740A1 true WO2015040740A1 (ja) | 2015-03-26 |
Family
ID=52688422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/075488 WO2015040740A1 (ja) | 2013-09-20 | 2013-09-20 | 電子機器および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9940536B2 (ja) |
JP (1) | JP6081606B2 (ja) |
WO (1) | WO2015040740A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9652669B2 (en) * | 2014-09-16 | 2017-05-16 | Lenovo (Singapore) Pte. Ltd. | Reflecting handwriting attributes in typographic characters |
US9977976B2 (en) * | 2016-06-29 | 2018-05-22 | Konica Minolta Laboratory U.S.A., Inc. | Path score calculating method for intelligent character recognition |
JP2020071799A (ja) * | 2018-11-02 | 2020-05-07 | シャープ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102570007B1 (ko) * | 2019-11-04 | 2023-08-23 | 삼성전자주식회사 | 필기 입력을 보정하는 방법 및 전자 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6362783B2 (ja) * | 1981-03-31 | 1988-12-05 | ||
JPH01171080A (ja) * | 1987-12-25 | 1989-07-06 | Matsushita Electric Ind Co Ltd | 誤り自動訂正文字認識装置 |
JPH06215189A (ja) * | 1991-12-19 | 1994-08-05 | Texas Instr Inc <Ti> | 文字認識方法及びその装置 |
JPH11134439A (ja) * | 1997-10-30 | 1999-05-21 | Oki Electric Ind Co Ltd | 単語認識方法 |
JPH11184971A (ja) * | 1997-12-22 | 1999-07-09 | Toshiba Corp | 手書き文字認識機能を持つ文字入力装置及び方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5563959A (en) * | 1991-12-19 | 1996-10-08 | Texas Instruments Incorporated | Character recognition |
JPH05282128A (ja) | 1992-03-31 | 1993-10-29 | Hitachi Ltd | 手書き文字入力方式及び装置 |
JPH05282091A (ja) * | 1992-04-02 | 1993-10-29 | Mitsubishi Electric Corp | 任意サイズ文字の入力装置 |
JP2989072B2 (ja) | 1992-06-24 | 1999-12-13 | シャープ株式会社 | 手書き文字入力装置 |
JPH06150064A (ja) * | 1992-11-05 | 1994-05-31 | Matsushita Electric Ind Co Ltd | 手書き文字図形入力装置 |
JP3299614B2 (ja) | 1993-12-22 | 2002-07-08 | 松下電器産業株式会社 | 手書き入力データ処理装置 |
JPH10232862A (ja) * | 1997-02-18 | 1998-09-02 | Brother Ind Ltd | 文字認識装置 |
JPH10334186A (ja) * | 1997-06-03 | 1998-12-18 | Brother Ind Ltd | 文字認識装置及び文字認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3634686B2 (ja) * | 1999-08-30 | 2005-03-30 | シャープ株式会社 | 文字修正装置および文字修正方法 |
JP4678671B2 (ja) | 2005-03-29 | 2011-04-27 | 株式会社日立ソリューションズ | 手書き文字配置整形方法及び電子ボードシステム |
JP2008059527A (ja) * | 2006-09-04 | 2008-03-13 | Ricoh Co Ltd | 画像処理装置およびプログラム |
KR20090046142A (ko) * | 2007-11-05 | 2009-05-11 | 삼성전자주식회사 | 입력 필체 자동 변환 시스템 및 방법 |
US8116569B2 (en) * | 2007-12-21 | 2012-02-14 | Microsoft Corporation | Inline handwriting recognition and correction |
JP5701839B2 (ja) * | 2012-10-26 | 2015-04-15 | 株式会社東芝 | 電子機器および方法 |
JP6447066B2 (ja) * | 2014-12-01 | 2019-01-09 | 株式会社リコー | 画像処理装置、画像処理方法、及びプログラム |
US20160314377A1 (en) * | 2015-04-23 | 2016-10-27 | Monotype Imaging Inc. | Using Similarity for Grouping Fonts and Individuals for Recommendations |
US9715623B2 (en) * | 2015-06-10 | 2017-07-25 | Lenovo (Singapore) Pte. Ltd. | Reduced document stroke storage |
-
2013
- 2013-09-20 JP JP2015537525A patent/JP6081606B2/ja active Active
- 2013-09-20 WO PCT/JP2013/075488 patent/WO2015040740A1/ja active Application Filing
-
2015
- 2015-11-10 US US14/937,188 patent/US9940536B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6362783B2 (ja) * | 1981-03-31 | 1988-12-05 | ||
JPH01171080A (ja) * | 1987-12-25 | 1989-07-06 | Matsushita Electric Ind Co Ltd | 誤り自動訂正文字認識装置 |
JPH06215189A (ja) * | 1991-12-19 | 1994-08-05 | Texas Instr Inc <Ti> | 文字認識方法及びその装置 |
JPH11134439A (ja) * | 1997-10-30 | 1999-05-21 | Oki Electric Ind Co Ltd | 単語認識方法 |
JPH11184971A (ja) * | 1997-12-22 | 1999-07-09 | Toshiba Corp | 手書き文字認識機能を持つ文字入力装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6081606B2 (ja) | 2017-02-15 |
JPWO2015040740A1 (ja) | 2017-03-02 |
US9940536B2 (en) | 2018-04-10 |
US20160063342A1 (en) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458161B1 (ja) | 電子機器および方法 | |
JP5701839B2 (ja) | 電子機器および方法 | |
JP5349645B1 (ja) | 電子機器および手書き文書処理方法 | |
US9606981B2 (en) | Electronic apparatus and method | |
US20150169948A1 (en) | Electronic apparatus and method | |
JP6180888B2 (ja) | 電子機器、方法およびプログラム | |
US9378427B2 (en) | Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device | |
JP6301736B2 (ja) | 電子機器及び方法 | |
US20140184610A1 (en) | Shaping device and shaping method | |
WO2014147712A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6081606B2 (ja) | 電子機器および方法 | |
JP5717831B2 (ja) | 電子機器および手書き文書処理方法 | |
US20140300629A1 (en) | Electronic device, handwritten document processing method, and storage medium | |
US10127478B2 (en) | Electronic apparatus and method | |
JP5735126B2 (ja) | システムおよび筆跡検索方法 | |
JP6223687B2 (ja) | 電子機器および手書き文書検索方法 | |
US20140210829A1 (en) | Electronic apparatus and handwritten document processing method | |
WO2016031016A1 (ja) | 電子機器、方法及びプログラム | |
JP6039066B2 (ja) | 電子機器、手書き文書検索方法およびプログラム | |
EP2871570A2 (en) | Electronic apparatus, method and storage medium | |
US20150253878A1 (en) | Electronic device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13893897 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015537525 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13893897 Country of ref document: EP Kind code of ref document: A1 |