WO2023105696A1 - 情報付与装置、情報付与方法及び情報付与プログラム - Google Patents

情報付与装置、情報付与方法及び情報付与プログラム Download PDF

Info

Publication number
WO2023105696A1
WO2023105696A1 PCT/JP2021/045213 JP2021045213W WO2023105696A1 WO 2023105696 A1 WO2023105696 A1 WO 2023105696A1 JP 2021045213 W JP2021045213 W JP 2021045213W WO 2023105696 A1 WO2023105696 A1 WO 2023105696A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
work
events
unit
operation log
Prior art date
Application number
PCT/JP2021/045213
Other languages
English (en)
French (fr)
Inventor
有記 卜部
公雄 土川
泰輔 若杉
史拓 横瀬
諒 内田
佐也香 八木
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2021/045213 priority Critical patent/WO2023105696A1/ja
Publication of WO2023105696A1 publication Critical patent/WO2023105696A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to an information providing device, an information providing method, and an information providing program.
  • a task performed via an information terminal is composed of a plurality of tasks.
  • work performed on a PC refers to a series of information input operations (input into text boxes, button clicks, etc.) necessary to carry out work.
  • RPA Robot Process Automation
  • Non-Patent Document 1 a technique for analyzing and visualizing the work flow performed in a business using process mining in order to identify areas for improvement in the business.
  • the information used in the analysis and visualization of process mining is the operation log that records the events to be analyzed.
  • operation logs are divided for each batch of work.
  • the operation log includes operation time, event, matter information (also called sequence or the like), and the like.
  • an event to be analyzed is an operation to a GUI (Graphical User Interface) component such as a button click or an input to a text box.
  • GUI Graphic User Interface
  • Non-Patent Document 2 there is known a technique for comprehensively collecting operation logs related to operations performed on a PC (see, for example, Non-Patent Document 2).
  • the operation log collected by the method of Non-Patent Document 2 does not indicate the operation of each event, the corresponding work, and the case.
  • an information provision device includes: an identification unit that identifies operations corresponding to events indicated in an operation log of a computer; and a creation unit that creates a work model, which is information that associates the patterns of the work with the work, and information indicating the work corresponding to each of the events shown in the operation log using the work model.
  • a work information assigning unit that assigns certain first information, and responds to each of the events indicated in the operation log to which the first information is assigned, based on a captured image of the screen of the computer.
  • an item information adding unit that adds second information that is information indicating the item.
  • process mining can be performed efficiently.
  • FIG. 1 is a diagram showing a configuration example of an information provision system according to the first embodiment.
  • FIG. 2 is a diagram showing an example of an operation log.
  • FIG. 3 is a diagram showing an example of work model information.
  • FIG. 4 is a diagram showing an example of a work model creation screen.
  • FIG. 5 is a diagram for explaining the procedure for adding information.
  • FIG. 6 is a diagram for explaining the procedure for adding information.
  • FIG. 7 is a diagram showing an example of a screen on which work information is visualized.
  • FIG. 8 is a diagram showing an example of a screen on which item information is visualized.
  • FIG. 9 is a flow chart showing the processing flow of the information adding device according to the first embodiment.
  • FIG. 10 is a diagram showing an example of a computer that executes an information provision program.
  • the operation log is assumed to be a set of records corresponding to each event that occurs according to the operation on the computer.
  • the record includes the date and time when the event occurred, information on the application to be operated, details of the operation, and information on the screen and GUI parts displayed on the computer at the time of operation.
  • operation logs may be saved in a single file regardless of the corresponding projects and tasks. In this case, it is difficult for the conventional technology to distinguish the projects and tasks corresponding to each record in the file.
  • the information adding device of this embodiment identifies the operation of the event included in the operation log, and further adds information indicating the work and the item corresponding to each event.
  • FIG. 1 is a diagram showing a configuration example of an information provision system according to the first embodiment. As shown in FIG. 1 , the information provision system 1 has an information provision device 10 and a terminal device 20 .
  • the information provision device 10 is a server.
  • the terminal device 20 is a computer such as a personal computer, a smart phone, or a tablet terminal.
  • the information provision device 10 and the terminal device 20 are connected via a network so as to enable data communication.
  • the user operates the terminal device 20 in business.
  • the terminal device 20 executes applications such as a web browser, spreadsheet software, and word processing software. Then, the user performs operations such as input to the GUI parts displayed on the screen by the terminal device 20 .
  • a part or all of the functions of the information provision device 10 may be provided in the terminal device 20.
  • the terminal device 20 can function as an information providing device.
  • the information provision device 10 has a communication unit 11, a storage unit 12 and a control unit 13.
  • the communication unit 11 performs data communication with other devices via the network.
  • the communication unit 11 is a NIC (Network Interface Card).
  • the storage unit 12 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), an optical disc, or the like. Note that the storage unit 12 may be a rewritable semiconductor memory such as RAM (Random Access Memory), flash memory, NVSRAM (Non Volatile Static Random Access Memory).
  • RAM Random Access Memory
  • flash memory Non Volatile Static Random Access Memory
  • the storage unit 12 stores an OS (Operating System) and various programs executed by the information provision device 10 .
  • the storage unit 12 stores operation logs 121 and work model information 122 .
  • FIG. 2 is a diagram showing an example of an operation log.
  • the operation log 121 is a set of records corresponding to each event that occurs according to the operation on the terminal device 20 .
  • the terminal device 20 is an example of a computer.
  • Each column in the operation log 121 in FIG. 2 is called an attribute.
  • a value for each attribute of each record (row) in the operation log 121 is called an attribute value.
  • the operation log 121 in FIG. 2 is assumed to be information related to operations on the web browser.
  • the attributes of the operation log 121 are not limited to those shown in FIG.
  • the attributes of the operation log 121 may include, for example, a history of inputs from input devices (keyboard, mouse, etc.), character strings of commands input on a CUI (Character User Interface), and the like.
  • the terminal device 20 executes the web browser, displays the web page on the screen, and receives operations such as input to GUI parts on the web page.
  • the operation log 121 is information related to operations on web pages.
  • the attributes included in the operation log 121 are as follows. Date and Time: Information on the time the event occurred (including the date) Operation type: Character string representing the type of operation Application: Character string representing the name of the executable file of the application being executed URL: Character string representing the URL of the displayed web page Title: Character string representing the title of the web page tagName : Character string representing the tag containing the GUI part type: Character string representing the type of the GUI part value: Character string representing the input value to the GUI part id: Character string for identifying the GUI part name: Name of the GUI part className: String representing the class name of the GUI part left: Numerical value representing the position of the GUI part top: Numerical value representing the position of the GUI part width: Numerical value representing the position of the GUI part height: Numerical value representing the position of the GUI part Numeric value representing image: screen capture image data (for example, a string representing a file path)
  • Each attribute may correspond to an HTML tag with the same name.
  • a null value is set in the operation log 121 for an attribute that is not set or an attribute for which an attribute value cannot be acquired.
  • the attribute value included in the operation log 121 does not need to be the information itself obtained from the terminal device 20 .
  • the attribute value may be obtained by processing the acquired information, or may be obtained by combining a plurality of pieces of information. Also, the multiple pieces of information to be combined may not appear in the operation log 121 .
  • operation ID is information for identifying the operation of the event indicated in each record. A method for identifying the operation ID will be described later.
  • the record on the first line in FIG. 2 indicates that the GUI part is located at the position indicated by left “217”, top “84”, width "195", and height "24". It also shows that the captured image of the screen during operation is stored in a file named "1.png".
  • the GUI parts include text boxes, buttons (including submit), pull-downs, check boxes, radio buttons, etc.
  • FIG. 3 is a diagram showing an example of work model information.
  • the work model information 122 stores a work model.
  • the work model is a pattern of combinations and sequences of operations.
  • An operation is represented by an operation ID.
  • a work model whose work name is "business trip process search work” performs these operations in the order of operation a, operation b, operation c, operation d, operation e, operation f, operation g, and operation h. It is shown to be a combined pattern.
  • the work model may be identified by the work name as shown in FIG. 3, or may be identified by an ID assigned to each work model.
  • control unit 13 controls the information provision device 10 as a whole.
  • the control unit 13 includes, for example, electronic circuits such as CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), etc. It is an integrated circuit.
  • CPU Central Processing Unit
  • MPU Micro Processing Unit
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • control unit 13 has an internal memory for storing programs defining various processing procedures and control data, and executes each processing using the internal memory. Further, the control unit 13 functions as various processing units by running various programs.
  • control unit 13 has a specifying unit 131 , a creating unit 132 , a work information providing unit 133 , a case information providing unit 134 and a display control unit 135 .
  • the identification unit 131 identifies operations corresponding to events indicated in the operation log 121 of the computer.
  • the identifying unit 131 identifies the operation ID based on each attribute value of the operation log 121.
  • the operation ID is an ID for identifying events (records) corresponding to the same operation.
  • the event of entering the character string "abc" in a certain text box and the event of entering the character string "xyz” in the text box are both operations of "entering a character string in the text box". It is due to On the other hand, each event is regarded as a different event because the input character strings are different.
  • the identification unit 131 For each attribute of the operation log 121, the identification unit 131 (1) determines a character string by a complete match, (2) determines a character string by a partial match, (3) determines by a numerical range, and (4) does not use for determination. , to identify events of the same operation.
  • the identifying unit 131 applies (1) to the operation type, application, tagName, type, id, and name among the attributes of the operation log 121 .
  • the specifying unit 131 applies (2) to the URL and title among the attributes of the operation log 121 .
  • the specifying unit 131 applies (3) to width and height among the attributes of the operation log 121 .
  • the specifying unit 131 applies (4) to the date and time, value, className, left, and top among the attributes of the operation log 121 .
  • the identifying unit 131 sets the operation ID of the records on the first and ninth lines of the operation log 121 shown in FIG. 2 to "operation a". For example, in records on the 1st and 9th lines, the operation type and application match, but the date and time and value do not match.
  • the creation unit 132 creates a work model, which is information that associates the operation combination and order pattern identified by the identification unit 131 with the work in the business.
  • a work model is a model that represents a series of operations performed to complete work in a business.
  • the creation unit 132 may create a work model according to user's designation received via the work model creation screen. For example, the creating unit 132 creates a work model based on operations associated with a captured image selected by the user from captured images on the computer screen.
  • FIG. 4 is a diagram showing an example of the work model creation screen.
  • the work model creation screen 31 is created by the information provision device 10 and displayed by the terminal device 20 .
  • the work model creation screen 31 may be displayed by a device different from the terminal device 20 .
  • the creation unit 132 extracts the operation ID from the operation log 121 and the capture image associated with the operation ID, and displays the capture image for each operation ID in the area 311 . Note that the creating unit 132 refers to the image of the operation log 121 and extracts the captured image.
  • area 311 supplementary information about the captured image is displayed.
  • area 311 in FIG. 4 indicates that the captured image is of the airplane search screen.
  • the creation unit 132 may display the captured images in the area 311 for each information (title, URL) on the screen so that the user can easily select them.
  • the creation unit 132 cuts out only the periphery of the operation location in the captured image so as to display the operation location in an easy-to-understand manner. A portion corresponding to the location may be highlighted (thick frame portion of the captured image of the area 311).
  • the user selects the captured images shown in area 311 and specifies the order. For example, the user selects a captured image in area 311 to move to area 312 .
  • the selected captured images are arranged and displayed in the positions corresponding to the designated order.
  • the area 312 is provided with a text box for entering a work name. In the example of FIG. 4, "business trip process search work" is input as the work name.
  • the creating unit 132 associates the operation ID of the operation corresponding to the captured image arranged in the area 312 and the order based on the arranged position with the input work name. Stored in the work model information 122 .
  • the work information adding unit 133 uses the work model to add first information (work information), which is information indicating the corresponding work, to each event shown in the operation log 121 .
  • the work information assigning unit 133 selects continuous events in a series in which the events shown in the operation log 121 are arranged along the date and time of occurrence, and is continuous events that satisfy the condition regarding the degree of matching with the pattern included in the work model. is given information indicating the work included in the work model as work information.
  • FIG. 5 is a diagram explaining the procedure for adding information.
  • the sequence in FIG. 5 is the events in the operation log 121 arranged in order of date and time of occurrence. Rectangular graphics correspond to each event, and alphabets represent operation IDs. For example, in FIG. 5, the operation ID "operation a" is omitted as "a”.
  • a blank figure without an operation ID corresponds to an event for which the operation ID is not specified, or an event whose operation ID is irrelevant to the target work model.
  • the work information provision unit 133 looks at the series of events in order and identifies a range that may match the work model. For example, the work information assigning unit 133 identifies a sequence of operation IDs (operation sequence) of the work model and consecutive events in which the sequence of operation IDs matches.
  • the work information adding unit 133 detects an event whose operation ID is "a” from the sequence as the starting point. "a” is the first operation ID in the work model A;
  • the work information adding unit 133 determines whether or not the operation ID of the event following the specified start point is included in the work model.
  • the work information provision unit 133 also determines that an event whose operation ID is not included in the work model but whose title or URL matches the event determined to be included in the work model is included in the work model. good too.
  • the work information adding unit 133 sets the event immediately before the event determined not to be included in the work model as the end point.
  • the work information provision unit 133 specifies the range from the start point to the end point.
  • the work information assigning unit 133 identifies ranges 51, 52, 53, and 54 as ranges that may match the work model A.
  • the work model A In the example of FIG.
  • the work information adding unit 133 determines whether or not to add work information corresponding to the work model to the specified range.
  • the work information adding unit 133 determines based on at least one of the matching degree of the elements and the length of the sequence.
  • the work information assigning unit 133 looks at each event in the identified range, and if the operation ID of the event matches the operation ID in the work model, adds 1 to the degree of matching, and if the operation ID of the event matches the operation ID in the work model 0.5 is added to the degree of matching if the operation ID does not match (equivalent to a blank figure).
  • the work information adding unit 133 calculates the number of matches between the operation IDs of the events in the specified range and the operation IDs of the work model as the length of the sequence.
  • the work information adding unit 133 calculates the degree of matching as 9.0 and the length of the series as 7 for the range 51 .
  • the work information adding unit 133 adds work information to each event in a range in which at least one or both of the degree of matching and the length of the sequence exceeds the threshold.
  • the sequence length threshold may be a value such as 50% of the number of operation IDs in the work model.
  • the work information adding unit 133 adds “business trip process search work” to the attribute “work name” added to the operation log 121 of the event included in the range 51 .
  • the range specified by the work information provision unit 133 may correspond to multiple work models. For example, consider a case where range 51 may correspond to both work model A and work model B, as shown in FIG. FIG. 6 is a diagram for explaining the procedure for adding information.
  • the work information attachment unit 133 determines which work model the specified range is closer to, based on the degree of matching and the length of the sequence.
  • the work model A has a higher degree of matching and a greater sequence length, so the work information adding unit 133 determines that the work model A falls within the range 51 .
  • the work information providing unit 133 may determine a work model having a larger weighted sum of the degree of matching and the length of the series as shown below as the work model corresponding to the specified range.
  • weighted sum degree of agreement x 1 + sequence length x 2
  • the item information assigning unit 134 attaches second information ( project information).
  • the item information adding unit 134 adds item information to the events in the range to which the work information has been added.
  • the item information assigning unit 134 compares the computer screen information corresponding to each of two consecutive events in a sequence in which the events indicated in the operation log 121 to which work information is assigned are arranged according to the date and time of occurrence. By doing so, project information is added to the two events based on the result of determining whether the two events correspond to the same project.
  • the item information assigning unit 134 sets an event whose operation ID matches the first operation ID in the work model as the start point of the item. For example, the first operation ID in work model A is "a".
  • the item information adding unit 134 determines whether to add the same item information as the first event to the second event of the two consecutive events after the starting point.
  • the item information adding unit 134 focuses only on events to which work information is added. That is, the event that follows the rightmost event of range 51 is regarded as the leftmost event of range 52 .
  • the item information assigning unit 134 assigns the same item information to two consecutive events when all of the following conditions C1 to C4 are satisfied.
  • the case information attaching unit 134 can add the same case information to two consecutive events when any of the following conditions C1 to C4 except condition C3 is satisfied. to give
  • the item information adding unit 134 adds item information different from that of the first event to the second event.
  • the item information provision unit 134 regards an event whose operation ID matches the last operation ID in the work model as the end point of the item. For example, the first operation ID in work model A is "h".
  • the case information adding unit 134 gives the same case information (information indicating case ⁇ ) to the range 51, the range 52, and the range 531.
  • the case information providing unit 134 gives the same case information (information indicating case ⁇ ) to the range 532 and the range 54 .
  • the item information may differ from each other.
  • the display control unit 135 displays a screen that displays work information assigned to a plurality of events shown in the operation log 121, or both work information and item information.
  • the display control unit 135 causes the terminal device 20 to display a screen in which the work information and the item information are visualized.
  • FIG. 7 is a diagram showing an example of a screen that visualizes work information. As shown in FIG. 7, on the work information display screen 32 displayed by the display control unit 135, a capture image of the event to which the work model A is assigned is superimposed and displayed. Also, the arrows between the captured images indicate the order of the operation IDs in the work model A.
  • FIG. 7 is a diagram showing an example of a screen that visualizes work information. As shown in FIG. 7, on the work information display screen 32 displayed by the display control unit 135, a capture image of the event to which the work model A is assigned is superimposed and displayed. Also, the arrows between the captured images indicate the order of the operation IDs in the work model A.
  • FIG. 7 is a diagram showing an example of a screen that visualizes work information. As shown in FIG. 7, on the work information display screen 32 displayed by the display control unit 135, a capture image of the event to which the work model A is assigned is superimposed and displayed. Also, the arrows between the captured images indicate the order of the operation
  • FIG. 8 is a diagram showing an example of a screen that visualizes item information. As shown in FIG. 8, on the item information display screen 33 displayed by the display control unit 135, a captured image of the event to which the work model A is assigned is displayed for each item.
  • the captured images of the events having the same matter are arranged in the same row, and the captured images of the events having the same operation ID are arranged in the same column.
  • the terminal device 20 has a communication section 21 , an input section 22 , an output section 23 , a storage section 24 and a control section 25 .
  • the communication unit 21 performs data communication with other devices via the network.
  • the communication unit 21 is a NIC.
  • the input unit 22 is an input device such as a keyboard and mouse.
  • the output unit 23 is a display device such as a display capable of outputting a screen.
  • the storage unit 24 is a storage device such as an HDD, SSD, or optical disk. Note that the storage unit 24 may be a rewritable semiconductor memory such as a RAM, a flash memory, or an NVSRAM.
  • the storage unit 24 stores the OS and various programs executed by the terminal device 20.
  • the control unit 25 controls the terminal device 20 as a whole.
  • the control unit 25 is, for example, an electronic circuit such as a CPU, MPU, or GPU, or an integrated circuit such as an ASIC or FPGA.
  • control unit 25 has an internal memory for storing programs defining various processing procedures and control data, and executes each processing using the internal memory. Further, the control unit 25 functions as various processing units by running various programs.
  • control unit 25 has an acquisition unit 251 and a display control unit 252.
  • the acquisition unit 251 acquires an operation log in the terminal device 20.
  • the acquisition unit 251 transmits the acquired operation log to the information provision device 10 .
  • the display control unit 252 causes the output unit 23 to display the screen.
  • the display control unit 252 causes the work model creation screen 31, the work information display screen 32, and the item information display screen 33 to be displayed under the control of the information providing device 10.
  • FIG. 9 is a flow chart showing the processing flow of the information adding device according to the first embodiment.
  • the information provision device 10 identifies the operation ID of the event included in the operation log (step S101). For example, the information assigning device 10 assigns the same operation ID to events having the same screen and GUI part names even if the dates and input values are different from each other.
  • the information provision device 10 creates a work model combining operation IDs (step S102).
  • the information providing device 10 presents the work model creation screen 31 to the user, and combines the operation IDs of the events selected by the user to create a work model.
  • the information adding device 10 adds information specifying the work to the event included in the operation log (step S103).
  • the information imparting device 10 imparts work information based on a predetermined range in a sequence in which events are arranged along the time of occurrence and the degree of matching with a work model.
  • the information adding device 10 adds information specifying the item to the event to which the information specifying the work has been added (step S104).
  • the information providing device 10 provides item information according to the result of determining whether two consecutive events in the series described above are for the same item.
  • the information provision device 10 visualizes and displays the work information or matter information provided to the event (step S105). For example, the information provision device 10 displays the work information display screen 32 or the item information display screen 33 .
  • the identification unit 131 identifies operations corresponding to events indicated in the operation log 121 of the computer.
  • the creation unit 132 creates a work model, which is information that associates the operation combination and order pattern identified by the identification unit 131 with the work in the business.
  • the work information adding unit 133 uses the work model to add work information, which is information indicating the corresponding work, to each event shown in the operation log 121 .
  • the item information assigning unit 134 assigns item information, which is information indicating the corresponding item, to each of the events indicated in the operation log 121 to which work information is attached, based on the captured image of the computer screen. .
  • the information provision device 10 automatically identifies the operation (operation ID) of each event in the operation log using the work model, and further provides work information and matter information.
  • process mining can be performed efficiently.
  • the method of manually checking the events in the technical operation log one by one and manually assigning work information and project information has the problem of requiring a large amount of operation.
  • the creation unit 132 creates a work model based on the operation associated with the captured image selected by the user from among the captured images on the computer screen.
  • users can create work models in units of work that they recognize. As a result, the user can grasp the operation log for each work and each case by looking at the given work information and case information.
  • the work information assigning unit 133 assigns continuous events in a series in which the events shown in the operation log 121 are arranged according to the date and time of occurrence, and the continuous events satisfying the condition regarding the degree of matching with the pattern included in the work model, Information indicating the work included in the work model is given as work information. Thereby, work information can be automatically given.
  • the item information assigning unit 134 compares the computer screen information corresponding to each of two consecutive events in a sequence in which the events indicated in the operation log 121 to which work information is assigned are arranged according to the date and time of occurrence. By doing so, project information is added to the two events based on the result of determining whether the two events correspond to the same project. As a result, it is possible to automatically assign the item information.
  • the display control unit 135 displays a screen that displays work information assigned to a plurality of events shown in the operation log 121, or both work information and item information. As a result, it is possible to present the work information and the item information in a manner that is easy for the user to understand.
  • each component of each device illustrated is functionally conceptual, and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the illustrated one, and all or part of them can be functionally or physically distributed or Can be integrated and configured.
  • all or any part of each processing function performed by each device is realized by a CPU (Central Processing Unit) and a program analyzed and executed by the CPU, or hardware by wired logic can be realized as Note that the program may be executed not only by the CPU but also by other processors such as a GPU.
  • CPU Central Processing Unit
  • the information providing apparatus 10 can be implemented by installing an information providing program for executing the above information providing process as package software or online software in a desired computer.
  • the information processing apparatus can function as the information providing apparatus 10 by executing the information providing program described above.
  • the information processing apparatus referred to here includes a desktop or notebook personal computer.
  • information processing devices include mobile communication terminals such as smartphones, mobile phones and PHS (Personal Handyphone Systems), and slate terminals such as PDAs (Personal Digital Assistants).
  • the information providing device 10 can also be implemented as an information providing server device that uses a terminal device used by a user as a client and provides the client with services related to the above information providing processing.
  • the information provision server device is implemented as a server device that provides an information provision service in which an operation log is input and given work information and project information are output.
  • the information provision server device may be implemented as a Web server, or may be implemented as a cloud that provides services related to the above information provision processing by outsourcing.
  • FIG. 10 is a diagram showing an example of a computer that executes an information provision program.
  • the computer 1000 has a memory 1010 and a CPU 1020, for example.
  • Computer 1000 also has hard disk drive interface 1030 , disk drive interface 1040 , serial port interface 1050 , video adapter 1060 and network interface 1070 . These units are connected by a bus 1080 .
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM (Random Access Memory) 1012 .
  • the ROM 1011 stores a boot program such as BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • Hard disk drive interface 1030 is connected to hard disk drive 1090 .
  • a disk drive interface 1040 is connected to the disk drive 1100 .
  • a removable storage medium such as a magnetic disk or optical disk is inserted into the disk drive 1100 .
  • Serial port interface 1050 is connected to mouse 1110 and keyboard 1120, for example.
  • Video adapter 1060 is connected to display 1130, for example.
  • the hard disk drive 1090 stores, for example, an OS 1091, application programs 1092, program modules 1093, and program data 1094. That is, the program that defines each process of the information providing apparatus 10 is implemented as a program module 1093 in which computer-executable code is described. Program modules 1093 are stored, for example, on hard disk drive 1090 .
  • the hard disk drive 1090 stores a program module 1093 for executing processing similar to the functional configuration of the information providing device 10 .
  • the hard disk drive 1090 may be replaced by an SSD (Solid State Drive).
  • the setting data used in the processing of the above-described embodiment is stored as program data 1094 in the memory 1010 or the hard disk drive 1090, for example. Then, the CPU 1020 reads the program modules 1093 and program data 1094 stored in the memory 1010 and the hard disk drive 1090 to the RAM 1012 as necessary, and executes the processes of the above-described embodiments.
  • the program modules 1093 and program data 1094 are not limited to being stored in the hard disk drive 1090, but may be stored in a removable storage medium, for example, and read by the CPU 1020 via the disk drive 1100 or the like. Alternatively, the program modules 1093 and program data 1094 may be stored in another computer connected via a network (LAN (Local Area Network), WAN (Wide Area Network), etc.). Program modules 1093 and program data 1094 may then be read by CPU 1020 through network interface 1070 from other computers.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

情報付与装置(10)は、コンピュータの操作ログに示されるイベントに対応する操作を特定する。情報付与装置(10)は、特定した操作の組み合わせ及び順番のパターンと、業務における作業と、を対応付けた情報である作業モデルを作成する。情報付与装置(10)は、作業モデルを用いて、操作ログに示されるイベントのそれぞれに、対応する作業を示す情報である作業情報を付与する。情報付与装置(10)は、操作ログに示されるイベントのうち、作業情報が付与されたイベントのそれぞれに、コンピュータの画面のキャプチャ画像に基づき、対応する案件を示す情報である案件情報を付与する。

Description

情報付与装置、情報付与方法及び情報付与プログラム
 本発明は、情報付与装置、情報付与方法及び情報付与プログラムに関する。
 企業等で効果的な業務改善を実現するためには、対象となる業務を正確に把握することが重要である。業務を行う担当者は、日々、複数の業務を、PC(Personal Computer)、タブレット型端末等の情報端末を用いて実施している。また、情報端末を介して行われた業務は、複数の作業で構成される。
 例えば、PCで行われる作業は、業務を遂行するために必要な一連の情報入力操作(テキストボックスへの入力、ボタンのクリック等)を指す。
 実業務における操作手順は、担当者及びオーダの内容等様々な要因により多様化する。操作手順は、基本的にはマニュアルにより規定されているが、マニュアルの作成当初から作業内容に変更があったり、担当者が独自の方法で作業を実施していたりするため、マニュアルと実業務における操作手順との間に乖離が発生する場合がある。
 業務分析者は、業務改善策検討の前提として、どのような作業にどれくらいの時間がかけられ、また、作業がどのような手順で実施されているのかを把握する必要がある。
 例えば、業務改善の効果を高めるためにRPA(Robotic Process Automation)を導入する際には、業務で行われる作業の種別と量を把握し、作業量の多い作業種別からRPAを導入することで効率よく業務改善を実現することが可能となる。
 従来、業務の改善箇所を特定するために、プロセスマイニングを利用して業務で行われる作業の流れを分析、可視化する技術が知られている(例えば、非特許文献1)。
 プロセスマイニングの分析、可視化で用いられる情報は、分析対象のイベントが記録された操作ログである。また、プロセスマイニングでは、操作ログはひとまとまりの作業ごとに分かれている。例えば、操作ログは、操作時刻、イベント、案件情報(シーケンス等とも呼ばれる)等を含む。
 プロセスマイニングでは、同じ作業である案件情報ごとの操作ログの同一イベントを重ね合わせて、プロセスを可視化することでメインフローを発見することができる。
 また、プロセスマイニングでは、複数の案件を、同一操作が同じ列となるように並べて可視化することで、案件ごとに発生したイベントを比較して問題点を発見することができる。
 分析対象となるイベントは、業務の種類及び分析したい粒度によって様々である。例えば、分析対象となるイベントは、ボタンクリック、テキストボックスへの入力等のGUI(Graphical User Interface)部品への操作である。
 また、従来、PC上で行われる操作に関する操作ログを網羅的に収集する技術が知られている(例えば、非特許文献2を参照)。
卜部、八木、土川、増田、操作ログを入力とした業務プロセス可視化手法の検討、信学技報, vol. 118, no. 483, ICM2018-64, pp. 83-88, 2019年3月. 横瀬、卜部、八木、土川、増田、大石、DX推進に貢献する業務可視化技術, NTT技術ジャーナル, vol. 32, no. 2, 2020年2月.
 しかしながら、従来の技術には、プロセスマイニングを効率良く行うことが困難であるという問題がある。
 例えば、非特許文献1に記載の方法でプロセスマイニングを行うためには、操作ログに示されるイベントごとの操作が特定されていて、かつ、各イベントが対応する業務上の作業及び案件が明らかになっている必要がある。
 一方で、非特許文献2の方法で収集された操作ログには、各イベントの操作、対応する作業及び案件は示されていない。
 これに対し、操作ログに手動で必要な情報を付与することも考えられるが、そのような方法では効率が低下する。
 上述した課題を解決し、目的を達成するために、情報付与装置は、コンピュータの操作ログに示されるイベントに対応する操作を特定する特定部と、前記特定部によって特定された操作の組み合わせ及び順番のパターンと、業務における作業と、を対応付けた情報である作業モデルを作成する作成部と、前記作業モデルを用いて、前記操作ログに示されるイベントのそれぞれに、対応する作業を示す情報である第1の情報を付与する作業情報付与部と、前記操作ログに示されるイベントのうち、前記第1の情報が付与されたイベントのそれぞれに、前記コンピュータの画面のキャプチャ画像に基づき、対応する案件を示す情報である第2の情報を付与する案件情報付与部と、を有することを特徴とする。
 本発明によれば、プロセスマイニングを効率良く行うことができる。
図1は、第1の実施形態に係る情報付与システムの構成例を示す図である。 図2は、操作ログの例を示す図である。 図3は、作業モデル情報の例を示す図である。 図4は、作業モデル作成画面の例を示す図である。 図5は、情報の付与手順を説明する図である。 図6は、情報の付与手順を説明する図である。 図7は、作業情報を可視化した画面の例を示す図である。 図8は、案件情報を可視化した画面の例を示す図である。 図9は、第1の実施形態に係る情報付与装置の処理の流れを示すフローチャートである。 図10は、情報付与プログラムを実行するコンピュータの一例を示す図である。
 以下に、本願に係る情報付与装置、情報付与方法及び情報付与プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
[第1の実施形態]
 ここでは、操作ログは、コンピュータに対する操作に応じて発生した各イベントに対応するレコードの集合であるものとする。
 レコードには、当該イベントが発生した日時、操作対象のアプリケーションの情報、操作の内容、及び操作時にコンピュータに表示されていた画面及びGUIパーツの情報等が含まれる。
 ここで、プロセスマイニングに使われる操作ログにおいては、各イベントに対応する操作及び案件が既知である必要がある。また、作業ごとにプロセスマイニングを行う場合は、各イベントに対する作業が既知である必要がある。
 一方で、非特許文献2に記載の技術では、収集した操作ログにおいては、各イベントに対応する操作、作業、及び案件が特定されていない。
 例えば、コンピュータでは様々な案件及び作業に対応する操作が行われるのに対し、対応する案件及び作業にかかわらず、操作ログは1つのファイルに保存される場合がある。この場合、従来の技術ではファイル内の各レコードに対応する案件及び作業を区別することは難しい。
 本実施形態の情報付与装置は、操作ログに含まれるイベントの操作を特定し、さらに各イベントに対応する作業及び案件を示す情報を付与する。
[第1の実施形態の構成]
 図1は、第1の実施形態に係る情報付与システムの構成例を示す図である。図1に示すように、情報付与システム1は、情報付与装置10及び端末装置20を有する。
 例えば、情報付与装置10はサーバである。また、例えば、端末装置20は、パーソナルコンピュータ、スマートフォン、タブレット型端末等のコンピュータである。
 情報付与装置10と端末装置20は、データ通信ができるようにネットワークを介して接続されているものとする。
 ユーザは、業務において、端末装置20を操作する。例えば、端末装置20は、Webブラウザ、表計算ソフト、文書作成ソフト等のアプリケーションを実行する。そして、ユーザは、端末装置20が画面に表示するGUIパーツに対して入力等の操作を行う。
 なお、情報付与装置10の一部又は全部の機能は、端末装置20に備えられていてもよい。その場合、端末装置20は、情報付与装置として機能することができる。
 図1に示すように、情報付与装置10は、通信部11、記憶部12及び制御部13を有する。
 通信部11は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部11はNIC(Network Interface Card)である。
 記憶部12は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。なお、記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。
 記憶部12は、情報付与装置10で実行されるOS(Operating System)や各種プログラムを記憶する。記憶部12は、操作ログ121及び作業モデル情報122を記憶する。
 図2は、操作ログの例を示す図である。図2に示すように、操作ログ121は、端末装置20に対する操作に応じて発生した各イベントに対応するレコードの集合である。なお、端末装置20は、コンピュータの一例である。
 図2の操作ログ121における各列を属性と呼ぶ。また、操作ログ121における各レコード(行)の属性ごとの値を属性値と呼ぶ。
 また、図2の操作ログ121は、Webブラウザに対する操作に関する情報であるものとする。操作ログ121の属性は、図2に示すものに限られない。操作ログ121の属性には、例えば入力装置(キーボード、マウス等)からの入力の履歴、CUI(Character User Interface)上で入力されたコマンドの文字列等が含まれていてもよい。
 端末装置20は、Webブラウザを実行しWebページを画面に表示させ、当該Webページ上のGUIパーツに対する入力等の操作を受け付ける。操作ログ121は、Webページに対する操作に関する情報である。
 操作ログ121に含まれる属性は下記の通りである。
 日時:イベントが発生した時刻情報(日付を含む)
 操作種別:操作の種別を表す文字列
 アプリケーション:実行中のアプリケーションの実行ファイルの名称を表す文字列
 URL:表示されているWebページのURLを表す文字列
 タイトル:Webページのタイトルを表す文字列
 tagName:GUIパーツが含まれるタグを表す文字列
 type:GUIパーツのタイプを表す文字列
 value:GUIパーツへの入力値を表す文字列
 id:GUIパーツを識別するための文字列
 name:GUIパーツの名称を表す文字列
 className:GUIパーツのクラスの名称を表す文字列
 left:GUIパーツの位置を表す数値
 top:GUIパーツの位置を表す数値
 width:GUIパーツの位置を表す数値
 height:GUIパーツの位置を表す数値
 image:画面のキャプチャ画像のデータ(例えば、ファイルパスを表す文字列)
 各属性は同名のHTMLのタグに対応するものであってもよい。また、設定されていない属性又は属性値が取得できなかった属性には、操作ログ121においてはnull値が設定される。
 なお、操作ログ121に含まれる属性値は、端末装置20から取得した情報そのものである必要はない。属性値は、取得した情報を加工したものであってもよいし、複数の情報を組み合わせたものであってもよい。また、組み合わせられる複数の情報は、操作ログ121に現れないものであってもよい。
 なお、属性「操作ID」は、各レコードに示されるイベントの操作を識別するための情報である。操作IDの特定方法については後述する。
 例えば、図2の1行目のレコードには、「2021/03/10 12:02:10」に発生したイベントであって、アプリケーション「Example.exe」がURL「http://www.sample.jp/transit/?session=0001」のWebページを表示している際に発生したイベントに関する情報が示されている。
 また、図2の1行目のレコードには、「経路検索」というタイトルの画面で、tagNameが「input」、typeが「text」、idが「null」、nameが「on_st」であるGUIパーツに、「YRP野比」という値が入力されたことが示されている。
 また、図2の1行目のレコードには、GUIパーツが、left「217」、top「84」、width「195」、height「24」で表される位置にあることが示されている。また、操作時の画面のキャプチャ画像が「1.png」というファイルに格納されていることが示されている。
 なお、GUIパーツには、テキストボックス、ボタン(送信用(submit)を含む)、プルダウン、チェックボックス、ラジオボタン等が含まれる。
 図3は、作業モデル情報の例を示す図である。作業モデル情報122には、作業モデルが格納される。図3に示すように、作業モデルは、操作の組み合わせ及び順番のパターンである。操作は操作IDによって表される。
 図3には、作業名が「出張工程検索作業」である作業モデルが、操作a、操作b、操作c、操作d、操作e、操作f、操作g、操作hの順でこれらの操作を組み合わせたパターンであることが示されている。
 なお、作業モデルは、図3のように作業名によって識別されるものであってもよいし、作業モデルごとに付与されたIDによって識別されるものであってもよい。
 図1に戻り、制御部13は、情報付与装置10全体を制御する。制御部13は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。
 また、制御部13は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部13は、各種のプログラムが動作することにより各種の処理部として機能する。
 例えば、制御部13は、特定部131、作成部132、作業情報付与部133、案件情報付与部134及び表示制御部135を有する。
 特定部131は、コンピュータの操作ログ121に示されるイベントに対応する操作を特定する。
 特定部131は、操作ログ121の各属性値を基に、操作IDを特定する。操作IDは、同一の操作に対応するイベント(レコード)を識別するためのIDである。
 つまり、端末装置20においては、同じ操作であっても異なるイベントが発生する場合がある。逆に、異なるイベントであっても、同じ操作によるものとみなされる場合がある。
 例えば、あるテキストボックスに「abc」という文字列が入力される事象と、当該テキストボックスに「xyz」という文字列が入力される事象は、いずれも「テキストボックスに文字列を入力する」という操作によるものである。一方で、入力される文字列が異なるため、各事象は互いに異なるイベントとみなされる。
 特定部131は、操作ログ121の各属性に(1)完全一致で文字列を判定、(2)部分一致で文字列を判定、(3)数値の範囲で判定、(4)判定に利用しない、のいずれかのルールを適用して同じ操作のイベントを特定する。
 特定部131は、操作ログ121の属性のうち、操作種別、アプリケーション、tagName、type、id及びnameには(1)を適用する。特定部131は、操作ログ121の属性のうち、URL及びタイトルには(2)を適用する。特定部131は、操作ログ121の属性のうち、width及びheightには(3)を適用する。特定部131は、操作ログ121の属性のうち、日時、value、className、left、topには(4)を適用する。
 例えば、特定部131は、図2に示す操作ログ121の1行目及び9行目のレコードの操作IDを「操作a」とする。例えば、1行目と9行目のレコードでは、操作種別、アプリケーションが一致するのに対し、日時及びvalueは一致しない。
 作成部132は、特定部131によって特定された操作の組み合わせ及び順番のパターンと、業務における作業と、を対応付けた情報である作業モデルを作成する。作業モデルは、業務における作業を完了するために行われる一連の操作を表すモデルである。
 作成部132は、作業モデル作成画面を介して受け付けたユーザの指定により作業モデルを作成してもよい。例えば、作成部132は、操作のうち、コンピュータの画面のキャプチャ画像の中から、ユーザが選択したキャプチャ画像に対応付けられた操作を基に、作業モデルを作成する。
 図4は、作業モデル作成画面の例を示す図である。例えば、作業モデル作成画面31は、情報付与装置10によって作成され、端末装置20によって表示される。また、作業モデル作成画面31は、端末装置20とは異なる装置によって表示されてもよい。
 作成部132は、操作ログ121の操作IDと、操作IDに紐づくキャプチャ画像を抽出して、領域311に操作IDごとのキャプチャ画像を表示する。なお、作成部132は、操作ログ121のimageを参照してキャプチャ画像を抽出する。
 また、領域311には、キャプチャ画像に関する補足的な情報が表示される。例えば、図4の領域311には、キャプチャ画像が飛行機検索画面のものであることが示されている。
 作成部132は、キャプチャ画像を、ユーザが選択しやすいように、画面に関する情報(タイトル、URL)ごとに領域311に表示してもよい。
 また、作成部132は、操作箇所をわかりやすく表示するようにキャプチャ画像の操作箇所周辺のみを切り取り、また、操作箇所の情報(top、left、width、height)を利用してキャプチャ画像上の操作箇所に該当する部分を強調表示してもよい(領域311のキャプチャ画像の太枠部分)。
 ユーザは、領域311に示されたキャプチャ画像を選択し、順番を指定する。例えば、ユーザは、領域311において選択されたキャプチャ画像は、領域312に移動する。
 領域312では、選択されたキャプチャ画像が指定された順番に対応する位置に配置され表示される。また、領域312には、作業名を入力するテキストボックスが設けられている。図4の例では、作業名として「出張工程検索作業」が入力されている。
 作成部132は、例えば保存ボタンが押下されたタイミングで、領域312に配置されたキャプチャ画像に対応する操作の操作IDと、配置された位置に基づく順番を、入力された作業名と対応付けて作業モデル情報122に格納する。
 作業情報付与部133は、作業モデルを用いて、操作ログ121に示されるイベントのそれぞれに、対応する作業を示す情報である第1の情報(作業情報)を付与する。
 例えば、作業情報付与部133は、操作ログ121に示されるイベントを発生日時に沿って並べた系列における連続するイベントであって、作業モデルに含まれるパターンとの一致度合いに関する条件を満たす連続するイベントに、作業モデルに含まれる作業を示す情報を作業情報として付与する。
 図5は、情報の付与手順を説明する図である。図5の系列は、操作ログ121のイベントを発生日時の順に並べたものである。矩形の図形は各イベントに対応し、アルファベットは操作IDを表している。例えば、図5では、操作ID「操作a」は、「a」のように省略されている。
 また、操作IDが記入されていない空欄の図形は、操作IDが特定されていないイベント、又は操作IDが対象の作業モデルとは無関係であるイベントに対応する。
 作業情報付与部133は、系列のイベントを順番に見ていき、作業モデルと一致する可能性のある範囲を特定する。例えば、作業情報付与部133は、作業モデルの操作IDの系列(操作系列)と、操作IDの並びが一致する連続するイベントを特定する。
 例えば、作業情報付与部133は、系列から操作IDが「a」であるイベントを開始地点として検出する。「a」は、作業モデルAにおける順番が最初の操作IDである。
 そして、作業情報付与部133は、特定した開始地点に続くイベントの操作IDが、作業モデルに含まれるものであるか否かを判定していく。
 また、作業情報付与部133は、操作IDが作業モデルに含まれていないが、作業モデルに含まれると判定したイベントとタイトル又はURLが一致するイベントについても、作業モデルに含まれると判定してもよい。
 そして、作業情報付与部133は、作業モデルに含まれないと判定したイベントの直前のイベントを終了地点とする。
 そして、作業情報付与部133は、開始地点から終了地点までの範囲を特定する。図5の例では、作業情報付与部133は、範囲51、範囲52、範囲53及び範囲54を作業モデルAと一致する可能性のある範囲として特定する。
 次に、作業情報付与部133は、特定した範囲に、作業モデルに対応する作業情報を付与するか否かを判定する。作業情報付与部133は、要素の一致度及び系列の長さのうちの少なくともいずれかにより判定する。
(要素の一致度)
 作業情報付与部133は、特定した範囲の各イベントを見ていき、イベントの操作IDが作業モデル内の操作IDと一致する場合は一致度に1を加算し、イベントの操作IDが作業モデル内の操作IDと一致しない場合(空欄の図形に相当)は一致度に0.5を加算する。
(系列の長さ)
 作業情報付与部133は、特定した範囲のイベントの操作IDと、作業モデルの操作IDとの一致数を系列の長さとして算出する。
 例えば、作業情報付与部133は、範囲51について、一致度を9.0と算出し、系列の長さを7と算出する。
 作業情報付与部133は、一致度及び系列の長さの少なくとも一方又は両方が閾値を超えた範囲の各イベントに対し、作業情報を付与する。例えば、系列の長さの閾値は、作業モデルの操作IDの数の50%のような値であってもよい。
 例えば、範囲51の一致度及び系列の長さが閾値を超えていて、かつ作業モデルAの作業名が「出張工程検索作業」であるとする。この場合、作業情報付与部133は、範囲51に含まれるイベントの、操作ログ121に追加された属性「作業名」に、「出張工程検索作業」を付与する。
 また、作業情報付与部133が特定した範囲は、複数の作業モデルに該当する可能性がある。例えば、図6に示すように、範囲51が、作業モデルA及び作業モデルBの両方に該当する可能性がある場合を考える。図6は、情報の付与手順を説明する図である。
 この場合、作業情報付与部133は、一致度及び系列の長さによって、特定した範囲がどちらの作業モデルにより近いかを判定する。
 図6の例では、作業モデルAの方が一致度、系列の長さともに大きいため、作業情報付与部133は、作業モデルAが範囲51に該当すると判定する。
 また、作業情報付与部133は、下記に示すような一致度及び系列の長さの重み付き和が大きい方の作業モデルを、特定した範囲に該当する作業モデルと判定してもよい。
 重み付き和=一致度×1+系列の長さ×2
 案件情報付与部134は、操作ログ121に示されるイベントのうち、作業情報が付与されたイベントのそれぞれに、コンピュータの画面のキャプチャ画像に基づき、対応する案件を示す情報である第2の情報(案件情報)を付与する。
 作業情報付与部133によって作業情報が付与された範囲のイベントは、1つ以上の案件に関する操作が繰り返し行われることにより発生したものである可能性がある。そのため、案件情報付与部134は、作業情報が付与された範囲のイベントに対してさらに案件情報を付与する。
 案件情報付与部134が、作業モデルAに対応する作業情報が付与された範囲にさらに案件情報を付与する場合の例を説明する。
 案件情報付与部134は、操作ログ121に示されるイベントのうち作業情報が付与されたイベントを発生日時に沿って並べた系列における連続する2つのイベントのそれぞれに対応するコンピュータの画面に関する情報を比較することにより、2つのイベントが同じ案件に対応するものであるか否かを判定した結果を基に、2つのイベントに案件情報を付与する。
 まず、案件情報付与部134は、作業モデルにおける順番が最初の操作IDと操作IDが一致するイベントを、案件の開始地点とする。例えば、作業モデルAにおける順番が最初の操作IDは「a」である。
 案件情報付与部134は、開始地点以降の連続している2つのイベントのうちの2つ目のイベントに対しては、1つ目のイベントと同じ案件情報を付与するかどうかを判定する。
 ここで、範囲51、範囲52、範囲53及び範囲54には作業情報が付与されているものとする。また、案件情報付与部134は、作業情報が付与されたイベントのみに着目する。すなわち、範囲51の右端のイベントに連続するイベントは、範囲52の左端のイベントであるとみなされる。
 まず、案件情報付与部134は、連続する2つのイベントの画面が同一である場合は、下記の条件C1~C4の全てが満たされる場合に、2つの連続するイベントに同じ案件情報を付与する。
 また、案件情報付与部134は、連続する2つのイベントの画面が同一でない場合は、下記の条件C1~C4のうち条件C3を除く条件が満たされる場合に、2つの連続するイベントに同じ案件情報を付与する。
 なお、画面が同一であるか否かは、操作ログ121のタイトルが同一であるか否かによって判定される。また、上記の手順により同じ案件情報を付与しない場合、案件情報付与部134は、2つ目のイベントに、1つ目のイベントとは異なる案件情報を付与する。
(条件C1)
 2つ目のイベントの操作IDが、作業モデルにおける順番が最初の操作IDではない。
(条件C2)
 2つのイベントの画面のウィンドウハンドルが一致している。
(条件C3)
 1つ目のイベントの操作箇所のキャプチャ画像が、2つ目のイベントの画面のキャプチャ画像に含まれるか否かを判定するテンプレートマッチングのスコアが閾値以上である。ただし、操作箇所は、画面のキャプチャ画像及び操作ログ121のleft、top、width、heightにより取得される。
(条件C4)
 1つ目のイベントと2つ目のイベントの発生日時の差が閾値以下である。
 また、案件情報付与部134は、上記の条件にかかわらず、作業モデルにおける順番が最後の操作IDと操作IDが一致するイベントを、案件の終了地点とする。例えば、作業モデルAにおける順番が最初の操作IDは「h」である。
 図5の例では、案件情報付与部134は、範囲51、範囲52及び範囲531に同じ案件情報(案件αを示す情報)を付与する。一方、案件情報付与部134は、範囲532、及び範囲54に同じ案件情報(案件βを示す情報)を付与する。
 範囲531及び範囲532のような、連続していて、同じ作業情報が付与された範囲であっても、互いに案件情報が異なる場合がある。
 表示制御部135は、操作ログ121に示される複数のイベントに対して付与された作業情報、又は作業情報及び案件情報の両方を表示する画面を表示させる。表示制御部135は、作業情報及び案件情報を可視化した画面を、端末装置20に表示させる。
 図7は、作業情報を可視化した画面の例を示す図である。図7に示すように、表示制御部135が表示させる作業情報表示画面32には、作業モデルAが付与されたイベントのキャプチャ画像が重ね合わせて表示される。また、各キャプチャ画像間の矢印は、作業モデルAにおける操作IDの順番を表している。
 図8は、案件情報を可視化した画面の例を示す図である。図8に示すように、表示制御部135が表示させる案件情報表示画面33には、作業モデルAが付与されたイベントのキャプチャ画像が案件ごとに表示される。
 案件情報表示画面33において、案件が共通するイベントのキャプチャ画像は同じ行に配置され、操作IDが共通するイベントのキャプチャ画像は同じ列に配置される。
 図1に戻り、端末装置20は、通信部21、入力部22、出力部23、記憶部24及び制御部25を有する。
 通信部21は、ネットワークを介して、他の装置との間でデータ通信を行う。例えば、通信部21はNICである。
 入力部22は、キーボード及びマウス等の入力装置である。また、出力部23は、画面を出力可能なディスプレイ等の表示装置である。
 記憶部24は、HDD、SSD、光ディスク等の記憶装置である。なお、記憶部24は、RAM、フラッシュメモリ、NVSRAM等のデータを書き換え可能な半導体メモリであってもよい。
 記憶部24は、端末装置20で実行されるOSや各種プログラムを記憶する。
 制御部25は、端末装置20全体を制御する。制御部25は、例えば、CPU、MPU、GPU等の電子回路や、ASIC、FPGA等の集積回路である。
 また、制御部25は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部25は、各種のプログラムが動作することにより各種の処理部として機能する。
 例えば、制御部25は、取得部251及び表示制御部252を有する。
 取得部251は、端末装置20における操作ログを取得する。取得部251は、取得した操作ログを情報付与装置10に送信する。
 表示制御部252は、出力部23に画面を表示させる。例えば、表示制御部252は、情報付与装置10の制御に応じて、作業モデル作成画面31、作業情報表示画面32及び案件情報表示画面33を標示させる。
[第1の実施形態の処理]
 図9を用いて、情報付与装置10の処理の流れを説明する。図9は、第1の実施形態に係る情報付与装置の処理の流れを示すフローチャートである。
 まず、図9に示すように、情報付与装置10は、操作ログに含まれるイベントの操作IDを特定する(ステップS101)。例えば、情報付与装置10は、日時及び入力値が互いに異なっていても、画面及びGUIパーツの名称が共通しているイベントには同一の操作IDを付与する。
 次に、情報付与装置10は、操作IDを組み合わせた作業モデルを作成する(ステップS102)。例えば、情報付与装置10は、作業モデル作成画面31をユーザに提示して、ユーザが選択したイベントの操作IDを組み合わせて作業モデルを作成する。
 ここで、情報付与装置10は、作業モデルを基に、操作ログに含まれるイベントに作業を特定する情報を付与する(ステップS103)。例えば、情報付与装置10は、発生時刻に沿ってイベントを並べた系列における所定の範囲と、作業モデルとの一致度合いに基づいて作業情報を付与する。
 続いて、情報付与装置10は、作業を特定する情報が付与されたイベントに案件を特定する情報を付与する(ステップS104)。例えば、情報付与装置10は、前述の系列において連続する2つのイベントが同じ案件のものであるか否かを判定した結果に応じて案件情報を付与する。
 そして、情報付与装置10は、イベントに付与された作業情報又は案件情報を可視化して表示させる(ステップS105)。例えば、情報付与装置10は、作業情報表示画面32又は案件情報表示画面33を標示させる。
[第1の実施形態の効果]
 これまで説明してきたように、特定部131は、コンピュータの操作ログ121に示されるイベントに対応する操作を特定する。作成部132は、特定部131によって特定された操作の組み合わせ及び順番のパターンと、業務における作業と、を対応付けた情報である作業モデルを作成する。作業情報付与部133は、作業モデルを用いて、操作ログ121に示されるイベントのそれぞれに、対応する作業を示す情報である作業情報を付与する。案件情報付与部134は、操作ログ121に示されるイベントのうち、作業情報が付与されたイベントのそれぞれに、コンピュータの画面のキャプチャ画像に基づき、対応する案件を示す情報である案件情報を付与する。
 このように、情報付与装置10は、作業モデルを用いて自動的に操作ログの各イベントの操作(操作ID)を特定し、さらに作業情報及び案件情報を付与する。その結果、本実施形態によれば、プロセスマイニングを効率良く行うことができる。
 ここで、手動で技術操作ログのイベントを1ずつ確認し、作業情報や案件情報を手動で付与する方法には、多大な稼働を要するという問題がある。
 また、作業情報及び案件情報は、操作の流れに応じて決まるため、操作ログに示される個別のイベントごとに操作IDを特定することなく作業情報及び案件情報を付与することは困難である。
 また、操作ログの属性値の解釈には、HTML及びDOM(Document Object Model)に関する専門的な知識が必要である。
 また、案件ごとに分割されるように操作ログを取得することも考えられるが、ユーザが案件の開始と終了のタイミングでログ取得ツールの起動及び停止を行うことは現実的ではない。
 本実施形態によれば、上記の問題を解決することができる。
 また、作成部132は、操作のうち、コンピュータの画面のキャプチャ画像の中から、ユーザが選択したキャプチャ画像に対応付けられた操作を基に、作業モデルを作成する。
 これにより、例えばユーザが専門知識を持たず操作ログの中身を理解していなくても、キャプチャ画像に基づいて作業モデルを作成することができる。
 また、ユーザは、自身が認識している作業の単位で作業モデルを作成することができる。その結果、ユーザは、付与される作業情報及び案件情報を見ることによって、操作ログを作業ごと及び案件ごとに把握することができる。
 作業情報付与部133は、操作ログ121に示されるイベントを発生日時に沿って並べた系列における連続するイベントであって、作業モデルに含まれるパターンとの一致度合いに関する条件を満たす連続するイベントに、作業モデルに含まれる作業を示す情報を作業情報として付与する。これにより、自動的に作業情報を付与することができる。
 案件情報付与部134は、操作ログ121に示されるイベントのうち作業情報が付与されたイベントを発生日時に沿って並べた系列における連続する2つのイベントのそれぞれに対応するコンピュータの画面に関する情報を比較することにより、2つのイベントが同じ案件に対応するものであるか否かを判定した結果を基に、2つのイベントに案件情報を付与する。これにより、自動的に案件情報を付与することができる。
 表示制御部135は、操作ログ121に示される複数のイベントに対して付与された作業情報、又は作業情報と案件情報の両方を表示する画面を表示させる。これにより、ユーザに分かりやすい態様で作業情報及び案件情報を提示することができる。
[システム構成等]
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU(Central Processing Unit)及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、CPUだけでなく、GPU等の他のプロセッサによって実行されてもよい。
 また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
 一実施形態として、情報付与装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の情報付与処理を実行する情報付与プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の情報付与プログラムを情報処理装置に実行させることにより、情報処理装置を情報付与装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
 また、情報付与装置10は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の情報付与処理に関するサービスを提供する情報付与サーバ装置として実装することもできる。例えば、情報付与サーバ装置は、操作ログを入力とし、付与された作業情報及び案件情報を出力とする情報付与サービスを提供するサーバ装置として実装される。この場合、情報付与サーバ装置は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の情報付与処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
 図10は、情報付与プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
 メモリ1010は、ROM(Read Only Memory)1011及びRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
 ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、情報付与装置10の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、情報付与装置10における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
 また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020は、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した実施形態の処理を実行する。
 なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
 1 情報付与システム
 10 情報付与装置
 11、21 通信部
 12、24 記憶部
 13、25 制御部
 20 端末装置
 22 入力部
 23 出力部
 31 作業モデル作成画面
 32 作業情報表示画面
 33 案件情報表示画面
 121 操作ログ
 122 作業モデル情報
 131 特定部
 132 作成部
 133 作業情報付与部
 134 案件情報付与部
 135、252 表示制御部
 251 取得部

Claims (7)

  1.  コンピュータの操作ログに示されるイベントに対応する操作を特定する特定部と、
     前記特定部によって特定された操作の組み合わせ及び順番のパターンと、業務における作業と、を対応付けた情報である作業モデルを作成する作成部と、
     前記作業モデルを用いて、前記操作ログに示されるイベントのそれぞれに、対応する作業を示す情報である第1の情報を付与する作業情報付与部と、
     前記操作ログに示されるイベントのうち、前記第1の情報が付与されたイベントのそれぞれに、前記コンピュータの画面のキャプチャ画像に基づき、対応する案件を示す情報である第2の情報を付与する案件情報付与部と、
     を有することを特徴とする情報付与装置。
  2.  前記作成部は、前記操作のうち、前記コンピュータの画面のキャプチャ画像の中から、ユーザが選択したキャプチャ画像に対応付けられた操作を基に、前記作業モデルを作成することを特徴とする請求項1に記載の情報付与装置。
  3.  前記作業情報付与部は、前記操作ログに示されるイベントを発生日時に沿って並べた系列における連続するイベントであって、前記作業モデルに含まれるパターンとの一致度合いに関する条件を満たす連続するイベントに、前記作業モデルに含まれる作業を示す情報を前記第1の情報として付与することを特徴とする請求項1又は2に記載の情報付与装置。
  4.  前記案件情報付与部は、前記操作ログに示されるイベントのうち前記第1の情報が付与されたイベントを発生日時に沿って並べた系列における連続する2つのイベントのそれぞれに対応する前記コンピュータの画面に関する情報を比較することにより、前記2つのイベントが同じ案件に対応するものであるか否かを判定した結果を基に、前記2つのイベントに前記第2の情報を付与することを特徴とする請求項1から3のいずれか1項に記載の情報付与装置。
  5.  前記操作ログに示される複数のイベントに対して付与された前記第1の情報、又は前記第1の情報と前記第2の情報の両方を表示する画面を表示させる表示制御部をさらに有することを特徴とする請求項1から4のいずれか1項に記載の情報付与装置。
  6.  情報付与装置によって実行される情報付与方法であって、
     コンピュータの操作ログに示されるイベントに対応する操作を特定する特定工程と、
     前記特定工程によって特定された操作の組み合わせ及び順番のパターンと、業務における作業と、を対応付けた情報である作業モデルを作成する作成工程と、
     前記作業モデルを用いて、前記操作ログに示されるイベントのそれぞれに、対応する作業を示す情報である第1の情報を付与する作業情報付与工程と、
     前記操作ログに示されるイベントのうち、前記第1の情報が付与されたイベントのそれぞれに、前記コンピュータの画面のキャプチャ画像に基づき、対応する案件を示す情報である第2の情報を付与する案件情報付与工程と、
     を含むことを特徴とする情報付与方法。
  7.  コンピュータを、請求項1から5のいずれか1項に記載の情報付与装置として機能させるための情報付与プログラム。
PCT/JP2021/045213 2021-12-08 2021-12-08 情報付与装置、情報付与方法及び情報付与プログラム WO2023105696A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045213 WO2023105696A1 (ja) 2021-12-08 2021-12-08 情報付与装置、情報付与方法及び情報付与プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045213 WO2023105696A1 (ja) 2021-12-08 2021-12-08 情報付与装置、情報付与方法及び情報付与プログラム

Publications (1)

Publication Number Publication Date
WO2023105696A1 true WO2023105696A1 (ja) 2023-06-15

Family

ID=86730003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045213 WO2023105696A1 (ja) 2021-12-08 2021-12-08 情報付与装置、情報付与方法及び情報付与プログラム

Country Status (1)

Country Link
WO (1) WO2023105696A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147198A (ja) * 2017-03-03 2018-09-20 株式会社日立製作所 分析プロジェクト用作業手順解析支援システム
WO2019074125A1 (ja) * 2017-10-13 2019-04-18 BizteX株式会社 ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム
WO2020204144A1 (ja) * 2019-04-02 2020-10-08 株式会社サザンウィッシュ 業務分析方法
WO2020235085A1 (ja) * 2019-05-23 2020-11-26 日本電信電話株式会社 操作ログ可視化装置、操作ログ可視化方法および操作ログ可視化プログラム
JP2021060933A (ja) * 2019-10-09 2021-04-15 Nttテクノクロス株式会社 操作ログ解析装置、操作ログ解析方法及びプログラム
WO2021171366A1 (ja) * 2020-02-25 2021-09-02 日本電信電話株式会社 業務プロセス識別装置、業務プロセス識別方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147198A (ja) * 2017-03-03 2018-09-20 株式会社日立製作所 分析プロジェクト用作業手順解析支援システム
WO2019074125A1 (ja) * 2017-10-13 2019-04-18 BizteX株式会社 ウェブブラウザの操作を伴う業務プロセスを自動化するためのシステム、方法及びプログラム
WO2020204144A1 (ja) * 2019-04-02 2020-10-08 株式会社サザンウィッシュ 業務分析方法
WO2020235085A1 (ja) * 2019-05-23 2020-11-26 日本電信電話株式会社 操作ログ可視化装置、操作ログ可視化方法および操作ログ可視化プログラム
JP2021060933A (ja) * 2019-10-09 2021-04-15 Nttテクノクロス株式会社 操作ログ解析装置、操作ログ解析方法及びプログラム
WO2021171366A1 (ja) * 2020-02-25 2021-09-02 日本電信電話株式会社 業務プロセス識別装置、業務プロセス識別方法及びプログラム

Similar Documents

Publication Publication Date Title
US11670021B1 (en) Enhanced graphical user interface for representing events
CN108628741B (zh) 网页页面测试方法、装置、电子设备和介质
US20180004823A1 (en) System and method for data profile driven analytics
US9575950B2 (en) Systems and methods for managing spreadsheet models
JP7044893B2 (ja) 業務分析方法
CN108399072B (zh) 应用页面更新方法和装置
CN114328276A (zh) 测试用例生成方法和装置,显示测试用例的方法和装置
AU2022228142A1 (en) Intelligent change summarization for designers
CN112667517A (zh) 自动化测试脚本的获取方法、装置、设备及存储介质
JP7380714B2 (ja) 操作ログ取得装置および操作ログ取得方法
CN112396314A (zh) 任务分配方法、装置、电子设备及存储介质
JP7211228B2 (ja) 解析装置、解析方法、及びプログラム
WO2023105696A1 (ja) 情報付与装置、情報付与方法及び情報付与プログラム
WO2022259561A1 (ja) 識別装置、識別方法および識別プログラム
US10114916B1 (en) Method and system to accelerate visualization of waveform data
JP7029557B1 (ja) 判定装置、判定方法および判定プログラム
CN115469849A (zh) 一种业务处理***、方法、电子设备和存储介质
JP2017076161A (ja) 分析方法、分析装置、および分析プログラム
CN110347577B (zh) 一种页面测试方法、装置及其设备
KR101351079B1 (ko) 데이터베이스와 연동되는 프로그램을 제어하는 서비스 제공 방법 및 시스템
CN114564507A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
JP6496078B2 (ja) 分析支援装置、分析支援方法、および分析支援プログラム
JP7420268B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
WO2023144945A1 (ja) 操作ログ処理装置、操作ログ処理方法、および、操作ログ処理プログラム
JP7127601B2 (ja) 類似遷移特定装置、類似遷移特定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967194

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023565790

Country of ref document: JP

Kind code of ref document: A