WO2004068407A1 - アプリケーション間のデータ連携支援方法 - Google Patents

アプリケーション間のデータ連携支援方法 Download PDF

Info

Publication number
WO2004068407A1
WO2004068407A1 PCT/JP2003/000802 JP0300802W WO2004068407A1 WO 2004068407 A1 WO2004068407 A1 WO 2004068407A1 JP 0300802 W JP0300802 W JP 0300802W WO 2004068407 A1 WO2004068407 A1 WO 2004068407A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
screen
information
program
image data
Prior art date
Application number
PCT/JP2003/000802
Other languages
English (en)
French (fr)
Inventor
Takayuki Maeta
Yutaka Katsumata
Shinichi Eguchi
Katsutoshi Kobara
Original Assignee
Fujitsu Limited
Fujitsu Frontech Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited, Fujitsu Frontech Limited filed Critical Fujitsu Limited
Priority to JP2004567517A priority Critical patent/JP4102365B2/ja
Priority to CNB038254395A priority patent/CN1324524C/zh
Priority to PCT/JP2003/000802 priority patent/WO2004068407A1/ja
Priority to EP03703065A priority patent/EP1589474A4/en
Priority to AU2003208051A priority patent/AU2003208051A1/en
Publication of WO2004068407A1 publication Critical patent/WO2004068407A1/ja
Priority to US11/137,364 priority patent/US7958458B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Definitions

  • the present invention relates to a technique for linking data between applications.
  • target APL information displayed on the display screen of one application
  • linked APL another application
  • step 2) it was necessary to remodel not only the cooperative APL but also the target APL, which led to a problem that the scale of system development was increased, and the development budget and period were accordingly increased. Also, if the developer of the target APL is different from that of the collaborative APL, it may be necessary to disclose confidential information.If there is no agreement between both developers, it may be necessary to modify the target APL in the first place. There was also the problem that there were times when it was not possible.
  • paper is printed using a scanner.
  • a system that reads the output data as image data, recognizes a region for displaying characters from the image data, generates a character code from the image data in the recognized region, and registers the character code in a database. It has been disclosed.
  • layout rules of a document structure are stored in advance, image data of a document is stored, and the stored image data is stored. Disclosure of a system that analyzes a layout based on the above layout rules, cuts out a character pattern from the image data based on the analysis result, recognizes a character from the cut out character pattern, and stores the character recognition result in a file I do. Both inventions make it possible to omit the manual re-entry in step 1). However, both inventions still have the problem that it is necessary to output the screen on paper and to modify the target API and the linked API in order to enable data linkage between programs. Disclosure of the invention
  • the purpose of this invention is to output the screen to a paper medium, manually input data items, and execute the target APL and the linked APL when modifying the system so that data can be linked between the target APL and the linked APL.
  • the purpose is to eliminate the need for remodeling.
  • a display for capturing screen image data of a display screen from a first program (target APL) is provided.
  • the display screen in the first program is not output on paper or the like.
  • it takes in screen image data from the first program, acquires cooperation data from the taken screen image data, and outputs the acquired cooperation data to the second program.
  • the data cooperation support device may further include, based on coordinate information indicating an area in a display screen and screen type determination information including image data displayed in the area, image data displayed in the area from the screen image data. Further comprising a screen type determining means for identifying a display screen by determining whether or not the extracted image data and the image data included in the screen type determination information match. Alternatively, the cooperation data may be obtained from the screen image data of the identified display screen.
  • the item information obtaining means may be configured to determine, from the screen image data, based on recognition item information including coordinate information indicating an area in a display screen and data attribute information indicating an attribute of data displayed in the area.
  • the data displayed in the area may be cut out, the cut out data may be recognized based on the data attribute information, and the cooperation data may be obtained as a recognition result.
  • the data cooperation support device may further include an item information output unit that outputs the cooperation data processed by the second program to the first program. This makes it possible to return the processing result of the cooperative data by the second program to the first program.
  • the item information output means may be configured to output the link data processed by the second program based on output method information including coordinate information indicating an area in the display screen. May be output to the area.
  • data for supporting data linkage between programs A display screen capturing means for capturing screen image data of the display screen from the first program; and coordinate information indicating an area in the display screen and image data displayed in the area.
  • image data displayed in the area is cut out from the screen image data, and whether or not the cut out image data matches the image data included in the screen type determination information
  • the display screen in the first program is captured as screen image data, the captured display screen is identified based on the captured screen image data, and the identified display screen is displayed in the second display screen. It is possible to output the data processed by the program. According to this, it is also possible to realize data cooperation between the first and second programs without modifying the first and second programs, thereby achieving the above object.
  • the same operation and effect as those of the computer can be obtained by the data cooperation support method that performs the same procedure as the processing performed by the data cooperation support device. Therefore, the above-mentioned data cooperation support method can also achieve the above object. Also, a program that causes a processor to perform the same control as the procedure performed in the data cooperation support method can achieve the above object by causing the processor to execute the program. Furthermore, the above object can also be achieved by recording on a recording medium (recording device) storing the above-mentioned program and causing the processor to read and execute the program.
  • FIG. 1 is a block diagram of the computer.
  • FIG. 2 is a configuration diagram of a system according to the first embodiment.
  • FIG. 3 is a functional configuration diagram of the screen plug.
  • FIG. 4 is a diagram illustrating an overview of the screen definition process.
  • FIG. 5 is a diagram for explaining the outline of the data linkage processing.
  • FIG. 6 is a flowchart showing the procedure of the display screen capturing process.
  • FIG. 7 is a flowchart illustrating the procedure of the screen type definition process.
  • FIG. 8 is a flowchart showing the procedure of the screen type determination definition subroutine.
  • FIG. 9 is a flowchart showing the procedure of the recognition item definition subroutine.
  • FIG. 10 is a flowchart showing the procedure of the cooperation method definition subroutine.
  • FIG. 11 is a flowchart illustrating the procedure of the definition duplication confirmation process.
  • FIG. 12 is a flowchart illustrating the procedure of the screen type determination process.
  • FIG. 13 is a flowchart showing the procedure of the image comparison subroutine.
  • FIG. 14 is a flowchart showing the procedure of item information acquisition and recognition processing.
  • FIG. 15 is a flowchart showing the procedure of the cooperative processing.
  • FIG. 16 is a flowchart showing the procedure of the item information output process.
  • FIG. 17 is a diagram showing an example of the display screen of the target API.
  • FIG. 18 is a diagram illustrating an example of the screen type determination information.
  • FIG. 19 is a diagram illustrating an example of the recognition item information.
  • FIG. 20 is a diagram illustrating an example of the cooperation method information.
  • FIG. 21 is a diagram illustrating an example of the output method information.
  • FIG. 22 is a diagram illustrating an area cut out from the screen image data.
  • FIG. 23 is a diagram illustrating a portion masked in the image comparison subroutine.
  • FIG. 24 is a diagram illustrating a process of extracting data to be linked from the screen image data and recognizing the data.
  • FIG. 25 is a diagram showing the recognition items acquired from the screen shown in FIG. 24 based on the recognition item information shown in FIG.
  • FIG. 26 is a diagram showing an example of a recognition item screen obtained from the screen shown in FIG.
  • FIG. 27 is a diagram showing an example of a screen showing the result of the seal verification process by the cooperative APL.
  • FIG. 28 is a diagram showing an example of a confirmation screen of the result of the cooperative processing.
  • FIG. 29 is a diagram illustrating an example of a screen on which the cooperation result information is output on the screen of the target API.
  • FIG. 30 is a diagram illustrating an outline of a data cooperation process according to a modification of the first embodiment.
  • FIG. 31 is a configuration diagram of a system according to the second embodiment. BEST MODE FOR CARRYING OUT THE INVENTION
  • the computer includes a CPU 11, a memory 12, an input device 13, an output device 14, an external storage device 15, a medium drive device 16, and a network connection device 17, Are connected to each other by a bus 18.
  • the memory 12 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory) and the like, and stores programs and data used for processing.
  • a data linkage support program (described later) that causes the computer to perform control to support data linkage between programs is stored in a specific program code segment in the memory 12 of the computer.
  • the memory 12 implements a screen image writing unit 228 described later.
  • the CPU 11 performs necessary processing by executing the above-described program using the memory 12.
  • the computer can function as a data cooperation support device.
  • the input device 13 is, for example, a keyboard, a pointing device, a touch panel, or the like, and is used for inputting an instruction or information from a user.
  • the output device 14 is, for example, a display, a printer, or the like, and is used to output an inquiry to a computer user, a processing result, and the like.
  • the external storage device 15 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, or the like.
  • the external storage device 15 realizes screen information DB 229 described later.
  • the above-described programs can be stored in the external storage device 15 of the computer, and can be used by loading them into the memory 12 as needed.
  • the medium driving device 16 drives the portable recording medium 19 and accesses the recorded contents.
  • the portable recording medium 19 can be any computer-readable medium such as a memory card, memory stick, flexible disk, CD-ROM (Compact Disc Read Only Memory), optical disk, magneto-optical disk, DVD (Digital Versatile Disk), etc. A removable recording medium is used.
  • the above-described data cooperation support program can be stored in the portable recording medium 19, and can be used by loading it into the memory 12 of the computer as needed.
  • the network connection device 17 communicates with an external device via an arbitrary network (line) such as a LAN or WAN, and performs data conversion accompanying the communication. Also need Accordingly, the program described above can be received from an external device and loaded into the memory 12 of the computer for use.
  • an arbitrary network such as a LAN or WAN
  • a computer 20 has a coordination APL 21, a data coordination support program (hereinafter, referred to as a screen plug) 22, a target APL 23, and an operation system (hereinafter, an OS) 24 installed.
  • a coordination APL 21 a data coordination support program (hereinafter, referred to as a screen plug) 22, a target APL 23, and an operation system (hereinafter, an OS) 24 installed.
  • the cooperative AP L 21 receives data to be cooperated from the target AP L 23 via the screen plug 22, and performs processing based on a predetermined algorithm using the data.
  • the screen plug 22 captures screen image data of a display screen from the target APL 23 and acquires data from the screen image data. Then, the extracted data is output to the linked APL 21. Thereby, the screen plug 22 realizes data cooperation between the cooperation APL 21 and the target APL 23. Also, the screen plug 22 returns the processing result by the cooperative APL 21 to the target APL 23 as necessary.
  • the target AP L 23 processes the data based on a predetermined algorithm.
  • the OS 24 provides a system management function for applications such as the linked AP L21, the screen plug 22, and the target AP L23.
  • the process performed by the coordination APL 21 and the target APL 23 for causing the screen plug 22 to cooperate with the data may be any process.
  • computer 20 and computer 30 are connected via a network, and target APL 23 in computer 20 acquires data from database 31 of computer 30 via search system 32, The case where processing is performed using the data is shown.
  • network N is a single network, It may be a combination of a plurality of networks. Examples of the network N include a WAN (Wide Area Network) and a LAN (Local Area Network) such as the Internet, a telephone network, and a wireless network.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the screen plug 22 includes a display screen capture section 221, a screen type definition section 222, a definition duplication check section 2 23, a screen type determination section 2224, and item information acquisition / It has a recognition unit 2 25, a cooperation processing unit 2 2 6, an item information output unit 2 2 7, a screen image writing unit 2 2 8, and a screen information database (hereinafter abbreviated as DB) 2 29.
  • DB screen information database
  • the processing performed by the screen plug 22 is roughly classified into a screen definition processing and a data linkage processing.
  • the former is a process that is performed before data linkage, and the data that should be acquired from the target APL 23 exists in what data format at which position on which display screen, and the acquired data is transmitted to which program. This is how to define how to output.
  • This processing is performed by the display screen capture unit 2 21, the screen type definition unit 2 22, and the definition duplication confirmation unit 2 2 3, and the result of this processing is written to the screen information DB 222.
  • the latter is a process of linking the data extracted from the target API 23 to the link API 21 based on the result of the screen definition process.
  • This processing is performed by the display screen capture section 2 21, screen type determination section 2 24, item information acquisition / recognition section 2 25, cooperation processing section 2 26 and item information output section 2 27. In this process, the result of the screen definition process written in the screen information DB 229 is used.
  • the display screen capture section 222 captures the screen image data of the display screen from the target APL 23 and writes it to the screen image writing section 222.
  • the screen type definition section 2 2 2 stores the screen written in the screen image writing section 2 2 8 Based on the image data, screen definition information that defines the position of the data to be extracted from the target APL 23 on the screen, the attribute of the data, and the like is created. Details of the information included in the screen definition information will be described later.
  • the definition duplication check section 2 23 checks whether the screen definition information created by the screen type definition section 2 22 overlaps the screen definition information stored in the screen information DB 2 29. Then, if it is confirmed that there is no duplication, the created screen definition information is stored in the screen information DB 229.
  • the screen type determination unit 224 identifies the captured screen based on the screen definition information stored in the screen information DB 229 and the screen image data written in the screen image writing unit 228. I do.
  • the item information acquisition Z recognition unit 225 extracts the data to be linked by the link APL 21 from the screen image data based on the screen definition information.
  • the cooperation processing unit 226 outputs the extracted data to a predetermined data area of the cooperation API 21 as a data cooperation destination by a predetermined cooperation method.
  • the link APL as the data link destination is specified in advance by the link destination identification information
  • the data link method is defined in advance by the link method specifying information. Both the linkage destination identification information and the linkage method designation information are included in the screen definition information.
  • the cooperative processing unit 226 receives the data processed from the cooperative API 21 and outputs it to the item information output unit 227.
  • the item information output unit 227 outputs the data processed by the cooperative API 21 to the target API 23 or another application.
  • the output destination of the processing result by the cooperation API 21 is specified by the output destination definition information included in the screen definition information. Note that FIG. 2 shows a case where the processing result by the cooperative API 21 is returned to the target API 23.
  • the screen image writing unit 222 receives the screen image data captured by the display screen capturing unit 222.
  • This screen image writing unit 2 28 is basically a screen image processing unit Screen image data is written.
  • the screen information DB 222 stores the screen definition information created by the screen type definition part 222.
  • the display screen capture unit 2 21 first executes the display screen capture processing for capturing the display screen from the target APL 23. Do.
  • the screen image data of the fetched screen is written to the screen image writing section 228.
  • the screen type definition section 222 creates screen definition information based on the screen image data written in the screen image writing section 222 and the user's instruction, and stores the created screen definition information in the screen information DB2. 2 Write 9
  • the definition duplication confirmation unit 223 performs a definition duplication confirmation process for confirming whether or not some of the screen definition information stored in the screen information DB 229 overlaps with each other.
  • the definition duplication check unit 223 outputs information indicating that it is duplicated.
  • an outline of the data linkage processing will be described.
  • the display screen capture unit 22 1 executes a display screen capture process to capture the display screen from the target APL 23. Do.
  • the screen image data of the fetched screen is written to the screen image writing section 228.
  • the screen type determination unit 224 reads the screen definition information from the screen information DB 229 and identifies the screen on which the screen image data has been written to the screen image writing unit 228 based on the screen definition information. I do.
  • the item information acquisition / recognition unit 2 25 extracts data to be output to the cooperative APL 21 from the screen image data based on the identification result and the screen definition information corresponding to the screen, and extracts the extracted data.
  • a confirmation screen for confirmation is displayed on the output device 14. The user can confirm the retrieved data based on the confirmation screen. Note that this confirmation and screen display processing can be omitted.
  • the cooperation processing unit 226 outputs the extracted data to the predetermined cooperation API 21 in a predetermined cooperation method based on the cooperation method information included in the screen definition information. Further, the cooperation processing unit 226 receives the data processed from the cooperation API 21 and causes the output device 14 to display a cooperation result confirmation screen for confirming the data. Note that the display processing of the confirmation screen of the cooperation result can be omitted.
  • the item information output unit 227 outputs data obtained as a result of the cooperation to a predetermined area of the target APL 23 based on the output method information included in the screen definition information. Further, the item information output unit 227 causes the output device 14 to display a result confirmation screen for confirming the result of the data linkage processing. The output process of the data obtained as a result of the cooperation and the display process of the confirmation screen can be omitted. Also, like FIG. 2, FIG. 5 shows a case where the processing result by the cooperative API 21 is returned to the target AP 23.
  • target APL 23 is a program for financial remittance business and that linked APL 21 is a seal verification program. Then, let the collaborative APL 21 perform the seal verification process based on the data items retrieved from the “Remittance process” screen of the target APL 23, and return the verification result to the target APL 23. . In the description, a specific example of a remittance processing screen will be used. These assumptions are for the purpose of facilitating understanding by making the description concrete, and are not intended to limit the target APL 23 and the linked APL 21 or to limit the scope of application of the present invention. .
  • the display screen capturing unit 221 captures the display screen from the target APL 23, and sets the cullet or cursor in the screen to a non-display state (step S1). Subsequently, the display screen capture unit 222 acquires an area in the memory where the screen image data of the screen exists (step S2), and copies the screen image data of the screen from the area (step S2). S 3). Thereafter, the display screen capture unit 222 returns the cullet or the cursor in the display screen to the display state (step S4). The display screen capturing section 222 writes the copied image data into the screen image writing section 222 (step S5).
  • FIG. 17 shows an example of the display screen captured by the display screen capturing unit 2 21.
  • the display screen shown in Fig. 17 is displayed during the remittance processing by the financial remittance business program.
  • “Transmission processing” is displayed at the upper left of FIG. 17 as character information indicating the processing performed on this screen
  • “Menu 00201” is displayed at the upper right of FIG. 17 as the screen identification number. Is displayed.
  • the screen identification number does not need to match the screen ID set by the screen type definition unit 222.
  • the transaction information was read from the customer database number (CIF number, CIF: Customer Interaction File), the customer name, the remittance amount, the field for inputting the result of the seal verification, and the remittance processing application form.
  • An image of a seal (hereinafter referred to as a read mark) is displayed (hereinafter referred to as a read mark).
  • the screen type definition unit 222 reads screen image data from the screen image writing unit 222 (step SI1). Subsequently, the screen type definition unit 222 sets a screen ID for identifying the screen (step S12). Further, the screen type definition unit 2 2 2 includes a screen type determination definition subroutine (step S 13), a recognition term. The eye definition subroutine (step SI4) and the linkage method definition subroutine (step S15) are performed, and the process ends. Details of each subroutine will be described later.
  • Screen definition information is created corresponding to the screen containing the data to be linked.
  • the screen definition information includes screen type determination information, recognition item information, and linkage method information.
  • the screen definition information further includes output method information.
  • the screen type determination information is created in the screen type determination definition subroutine, the recognition item definition information is created in the recognition item definition subroutine, and the linkage method information and output method information are created in the linkage method definition subroutine.
  • step S21 when the screen type definition unit 222 receives designation of an item to be extracted as screen type determination information from the captured screen, the screen type definition unit 222 adds an item ID to the item (step S21). Subsequently, upon receiving the designation of the area (identification part) in which the item to be extracted in the screen image is displayed (step S22), the screen type definition unit 222 receives the screen image data based on the coordinates. The image data is cut out from (step S23). The screen type definition unit 222 creates screen identification determination information including the item ID, the coordinates, and the extracted image data.
  • steps S21 to S23 have been performed for all items to be taken out as screen type determination information (step S24: Yes)
  • step S24: Yes the processing ends. Otherwise (step S24: No), return to step S21.
  • FIG. 18 shows an example of the screen type determination information for the screen shown in FIG.
  • One is the coordinate information indicating the area on the screen where the text "Transmission processing" displayed at the upper left of FIG. 17 is displayed, and an image cut out based on the coordinate information.
  • Screen type determination information including image data cut out based on the coordinate information indicating an area in the screen where the number “Menu 00201” is displayed and the coordinate information.
  • Information In FIG. 18, as an example, the region is shown using the coordinates of two opposing vertices among the four vertices forming a rectangle.
  • the screen type determination information includes “item name” instead of “item ID”, but any type may be used.
  • the screen type determination information is used to identify the screen captured from the target APL 23 in the data linkage processing described later.
  • the screen type definition unit 222 receives designation of an item name of data to be extracted as a recognition item from a screen captured by the display screen capture unit 222. Note that this item name may be matched with the item name on the screen (step S31). Subsequently, the screen type definition unit 222 receives designation of an area where recognition and recognition items are displayed on the screen (step S32). Further, the screen type definition unit 222 receives the designation of the attribute of the data displayed in the area (step S33). The screen type definition unit 222 receives the item name, the coordinate information indicating the designated area, and the data attribute based on the specification of steps S31 to S33.
  • step S34: Yes When steps S31 to S33 have been performed for all items to be taken out as recognition items (step S34: Yes), the process ends. Otherwise (step S34: No), return to step S31.
  • the recognition item information is used when extracting data to be linked to the link APL 21 from the screen fetched from the target APL 23 in the data link processing described later.
  • FIG. 19 shows an example of recognition and knowledge item information on the screen shown in FIG. As shown in FIG. 19, there are four pieces of recognition item information on the screen shown in FIG.
  • the first is the recognition item information corresponding to the CIF number entry field
  • the second is the recognition item information corresponding to the customer name entry field
  • the third is the remittance amount entry field
  • the fourth item is recognition item information corresponding to the image of the read mark.
  • each piece of recognition item information includes an item name, coordinate information indicating an area where the item is displayed on the screen, and data attribute information of the item.
  • the region is shown using the coordinates of two opposing vertices forming a rectangle.
  • the screen type definition unit 222 receives designation of the cooperation APL 21 and designation of the cooperation method (step S41).
  • the screen type definition unit 222 creates cooperation method information including cooperation destination identification information for identifying the cooperation APL 21 and cooperation method designation information for specifying a cooperation method, based on the specification.
  • Examples of the linking method include TCP (Transmission Control Protocol / Internet Protocol), HTTP (Hypertext Transmission Protocol), API (Application Program Interface), and DLL (Dynamic Link Library).
  • FIG. 20 shows an example of the cooperation method information.
  • the linkage method information includes the program name of the linkage API 21 as linkage destination identification information for identifying the linkage API 21.
  • TCP / IP and socket communication are specified as a method of linking data between the link AP L 21 and the target AP L 23.
  • the screen type definition unit 222 specifies whether or not to output information obtained as a result of processing the data linked by the cooperative APL 21 (hereinafter, cooperative result information) from the cooperative APL 21 to the target APL 23.
  • Information to be received step S42. If it is determined that the cooperation result information is to be output to the target APL 23 based on the specification (step S42: Yes), the process proceeds to step S43. Otherwise (step S42: No), go to step S46.
  • step S43 the screen type definition unit 222 causes the screen output to display the item name of the cooperation result information and the cooperation result information based on the user's specification.
  • Output method information including coordinate information indicating the destination area is created (steps S43 and S44). When multiple items are output as cooperation result information, multiple items of output method information are created for each item.
  • step S45: Yes When the steps S41 to S43 have been performed for all the items for which the cooperation result information is to be output (step S45: Yes), the screen type definition unit 222 ends the processing. Otherwise (step S45: No), return to step S43.
  • This output method information is used when the cooperation result information is output to the screen of the target APL 23 in the data cooperation processing described later.
  • step S42 If No in step S42, the process ends because it is not necessary to create output method information in step S46.
  • Figure 21 shows an example of output method information.
  • the output method information includes an item name of the cooperation result information and coordinate information indicating an output destination area on the screen where the cooperation result information is to be output.
  • one item is output as the cooperation result information, and thus one output method information is created.
  • the coordination result information is displayed in the collation result input field on the screen shown in FIG.
  • the screen definition information created in the above-described screen type definition processing is written to the screen information DB 229.
  • the definition duplication confirmation processing the created screen definition information is checked for force overlapping with the previously created screen definition information. This definition duplication confirmation process is included in the screen definition process.
  • step S23 the screen definition information that has not been subjected to the duplication check processing is read from the image information DB 229 (step S51). If duplication confirmation processing has already been performed for all screen definition information in the image information DB 229 (step S52: Yes), the process proceeds to step S58. Otherwise (step S52: No), perform step S53 and subsequent steps.
  • the screen definition information includes one or more screen type determination information.
  • Each screen type determination information includes coordinate information indicating a region on the screen and image data.
  • the definition duplication check unit 222 acquires image data from the screen type determination information for which duplication determination processing has not been performed yet, from the screen definition information read in step S51. If duplication check processing has already been performed on all screen type determination information in the screen definition information read out in step S51 (step S54: Yes), the process proceeds to step S57. Otherwise (step S54: No), perform steps S55 and S56.
  • step S55 the definition duplication confirmation unit 222 receives the screen image data written in the screen image writing unit 222 based on the coordinate information corresponding to the image data acquired in step S53. Cut out image data. Then, the definition duplication checker 2 23 compares the image data acquired in step S53 with the clipped image data, and determines whether or not both match based on the comparison result of the image data. Is determined. The procedure for comparing the images will be described later in detail as an image comparison subroutine. Then, the definition duplication section 22 3 records the determination result of the image data acquired in step S53 in the temporary storage area (step S56), and returns to step S53.
  • step S57 the definition duplication confirmation unit 2 23 determines whether or not the judgment result recorded in the temporary storage area indicates “match in all judgments”, and is read out in step S51. Temporarily records the judgment result for the screen definition information Then, the process returns to step S53.
  • step S58 the definition duplication confirmation unit 223 counts the number of pieces of screen definition information for which the determination result is “match”. Further, the definition duplication checker 2 23 determines that there is no duplication when the number is “1”, and judges that there is duplication when the number is “2 or more”. The definition duplication check unit 222 notifies the user of the determination result, and ends the processing.
  • the definition duplication confirmation processing is performed every time screen definition information is created. Create screen definition information for all the screens to be defined, write them to the screen information DB 229, perform a definition duplication check process, and perform screen duplication on the screen information DB 229. Whether or not the definition information is stored may be determined.
  • the procedure of the screen type determination process will be described with reference to FIGS.
  • This screen type determination processing is included in the data linkage processing.
  • the display screen capture processing is performed as described with reference to FIG.
  • the screen type determination unit 224 acquires the screen image data from the screen image writing unit 228 (step S61), and further determines the screen type from the screen information DB 229.
  • One screen definition information that has not been processed is extracted (step S62).
  • step S63: Yes If the screen type processing has already been performed for all the screen definition information in the image information DB 229 (step S63: Yes), the process proceeds to step S69. Otherwise (step S63: No), perform step S64 and subsequent steps.
  • the screen definition information includes one or more screen type determination information, and each screen type determination information includes coordinate information indicating an area in the screen image data and image data. Steps S64 to S66 are performed based on all the screen type determination information included in the screen definition information acquired in step S62.
  • the screen type determination unit 224 acquires one piece of screen type determination information from the screen definition information obtained in step S62. Further, the screen type determination unit 222 extracts image data from the screen image data acquired in step S61 based on the coordinate information in the screen type determination information.
  • an area indicated by coordinates in the screen type determination information shown in FIG. 18 is indicated by an arrow.
  • the area where the character “Remittance processing” is displayed and the area where the screen identification number “Menu 00201” is displayed are shown in FIG. 18 for the screen type determination processing. It is cut out based on the screen type determination information shown.
  • the screen type determination unit 222 performs an image comparison subroutine for comparing the image data in the screen type determination information acquired in step S64 with image data cut out from the screen image data (step S64). 6 5). This image comparison subroutine will be described later in detail.
  • the screen type determination unit 222 determines whether or not the image data included in the screen type determination information matches the image data cut out in step S64 based on the result of the image comparison subroutine. Yes (step S66). If they do not match (step S66: No), the process returns to step S62. If they match (step S66: Yes), the process proceeds to step S67.
  • step S67 the screen type determination unit 2 2 4 determines whether or not all screen type determination information in the screen definition information acquired in step S62 has been subjected to steps S64 to S66. Monument IJ. If steps S64 to S66 have been performed for all screen type determination information (step S67: Yes), the process proceeds to step S68. Otherwise (step S67: No), return to step S64.
  • step S68 the screen type determination unit 2 24 determines that the screen definition information acquired in step S62 corresponds to the screen image data acquired in step S61 (step S68), The process ends.
  • step S69 the screen type determination unit 224 determines that the screen information DB 229 does not store the screen definition information corresponding to the screen image data acquired in step S61.
  • the screen type determination unit 224 notifies the user that a processing error has occurred because the captured screen is not registered in the database, and ends the processing.
  • the screen type determination unit 2 24 performs processing on the image data in the screen type determination information obtained in step S64 and the image data cut out from the screen image data. Then, the color distribution for each pixel is detected (step S71). Subsequently, the screen type determination unit 222 determines the background color of each of the image data included in the screen type determination information and the image data cut out from the screen image data based on the color distribution. Then, the color is masked (step S72).
  • the screen type determination unit 222 displays the image pattern in the image data included in the screen type determination information that has not been masked, and the image pattern that has been cut out from the screen image data. Then, the image pattern is compared with the image portion of the selected portion, and the two are matched (step S73). The matching result is used for the determination in step S66 described above (step S74).
  • FIG. 23 shows the image data included in the two screen type determination information shown in FIG. 18 and the image data cut out based on the coordinates included in each screen type determination information. And are shown. For example, two image data whose item name is “process name” display the characters “transfer process”. In these image data, a shaded portion is determined as a background color and masked. As a result, in both the image data, the image pattern indicating the character “remittance processing” remains without being masked, and is compared with each other by the screen type determination unit 224.
  • the screen definition information includes one or more pieces of recognition item information.
  • the following steps S81 to S93 are performed for each piece of recognition item information included in the screen definition information corresponding to the screen image data acquired in step S61.
  • the item information acquisition Z recognition unit 225 acquires one piece of recognition item information from the screen definition information, and based on the information indicating the data attribute included in the recognition and knowledge item information, the processing mode of item recognition. Is determined (step S81). For example, when the data attribute indicates “character data”, the item information acquisition recognition unit 222 determines that the processing mode is character recognition using an OCR (Optical Character Reader) or the like (step S81: Recognition), and the process proceeds to Step S82. For example, when the data attribute indicates “edit control” or “static control”, the item information acquisition / recognition unit 225 determines that the processing mode is the reading of the data item (step). (Step S81: item reading), and the process proceeds to step S89.
  • OCR Optical Character Reader
  • step S82 the item information acquisition / recognition unit 225 cuts out image data from the captured screen image data based on the coordinate information included in the recognition item information, and sets the pixels constituting the image data. By determining the color by scanning each one, a color indicating a character and a color indicating a background are determined (step S82). Subsequently, the item information acquisition / recognition unit 225 separates the color indicating the character from the color indicating the background by binarizing the image data using a threshold value for separating the background image and the character (step S83). If the color indicating characters becomes white and the color indicating the background image becomes black due to binarization, the item information acquisition / recognition unit 225 inverts the value (bit) indicating both colors. (Step S84).
  • the item information acquisition Z recognizing unit 225 extracts label information for each character by acquiring a continuous black pixel group (label information) (step S85).
  • the item information acquisition / recognition unit 2 25 determines the size of one character based on the result of extracting the label information, and if the size of one character is not appropriate for character recognition processing, it becomes an appropriate size. The character is enlarged or reduced as described above (step S86).
  • the item information acquisition Z recognition unit 225 performs character recognition (step S87) and notifies the user of the recognition result.
  • the recognition result may be notified to the user by displaying a confirmation screen after the recognition process for all pieces of recognition recognition item information is completed.
  • the item information acquisition / recognition unit 225 acquires the control handle of the data item to be recognized based on the coordinates included in the recognition item information. Further, based on the information indicating the data attribute included in the recognition item information, it is determined whether the control knob is an edit control node or a static control node (step S90).
  • step S90 edit control
  • the item information acquisition Z recognition unit 225 reads the data from the control using, for example, a class member function GetLine O, and the like. It is acquired as a recognition result (step S91), and the process proceeds to step S88.
  • step s90 static control
  • the item information acquisition Z recognition unit 225 may use the class member function GetText (), for example. The data is read from the control by using, the recognition and the recognition result are obtained (step S92), and the process proceeds to step S88.
  • step S93 the item information acquisition / recognition unit 225 cuts out image data from the screen image data based on the coordinate information included in the recognition item information, and proceeds to step S88.
  • FIG. 24 shows four recognition items in the screen image data extracted based on the four recognition item information shown in FIG.
  • a recognition item whose item name is “CIF number” is cut out from image data as image data, and obtained as character data through character recognition processing.
  • a recognition item whose item name is “customer name” and a recognition item whose item name is “remittance amount” are respectively obtained as data directly from the input fields in the image data. Also, if the item name is
  • Recognition and recognition items which are “read marks”, are cut out from the image data as image data and are obtained as they are. Although specific class member functions are shown in FIG. 24, this is only an example.
  • FIG. 25 shows recognition items obtained from the screen shown in FIG. 24 based on the recognition item information shown in FIG.
  • FIG. 26 shows an example of a confirmation screen of the recognition item acquired from the screen shown in FIG.
  • the recognition and recognition items other than the recognition items whose data attribute is "image data” are cut out from the screen image data, the data that has not been recognized yet, and the result of the recognition process. Both data obtained are displayed for comparison.
  • the data that has been cut out and has not been recognized is displayed in the upper row, and the data obtained as a result of the recognition processing is displayed in the lower row.
  • image data cut out from screen image data is displayed.
  • the user can use this confirmation screen Then, it is determined whether or not the recognition processing is properly performed, and if necessary, the recognition result is corrected on this confirmation screen.
  • the recognition result is output from the item information acquisition Z recognition unit 225 to the cooperation processing unit 226, and the cooperation processing is started.
  • the notification of the recognition result to the user and the display of the confirmation screen can be omitted.
  • the cooperation processing unit 226 receives a recognition result from the item information acquisition Z recognition unit 225 as data to be cooperated (step S101). Further, the cooperation processing unit 226 extracts cooperation method information from the image definition information corresponding to the captured image data (step S102).
  • the linkage method information includes linkage destination identification information for identifying the linkage APL 21 that is the output destination of data to be linked, and linkage method designation information for designating a linkage method.
  • the cooperative processing unit 226 outputs data to be cooperated with the specified cooperative method to the specified cooperative API 21 based on the cooperative method information (step S103).
  • the cooperation processing unit 226 receives the processed data (cooperation result information) from the cooperation APL 21 and outputs a confirmation screen of the result of the cooperation processing (step S104). Then, the process ends.
  • the output of the confirmation screen for the result of the cooperative processing can be omitted.
  • FIG. 27 shows an example of a screen showing the result of the seal verification process by the cooperative API 21.
  • the screen shown in FIG. 27 displays the CIF number, the customer name and the image of the read mark obtained from the screen of the target APL 23, and the image of the notification mark obtained from the DB.
  • an image in which both images are superimposed is displayed on the screen as a result of the comparison.
  • Figure 28 shows an example of a confirmation screen for the result of the cooperative processing.
  • Figure 28 shows the confirmation screen when it is determined that the image data of the read stamp and the report stamp match as a result of the cooperative processing. The user determines whether or not the cooperative processing has been successfully performed based on the confirmation screen. If the cooperative processing has been successfully performed, the user presses the “continue processing” button to execute the subsequent processing. Can be instructed.
  • This item information output process is performed when it is necessary to output the cooperation result information to the target APL 23. If it is not necessary to output the cooperation result information to the target API 23, it can be omitted.
  • the item information output unit 2 27 receives the cooperation result information from the cooperation processing unit 2 26 (step S 111), and further responds to the screen currently being processed.
  • the output method information is obtained from the screen definition information (step S112).
  • the screen definition information includes one or more output method information.Each output method information includes an item name of the cooperation result information and coordinates indicating an output destination area in the screen where the cooperation result information is to be displayed. Information is included.
  • the item information output unit 227 extracts one piece of output method information and, based on the coordinate information included in the output method information, outputs control information about the output destination area to a screen serving as an output destination in the target AP L23. Then, based on this control information, the link result information is displayed in the output destination area on the screen (step S114).
  • the item information output unit 227 determines whether or not the output process has been completed for all the output method information (step S115). If the output processing has not been completed for all the output method information (step S115: No), the item information output unit 227 increments the number of output method information that has been output by one, and One output method information is extracted (step S116). Further, the item information output unit 227 extracts items that have not been output yet from the cooperation result information (step S117), and returns to step S114.
  • the item information output unit 227 determines that the output processing has been completed for all the output method information (step S115: Yes), and executes the processing. finish.
  • FIG. 29 shows an example of a screen in which the cooperation result information is output on the screen of the target AP L23.
  • “Confirmation of seal verification” is output as cooperation result information in the input field where “Verification result” is described.
  • the screen plug 22 does not need to include the item information acquisition / recognition unit 225. Therefore, the screen plug 22 according to the modification of the first embodiment may have a configuration in which the item information acquisition / recognition unit 225 is removed from the functional configuration diagram of FIG.
  • the screen definition information does not include the recognition item information.
  • the screen type definition unit 222 does not perform the recognition item definition subroutine in the screen type definition processing.
  • the item information acquisition-recognition process is not performed in the data linkage process.
  • the display screen capture unit 2 21 performs display screen capture processing for capturing the display screen from the target APL 23.
  • the screen image data of the fetched display screen is written to the screen image writing unit 228.
  • the screen type determination unit 224 reads the screen definition information from the screen information DB 229, and identifies the screen on which the screen image data has been written to the screen image writing unit 228 based on the screen definition information. I do.
  • the screen type determination unit 224 causes the output device 14 to display a confirmation screen for confirming the screen identification result. The user can confirm the retrieved data based on the confirmation screen.
  • the display processing of the confirmation screen can be omitted.
  • the processing device receives the processed data from the server and causes the output device 14 to display a cooperation result confirmation screen for confirming the data.
  • the display processing of the confirmation screen of the coordination result can be omitted.
  • the item information output unit 227 outputs the obtained data to a predetermined area of the target APL 23 based on the output method information included in the screen definition information. Further, the item information output unit 227 causes the output device 14 to display a result confirmation screen for confirming the result of the data linkage processing.
  • the display processing of the confirmation screen can be omitted.
  • the item information acquisition / recognition processing for acquiring information from the screen of the target APL 23 is not performed. The difference between the two is clear when comparing Fig. 5 and Fig. 30.
  • the target APL 23 is a program for a financial remittance business and that the linked APL 21 is a slip processing and seal verification program.
  • the linked APL 21 reads the deposit receipt with the account number and remittance amount recorded and the stamp stamped on it as image data using a scanner, and cuts out the image of the read stamp from the image data. Recognize the account number and remittance amount as character data. Further, the cooperative APL 21 obtains the CIF number corresponding to the account number, the customer name, and the image of the notification stamp from a DB (not shown), and based on the image of the reading stamp and the image of the notification stamp. Check the seal.
  • the screen plug 22 identifies the “remittance processing” screen of the target APL23, receives the CIF number, the customer name, the remittance amount, the verification result, and the image of the read seal from the cooperative APL21 card, and receives the received information. Output to the identified screen.
  • An example of the “Remittance Processing” screen is shown in FIG.
  • the input fields of “CIF number”, “customer name”, “remittance amount”, “matching result” and “reading stamp” on the “remittance processing” screen of the target APL 23 Is “empty” at the beginning of the screen identification. Output the physical data to this screen.
  • the target APL 23 which does not have the function of reading the deposit / receipt slip as image data using a scanner and acquiring the necessary information from the image data, is processed by the cooperative APL 21 with that function. It is possible to give a result. As a result, it is possible to incorporate new functions into target APL 23 without modifying target APL 23.
  • the target AP L 23 and the cooperation API 21 are installed on the same computer. However, both may be installed on different computers.
  • the screen plug 22 is provided on the computer on which the target APL 23 is installed. Also in this case, the processing procedure is as described above.
  • the cooperation result information is output on the same screen as the screen from which the data to be linked is extracted from the target APL 23, but the screen is different from the screen from which the data in the target APL 23 is extracted May be output to In this case, it is necessary to define a screen for outputting the cooperation result information in advance.
  • the cooperation result information may be output to a third program other than the target API 23.
  • the output method information further includes information for identifying the third program.
  • the cooperation result information may be further processed in the program.
  • FIG. 31 shows a configuration of a system according to the second embodiment.
  • targets APL 23-1 and 23-2 are installed on the same computer.
  • the screen plug 22-1 extracts data to be linked from the screen of the target APL 23-1 and outputs the data to the target APL 23-2.
  • the screen plug 22-1 receives the result of the cooperative processing from the target APL 23-2 and outputs it to the target APL 23-1.
  • the screen plug 22-2 extracts the data to be linked from the screen of the target APL 23-2 and outputs the data to the target APL 23-1.
  • the screen plug 22-2 receives the result of the cooperative processing from the target APL 23-1, and outputs it to the target APL 23-2.
  • the target APL2 3-2 is a linked APL of the target APL23_1, and the target APL 23-1 is a linked APL of the target APL 23-2.
  • the target APL 23-1 and the target APL 23-2 may be installed on two different computers.
  • the target APL 23-1 and the screen plug 22-1 are installed on one computer
  • the target APL 23-2 and the screen plug 22-2 are installed on the other computer.
  • the data linkage technology according to the present invention is useful for a system that performs processing using a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Character Input (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

スクリーンプラグ（２２）は、ターゲットＡＰＬ（２３）から表示画面の画面イメージデータを取り込み、その画面イメージデータから連携するべきデータを取得する。そして、取り出したデータを連携ＡＰＬ（２１）へ出力する。これにより、スクリーンプラグ（２２）は、連携ＡＰＬ（２１）とターゲットＡＰＬ（２３）の間でのデータ連携を実現する。

Description

明 細 書 アプリケーション間のデータ連携支援方法 技術分野
本発明は、 アプリケーション間でデータを連携させる技術に関する。 背景技術
あるアプリケーション （以下、 ターゲット APLという） の表示画面に表示さ れる情報を、 更なる別のアプリケーション （以下、 連携 APLという） において 用いることができるようにシステムを改造することが必要になる場合がある。 こ のような場合、 従来技術によれば以下のような手順を行う。
1) まず、 ターゲット APLのデータ項目を表示する画面を紙等に出力させ、 人手を用いて、 その画面中で必要なデータ項目を連携 A P Lに再入力する。
2) ターゲット APLと連携 APLとの間でデータ連携が可能となるように、 両方の A P Lに改造を行う。
この従来技術によれば、 手順 1) では作業の際に人手が必要であるため、 デー タ入力の負担が生じると共に誤入力が発生する可能性があるという問題があった。 手順 2 ) では、 連携 A P Lのみならずターゲット A P Lを改造することが必要と なるため、 システム開発の規模が大きくなり、 これに伴い、 開発予算及び期間が 増大するという問題があった。 また、 ターゲット APLの開発者が連携 APLの それと異なる場合等には、 機密情報の開示が必要となる場合もあり、 開発者双方 の合意が得られなければ、 そもそも、 ターゲット APLを改造する事ができない 場合もあるという問題もあった。
なお、 公開特許公報特開平 8— 83285号によれば、 スキャナを用いて紙に 出力されたデータを画像データとして読みこみ、 その画像データから文字を表示 する領域を認識し、 認識された領域中の画像データから文字コードを生成し、 そ の文字コードをデータベースに登録するシステムが開示されている。
また、 公開特許公報特開平 1 0— 2 4 0 9 0 1号によれば、 予め文書構造のレ ィアウト規則を記憶し、 さらに、 文書の画像データを蓄積し、 蓄積された画像デ ータのレイァゥトを上記レイァゥト規則に基づいて解析し、 解析結果に基づいて 上記画像データから文字パターンを切り出し、 その切り出された文字パターンか ら文字を認識し、 文字認識の結果をファィルに格納するシステムを開示する。 両発明は、 上記の手順 1 ) における人手を用いた再入力を省くことを可能とす る。 しカ し、 両発明ともプログラム間のデータ連携を可能とするためには、 画面 を紙に出力すること、 及び、 ターゲット A P L及び連携 A P Lに改造を行う事が 必要であるという問題を依然として有する。 発明の開示
本 明の目的は、 ターゲット A P Lと連携 A P Lとの間でデータ連携ができる ようにシステムを改造する際に、 画面の紙媒体への出力、 人手によるデータ項目 の入力、 及び、 ターゲット A P L及び連携 A P Lの改造を不要とすることを目的 とする。
上記目的を達成するために、 本発明の 1態様によれば、 プログラム間のデータ 連携を支援するデータ連携支援装置において、 第 1のプログラム （ターゲット A P L ) から表示画面の画面イメージデータを取込む表示画面取込手段と、 取込ま れた前記画面イメージデータから第 2のプログラム （連携 A P L) へ出力すべき 連携データを取得する項目情報取得手段と、 取得された前記連携データを前記第 2のプログラムへ出力する項目情報出力手段とを備える。
上記構成において、 第 1のプログラム中の表示画面を紙等に出力するのではな く、 第 1のプログラムから画面イメージデータとして取込み、 取込まれた画面ィ メージデータから連携データを取得し、 取得された連携データを第 2のプロダラ ムに出力する。 これにより、 上記目的を達成する。
また、 上記データ連携支援装置は、 表示画面中の領域を示す座標情報及び前記 領域に表示されるイメージデータを含む画面種別判定情報に基づいて、 前記画面 ィメージデータから前記領域に表示されるィメージデータを切り出し、 切り出さ れたィメージデータと前記画面種別判定情報に含まれるィメージデータとがー致 するか否か判定することにより表示画面を識別する画面種別判定手段を更に含み、 上記項目情報取得手段は、 識別された表示画面の画面ィメージデータから連携デ ータを取得することとしてもよい。
これにより、 表示画面の識別をイメージデータに基づいて自動的に行うことを 可能とする。
また、 上記項目情報取得手段は、 表示画面中の領域を示す座標情報及び前記領 域に表示されるデータの属性を示すデータ属性情報を含む認識項目情報に基づレヽ て、 前記画面イメージデータから前記領域に表示されるデータを切り出し、 切り 出されたデ一タを前記データ属性情報に基づいて認識し、 前記連携データを認識 結果として取得することとしてもよい。
また、 上記データ連携支援装置は、 前記第 2のプログラムによって処理された 前記連携データを前記第 1のプログラムに出力する項目情報出力手段を更に備え ることとしても良い。 これにより、 第 2のプログラムによる連携データの処理結 果を第 1のプログラムに返すことが可能となる。
なお、 上記項目情報出力手段は、 表示画面中の領域を示す座標情報を含む出力 方法情報に基づいて、 前記第 2のプログラムによって処理された前記連携データ は、 前記第 1のプログラムの表示画面中の前記領域に出力することとしてもよい。 また、 本発明の別の 1態様によれば、 プログラム間のデータ連携を支援するデ ータ連携支援装置において、 第 1のプログラムから表示画面の画面ィメ一ジデー タを取り込む表示画面取込手段と、 表示画面中の領域を示す座標情報及び前記領 域に表示されるイメージデータを含む画面種別判定情報に基づいて、 前記画面ィ メ一ジデータから前記領域に表示されるィメージデータを切り出し、 切り出され たィメージデータと前記画面種別判定情報に含まれるィメージデータとがー致す るか否か判定することにより表示画面を識別する画面種別判定手段と、 第 2のプ ログラムによつて処理された連携データを前記第 1のプログラムに出力する項目 情報出力手段を備える。
上記構成において、 第 1のプログラム中の表示画面を画面イメージデータとし て取込み、 取込まれた画面イメージデータに基づいて取込まれた表示画面を識別 し、 識別された表示画面に、 第 2のプログラムによって処理されたデータを出力 させる事が可能となる。 これによつても、 第 1及び第 2のプログラムを改造しな くとも、 第 1及び第 2のプログラムの間でデータ連携を実現することが可能とな り、 上記目的を達成する。
また、 上記データ連携支援装置によって行われる処理と同様の手順を行うデー タ連携支援方法によっても、 上記コンピュータと同様の作用 '効果が得られる。 従って、 上記データ連携支援方法も上記目的を達成することが可能である。 また、 上記データ連携支援方法において行われる手順と同様の制御をプロセッ サに行わせるプログラムも、 そのプログラムをプロセッサに実行させることによ つて、 上記目的を達成することが可能である。 さらに、 上記プログラムを記録し た記録媒体 （記録装置） 力 、 そのプログラムをプロセッサに読み出させて実行 させることによつても、 上記目的を達成することができる。 図面の簡単な説明
図 1は、 コンピュータの構成図である。 · 図 2は、 第 1実施形態に係わるシステムの構成図である。
図 3は、 スクリ一ンプラグの機能構成図である。
図 4は、 画面定義処理の概要を説明する図である。
図 5は、 データ連携処理の概要を説明する図である。
図 6は、 表示画面取込処理の手順を示すフローチヤ一トである。
図 7は、 画面種別定義処理の手順を示すフローチャートである。
図 8は、 上記画面種別判定定義サブルーチンの手順を示すフ口一チヤ一トであ る。
図 9は、 認識項目定義サブルーチンの手順を示すフ口一チヤ一トである。 図 1 0は、 連携方法定義サブルーチンの手順を示すフローチヤ一トである。 図 1 1は、 定義重複確認処理の手順を示すフローチャートである。
図 1 2は、 画面種別判定処理の手順を示すフローチャートである。
図 1 3は、 イメージ比較サブルーチンの手順を示すフローチャートである。 図 1 4は、 項目情報取得 ·認識処理の手順を示すフローチヤ一トである。 図 1 5は、 連携処理の手順を示すフローチヤ一トである。
図 1 6は、 項目情報出力処理の手順を示すフローチャートである。
図 1 7は、 ターゲット A P Lの表示画面の一例を示す図である。
図 1 8は、 画面種別判定情報の一例を示す図である。
図 1 9は、 認識項目情報の一例を示す図である。
図 2 0は、 連携方法情報の一例を示す図である。
図 2 1は、 出力方法情報の一例を示す図である。
図 2 2は、 画面イメージデータ中から切り出される領域について説明する図で ある。
図 2 3は、 イメージ比較サブルーチンにおいてマスクされる部分について説明 する図である。 図 2 4は、 画面イメージデータ中から連携すべきデータを取り出して認識する 処理について説明する図である。
図 2 5は、 図 1 9に示す認識項目情報に基づいて図 2 4に示す画面から取得さ れた認識項目を示す図である。
図 2 6は、 図 2 4に示す画面から取得された認識項目の碓^^画面の一例を示す 図である。
図 2 7は、 連携 A P Lによる印鑑照合処理の結果を示す画面の一例を示す図で ある。
図 2 8は、 連携処理の結果の確認画面の一例を示す図である。
図 2 9は、 ターゲット A P Lの画面に連携結果情報を出力した画面の一例を示 す図である。
図 3 0は、 第 1実施形態の 1変形例におけるデータ連携処理の概要を説明する 図である。
図 3 1は、 第 2実施形態に係わるシステムの構成図である。 発明を実施するための最良の形態
本発明の実施形態について図面を参照しながら説明する。 なお、 同じ装置等に は同じ参照番号をつけ、 説明を省略する。 ' 本発明は、 コンピュータを用いて実現される。 まず、 図 1を用いてコンビユー タの構成について説明する。
図 1に示すようにコンピュータは、 C P U 1 1、 メモリ 1 2、 入力装置 1 3、 出力装置 1 4、 外部記憶装置 1 5、 媒体駆動装置 1 6、 及びネットワーク接続装 置 1 7を備え、 それらはバス 1 8により互いに接続されている。
メモリ 1 2は、 例えば、 R O M (Read Only Memory) 、 R A M (Random Access Memory) 等を含み、 処理に用いられるプログラムとデータを格納する。 プログラム間のデータ連携を支援する制御をコンピュータに行わせるデータ連携 支援プログラム （後述） は、 コンピュータのメモリ 1 2の特定のプログラムコー ドセグメントに格納される。 また、 メモリ 1 2は、 後述の画面イメージ書き込み 部 2 2 8を実現する。
C P U 1 1は、 メモリ 1 2を利用して上述のプログラムを実行することにより、 必要な処理を行う。 メモリ 1 2に、 データ連携支援プログラムを格納し、 このプ ログラムを C P U 1 1に実行させることにより、 コンピュータに、 データ連携支 援装置として機能させることが可能となる。
入力装置 1 3は、 例えば、 キーボード、 ポインティングデバイス、 タツチパネ ル等であり、 ユーザからの指示や情報の入力に用いられる。 出力装置 1 4は、 例 えば、 ディスプレイやプリンタ等であり、 コンピュータのユーザへの問い合わせ、 処理結果等の出力に用いられる。
外部記憶装置 1 5は、 例えば、 磁気ディスク装置、 光ディスク装置、 光磁気デ イスク装置等である。 外部記憶装置 1 5は、 後述の画面情報 D B 2 2 9を実現す る。 さらに、 上述のプログラムをコンピュータの外部記憶装置 1 5に保存してお き、 必要に応じて、 それらをメモリ 1 2にロードして使用することもできる。 媒体駆動装置 1 6は、 可搬記録媒体 1 9を駆動し、 その記録内容にアクセスす る。 可搬記録媒体 1 9としては、 メモリカード、 メモリスティック、 フレキシブ ノレディスク、 C D— R OM (Compact Disc Read Only Memory) 、 光ディスク、 光磁気ディスク、 D VD (Digital Versatile Disk) 等、 任意のコンピュータ読 み取り可能な記録媒体が用いられる。 この可搬記録媒体 1 9に上述のデータ連携 支援プログラムを格納しておき、 必要に応じて、 それをコンピュータのメモリ 1 2にロードして使用することもできる。
ネットワーク接続装置 1 7は、 L A N、 WA N等の任意のネットワーク （回 線） を介して外部の装置と通信し、 通信に伴うデータ変換を行う。 また、 必要に 応じて、 上述のプログラムを外部の装置から受け取り、 それをコンピュータのメ モリ 12にロードして使用することもできる。
次に、 図 2を用いて、 本発明の第 1実施形態に係わるシステムの構成について 説明する。
図 2に示すように、 コンピュータ 20には、 連携 APL21、 データ連携支援 プログラム (以下、 スクリーンプラグという） 22、 ターゲット APL 23及び オペレーションシステム（以下、 OS) 24がインストールされている。
連携 AP L 21は、 スクリーンプラグ 22を介してターゲット AP L 23から 連携すべきデータを受け取り、 そのデータを用いて所定のアルゴリズムに基づい て処理を行う。
スクリーンプラグ 22は、 ターゲット AP L 23から表示画面の画面イメージ データを取り込み、 その画面イメージデータからデータを取得する。 そして、 取 り出したデータを連携 AP L 21へ出力する。 これにより、 スクリーンプラグ 2 2は、 連携 AP L 21とターゲット APL 23との間のデータ連携を実現する。 また、 必要に応じて、 スクリーンプラグ 22は、 連携 APL 21による処理結果 をターゲット AP L 23に戻す。
ターゲット AP L 23は、 所定のアルゴリズムに基づいてデータを処理する。 OS 24は、 連携 AP L 21、 スクリーンプラグ 22及びターゲット AP L 23 等のアプリケーションに対して、 システム管理機能を提供する。
なお、 スクリーンプラグ 22がデータを連携させる、 連携 APL21及びター ゲット AP L 23が行う処理は、 どのようなものであってもよい。 図 2では、 例 として、 コンピュータ 20とコンピュータ 30はネットワークを介して接続され、 コンピュータ 20内のターゲット AP L 23は、 コンピュータ 30のデータべ一 ス 31から検索システム 32を介してデータを取得し、 そのデータを用いて処理 を行う場合を示す。 ここで、 ネットワーク Nは、 1つのネットワークであっても、 複数のネットワークの組み合わせであってもよい。 ネットワーク Nとして、 イン ターネット、 電話回線網、 無線回線網等の WA N (Wide Area Network) 及び L AN (Local Area Network) 等が考えられる。
以下、 図 3を用いて、 スクリーンプラグ 2 2の機能構成について説明する。 図 3に示すようにスクリ一ンプラグ 2 2は、 表示画面取込部 2 2 1、 画面種別 定義部 2 2 2、 定義重複確認部 2 2 3、 画面種別判定部 2 2 4、 項目情報取得/ 認識部 2 2 5、 連携処理部 2 2 6、 項目情報出力部 2 2 7、 画面イメージ書き込 み部 2 2 8、 画面情報データベース （以下、 データベースを D Bと略記する） 2 2 9を備える。
スクリーンプラグ 2 2が行う処理には、 大別して、 画面定義処理とデータ連携 処理とがある。 前者は、 データ連携を行う前に行う処理であり、 ターゲット A P L 2 3から取得するべきデータが、 どの表示画面のどの位置にどのようなデータ 形式で存在するの力、 取得したデータをどのプログラムにどのようにして出力す るのか等を定義する処理である。 表示画面取込部 2 2 1、 画面種別定義部 2 2 2 及び定義重複確認部 2 2 3によってこの処理が行われ、 この処理の結果は、 画面 情報 D B 2 2 9に書き込まれる。 後者は、 画面定義処理の結果に基づいて、 ター ゲット A P L 2 3から取り出したデータを連携 A P L 2 1に連携させる処理であ る。 表示画面取込部 2 2 1、 画面種別判定部 2 2 4、 項目情報取得/認識部 2 2 5、 連携処理部 2 2 6及び項目情報出力部 2 2 7によってこの処理が行われる。 この処理の際には、 画面情報 D B 2 2 9に書きこまれた画面定義処理の結果が用 いられる。
以下、 各部が行う処理について説明する。
表示画面取込部 2 2 1は、 ターゲット A P L 2 3から表示画面の画面イメージ データを取り込み、 画面イメージ書き込み部 2 2 8に書き込む。
画面種別定義部 2 2 2は、 画面ィメージ書き込み部 2 2 8に書きこまれた画面 イメージデータに基づいて、 ターゲット A P L 2 3から取り出すべきデータの画 面における位置及びデータの属性等を定義する画面定義情報を作成する。 画面定 義情報に含まれる情報について詳しくは後述する。 定義重複確認部 2 2 3は、 、 画面種別定義部 2 2 2によつて作成された画面定義情報が、 画面情報 D B 2 2 9 に格納されている画面定義情報と重複しているか否力確認し、 重複していないこ とを確認した場合、 作成された画面定義情報を画面情報 D B 2 2 9に格納させる。 画面種別判定部 2 2 4は、 画面情報 D B 2 2 9に格納された画面定義情報と画 面イメージ書き込み部 2 2 8に書きこまれた画面イメージデータとに基づいて、 取り込まれた画面を識別する。 画面が識別された場合、 項目情報取得 Z認、識部 2 2 5は、 画面定義情報に基づいて、 画面ィメージデータから連携 A P L 2 1で連 携させるべきデータを取り出す。
連携処理部 2 2 6は、 取り出されたデータをデータの連携先となる連携 A P L 2 1の所定のデータ領域に所定の連携方法で出力する。 なお、 データの連携先と なる連携 A P Lは連携先識別情報によって予め指定され、 データの連携方法は連 携方法指定情報によって予め定義されている。 連携先識別情報及び連携方法指定 情報は共に、 画面定義情報に含まれる。 また、 連携処理部 2 2 6は、 連携 A P L 2 1から処理されたデータを受け取り、 項目情報出力部 2 2 7に出力する。 項目 情報出力部 2 2 7は、 連携 A P L 2 1によって処理されたデータをターゲット A P L 2 3又は、 他のアプリケーションに出力する。 連携 A P L 2 1による処理結 果の出力先は、 画面定義情報に含まれる出力先定義情報によって指定される。 な お、 図 2では、 連携 A P L 2 1による処理結果がターゲット A P L 2 3に戻され る場合を示している。
画面イメージ書き込み部 2 2 8には、 表示画面取込部 2 2 1によって取り込ま れた画面イメージデータが書き込まれる。 この画面イメージ書き込み部 2 2 8は、 原則的に、 現在、 画面定義処理又はデータ取り出し処理の対象となっている画面 の画面イメージデータが書き込まれる。
画面情報 D B 2 2 9には、 画面種別定義部 2 2 2によって作成された画面定義 情報が格納される。
以下、 図 4及び図 5を用いて、 上記画面定義処理及びデータ連携処理の概要に ついて説明する。 図 4及び図 5において、 スクリーンプラグ 2 2によって行われ る処理は、 点線で囲まれている。 各処理について、 詳しくは後述する。
まず、 画面定義処理の概要について説明する。 キーボード等の入力装置 1 3か らの入力を契機として画面定義処理が開始されると、 まず、 表示画面取込部 2 2 1は、 ターゲット A P L 2 3から表示画面を取り込む表示画面取込処理を行う。 取り込まれた画面の画面イメージデータは画面イメージ書き込み部 2 2 8に書き 込まれる。 画面種別定義部 2 2 2は、 画面ィメージ書き込み部 2 2 8に書きこま れた画面ィメージデータ及びユーザの指示に基づいて画面定義情報を作成し、 作 成された画面定義情報を画面情報 D B 2 2 9に書き込む。 定義重複確認部 2 2 3 は、 画面情報 D B 2 2 9に格納されている画面定義情報のうちで互いに重複して いるものがある力否力確認する定義重複確認処理を行う。 確認の結果、 重複して いる場合、 定義重複確認部 2 2 3は、 重複している旨を示す情報を出力する。 次に、 データ連携処理の概要について説明する。 キーボード等の入力装置 1 3 力 らの入力を契機としてデータ連携処理が開始されると、 まず、 表示画面取込部 2 2 1は、 ターゲット A P L 2 3から表示画面を取り込む表示画面取込処理を行 う。 取り込まれた画面の画面イメージデータは画面イメージ書き込み部 2 2 8に 書き込まれる。 画面種別判定部 2 2 4は、 画面情報 D B 2 2 9から画面定義情報 を読み出して、 その画面定義情報に基づいて画面ィメージ書き込み部 2 2 8に画 面イメージデータが書きこまれた画面を識別する。 項目情報取得/認識部 2 2 5 は、 識別結果及ぴその画面に対応する画面定義情報に基づいて、 画面イメージデ ータから連携 A P L 2 1に出力するべきデータを取り出し、 取り出したデータを 確認するための確認画面を出力装置 1 4に表示させる。 ユーザは、 この確認画面 に基づいて取り出されたデータを確認することができる。 なお、 この確認、画面の 表示処理は、 省略する事が可能である。
続いて、 連携処理部 2 2 6は、 画面定義情報に含まれる連携方法情報に基づい て、 取り出されたデータを所定の連携 A P L 2 1に所定の連携方法で出力する。 さらに、 連携処理部 2 2 6は、 連携 A P L 2 1から処理されたデータを受け取り、 そのデータを確認する連携結果の確認画面を出力装置 1 4に表示させる。 なお、 この連携結果の確認画面の表示処理は省略可能である。
項目情報出力部 2 2 7は、 画面定義情報に含まれる出力方法情報に基づいて、 連携結果として得られたデータをターゲット A P L 2 3の所定の領域に出力する。 さらに、 項目情報出力部 2 2 7は、 このデータ連携処理の結果を確認する結果確 認画面を出力装置 1 4に表示させる。 なお、 連携結果として得られたデータの出 力処理及びその確認画面の表示処理は省略可能である。 また、 図 2と同様に、 図 5でも、 連携 A P L 2 1による処理結果がターゲット A P L 2 3に戻される場合 を示している。
以下、 図 6から図 2 9を用いて各処理について詳しく説明する。 なお、 以下の 説明において、 ターゲット A P L 2 3を金融送金業務用プログラムであると仮定 し、 連携 A P L 2 1を印鑑照合プログラムであると仮定する。 そして、 ターゲッ ト A P L 2 3の 「送金処理」 画面から取り出されたデータ項目に基づいて連携 A P L 2 1に印鑑照合処理を行わせ、 その照合結果をターゲット A P L 2 3に戻さ せる場合を例とする。 また、 説明にあたり、 具体的な送金処理画面の例を用いる。 これらの仮定は、 説明を具体的にすることにより理解を容易にするためであり、 ターゲット A P L 2 3及び連携 A P L 2 1を限定したり、 本発明の応用範囲を限 定したりする趣旨ではない。
まず、 図 6を用いて、 表示画面取込処理の手順について説明する。 図 6に示す ように、 まず、 表示画面取込部 2 2 1は、 ターゲット A P L 2 3から表示画面を 取り込み、 その画面中のキヤレット或いはカーソルを非表示状態にする （ステツ プ S 1 ) 。 続いて、 表示画面取込部 2 2 1は、 その画面の画面イメージデータが 存在するメモリ中の領域を取得し （ステップ S 2 ) 、 その領域からその画面の画 面イメージデータをコピーする （ステップ S 3 ) 。 その後、 表示画面取込部 2 2 1は、 その表示画面中のキヤレット或いはカーソルを表示状態に戻す （ステップ S 4 ) 。 表示画面取込部 2 2 1は、 コピーされた画目イメージデータを、 画面ィ メージ書き込み部 2 2 8に書き込む （ステップ S 5 ) 。
図 1 7に、 表示画面取込部 2 2 1によって取り込まれた表示画面の一例を示す。 図 1 7に示す表示画面は、 金融送金業務用プログラムによる送金処理において表 示される。 この画面には、 この画面で行われる処理を示す文字情報として図 1 7 の向かって左上に 「送信処理」 が表示され、 さらに、 画面識別番号として図 1 7 の向かって右上に 「Menu 00201」 が表示されている。 なお、 画面識別番号は、 画 面種別定義部 2 2 2が設定する画面 I Dと一致する必要はない。
また、 この画面には、 取引情報として、 顧客データベース番号 （C I F番号、 C I F ： Customer Interaction File) 、 顧客名、 送金金額、 印鑑照合の結果を 入力する欄、 及び送金処理の申し込み用紙から読取られた印鑑 （以下、 読取印と いう） の画像イメージ （以下、 読取印） が表示されている。
以下、 図 1 7に示すこの表示画面の画面イメージデータを参照しながら、 図 7 から図 1 0を用いて、 画面種別定義処理の手順について説明する。 この画面種別 定義処理は、 画面定義処理に含まれる。 まず、 図 7に示すように、 画面種別定義 処理において、 画面種別定義部 2 2 2は、 画面イメージ書き込み部 2 2 8から画 面イメージデータを読み出す （ステップ S I 1 ) 。 続いて、 画面種別定義部 2 2 2は、 画面を識別する画面 I Dを設定する （ステップ S 1 2 ) 。 さらに、 画面種 別定義部 2 2 2は、 画面種別判定定義サブルーチン （ステップ S 1 3 ) 、 認識項 目定義サブルーチン （ステップ S I 4 ) 、 及び連携方法定義サブルーチン （ステ ップ S 1 5 ) を行い、 処理を終了する。 各サブルーチンについて詳しくは後述す る。
画面定義情報は、 連携させるべきデータを含む画面に対応して作成される。 画 面定義情報は、 画面種別判定情報、 認識項目情報及び連携方法情報を含む。 連携 A P L 2 1による処理結果を所定のアプリケーションに出力する場合、 画面定義 情報は、 更に、 出力方法情報を含む。 画面種別判定情報は画面種別判定定義サブ ルーチンにおいて、 認識項目定義情報は認識項目定義サブルーチンにおいて、 連 携方法情報と出力方法情報は連携方法定義サブルーチンにおいて、 それぞれ作成 される。
以下、 図 8及び図 1 8を用いて、 上記画面種別判定定義サブルーチンの手順に ついて説明する。 図 8に示すように、 画面種別定義部 2 2 2は、 取り込まれた画 面から画面種別判定情報として取り出すべき項目の指定を受けると、 その項目に 項目 I Dを付す （ステップ S 2 1 ) 。 続いて、 画面種別定義部 2 2 2は、 画面ィ メージ中で取り出すべき項目が表示されている領域 （識別部分） の指定を受ける と （ステップ S 2 2 ) 、 その座標に基づいて画面イメージデータからイメージデ ータを切り出す （ステップ S 2 3 ) 。 画面種別定義部 2 2 2は、 項目 I D、 座標 及び切り出したィメージデータを含む画面識別判定情報を作成する。 ステップ S 2 1から S 2 3を画面種別判定情報として取り出すべき全ての項目について行つ た場合（ステップ S 2 4 ： Y e s ) 、 処理を終了する。 そうでない場合 （ステツ プ S 2 4 ： N o ) 、 ステップ S 2 1にもどる。
図 1 8に、 図 1 7に示す画面についての画面種別判定情報の一例を示す。 図 1 8に示すように、 図 1 7に示す画面についての画面種別判定情報は、 2つある。 1つは、 図 1 7の向かって左上に表示される 「送信処理」 という文字が表示され る画面中の領域を示す座標情報及びその座標情報に基づいて切り出されたィメ一 ジデータを含む画面種別判定情報であり、 1つは、 「Menu 00201」 という番号が 表示される画面中の領域を示す座標情報及ぴその座標情報に基づいて切り出され たイメージデータを含む画面種別判定情報である。 なお、 図 1 8において、 例と して、 領域は、 矩形を形成する 4つの頂点のうち相対する 2つの頂点の座標を用 いて示されている。 また、 図 1 8において画面種別判定情報には 「項目 I D」 の 代わりに 「項目名」 が含まれているが、 いずれであってもよい。 画面種別判定情 報は、 後述のデータ連携処理において、 ターゲット A P L 2 3から取り込まれた 画面を識別する際に用いられる。
次に、 図 9及び図 1 9を用いて、 認識項目定義サブルーチンの手順について説 明する。 図 9に示すように、 まず、 画面種別定義部 2 2 2は、 表示画面取込部 2 2 1によって取り込まれた画面から認識項目として取り出すべきデータの項目名 の指定を受ける。 なお、 この項目名は、 画面中の項目名と一致させることとして も良い (ステップ S 3 1 ) 。 続いて、 画面種別定義部 2 2 2は、 その画面中にお いて、 認、識項目が表示される領域の指定を受ける （ステップ S 3 2 ) 。 さらに、 画面種別定義部 2 2 2は、 その領域に表示されるデータの属性の指定を受ける (ステップ S 3 3 ) 。 画面種別定義部 2 2 2は、 ステップ S 3 1から S 3 3の指 定に基づいて、 画面種別定義部 2 2 2は、 項目名、 指定された領域を示す座標情 報、 及びデータ属性を示すデータ属性情報を含む認識項目情報を作成する。 デー タ属性として、 例えば、 文字データ、 エディット · コントロール、 スタティッ ク ·コントロール及びイメージデータ等が挙げられる。 ステップ S 3 1から S 3 3を認識項目として取り出すべき全ての項目について行った場合（ステップ S 3 4 ： Y e s ) 、 処理を終了する。 そうでない場合 （ステップ S 3 4 ： N o ) 、 ス テツプ S 3 1にもどる。 認識項目情報は、 後述のデータ連携処理において、 ター ゲット A P L 2 3から取り込まれた画面から連携 A P L 2 1に連携させるべきデ —タを取り出す際に用いられる。 図 19に、 図 17に示す画面についての認、識項目情報の一例を示す。 図 19に 示すように、 図 17に示す画面についての認識項目情報は、 4つある。 1つ目は、 C I F番号の入力欄に対応する認識項目情報であり、 2つ目は、 顧客名の入力欄 に対応する認識項目情報であり、 3つ目は、 送金金額の入力欄に対応する認識項 目情報であり、 4つ目は、 読取印の画像イメージに対応する認識項目情報である。 また、 図 19に示すように、 各認識項目情報は、 項目名、 その項目が画面上に表 示されている領域を示す座標情報、 及びその項目のデータ属性情報を含む。 図 1 8と同様に、 図 19においても、 領域は、 矩形を形成する相対する 2つの頂点の 座標を用いて示されている。
次に、 図 10、 図 20及び図 21を用いて、 連携方法定義サブルーチンの手順 について説明する。 図 10に示すように、 まず、 画面種別定義部 222は、 連携 APL 21の指定と連携方法の指定を受ける (ステップ S 41) 。 画面種別定義 部 222は、 指定に基づいて、 連携 AP L 21を識別する連携先識別情報と連携 方法を指定する連携方法指定情報を含む連携方法情報を作成する。 連携方法とし 飞、 例 は、 T C PZ l P ( Transmission Control Protocol / Internet Protocol ) 、 H T T P ( Hypertext Transmission Protocol ) 、 A P I (Application Program Interface) 、 DLL (Dynamic Link Library) 等力 S挙 げられる。
図 20に、 連携方法情報の一例を示す。 図 20に示す例では、 連携方法情報に は、 連携 A PL 21を識別する連携先識別情報として連携 A P L 21のプロダラ ム名が含まれている。 また、 連携 AP L 21とターゲット AP L 23間のデータ の連携方法として TCP/ I P、 ソケット通信が指定されている。
続いて、 画面種別定義部 222は、 連携 A P L 21が連携されたデータを処理 した結果として得られた情報 （以下、 連携結果情報） を連携 APL21からター ゲット APL 23へ出力する力否かを指定する情報を受ける（ステップ S 42) 。 指定に基づいて、 連携結果情報をターゲット A P L 2 3へ出力すると判定した場 合 （ステップ S 4 2 ： Y e s ) 、 ステップ S 4 3に進む。 そうでない場合 （ステ ップ S 4 2 ： N o ) 、 ステップ S 4 6に進む。
ステップ S 4 2で Y e sの場合、 ステップ S 4 3において、 画面種別定義部 2 2 2は、 ユーザの指定に基づいて連携結果情報の項目名及びその連携結果情報を 表示するべき画面中の出力先領域を示す座標情報を含む出力方法情報を作成する (ステップ S 4 3及び S 4 4 ) 。 なお、 連携結果情報として複数の項目を出力す る場合、 各項目に対応して複数の出力方法情報が作成される。
画面種別定義部 2 2 2は、 連携結果情報を出力するべき全ての項目についてス テツプ S 4 1から S 4 3を行った場合（ステップ S 4 5 ： Y e s ) 、 処理を終了 する。 そうでない場合 （ステップ S 4 5 ： N o ) 、 ステップ S 4 3にもどる。 こ の出力方法情報は、 後述のデータ連携処理において、 連携結果情報をターゲット A P L 2 3の画面に出力する際に用いられる。
ステップ S 4 2で N oの場合、 ステップ S 4 6にお 、て、 出力方法情報を作成 する必要はないため、 処理を終了する。
図 2 1に、 出力方法情報の一例を示す。 図 2 1に示すように、 出力方法情報は、 連携結果情報の項目名とその連携結果情報を出力するべき画面上の出力先領域を 示す座標情報を含む。 図 2 1の場合、 連携結果情報として出力される項目は 1つ であるため、 作成される出力方法情報も 1つである。 この出力方法情報に基づい て、 連携結果情報は、 図 1 7に示す画面中の照合結果の入力欄に表示される。 上記の画面種別定義処理において作成された画面定義情報は、 画面情報 D B 2 2 9に書き込まれる。 続いて、 定義重複確認処理において、 作成された画面定義 情報が、 先に作成された画面定義情報と重複している力否力確認される。 この定 義重複確認処理は、 画面定義処理に含まれる。 以下、 図 1 1を用いて、 定義重複 確認処理の手順について説明する。 図 1 1に示すように、 まず、 定義重複確認部 2 2 3は、 まだ重複碓認処理を行っていない画面定義情報を画像情報 D B 2 2 9 から読み出す （ステップ S 5 1 ) 。 画像情報 D B 2 2 9中の全ての画面定義情報 について重複確認処理を既に行っていた場合 （ステップ S 5 2 ： Y e s ) 、 ステ ップ S 5 8に進む。 そうでない場合 （ステップ S 5 2 ： N o ) 、 ステップ S 5 3 以降を行う。
画面定義情報には 1以上の画面種別判定情報が含まれる。 各画面種別判定情報 には、 画面上の領域を示す座標情報及びイメージデータが含まれる。 ステップ S 5 3において、 定義重複確認部 2 2 3は、 ステップ S 5 1で読み出した画面定義 情報から、 まだ重複判定処理が行われていない画面種別判定情報からイメージデ ータを取得する。 ステップ S 5 1で読み出した画面定義情報中の全ての画面種別 判定情報について重複確認処理を既に行っていた場合 （ステップ S 5 4 ： Y e s ) 、 ステップ S 5 7に進む。 そうでない場合 （ステップ S 5 4 : N o ) 、 ステ ップ S 5 5及び S 5 6を行う。
ステップ S 5 5において、 定義重複確認部 2 2 3は、 ステップ S 5 3で取得し たィメージデータに対応する座標情報に基づいて、 画面ィメージ書き込み部 2 2 8に書き込まれている画面ィメージデータからィメージデータを切り出す。 そし て、 定義重複確認部 2 2 3は、 ステップ S 5 3で取得したイメージデータと、 切 り出したィメージデータとを比較し、 ィメージデータの比較結果に基づいて、 両 者が一致するか否か判定する。 このイメージを比較する手順については、 ィメー ジ比較サブルーチンとして、 詳しくは後述する。 そして、 定義重複確^ «部 2 2 3 は、 ステップ S 5 3で取得したイメージデータについての判定結果を一時記憶格 納領域に記録し （ステップ S 5 6 ) 、 ステップ S 5 3に戻る。
ステップ S 5 7において、 定義重複確認部 2 2 3は、 一時記憶格納領域に記録 された判定結果が、 「全ての判定において一致」 を示すか否か判定し、 ステップ S 5 1で読み出された画面定義情報についての判定結果を 「一致」 として一時記 憶格納領域に格納し、 ステップ S 5 3にもどる。
ステップ S 5 8において、 定義重複確認、部 2 2 3は、 判定結果が 「一致」 とな つている画面定義情報の数をカウントする。 さらに、 定義重複確認部 2 2 3は、 その数が 「1」 である場合 「重複なし」 と判定し、 その数が 「2以上」 である場 合 「重複有り」 と判定する。 定義重複確認部 2 2 3は、 判定結果をユーザに通知 し、 処理を終了する。
なお、 上記において、 画面定義情報を作成するごとに定義重複確認処理を行う として説明した。 し力 し、 定義するべき全ての画面についての画面定義情報を作 成し、 画面情報 D B 2 2 9に書き込んだ後、 定義重複確認処理をおこなって、 画 面情報 D B 2 2 9に重複した画面定義情報が格納されているか否力判定すること としてもよ 、。
以下、 図 1 2及び図 2 2を用いて、 画面種別判定処理の手順について説明する。 この画面種別判定処理は、 データ連携処理に含まれる。 まず、 画面種別判定処理 に先立って、 図 6を用いて説明したようにして表示画面取込処理が行われる。 そ の後、 画面種別判定部 2 2 4は、 画面ィメージ書き込み部 2 2 8から画面ィメ一 ジデータを取得し （ステップ S 6 1 ) 、 さらに、 画面情報 D B 2 2 9から、 まだ 画面種別判定処理が行われていない画面定義情報を 1つ取り出す （ステップ S 6 2 ) 。
画像情報 D B 2 2 9中の全ての画面定義情報について画面種別処理を既に行つ ていた場合 （ステップ S 6 3 ： Y e s ) 、 ステップ S 6 9に進む。 そうでない場 合 (ステップ S 6 3 ： N o ) 、 ステップ S 6 4以降を行う。
画面定義情報には、 1以上の画面種別判定情報が含まれ、 各画面種別判定情報 には、 画面ィメージデータ中の領域を示す座標情報及びィメージデータが含まれ る。 ステップ S 6 4から S 6 6は、 ステップ S 6 2で取得した画面定義情報に含 まれる全ての画面種別判定情報にっレ、て行われる。 ステップ S 6 4において、 画面種別判定部 2 2 4は、 ステップ S 6 2で取得し た画面定義情報から 1つの画面種別判定情報を取得する。 さらに、 画面種別判定 部 2 2 4は、 その画面種別判定情報中の座標情報に基づいて、 ステップ S 6 1で 取得した画面ィメージデータからィメージデータを切り出す。
以下、 図 2 2を用いて、 画面イメージデータ中から切り出される領域について 説明する。
図 2 2には、 図 1 8に示す画面種別判定情報中の座標によって示される領域が 矢印で示されている。 図 2 2に示すように、 画面イメージデータから、 文字 「送 金処理」 が表示される領域及び画面識別番号 「Menu 00201」 が表示される領域が、 画面種別判定処理のために図 1 8に示す画面種別判定情報に基づいて切り出され る。
続いて、 画面種別判定部 2 2 4は、 ステップ S 6 4で取得した画面種別判定情 報中のィメージデータと、 画面ィメージデータから切り出したィメージデータと を比較するイメージ比較サブルーチンを行う (ステップ S 6 5 ) 。 このイメージ 比較サブルーチンについて、 詳しくは後述する。
続いて、 画面種別判定部 2 2 4は、 イメージ比較サブルーチンの結果に基づい て、 画面種別判定情報に含まれるイメージデータとステップ S 6 4で切り出され たイメージデータとがー致するか否か判定する （ステップ S 6 6 ) 。 両者が一致 しない場合 （ステップ S 6 6 ： N o ) 、 ステップ S 6 2にもどる。 両者が一致す る場合 （ステップ S 6 6 ： Y e s ) 、 ステップ S 6 7に進む。
ステップ S 6 7において、 画面種別判定部 2 2 4は、 ステップ S 6 2で取得さ れた画面定義情報中の全ての画面種別判定情報についてステップ S 6 4から S 6 6を行った力否力碑 IJ定する。 全ての画面種別判定情報についてステップ S 6 4か ら S 6 6を行った場合 （ステップ S 6 7 ： Y e s ) 、 ステップ S 6 8に進む。 そ うでない場合 （ステップ S 6 7 ： N o ) 、 ステップ S 6 4に戻る。 ステップ S 6 8において、 画面種別判定部 2 2 4は、 ステップ S 6 2で取得し た画面定義情報は、 ステップ S 6 1で取得した画面ィメージデータに対応すると 判定し （ステップ S 6 8 ) 、 処理を終了する。
ステップ S 6 9において、 画面種別判定部 2 2 4は、 画面情報 D B 2 2 9には、 ステップ S 6 1で取得された画面ィメージデータに対応する画面定義情報は格納 されていないと判定する。 画面種別判定部 2 2 4は、 取り込まれたその画面は、 データベースに登録されていないため処理エラーが発生した旨をユーザに通知し、 処理を終了する。
以下、 図 1 3及び図 2 3を用いてイメージ比較サブルーチンの手順について説 明する。 図 1 3に示すように、 まず、 画面種別判定部 2 2 4は、 ステップ S 6 4 で取得した画面種別判定情報中のィメージデータと、 画面ィメ一ジデータから切 り出したイメージデータとについて、 1画素ごとの色の分布を検出する （ステツ プ S 7 1 ) 。 続いて、 画面種別判定部 2 2 4は、 、 画面種別判定情報中のィメー ジデータと画面ィメージデータから切り出したィメージデータのそれぞれについ て、 色の分布に基づいて背景色となっている色を決定し、 その色をマスクする (ステップ S 7 2 ) 。
さらに、 画面種別判定部 2 2 4は、 画面種別判定情報中のイメージデータにお いてマスクされずに残った部分の画像パターンと、 画面イメージデータから.切り 出したイメージデータにおけるマスクされずに残った部分の画像パターンとを比 較し、 両者のマッチングを行う （ステップ S 7 3 ) 。 そのマッチング結果は、 上 記ステップ S 6 6の判定に用いられる （ステップ S 7 4 )。
以下、 図 2 3を用いて、 ィメージ比較サブルーチンにおいてマスクされる部分 について説明する。
図 2 3には、 図 1 8に示す 2つの画面種別判定情報中に含まれるィメ一ジデー タと、 各画面種別判定情報に含まれる座標に基づいて切り出されたィメ一ジデー タとが示されている。 例えば、 項目名が 「処理名」 である 2つのイメージデータ は、 文字 「送金処理」 を表示する。 これらのイメージデータにおいて、 網掛け部 分が背景色として判定され、 マスクされる。 この結果、 両イメージデータ中、 文 字 「送金処理」 を表示する画像パターンがマスクされずに残り、 画面種別判定部 2 2 4によって互いに比較される。
次に、 図 1 4及び図 2 4を用いて、 項目情報取得-認識処理の手順について説 明する。 この項目情報取得'認識処理は、 データ連携処理に含まれる。 画面定義 情報には、 1以上の認識項目情報が含まれる。 以下のステップ S 8 1から S 9 3 は、 ステップ S 6 1で取得した画面イメージデータに対応する画面定義情報に含 まれる認識項目情報それぞれについて行われる。
まず、 項目情報取得 Z認識部 2 2 5は、 1つの認識項目情報を画面定義情報か ら取得し、 その認、識項目情報に含まれるデータ属性を示す情報に基づいて、 項目 認識の処理モードを判定する （ステップ S 8 1 ) 。 例えば、 データ属性が 「文字 データ」 を示す場合、 項目情報取得ノ認識部 2 2 5は、 処理モードを O C R (Optical Character Reader) 等を用いた文字認識であると判定し （ステップ S 8 1 ：認識） 、 ステップ S 8 2に進む。 また、 例えば、 データ属性が 「エディツ ト■コントロール」 や 「スタティック .コントロール」 を示す場合、 項目情報取 得/認識部 2 2 5は、 処理モードをデータ項目の読み出しであると判定し （ステ ップ S 8 1 ：項目読み出し） 、 ステップ S 8 9に進む。 データ属性が 「イメージ データ」 を示す場合 (ステップ S 8 1 ：イメージ) 、 ステップ S 9 3に進む。 ステップ S 8 2において、 項目情報取得/認識部 2 2 5は、 その認識項目情報 に含まれる座標情報に基づいて、 取り込まれた画面イメージデータからィメージ データを切り出して、 そのィメージデータを構成する画素 1つ 1つを走査して色 の判定を行う事により、 文字を示す色と背景を示す色とを判定する （ステップ S 8 2 ) 。 続いて、 項目情報取得/認識部 2 2 5は、 背景画像と文字を分離する閾値を用 いてィメージデータを 2値化することにより、 文字を示す色と背景を示す色とを 分離する （ステップ S 8 3 ) 。 2値ィ匕することによって文字を示す色が白、 背景 画像を示す色が黒となってしまつた場合、 項目情報取得/認識部 2 2 5は、 両者 の色を示す値 （ビット） を反転させる （ステップ S 8 4 ) 。
さらに、 項目情報取得 Z認識部 2 2 5は、 連続する黒画素群 （ラベル情報） を 取得することにより、 1文字ずつのラベル情報を抽出する （ステップ S 8 5 ) 。 項目情報取得/認識部 2 2 5は、 ラベル情報を抽出した結果に基づいて 1文字の サイズを判定し、 その 1文字のサイズが文字認識処理のために適当ではない場合、 適当なサイズになるように文字を拡大又は縮小する （ステップ S 8 6 ) 。
続いて、 項目情報取得 Z認識部 2 2 5は文字の認識を行い （ステップ S 8 7 ) 、 その認識結果をユーザに通知する。 なお、 2以上の認識項目情報が画面定義情報 に含まれる場合、 全ての認識認識項目情報についての認識処理が終了した後に、 確認画面を表示させることにより認識結果をユーザに通知する事としても良い。 ステップ S 8 9において、 項目情報取得/認識部 2 2 5は、 認識項目情報に含 まれる座標に基づ!/、て認識すベきデータ項目のコント口ールハンドルを取得する。 さらに、 認識項目情報に含まれるデータ属性を示す情報に基づいて、 コントロー ノレがエディット ■コントローノレであるのか、 スタティック ■ コントロールである のか判定する （ステップ S 9 0 ) 。
コントロールがエディット .コントロールである場合 (ステップ S 9 0 ：ェデ イット .コントロール） 、 項目情報取得 Z認識部 2 2 5は、 例えば、 クラスメン バ関数 GetLine O等を用いて、 コントロールからデータを読み出し、 認識結果と して取得し （ステップ S 9 1 ) 、 ステップ S 8 8に進む。 コントロールがスタテ イツク ·コントロールである場合 （ステップ s 9 0 ：スタティック ·コントロー ル） 、 項目情報取得 Z認識部 2 2 5は、 例えば、 クラスメンバ関数 GetText ()等 を用いて、 コントロールからデータを読み出して、 認、識結果として取得し （ステ ップ S 9 2 ) 、 ステップ S 8 8に進む。
ステップ S 9 3において、 項目情報取得/認識部 2 2 5は、 認識項目情報に含 まれる座標情報に基づいて、 画面ィメージデータからィメージデータを切り出し て、 ステップ S 8 8に進む。
以下、 図 2 4を用いて、 画面イメージデータ中から連携すべき ^2' タを取り出 して認、識する処理について説明する。
図 2 4には、 図 1 9に示す 4つの認識項目情報に基づいて取り出される画面ィ メージデータ中の 4つの認識項目を示す。 例えば、 項目名が 「C I F番号」 であ る認識項目は、 画像イメージデータからイメージデータとして切り出され、 文字 認識処理を経て文字データとして取得される。 また、 例えば、 項目名が 「顧客 名」 である認識項目及び項目名が 「送金金額」 である認識項目は、 それぞれ画像 イメージデータ中の入力欄から直接にデータとして取得される。 また、 項目名が
「読取印」 である認、識項目は、 画像ィメージデータからィメージデータとして切 り出され、 そのまま取得される。 なお、 図 2 4において、 具体的なクラスメンバ 関数が記載されているが、 これは例示に過ぎない。 図 2 5に、 図 1 9に示す認識 項目情報に基づいて図 2 4に示す画面から取得された認識項目を示す。
図 2 6に、 図 2 4に示す画面から取得され fこ認識項目の確認画面の一例を示す。 図 2 6において、 データ属性が 「イメージデータ」 である認識項目以外の認、識項 目については、 画面イメージデータから切り出され、 まだ認識処理がされていな いデータ、 及ぴ、 認識処理の結果得られたデータの両方が比較可能なように表示 される。 図中、 認、識項目毎に、 切り出されたままで認識処理がされていないデー タが上段に表示され、 認識処理の結果得られたデータが下段に表示される。 デー タ属性が 「イメージデータ」 である認、識項目については、 画面イメージデータか ら切り出されたイメージデータが表示される。 ユーザは、 この確認画面に基づい て、 認識処理が適切に行われているか否力判定し、 必要に応じて、 この確認画面 において認識結果を修正する。 確認及び修正の結果、 データ連携処理を行ってよ いと判定した場合、 ユーザは、 図 26に示す 「連携開始」 ボタンを押下する。 こ れにより、 項目情報取得 Z認識部 225から認識結果が連携処理部 226に出力 され連携処理が開始される。 なお、 ユーザへの認識結果の通知及び確認画面の表 示は省略可能である。
以下、 図 15を用いて連携処理の手順について説明する。 この連携処理は、 デ ータ連携処理に含まれる。 図 15に示すように、 まず、 連携処理部 226は、 項 目情報取得 Z認識部 225から認識結果を連携すべきデータとして受け取る （ス テツプ S 101) 。 さらに、 連携処理部 226は、 取り込まれた画像イメージデ ータに対応する画像定義情報から連携方法情報を取り出す （ステップ S 102) 。 連携方法情報には、 連携すべきデータの出力先となる連携 AP L 21を識別す る連携先識別情報及び連携方法を指定する連携方法指定情報を含む。 連携処理部 226は、 連携方法情報に基づいて、 指定された連携 A P L 21に、 指定された 連携方法で、 連携すべきデータを出力する（ステップ S 103) 。 その応答とし て、 連携処理部 226は、 連携 AP L 21から処理されたデータ （連携結果情 報） を受け、 その連携処理の結果の確認画面を出力する （ステップ S 104) 。 その後、 処理を終了する。 なお、 連携処理の結果の確認画面の出力は省略可能で あ 。
以下、 図 27及び図 28を用いて、 この説明において連携 APL21として仮 定されている印鑑照合プログラムによって行われる処理について説明する。 上記 のように、 ターゲット APL23である金融送金業務用プログラムの画面から、 4つの項目、 「C I F番号」 、 「顧客名」 、 「送金金額」 及び 「読取印」 が取得 され、 連携 APL21に出力される。 連携 APL 21は、 その C I F番号及び顧 客名に対応する届出印の画像ィメージを不図示の届出印を記録する D Bから取得 し、 その届出印の画像イメージとターゲット A P L 2 3から取得された読取印の 画像ィメージがー致するか否か判定する。 なお、 印鑑の照合処理について詳しく は省略する。
図 2 7に、 連携 A P L 2 1による印鑑照合処理の結果を示す画面の一例を示す。 図 2 7に示す画面には、 ターゲット A P L 2 3の画面から取得された C I F番号、 顧客名及び読取印の画像イメージ、 並びに、 D Bから取得された届出印の画像ィ メージが表示されている。 さらに、 画面には照合結果として、 両者を重ね合わせ た画像が表示されている。 図 2 7に示す画面によると、 印鑑照合の結果、 読取印 と届出印の画像データは一致していると判定されている事が分かる。
図 2 8に、 連携処理の結果の確認画面の一例を示す。 図 2 8は、 連携処理の結 果、 読取印と届出印の画像データは一致していると判定されていた場合の確認画 面を示す。 ユーザは、 この確認画面に基づいて、 連携処理が良好に実行されたか 否か判定し、 連携処理が良好に実行された場合、 「処理継続」 ボタンを押下する ことにより、 後続する処理の実行を指示することができる。
以下、 図 1 6及び図 2 9を用いて、 項目情報出力処理の手順について説明する。 なお、 この項目情報出力処理は、 連携結果情報をターゲット A P L 2 3に出力す ることが必要な場合に行われる。 連携結果情報をターゲット A P L 2 3に出力す ることが不要な場合は、 省略可能である。
まず、 図 1 6に示すように、 項目情報出力部 2 2 7は、 連携処理部 2 2 6から 連携結果情報を受け取り （ステップ S 1 1 1 ) 、 さらに、 現在処理中の画面に対 応する画面定義情報から出力方法情報を取得する (ステップ S 1 1 2 ) 。 画面定 義情報には、 1以上の出力方法情報が含まれ、 各出力方法情報には、 連携結果情 報の項目名及ぴその連携結果情報を表示するべき画面中の出力先領域を示す座標 情報が含まれる。
以下の処理は、 出力方法情報毎に行われる。 まず、 項目情報出力部 227は、 1つの出力方法情報を取り出し、 出力方法情 報に含まれる座標情報に基づいて、 出力先領域についてのコントロール情報を、 ターゲット AP L 23中の出力先となる画面の画面データから取得し （ステップ S 1 13) 、 このコントローノレ情報に基づいて、 画面中の出力先領域に、 その連 携結果情報を表示させる （ステップ S 114) 。
さらに、 項目情報出力部 227は、 全ての出力方法情報についての出力処理を 終了した力、否か判定する （ステップ S 115) 。 全ての出力方法情報について出 力処理が終了していない場合 （ステップ S 1 15 ： No) 、 項目情報出力部 22 7は、 出力処理が済んだ出力方法情報の数を 1インクリメントし、 未処理の出力 方法情報を 1つ取り出す (ステップ S 116) 。 さらに、 項目情報出力部 227 は、 まだ出力処理が済んでいない項目を連携結果情報から取り出し （ステップ S 117) 、 ステップ S 1 14にもどる。
カウント数が、 出力方法情報の総数と同じ値になった場合、 項目情報出力部 2 27は全ての出力方法情報について出力処理が終了したと判定し （ステップ S 1 15 ： Y e s ) 、 処理を終了する。
図 29に、 ターゲット AP L 23の画面に連携結果情報を出力した画面の一例 を示す。 図 29において、 「照合結果」 と記載された入力欄に連携結果情報とし て 「印鑑の照合を確認」 が出力されている。
次に、 第 1実施形態の変形例について説明する。 第 1実施形態では、 ターゲッ . ト AP L 23の画面から連携すべきデータを取り出し、 取出したデータを連携 A PL 21に出力するとして説明した。 し力 し、 ターゲット APL 23の画面を識 別し、 その識別された画面に、 連携 APL 21で処理されたデータを連携すべき データとして出力させることも可能である。 以下、 この場合について説明する。 この変形例によれば、 ターゲット APL 23の画面を識別するが、 その識別さ れた画面から連携すべきデータを取り出す必要はなく、 そのデータを連携 A PL 2 1に出力する必要もない。 従って、 上記第 1実施形態と第 1実施形態の変形例 とは、 以下の点が異なる。
•第 1実施形態の変形例によれば、 スクリーンプラグ 2 2は、 項目情報取得/ 認識部 2 2 5を備える必要はない。 従って、 第 1実施形態の変形例に係わるスク リーンプラグ 2 2は、 図 3の機能構成図から項目情報取得/認識部 2 2 5を除い た構成を有することとしてもよい。
-第 1実施形態の変形例によれば、 画面定義情報は、 認識項目情報を含まない。 •第 1実施形態の変形例によれば、 画面種別定義部 2 2 2は、 画面種別定義処 理において認識項目定義サブルーチンを行わない。
'第 1実施形態の変形例によれば、 データ連携処理において項目情報取得 -認 識処理は行われなレ、。
以下、 図 3 0を用いて、 第 1実施形態の変形例の場合のデータ連携処理の概要 について説明する。 なお、 第 1実施形態において既に説明したため、 ここでは改 めて各処理について詳しく説明することを省略する。
図 3 0に示すように、 第 1実施形態の変形例によれば、 キーポード等の入力装 置 1 3からの入力を契機としてデータ連携処理が開始されると、 まず、 表示画面 取込部 2 2 1は、 ターゲット A P L 2 3から表示画面を取り込む表示画面取込処 理を行う。 取り込まれた表示画面の画面ィメージデータは画面ィメージ書き込み 部 2 2 8に書き込まれる。 画面種別判定部 2 2 4は、 画面情報 D B 2 2 9から画 面定義情報を読み出して、 その画面定義情報に基づいて画面イメージ書き込み部 2 2 8に画面ィメージデータが書きこまれた画面を識別する。 画面種別判定部 2 2 4は、 画面の識別結果を確認するための確認画面を出力装置 1 4に表示させる。 ユーザは、 この確認画面に基づいて取り出されたデータを確認することができる。 なお、 この確認画面の表示処理は、 省略する事が可能である。 連携処理部 2 2 6 は、 連携方法情報に基づいて、 指定された連携方法で指定された連携 A P L 2 1 から処理されたデータを受け取り、 そのデータを確認する連携結果の確認画面を 出力装置 14に表示させる。 なお、 この連携結果の確認画面の表示処理は省略可 能である。 項目情報出力部 227は、 画面定義情報に含まれる出力方法情報に基 づいて、 得られたデータをターゲット AP L 23の所定の領域に出力する。 さら に、 項目情報出力部 227は、 このデータ連携処理の結果を確認する結果確認画 面を出力装置 14に表示させる。 なお、 確認画面の表示処理は省略可能である。 このように、 第 1実施形態と異なり、 第 1実施形態の変形例では、 ターゲット A PL 23の画面から情報を取得する項目情報取得 ·認識処理が行われない。 この 両者の相違点は、 図 5と図 30を比較すると明確である。
以下、 ターゲット APL 23を金融送金業務用プログラムであると仮定し、 連 携 A P L 21を伝票処理及び印鑑照合プログラムであると仮定して、 第 1実施形 態の変形例について具体的に説明する。 連携 AP L 21は、 口座番号及び送金金 額が記載され、 読取印が押印された預金入金票を、 スキャナを用いて画像ィメー ジデータとして読みこみ、 その画像イメージデータから読取印の画像イメージを 切り出し、 口座番号及び送金金額を文字データとして認識する。 さらに、 連携 A P L 21は、 口座番号に対応する C I F番号、 顧客名及び届出印の画像ィメージ を不図示の D Bから取得し、 読取印の画像ィメージと届出印の画像ィメ一ジに基 づいて印鑑を照合する。
一方、 スクリーンプラグ 22は、 ターゲット APL23の 「送金処理」 画面を 識別し、 C I F番号、 顧客名、 送金金額、 照合結果及び読取印の画像イメージを 連携 APL21カゝら受け取り、 受け取ったこれらの情報を識別された画面に出力 させる。 「送金処理」 画面の例は、 図 17に示される。 第 1実施形態の変形例の 場合、 ターゲット AP L 23の 「送金処理」 画面中の 「C I F番号」 、 「顧客 名」 、 「送金金額」 、 「照合結果」 及び 「読取印」 の各入力欄は、 画面の識別当 初は 「空 （から） 」 であり、 スクリーンプラグ 22力 S、 連携 APL 21による処 理データをこの画面に出力させる。
これにより、 スキャナを用いて預金入金伝票を画像データとして読みこみ、 そ の画像データから必要な情報を取得する機能を有していないターゲット AP L 2 3に、 その機能を有する連携 APL 21による処理結果を与える事が可能となる。 延いては、 ターゲット AP L 23に改造を行わずに、 ターゲット APL 23に新 たな機能を組み込むことが可能となる。
なお、 これらの仮定は、 説明を具体的にすることにより理解を容易にするため であり、 ターゲット APL 23及び連携 APL 21を限定したり、 本発明の応用 範囲を限定したりする趣旨ではない。 次に、 第 1実施形態の更なる変形例につ V、て説明する。 第 1実施形態では、 ターゲット AP L 23と連携 A P L 21は、 同じコンピュータにインストーノレされているが、 両者を異なるコンピュータにィ ンストーノレする事としても良い。 この場合、 スクリーンプラグ 22は、 ターゲッ ト AP L 23がインストールされるコンピュータに備えられることとなる。 この 場合も、 処理の手順は上記の通りである。
また、 上記説明において、 連携結果情報は、 ターゲット APL 23から連携す べきデータを取り出した画面と同一画面上に出力されるとして説明したが、 タ一 ゲット APL23中のデータを取り出した画面と異なる画面に出力される事とし ても良い。 この場合、 連携結果情報を出力する画面を予め定義する必要がある。 また、 連携結果情報は、 ターゲット A P L 23以外の第 3のプログラムに出力 されることとしてもよい。 この場合、 出力方法情報は、 第 3のプログラムを識別 する情報を更に含むこととなる。 また、 連携結果情報は、 そのプログラムにおい てさらに処理される事としても良い。
次に、 第 2実施形態について説明する。 第 1実施形態において、 ターゲット A PL 23から取り出されたデータが連携 APL 21に出力されて連携処理され、 その連携処理結果がターゲット AP L 23に戻される場合について説明した。 こ の場合、 データは、 ターゲット AP L 23から連携 AP L 21の方向に出力され る。 第 2実施形態では、 ターゲット APLと連携 APLとが双方向にデータを取 り出し、 連携することを可能とする構成について説明する。
図 31に、 第 2実施形態に係わるシステムの構成を示す。 図 31に示すように、 ターゲット APL23—1と 23— 2が同じコンピュータにインストールされて いる。 スクリーンプラグ 22— 1は、 ターゲット AP L 23— 1の画面上から連 携すべきデータを取り出し、 そのデータをターゲット APL 23— 2に出力する。 その応答として、 スクリーンプラグ 22— 1は、 ターゲット AP L 23— 2から 連携処理の結果を受け、 ターゲット APL 23— 1に出力する。 一方、 スクリー ンプラグ 22— 2は、 ターゲット APL 23— 2の画面上から連携すべきデータ を取り出し、 そのデータをターゲット AP L 23— 1に出力する。 その応答とし て、 スクリーンプラグ 22— 2は、 ターゲット APL 23— 1から連携処理の結 果を受け、 ターゲット AP L 23— 2に出力する。 つまり、 ターゲット APL2 3— 2は、 ターゲット APL23_1の連携 APLとなっており、 ターゲット A PL 23—1は、 ターゲット AP L 23— 2の連携 AP Lとなっている。 これに より、 2つのプログラム間で双方向にデータを連携させることが可能となる。 こ の場合も、 データ連携のために両プログラムを改造する事は不要である。
なお、 第 1実施形態の変形例と同様に、 ターゲット APL 23—1及びターゲ ット AP L 23— 2は、 異なる 2つのコンピュータにインストールされる事とし てもよい。 この場合、 ターゲット APL 23—1とスクリーンプラグ 22—1は、 一方のコンピュータにインストーノレされ、 ターゲット APL 23-2とスクリー ンプラグ 22— 2は、 他方のコンピュータにインストーノレされる。
以上、 本発明の実施形態について説明したが、 本発明は上述した実施形態に限 定されるものではなく、 その他の様々な変更が可能である。
上記のように、 本発明に係わるデータ連携技術によれば、 既存のアプリケーシ ョンを改造することなく、 既存のアプリケーションの表示画面に表示される情報 を、 更なる別のアプリケーションにおいて用いることを可能とするという効果を 奏する。 さらに、 データの紙媒体への出力及び人手を用いた入力作業も不要とな るという効果を奏する。 産業上の利用可能性
以上のように、 本発明に係わるデータ連携技術は、 コンピュータを用いて処理 を行うシステムに有用である。

Claims

請求の範囲
1 . コンピュータが、 プログラム間のデータ連携を支援するデータ連携支援方 法であって、
第 1のプログラムから表示画面の画面ィメージデータを取り込み、
前記画面ィメージデータから第 2のプログラムへ出力すべき連携データを取得 し、
前記連携データを前記第 2のプログラムへ出力する、
ことを含むことを特徴とするデータ連携支援方法。
2. 表示画面中の領域を示す座標情報及び前記領域に表示されるィメ一ジデー タを含む画面種別判定情報に基づいて、 前記画面ィメージデータから前記領域に 表示されるィメージデータを切り出し、 切り出されたィメージデータと前記画面 種別判定情報に含まれるィメージデータとがー致する力否か判定することにより 表示画面を識別する、
ことを更に含み、
前記連携データは、 認識された表示画面の画面ィメ一ジデータから取得される、 ことを特徴とする請求項 1に記載のデータ連携支援方法。
3 . 表示画面中の領域を示す座標情報及び前記領域に表示されるデータのデー タ属性を示すデータ属性情報を含む認識認識項目情報に基づいて、 前記画面ィメ ージデータから前記領域に表示されるデータを切り出し、 切り出されたデータを 前記データ属性情報に基づいて認識する、
ことを更に含み、
前記連携データは、 認識結果として取得される、
ことを特徴とする請求項 1に記載のデータ連携支援方法。
4 . 前記第 2のプログラムによって処理された前記連携データは、 前記第 1の プログラムに出力される、
ことを更に含むことを特徴とする請求項 1に記載のデータ連携支援方法。
5 . 表示画面中の領域を示す座標情報を含む出力方法情報に基づいて、 前記第 2のプログラムによって処理された前記連携データは、 前記第 1のプログラムの 表示画面中の前記領域に出力される、
ことを更に含むことを特徴とする請求項 1に記載のデータ連携支援方法。
6 . コンピュータが、 プログラム間のデータ連携を支援するデータ連携支援方 法であって、
第 1のプログラムから表示画面の画面ィメージデータを取り込み、
前記画面ィメージデータに基づいて前記表示画面を識別し、
第 2のプログラムから連携データを取得し、
識別された前記表示画面に前記連携データを出力する、
ことを含むことを特徴とするデータ連携支援方法。
7 . コンピュータに、 プログラム間のデータ連携を支援する制御を行わせるプ ログラムを記録する、 前記コンピュータで読み取り可能な記録媒体であって、 第 1のプログラムから表示画面の画面ィメージデータを取得し、
前記画面ィメージデータから第 2のプロダラムへ出力すべき連携データを取得 し、
前記連携データを前記第 2のプログラムへ出力する、
ことを含む制御を前記コンピュータに行わせるプログラムを格納する記録媒体。
8 . コンピュータに、 プログラム間のデータ連携を支援する制御を行わせるプ ログラムであって、
第 1のプログラムから表示画面の画面ィメージデータを取得し、
前記画面ィメージデータから第 2のプログラムへ出力すべき連携データを取得 し、 前記連携データを前記第 2のプログラムへ出力する、
ことを含む制御を前記コンピュータに行わせるプログラム。
9 . プロダラム間のデータ連携を支援するデータ連携支援装置であって、 第 1のプログラムから表示画面の画面ィメージデータを取得する表示画面取込 手段と、
取得された前記画面ィメージデータから第 2のプログラムへ出力すべき連携デ ータを取得する項目情報取得手段と、
取得された前記連携データを前記第 2のプログラムへ出力する連携処理手段と、 を備えることを特徴とするデータ連携支援方法。
PCT/JP2003/000802 2003-01-28 2003-01-28 アプリケーション間のデータ連携支援方法 WO2004068407A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004567517A JP4102365B2 (ja) 2003-01-28 2003-01-28 アプリケーション間のデータ連携支援方法
CNB038254395A CN1324524C (zh) 2003-01-28 2003-01-28 应用程序间的数据链接支持方法
PCT/JP2003/000802 WO2004068407A1 (ja) 2003-01-28 2003-01-28 アプリケーション間のデータ連携支援方法
EP03703065A EP1589474A4 (en) 2003-01-28 2003-01-28 METHOD FOR FACILITATING DATA COUPLING BETWEEN APPLICATIONS
AU2003208051A AU2003208051A1 (en) 2003-01-28 2003-01-28 Method for supporting data linkage between applications
US11/137,364 US7958458B2 (en) 2003-01-28 2005-05-26 Method for supporting data linkage between applications

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/000802 WO2004068407A1 (ja) 2003-01-28 2003-01-28 アプリケーション間のデータ連携支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/137,364 Continuation US7958458B2 (en) 2003-01-28 2005-05-26 Method for supporting data linkage between applications

Publications (1)

Publication Number Publication Date
WO2004068407A1 true WO2004068407A1 (ja) 2004-08-12

Family

ID=32800802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/000802 WO2004068407A1 (ja) 2003-01-28 2003-01-28 アプリケーション間のデータ連携支援方法

Country Status (6)

Country Link
US (1) US7958458B2 (ja)
EP (1) EP1589474A4 (ja)
JP (1) JP4102365B2 (ja)
CN (1) CN1324524C (ja)
AU (1) AU2003208051A1 (ja)
WO (1) WO2004068407A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266200B2 (en) 2006-11-29 2012-09-11 Nec Corporation Application interaction system, application interaction method, recording medium, and application interaction program
CN105160562A (zh) * 2015-10-10 2015-12-16 金大甲 利用移动客户终端的电子章***及方法
JP2019121004A (ja) * 2017-12-28 2019-07-22 日本電気株式会社 処理装置、処理方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886461B1 (en) * 2014-07-11 2018-02-06 Google Llc Indexing mobile onscreen content
US10176336B2 (en) 2015-07-27 2019-01-08 Microsoft Technology Licensing, Llc Automated data transfer from mobile application silos to authorized third-party applications
US9300678B1 (en) 2015-08-03 2016-03-29 Truepic Llc Systems and methods for authenticating photographic image data
JP6646214B2 (ja) * 2016-02-10 2020-02-14 富士通株式会社 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
US10375050B2 (en) 2017-10-10 2019-08-06 Truepic Inc. Methods for authenticating photographic image data
US10360668B1 (en) 2018-08-13 2019-07-23 Truepic Inc. Methods for requesting and authenticating photographic image data
US11037284B1 (en) 2020-01-14 2021-06-15 Truepic Inc. Systems and methods for detecting image recapture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09198506A (ja) * 1996-01-17 1997-07-31 Hitachi Ltd 帳票イメージ切り出し方法
US5889518A (en) 1995-10-10 1999-03-30 Anysoft Ltd. Apparatus for and method of acquiring, processing and routing data contained in a GUI window
JPH11312231A (ja) * 1998-04-28 1999-11-09 Omron Corp データ処理プログラムを記録した記録媒体、データ処理装置およびデータ処理方法
JP2000048215A (ja) * 1998-07-27 2000-02-18 Sharp Corp データ処理装置及びその制御プログラムを記憶した媒体
JP2000194869A (ja) * 1998-12-25 2000-07-14 Matsushita Electric Ind Co Ltd 文書作成装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05257714A (ja) 1990-03-13 1993-10-08 Selecterm Inc １台のコンピュータで複数のアプリケーションプログラムをコオペレートするための方法
US5586240A (en) * 1992-03-11 1996-12-17 Genesis Software, Inc. Image generation and retrieval system integrated with arbitrary application using layered interface
JPH05290049A (ja) 1992-04-13 1993-11-05 Hitachi Ltd データ交換方法
JPH0728801A (ja) 1993-07-08 1995-01-31 Ricoh Co Ltd イメージデータ処理方法及びその装置
US6339767B1 (en) * 1997-06-02 2002-01-15 Aurigin Systems, Inc. Using hyperbolic trees to visualize data generated by patent-centric and group-oriented data processing
JPH0883285A (ja) 1994-09-13 1996-03-26 N T T Data Tsushin Kk 文字コ−ド生成方法及び文書デ−タベ−ス登録システムの前処理装置
US5819261A (en) * 1995-03-28 1998-10-06 Canon Kabushiki Kaisha Method and apparatus for extracting a keyword from scheduling data using the keyword for searching the schedule data file
US6702736B2 (en) * 1995-07-24 2004-03-09 David T. Chen Anatomical visualization system
JPH09282477A (ja) 1996-04-10 1997-10-31 Hitachi Ltd 仕様書生成方法及びそのシステム
JP3422897B2 (ja) 1996-05-17 2003-06-30 株式会社テクノクラフト 文字列抽出システム及び文字列抽出方法
US6272235B1 (en) * 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US5911044A (en) * 1996-11-08 1999-06-08 Ricoh Company, Ltd. Network image scanning system which transmits image information from a scanner over a network to a client computer
US5815149A (en) * 1997-02-19 1998-09-29 Unisys Corp. Method for generating code for modifying existing event routines for controls on a form
JP3598711B2 (ja) 1997-02-21 2004-12-08 三菱電機株式会社 文書ファイリング装置
JPH11265404A (ja) 1998-03-17 1999-09-28 Fujitsu Ltd 図形処理システムおよび記憶媒体
US6480304B1 (en) * 1998-12-09 2002-11-12 Scansoft, Inc. Scanning system and method
JP2001052015A (ja) 1999-08-09 2001-02-23 Sony Corp 情報処理装置、情報処理方法及びプログラム格納媒体
US6836780B1 (en) * 1999-09-01 2004-12-28 Jacada, Ltd. Method and system for accessing data in legacy applications
JP2001118077A (ja) 1999-10-15 2001-04-27 Ricoh Co Ltd 文書作成装置および文書作成方法
KR20020026276A (ko) * 2000-03-30 2002-04-09 이데이 노부유끼 기부 처리 시스템
WO2001086531A1 (fr) * 2000-05-11 2001-11-15 Kazuyoshi Kouketsu Systeme et procede pour offrir des services a des membres, et systeme administratif de reservation client par telephone mobile
US7116807B1 (en) * 2000-09-22 2006-10-03 Ge Medical Systems Global Technology Company, Llc Method and apparatus for linking images and reports at remote view station
US6686930B2 (en) * 2000-11-29 2004-02-03 Xerox Corporation Technique for accomplishing copy and paste and scan to fit using a standard TWAIN data source
JP2002222196A (ja) 2001-01-29 2002-08-09 Sharp Corp 画像処理装置
JP4344185B2 (ja) * 2003-01-28 2009-10-14 シャープ株式会社 クライアント端末装置、情報処理方法、サブクライアント端末装置、コンピュータ実行可能なプログラム、及び記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889518A (en) 1995-10-10 1999-03-30 Anysoft Ltd. Apparatus for and method of acquiring, processing and routing data contained in a GUI window
JPH09198506A (ja) * 1996-01-17 1997-07-31 Hitachi Ltd 帳票イメージ切り出し方法
JPH11312231A (ja) * 1998-04-28 1999-11-09 Omron Corp データ処理プログラムを記録した記録媒体、データ処理装置およびデータ処理方法
JP2000048215A (ja) * 1998-07-27 2000-02-18 Sharp Corp データ処理装置及びその制御プログラムを記憶した媒体
JP2000194869A (ja) * 1998-12-25 2000-07-14 Matsushita Electric Ind Co Ltd 文書作成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1589474A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8266200B2 (en) 2006-11-29 2012-09-11 Nec Corporation Application interaction system, application interaction method, recording medium, and application interaction program
CN105160562A (zh) * 2015-10-10 2015-12-16 金大甲 利用移动客户终端的电子章***及方法
JP2019121004A (ja) * 2017-12-28 2019-07-22 日本電気株式会社 処理装置、処理方法及びプログラム

Also Published As

Publication number Publication date
EP1589474A4 (en) 2008-03-05
CN1703721A (zh) 2005-11-30
AU2003208051A8 (en) 2004-08-23
JPWO2004068407A1 (ja) 2006-05-25
CN1324524C (zh) 2007-07-04
JP4102365B2 (ja) 2008-06-18
US7958458B2 (en) 2011-06-07
US20050213824A1 (en) 2005-09-29
EP1589474A1 (en) 2005-10-26
AU2003208051A1 (en) 2004-08-23

Similar Documents

Publication Publication Date Title
KR102149050B1 (ko) 인공지능을 이용한 ocr 기반 문서 분석 시스템 및 방법
US7130466B2 (en) System and method for compiling images from a database and comparing the compiled images with known images
US7958458B2 (en) Method for supporting data linkage between applications
US7991778B2 (en) Triggering actions with captured input in a mixed media environment
US20070050360A1 (en) Triggering applications based on a captured text in a mixed media environment
US20070050419A1 (en) Mixed media reality brokerage network and methods of use
US20070050341A1 (en) Triggering applications for distributed action execution and use of mixed media recognition as a control input
JP6826293B2 (ja) 情報処理システムと、その処理方法及びプログラム
EP2884425B1 (en) Method and system of extracting structured data from a document
CN113673500A (zh) 证件图像识别方法、装置、电子设备及存储介质
JP2973913B2 (ja) 入力シートシステム
US7844080B2 (en) Image processing system and image processing method, and computer program
US20080024834A1 (en) Information registration apparatus for registering information onto registering destination on network and method thereof
JP4275973B2 (ja) 加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法
JP2004013813A (ja) 情報管理システムおよび情報管理方法
JP2008257530A (ja) 電子ペン入力データ処理システム
JP2003223610A (ja) 文字認識装置及び文字認識方法
KR100776864B1 (ko) 어플리케이션간의 데이터 제휴 지원 방법
JP7328797B2 (ja) 端末装置、文字認識システム及び文字認識方法
JP5673277B2 (ja) 画像処理装置およびプログラム
JP4517822B2 (ja) 画像処理装置及びプログラム
JP5445740B2 (ja) 画像処理装置、画像処理システムおよび処理プログラム
JP2007079967A (ja) 登録印影照合システム
JP7333759B2 (ja) 画像データ生成システム、画像データ生成方法及びコンピュータプログラム
JP5223328B2 (ja) 情報管理装置及び情報管理方法ならびにそのプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004567517

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2003703065

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11137364

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20038254395

Country of ref document: CN

Ref document number: 1020057009628

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020057009628

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003703065

Country of ref document: EP