WO2021145379A1 - 画像作成支援装置及び画像作成支援方法 - Google Patents

画像作成支援装置及び画像作成支援方法 Download PDF

Info

Publication number
WO2021145379A1
WO2021145379A1 PCT/JP2021/001055 JP2021001055W WO2021145379A1 WO 2021145379 A1 WO2021145379 A1 WO 2021145379A1 JP 2021001055 W JP2021001055 W JP 2021001055W WO 2021145379 A1 WO2021145379 A1 WO 2021145379A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
screen data
type
input
component
Prior art date
Application number
PCT/JP2021/001055
Other languages
English (en)
French (fr)
Inventor
晃弘 亀野
剛治 前田
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to CN202180010036.6A priority Critical patent/CN115004234A/zh
Priority to DE112021000614.2T priority patent/DE112021000614T5/de
Priority to JP2021571229A priority patent/JP7453256B2/ja
Priority to US17/758,964 priority patent/US20230083887A1/en
Publication of WO2021145379A1 publication Critical patent/WO2021145379A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to an image creation support device and an image creation support method for presenting candidate screen data of the display screen based on an arbitrarily designed display screen design image.
  • a display device for example, a touch panel type display device
  • Parts such as buttons, labels, and list boxes for selecting control processes and functions are laid out on a display screen that displays control parameters. The user of the control device can select the operation or function of the controlled object by touching these parts.
  • the display device applied to such a control device usually functions as a user interface capable of inputting or displaying a selection operation such as on / off by the user, the layout of the above parts on the display screen is easy for the user to input. It is necessary to devise. Then, in order to determine or create the layout of the parts on these display screens, image creation assisting technology is adopted.
  • Patent Document 1 describes a data storage means for storing a plurality of parts, each of which belongs to any of a plurality of types, and a parts assembly screen including one or a plurality of parts.
  • a parts set screen for a programmable display by having the user edit the parts set screen on the edit screen, store the generated parts set screen in a data storage means, and store one or more parts sets.
  • a screen data editing device for programmable displays that creates project data including screens, and for each component assembly screen stored in the data storage means, the size and number of edits of each component included in the component assembly screen.
  • the actual used area is calculated for each type of parts based on the above, the type having the largest actual used area is selected as the unique type, the use of the parts assembly screen is determined according to the unique type, and the parts assembly screen is determined.
  • the usage information generation means for generating usage information indicating the usage of the data and the parts assembly screen stored in the data storage means the actual usage area of the unique type generated by the usage information generation means and the usage information are stored.
  • the attribute information storage means to be used and the parts set screen for the same purpose specified when the parts set screen is newly created are stored in the attribute information storage means from the parts set screens stored in the data storage means.
  • a means for setting a ranking based on the actual used area of the unique type stored in the attribute information storage means and a means for setting each of the extracted parts set screens are set for each of the extracted parts set screens extracted based on the intended use information.
  • Patent Document 2 includes a display data storage unit that holds display data that is data of screen parts used for the display screen of a programmable display and indicates the state of parts, and a display that creates a display screen using the screen parts.
  • a display screen creation support device including a screen creation unit and a display unit that displays a screen for accepting search conditions for searching display data.
  • the display screen creation unit accepts search conditions and performs search conditions.
  • the display data storage unit has a search execution unit for searching the display data based on the above. According to such a device, screen parts corresponding to display data to which a search tag matching a search keyword is attached are grouped into groups classified by display attributes and displayed in a list for each group. , It is said that users will be able to efficiently create display screens with a unified design.
  • An image creation support device which presents candidate screen data of a display screen based on an arbitrarily designed display screen design image, is an image input unit that reads the design image and creates input screen data.
  • a database that stores the component data of the display components that make up the display screen designed in the past, and a screen data creation unit that acquires component data from the database and creates candidate screen data corresponding to the display screen.
  • the database also stores the types of component data and group definition information based on the combination thereof, and the screen data creation unit includes a type determination unit that determines the type of input component included in the input screen data and a group. It includes an additional information creation unit that creates additional information to be combined with the type of input component based on the definition information, and creates candidate screen data corresponding to the input screen data based on the type and additional information of these input components. ..
  • the image creation support method which automatically creates candidate screen data for a display screen based on an arbitrarily designed display screen design image, reads the design image and creates input screen data. Later, when the above part data is acquired from the database that stores the part data of the display parts that compose the display screen designed in the past and the candidate screen data corresponding to the display screen is created, the part data is stored in the database. Group definition information based on the type and its combination is also accumulated, and the candidate screen data is added to determine the type of input component included in the input screen data and to combine it with the type of input component based on the group definition information. After creating the information, it is created based on the type of these input components and additional information.
  • the image input unit reads the design image and creates the input screen data
  • the screen data creation unit corresponds to the input screen data based on the type of the input component and the additional information.
  • FIG. It is a block diagram which shows the outline of the image creation support apparatus by Example 1.
  • FIG. It is a block diagram which shows an example of the specific structure of the screen data creation part by Example 1.
  • FIG. It is the schematic which shows an example of the design drawing applied to the image creation support method by Example 1.
  • FIG. It is a schematic diagram which shows an example of the input screen data created by an image input unit, and the discrimination result by a type discrimination unit.
  • FIG. It is a schematic diagram which shows an example of the input screen data created by an image input unit, and the discrimination result by a type discrimination unit.
  • FIG. 1 It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is a schematic diagram which shows an example of the candidate screen data created by a screen data creation part. It is a schematic diagram which shows an example of the candidate screen data created by a screen data creation part. It is the schematic which shows the modification of the additional information created by the additional information creation part. It is the schematic which shows the modification of the additional information created by the additional information creation part. It is a block diagram which shows the outline of the image creation support apparatus by Example 2. FIG.
  • FIG. 2 It is a block diagram which shows an example of the specific structure of the screen data creation part by Example 2.
  • FIG. It is a figure which shows the outline of the operation executed by the frequency calculation part by Example 2.
  • FIG. It is a figure which shows the outline of the operation executed by the frequency calculation part by Example 2.
  • FIG. It is a block diagram which shows the modification of the screen data creation part by Example 2.
  • FIG. 1 is a block diagram showing an outline of an image creation support device according to a first embodiment of the present invention. As shown in FIG. 1, as an example thereof, the image creation support device 100 is applied in combination with a display device 10 provided on a controlled object such as an industrial machine, and has the same as the display device 10.
  • a main control unit 110 that exchanges data between them and controls the operation of the entire image creation support device 100, and an image input unit that reads a design image P created as a paper medium or electronic data and creates an input screen data ID.
  • Screen data creation to create a candidate screen data CD corresponding to the display screen by acquiring the component data from the database 130, which stores the component data of the display components constituting the display screen designed in the past, and the database 130.
  • a unit 140 is provided.
  • the display device 10 includes a display unit 12 that constitutes a part of the control object and displays numerical values, control parameters, and the like indicating the state of the control object. Further, the display device 10 is preferably configured as a user interface including an input mechanism (not shown) that allows the user to select a function and input a numerical value to be controlled. As such a display device, a touch panel type display device and the like can be exemplified.
  • the main control unit 110 of the image creation support device 100 has a function of receiving a candidate screen data CD from the screen data creation unit 140 described later and transmitting the candidate screen data CD to the display device 10. At this time, the main control unit 110 is electrically connected to the display device 10 by wire or wirelessly, and is configured to be capable of transmitting and receiving signals to and from each other. The main control unit 110 also controls the operation of the entire image creation support device 100 including the image input unit 120 and the screen data creation unit 140.
  • the image input unit 120 has a function of reading a design image P of a display screen created in advance by a designer or the like and converting it into an electronic input screen data ID.
  • the design drawing P is recorded on a medium such as paper as a full-color handwritten picture or printed characters.
  • the design image P is selected by touching (pressing) the screen with labels LA1 and LA2 for displaying parameters and numerical values, lamps LP1 and LP2 for turning on or off in a single color or a plurality of colors.
  • a button BT in which the presence or absence of a button can be input and a list box LB in which a predetermined sentence or the like is described are included in one or more.
  • the image input unit 120 the entire area of the design image P is read as data, and the above-mentioned labels LA1, LA2, lamps LP1, LP2, button BT, list box LB, etc. are taken in as "part data" of the design image P, respectively. Is done.
  • Examples of such an image input unit 120 include an optical scanner and a device having a function of converting a captured image into pixel data.
  • the entire area of the design image P is divided into the first quadrant Q1 to the fourth quadrant Q4, and the quadrant name is used as position information for the parts included in each quadrant. Is added to the data.
  • the shape, color, position, and the like are given as basic information to each part.
  • each part is given a type such as "label”, "button”, “lamp”, “list box”, etc., but the design image is read by the image input unit 120 and electronic data is obtained. At the stage of conversion, it is assumed that the type of each part cannot be identified.
  • the database 130 stores "part data" of the display screen used or read in the past. At this time, the accumulated "part data” is stored as the "part information" PI in a state where the type is added in addition to the above-mentioned shape, color, and position. Further, in the part information PI of the "part data", the "number of times information” CI such as how many times the shape, color, position or type of the specific part is used for each factor, and the specific part are included. The combination of shape, color, position and type when a plurality of groups are grouped together is also included as "group definition information" GI.
  • FIG. 2 is a block diagram showing an example of a specific configuration of the screen data creation unit according to the first embodiment.
  • the screen data creation unit 140 has a type determination unit 142 that determines the type PT of the input component included in the input screen data ID, and additional information for the input component type PT based on the group definition information GI. It includes an additional information creation unit 144 that creates an AI. Then, the screen data creation unit 140 generates a candidate screen data CD corresponding to the input screen data ID based on the part type PT determined by the type determination unit 142 and the additional information AI created by the additional information creation unit 144. It is configured to be created and sent to the main control unit 110.
  • the design image P as shown in FIG. 3 is read from the image input unit 120, and the input screen data ID as shown in FIG. 4A is created. Then, the created input screen data ID is stored in the database 130 and sent to the screen data creation unit 140.
  • the screen data creation unit 140 receives the input screen data ID from the image input unit 120 and accesses the database 130 to obtain the group definition information GI and the like. On the other hand, the screen data creation unit 140 transmits the component information PI including the component type PT determined by the type determination unit 142 and the additional information AI created by the additional information creation unit 144 to the database 130. As a result, the information stored in the database 130 is updated.
  • the type determination unit 142 individually extracts the parts included in, for example, the first quadrant Q1 of the input screen data ID.
  • the shape and the type of the part are defined so as to be linked, and the shape of the part to be discriminated is preferentially discriminated as an index.
  • the part information PI as the basic information of the part data including the type PT of each part is extracted from the first quadrant Q1 shown in FIG. 4B, for example, for one label LA2 and the three lamps LP1.
  • the part information PI of the part data including the type PT of each part is extracted for, for example, three lamps LP2 and one list box LB.
  • the component information PI extracted in this way is sent to the database 130 as reference data for new determination and is additionally stored.
  • an operation of creating additional information AI for correcting the type PT of the part determined by the type determination unit 142 is executed as needed. That is, first, the type PT of the component data determined by the type determination unit 142 is sent to the additional information creation unit 144.
  • the screen data creation unit 140 accesses the database 130 and receives the group definition information GI based on the component data accumulated in the past. At this time, the group to which the shape, color, or position of the part to be discriminated belongs is selected by referring to the part information PI of the currently discriminated part.
  • the additional information creation unit 144 creates the additional information AI in which the type PT of the part determined to be the button BT by the type determination unit 142 is corrected to the lamp LP1. Then, by combining these information, as shown in FIG. 5C, for the input screen data ID input this time, the type PT of the component 3 determined to be the button BT is recognized as the lamp LP1.
  • the screen data creation unit 140 includes the input screen data ID, the type PT of the part determined by the type determination unit 142, and the additional information AI created by the additional information creation unit 144. , Are integrated, and the extracted parts are arranged in the first quadrant Q1 to the fourth quadrant Q4 to create a candidate screen data CD, which is transmitted to the main control unit 110. Then, the created candidate screen data CD is transferred from the main control unit 110 to the display device 10 and displayed on the display unit 12.
  • the display screen D is fixed as it is as shown in FIG. 6B.
  • the display unit 12 is displayed.
  • a function may be added such that the final display screen D is obtained by the user making a selection such as inputting to move the component directly to the displayed candidate screen data CD.
  • FIGS. 7A and 7B are schematic views showing a modified example of the additional information created by the additional information creation unit.
  • a group such as pattern A1 or A2 is stored as the group definition information GI stored in the database 130.
  • the candidate screen is displayed.
  • the data CD can also be presented as containing 6 button BTs.
  • the image creation support device and the image creation support method that present the candidate screen data of the display screen based on the design image of the display screen arbitrarily designed according to the first embodiment of the present invention.
  • the display screen is displayed by the image input unit reading the design image and creating the input screen data, and the screen data creation unit creating the candidate screen data corresponding to the input screen data based on the type of the input component and the additional information. It is possible to faithfully reproduce the design referred to when creating it and reduce the number of corrections. In addition, by modifying the candidate screen data with reference to the past data and proposing it, it is possible to assist the user when creating the display screen.
  • FIG. 8 is a block diagram showing an outline of the image creation support device according to the second embodiment of the present invention.
  • the image creation support device 100 is applied in combination with the display device 10 as in the first embodiment, and includes the main control unit 110, the image input unit 120, and the image input unit 120.
  • the database 130, the screen data creation unit 140, and the frequency calculation unit 150 that calculates the usage frequency FI for each type PT of the component data based on the number information CI included in the component information PI stored in the database 130 are provided.
  • the frequency calculation unit 150 When the frequency calculation unit 150 receives the part information PI of the part currently determined from the screen data creation unit 140, it accesses the database 130 and receives the number information CI corresponding to the part information PI, and the frequency information CI is used as the number information CI. On the other hand, the frequency of use FI for each part type BT is obtained by performing a predetermined calculation. Then, the frequency of use FI is configured to be sent to the screen data creation unit 140.
  • FIG. 9 is a block diagram showing an example of a specific configuration of the screen data creation unit according to the second embodiment.
  • the screen data creation unit 140 adds information AI to the type PT of the input component based on the type determination unit 142, the group definition information GI, and the usage frequency FI calculated by the frequency calculation unit 150. Includes an additional information creation unit 144 that creates the above. Then, the screen data creation unit 140 creates a candidate screen data CD corresponding to the input screen data ID based on the type PT determined by the type determination unit 142 and the additional information AI created by the additional information creation unit 144. , Is configured to be sent to the main control unit 110.
  • the type determination unit 142 individually extracts the parts included in, for example, the first quadrant Q1 of the input screen data ID.
  • the part information PI is extracted from the first quadrant Q1 shown in FIG. 10A, for example, for one label LA2, one lamp LP1, one button BT, and one part of unknown type.
  • the image creation support device 100 for such a part of unknown type, use of each part data from the number of times information CI based on the number of times of past use for each part data stored in the database 130.
  • the frequency FI is calculated, and the calculation result is sent to the screen data creation unit 140.
  • the frequency calculation unit 150 reads the number information CI that summarizes the number of times of the types used in the past for each shape, color, and position of the part.
  • the number-of-times information CI an item having priority over the others in the determination of the type PT is determined, and a weighting coefficient weighted for each item is set. This weighting coefficient can be arbitrarily determined in consideration of the application of the device to which the display screen is applied.
  • the number-of-times value is applied to the following formula for each type of part.
  • the additional information creation unit 144 determines from the above calculation results that the lamp usage frequency FI is the highest in the number information CI shown in FIG. 10B, and the unknown component type PT is determined. Additional information AI presumed to be lamp LP1 is created. As a result, the accuracy of discriminating the component type PT in the candidate screen data CD can be improved.
  • FIG. 11 is a block diagram showing a modified example of the screen data creation unit according to the second embodiment.
  • the screen data creation unit 140 of the image creation support device 100 according to the second embodiment may be configured to incorporate the frequency calculation unit 150 shown in FIG.
  • the frequency calculation unit 150 can share the information of the type PT of the part determined by the type determination unit 142 inside the screen data creation unit 140, and does not require a special configuration for transmitting the information. It is possible to simplify the configuration of the entire device 100.
  • the embodiment According to the image creation support device and the image creation support method for presenting the candidate screen data of the display screen based on the design image of the display screen arbitrarily designed according to the second embodiment of the present invention, the embodiment.
  • the present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
  • Display device 12 Display unit 100 Image creation support device 110 Main control unit 120 Image input unit 130 Database 140 Screen data creation unit 142 Type discrimination unit 144 Additional information creation unit 150 Frequency calculation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

任意にデザインされた表示画面のデザイン画Ｐに基づいて当該表示画面の候補画面データＣＤを提示する画像作成支援装置１００である。本発明による画像作成支援装置１００は、デザイン画Ｐを読み取って入力画面データＩＤを作成する画像入力部１２０と、過去にデザインされた部品データを蓄積したデータベース１３０と、当該部品データから表示画面に対応する候補画面データＣＤを作成する画面データ作成部１４０と、を備え、データベース１３０は、部品データの種類及びその組合せによるグループ定義情報ＧＩを併せて蓄積しており、画面データ作成部１４０は、入力部品の種類ＰＴを判別する種類判別部１４２と、グループ定義情報ＧＩに基づいて種類ＰＴと組合せる付加情報ＡＩを作成する付加情報作成部１４４と、含む。

Description

画像作成支援装置及び画像作成支援方法
　本発明は、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法に関する。
　工作機械に代表される産業機械等の動作を制御する制御装置において、制御対象物の状態を示す数値や制御パラメータ等を表示する表示装置（例えばタッチパネル方式の表示装置）には、これらの数値や制御パラメータを表示する表示画面に制御する工程や機能を選択するためのボタンやラベルあるいはリストボックス等の部品がレイアウトされる。制御装置のユーザは、これらの部品にタッチすることで、制御対象物の動作や機能を選択できる。
　このような制御装置に適用される表示装置は、通常、ユーザによるオンオフ等の選択動作を入力あるいは表示可能なユーザインターフェースとして機能するため、ユーザが入力しやすいように、表示画面における上記部品のレイアウトを工夫する必要がある。そして、これらの表示画面における部品のレイアウトを決定あるいは作成するために、画像作成支援技術が採用されている。
　こうした表示装置に対する画像作成支援技術の一例として、特許文献１には、各々が複数の種別のいずれかに属する複数の部品と、１乃至複数の部品を含む部品集合画面とを記憶するデータ記憶手段を備え、部品集合画面を編集画面上でユーザに編集させることによってプログラマブル表示器用の部品集合画面を生成し、生成した部品集合画面をデータ記憶手段に記憶し、記憶された１乃至複数の部品集合画面を含むプロジェクトデータを作成するプログラマブル表示器用画面データ編集装置であって、データ記憶手段に記憶されている部品集合画面の各々について、該部品集合画面に含まれる部品の各々の大きさ及び編集回数に基づいて部品の種別ごとに実質使用面積を算出し、該実質使用面積が最も大きい種別を固有種別として選択し、該固有種別に応じて部品集合画面の用途を判定して、該部品集合画面の用途を示す用途情報を生成する用途情報生成手段と、データ記憶手段に記憶されている部品集合画面の各々に関して、用途情報生成手段が生成した固有種別の実質使用面積と、用途情報とを記憶する属性情報記憶手段と、部品集合画面を新規作成する際に指定された用途と同じ用途の部品集合画面を、データ記憶手段に記憶されている部品集合画面の中から属性情報記憶手段に記憶された用途情報に基づいて抽出し、抽出した部品集合画面の各々に属性情報記憶手段に記憶された固有種別の実質使用面積に基づいた順位を設定する手段と、抽出した部品集合画面の各々を設定された順位に基づいて一覧表示する手段とを有するものが開示されている。このような装置によれば、既存のプロジェクトデータを容易に再利用でき、所望のデータを探すことも容易であるため、似た画面を何度も新たに作る必要がなく、プロジェクトデータを再利用するにあたって時間をかけて目的のデータを探す必要がないとされている。
　また、特許文献２には、プログラマブル表示器の表示画面に用いられ部品の状態を示す画面部品のデータである表示データを保持する表示データ保管部と、画面部品を用いて表示画面を作成する表示画面作成部と、表示データを検索するための検索条件の受け付け画面を表示する表示部と、を備えた表示画面作成支援装置であって、表示画面作成部が、検索条件を受け付けて、検索条件に基づいて表示データ保管部の表示データを検索する検索実行部を有するものが開示されている。このような装置によれば、検索キーワードと一致した検索用タグが付与されている表示データに対応する画面部品が表示属性で分類されたグループに纏められてグループ毎に一覧で表示されることにより、デザインが統一された表示画面を使用者が効率的に作成することが可能になるとされている。
特開２０１２－１５５３６７号公報 国際公開第２０１８／０７３８７１号
　ところで、上記した表示装置の表示画面を作成する際には、当該表示画面をイメージしたデザイン画を用いることが一般的である。このような場合、表示画面のデザインを行うデザイン画の作成者と、制御装置における表示装置の表示画面を作成する作業者とが異なることが多くある。
　こうしてデザイン画を参照しつつ表示画面を作成する場合、例えば特許文献１あるいは特許文献２に開示された支援技術を用いたとしても、作成したいデザイン画に表現されている各種部品の種類や形状等に対して、参考となる部品データを蓄積されたデータベースから抽出して提示する動作に留まる。したがって、表示画面を作成する作業者は、支援装置から提示された部品データの中から適したものを選択するとともに、参照するデザイン画に合わせて位置や細部の形状等を修正する必要が生じる。
　このような経緯から、表示画面を作成する際に参照するデザインを忠実に再現して修正部分を少なくすることができる画像作成支援技術が求められている。
　本発明の一態様による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置は、デザイン画を読み取って入力画面データを作成する画像入力部と、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベースと、当該データベースから部品データを取得して表示画面に対応する候補画面データを作成する画面データ作成部と、を備え、データベースは、部品データの種類、及びその組合せによるグループ定義情報を併せて蓄積しており、画面データ作成部は、入力画面データに含まれる入力部品の種類を判別する種類判別部と、グループ定義情報に基づいて入力部品の種類と組み合わせる付加情報を作成する付加情報作成部と、を含むとともに、これら入力部品の種類及び付加情報に基づいて、入力画面データに対応する候補画面データを作成する。
　本発明の一態様による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを自動的に作成する画像作成支援方法は、デザイン画を読み取って入力画面データを作成した後、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベースから上記部品データを取得して表示画面に対応する候補画面データを作成する際に、データベースには、部品データの種類、及びその組合せによるグループ定義情報が併せて蓄積されており、候補画面データは、入力画面データに含まれる入力部品の種類を判別するとともに、グループ定義情報に基づいて入力部品の種類と組み合わせる付加情報を作成した後、これら入力部品の種類及び付加情報に基づいて作成される。
　本発明の一態様によれば、画像入力部がデザイン画を読み取って入力画面データを作成するとともに、画面データ作成部が入力部品の種類及び付加情報に基づいて入力画面データに対応する候補画面データを作成することにより、表示画面を作成する際に参照するデザインを忠実に再現して修正部分を少なくすることができる。
実施例１による画像作成支援装置の概要を示すブロック図である。 実施例１による画面データ作成部の具体的な構成の一例を示すブロック図である。 実施例１による画像作成支援方法に適用されるデザイン画の一例を示す概略図である。 画像入力部で作成された入力画面データ及び種類判別部による判別結果の一例を示す概略図である。 画像入力部で作成された入力画面データ及び種類判別部による判別結果の一例を示す概略図である。 画像入力部で作成された入力画面データ及び種類判別部による判別結果の一例を示す概略図である。 付加情報作成部で作成された付加情報による種類の訂正動作の一例を示す概略図である。 付加情報作成部で作成された付加情報による種類の訂正動作の一例を示す概略図である。 付加情報作成部で作成された付加情報による種類の訂正動作の一例を示す概略図である。 画面データ作成部で作成された候補画面データの一例を示す概略図である。 画面データ作成部で作成された候補画面データの一例を示す概略図である。 付加情報作成部で作成される付加情報の変形例を示す概略図である。 付加情報作成部で作成される付加情報の変形例を示す概略図である。 実施例２による画像作成支援装置の概要を示すブロック図である。 実施例２による画面データ作成部の具体的な構成の一例を示すブロック図である。 実施例２による頻度算出部で実行される動作の概要を示す図である。 実施例２による頻度算出部で実行される動作の概要を示す図である。 実施例２による画面データ作成部の変形例を示すブロック図である。
　以下、本発明の代表的な一例による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の具体的な実施形態を図面と共に説明する。
＜実施例１＞
　まず、図１～図６Ｂを用いて、本発明の代表的な一例である実施例１による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の概要を説明する。図１は、本発明の実施例１による画像作成支援装置の概要を示すブロック図である。図１に示すように、画像作成支援装置１００は、その一例として、例えば産業機械等の制御対象物に備えられた表示装置１０と組合せて適用されるものであって、上記表示装置１０との間でデータのやり取りを行うとともに画像作成支援装置１００全体の動作も制御する主制御部１１０と、紙媒体や電子データとして作成されたデザイン画Ｐを読み取って入力画面データＩＤを作成する画像入力部１２０と、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベース１３０と、データベース１３０から上記部品データを取得して表示画面に対応する候補画面データＣＤを作成する画面データ作成部１４０と、を備える。
　表示装置１０は、制御対象物の一部を構成して当該制御対象物の状態を示す数値や制御パラメータ等を表示する表示部１２を備えている。また、表示装置１０は好ましくは、ユーザが機能の選択や制御すべき数値の入力を行うことができるような入力機構（図示せず）を含むユーザインターフェースとして構成される。このような表示装置として、タッチパネル方式の表示装置等が例示できる。
　画像作成支援装置１００の主制御部１１０は、後述する画面データ作成部１４０から候補画面データＣＤを受け、この候補画面データＣＤを表示装置１０に送信する機能を有する。このとき、主制御部１１０は、表示装置１０と有線あるいは無線で電気的に接続されており、相互に信号の送受信が可能な構成とされている。また、主制御部１１０は、画像入力部１２０や画面データ作成部１４０を含む画像作成支援装置１００全体の動作の制御をも行う。
　画像入力部１２０は、デザイナー等が予め作成した表示画面のデザイン画Ｐを読み取って電子化した入力画面データＩＤとする機能を備える。デザイン画Ｐは、その一例として図３に示すように、フルカラーの手書きの絵や印刷された文字として紙等の媒体に記録されたものである。図３に示す例では、デザイン画Ｐは、パラメータや数値を表示するラベルＬＡ１、ＬＡ２と、単色あるいは複数の色で点灯あるいは消灯するランプＬＰ１、ＬＰ２と、画面にタッチ（押圧）することで選択の有無を入力可能なボタンＢＴと、所定の文章等が記載されたリストボックスＬＢと、を単数あるいは複数含んでいる。
　画像入力部１２０では、デザイン画Ｐの全体の領域がデータとして読み込まれ、上記したラベルＬＡ１、ＬＡ２やランプＬＰ１、ＬＰ２、ボタンＢＴあるいはリストボックスＬＢ等がそれぞれデザイン画Ｐの「部品データ」として取り込まれる。このような画像入力部１２０としては、光学的スキャナや撮影した画像を画素データに変換する機能を備えた装置等が例示できる。
　入力画面データＩＤは、その一例として図４Ａに示すように、例えばデザイン画Ｐの全面領域を第１象限Ｑ１～第４象限Ｑ４に分割し、それぞれの象限に含まれる部品に位置情報として象限名を付加した形でデータ化される。これにより、図４Ｂに示すように、それぞれの部品に対して、形状、色、位置等が基本情報として付与される。ただし、図４Ａ～図４Ｃでは各々の部品に「ラベル」、「ボタン」、「ランプ」、「リストボックス」等の種類を付しているが、画像入力部１２０でデザイン画を読み取って電子データ化した段階では、それぞれの部品の種類については判別できていないものとする。
　データベース１３０は、過去に使用したあるいは読み込んだ表示画面の「部品データ」が蓄積されている。このとき、蓄積された「部品データ」には、上記した形状、色、位置に加えて種類が追加された状態で「部品情報」ＰＩとして格納されている。また、「部品データ」の部品情報ＰＩには、特定の部品について、その形状や色、位置あるいは種類がそれぞれの因子に対して何回使用されたかといった「回数情報」ＣＩ、及び特定の部品が複数個まとまってグループを形成している場合の形状、色、位置や種類の組合せが、「グループ定義情報」ＧＩとして併せて含まれている。
　図２は、実施例１による画面データ作成部の具体的な構成の一例を示すブロック図である。図２に示すように、画面データ作成部１４０は、入力画面データＩＤに含まれる入力部品の種類ＰＴを判別する種類判別部１４２と、グループ定義情報ＧＩに基づいて入力部品の種類ＰＴに対する付加情報ＡＩを作成する付加情報作成部１４４と、含む。そして、画面データ作成部１４０は、種類判別部１４２で判別された部品の種類ＰＴと付加情報作成部１４４で作成された付加情報ＡＩとに基づいて入力画面データＩＤに対応する候補画面データＣＤを作成し、主制御部１１０に送るように構成されている。
　次に、実施例１による画像作成支援装置１００を用いた画像作成支援方法の手順を説明する。
　まず、その一例として図３に示すようなデザイン画Ｐを画像入力部１２０から読み取って、図４Ａに示すような入力画面データＩＤを作成する。そして、作成された入力画面データＩＤは、データベース１３０に蓄積されるとともに画面データ作成部１４０に送られる。
　画面データ作成部１４０は、図２に示すように、画像入力部１２０から入力画面データＩＤを受け取るとともに、データベース１３０にアクセスしてグループ定義情報ＧＩ等を入手する。一方、画面データ作成部１４０は、種類判別部１４２で判別した部品の種類ＰＴと付加情報作成部１４４で作成した付加情報ＡＩとを含む部品情報ＰＩをデータベース１３０に送信する。これにより、データベース１３０に蓄積される情報が更新される。
　図４Ｂに示すように、種類判別部１４２は、入力画面データＩＤの例えば第１象限Ｑ１に含まれる部品を個別に抽出する。このとき、種類判別部１４２における部品の種類ＰＴの判別手法としては、その一例として、部品の形状と種類とを結びつくように定義しておき、判別すべき部品の形状を優先的に判別の指標とする方式等を適用できる。これにより、図４Ｂに示す第１象限Ｑ１からは、例えば１つのラベルＬＡ２と３つのランプＬＰ１について、各々の部品の種類ＰＴを含む部品データの基本情報としての部品情報ＰＩが抽出される。
　同様に、図４Ｃに示す第４象限Ｑ４においては、例えば３つのランプＬＰ２と１つのリストボックスＬＢについて、各々の部品の種類ＰＴを含む部品データの部品情報ＰＩが抽出される。このようにして抽出された部品情報ＰＩは、新たな判別のための参照データとしてデータベース１３０に送られて追加蓄積される。
　一方、実施例１による画像作成支援装置１００では、必要に応じて種類判別部１４２で判別した部品の種類ＰＴを訂正する付加情報ＡＩを作成する動作が実行される。すなわち、まず種類判別部１４２で判別された部品データの種類ＰＴが、付加情報作成部１４４に送られる。
　続いて、画面データ作成部１４０がデータベース１３０にアクセスして、過去に蓄積された部品データに基づくグループ定義情報ＧＩを受信する。このとき、現在判別されている部品の部品情報ＰＩを参照して、判別対象の部品の形状や色あるいは位置が属するグループを選択する。
　例えば、図５Ａに示すように、入力画面データＩＤの第１象限Ｑ１において、１つのラベルＬＡ２、１つのボタンＢＴ及び２つのランプＬＰ１と判別された部品データが抽出された際に、併せて図５Ｂに示すような位置Ｑ１に対するグループ定義情報ＧＩが受信されたとする。この場合、抽出された部品データ上ではボタンＢＴとランプＬＰ１とが混在しているが、過去に作成された表示画面に基づくグループ定義情報ＧＩではランプＬＰ１のみ３つで構成されている例が存在しているため、付加情報作成部１４４は、種類判別部１４２でボタンＢＴと判別された部品の種類ＰＴをランプＬＰ１に訂正するとした付加情報ＡＩを作成する。そして、これらの情報を組合せることにより、図５Ｃに示すように、今回入力された入力画面データＩＤについては、ボタンＢＴと判別された部品３の種類ＰＴをランプＬＰ１として認識する。
　続いて、画面データ作成部１４０は、図６Ａに示すように、入力画面データＩＤと、種類判別部１４２で判別された部品の種類ＰＴと、付加情報作成部１４４で作成された付加情報ＡＩと、を統合して、第１象限Ｑ１～第４象限Ｑ４に抽出された部品を配置して候補画面データＣＤを作成し、主制御部１１０に送信する。そして、作成された候補画面データＣＤは、主制御部１１０から表示装置１０に転送されて表示部１２に表示される。
　このとき、配置された部品の詳細な位置についての修正が不要である場合には、図６Ｂに示すように、そのまま表示画面Ｄとして確定される。一方、例えば図６Ａに示すように、画面データ作成部１４０で作成された状態での候補画面データＣＤにおける部品の位置を修正すべき、あるいは修正したいとユーザが判断した場合は、表示部１２に表示された候補画面データＣＤに対して直接部品を動かすための入力を行う等の選択をユーザが行うことにより、最終的な表示画面Ｄとするような機能を付加してもよい。
　また、図７Ａ及び図７Ｂは、付加情報作成部で作成される付加情報の変形例を示す概略図である。例えば、図７Ａに示すように、データベース１３０に蓄積されたグループ定義情報ＧＩとしてパターンＡ１あるいはＡ２のようなグループが保存されていたとする。このとき、図７Ｂに示すように１つの位置からボタンＢＴが４つ抽出された場合であっても、パターンＡ１の場合がより数多く使用されて推奨されるものとして蓄積されていれば、候補画面データＣＤには６つのボタンＢＴを含むものとして提示させることもできる。
　以上のように、本発明の第１の実施形態による任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法によれば、画像入力部がデザイン画を読み取って入力画面データを作成するとともに、画面データ作成部が入力部品の種類及び付加情報に基づいて入力画面データに対応する候補画面データを作成することにより、表示画面を作成する際に参照するデザインを忠実に再現して修正部分を少なくすることができる。また、過去のデータを参照した候補画面データに修正して提案することにより、ユーザの表示画面作成時の補助が可能となる。
＜実施例２＞
　次に、図８～図１１を用いて、本発明の実施例２による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の概要を説明する。なお、実施例２による画像作成支援装置及び画像作成支援方法の説明において、実施例１で示した構成と同一あるいは共通するものについては、図面上で同一の符号を付して再度の説明を省略する。
　図８は、本発明の実施例２による画像作成支援装置の概要を示すブロック図である。図８に示すように、画像作成支援装置１００は、その一例として、実施例１と同様に表示装置１０と組合せて適用されるものであって、主制御部１１０と、画像入力部１２０と、データベース１３０と、画面データ作成部１４０と、データベース１３０が蓄積する部品情報ＰＩに含まれる回数情報ＣＩに基づいて部品データの種類ＰＴごとの使用頻度ＦＩを算出する頻度算出部１５０と、を備える。
　頻度算出部１５０は、画面データ作成部１４０から現在判別している部品の部品情報ＰＩを受けると、データベース１３０にアクセスして当該部品情報ＰＩに対応する回数情報ＣＩを受け取り、この回数情報ＣＩに対して所定の演算を行うことにより部品の種類ＢＴごとの使用頻度ＦＩを求める。そして、この使用頻度ＦＩを画面データ作成部１４０に送るように構成されている。
　図９は、実施例２による画面データ作成部の具体的な構成の一例を示すブロック図である。図９に示すように、画面データ作成部１４０は、種類判別部１４２と、グループ定義情報ＧＩ及び上記頻度算出部１５０で算出された使用頻度ＦＩに基づいて、入力部品の種類ＰＴに対する付加情報ＡＩを作成する付加情報作成部１４４と、を含む。そして、画面データ作成部１４０は、種類判別部１４２で判別された種類ＰＴと付加情報作成部１４４で作成された付加情報ＡＩとに基づいて入力画面データＩＤに対応する候補画面データＣＤを作成し、主制御部１１０に送るように構成されている。
　次に、実施例２による画像作成支援装置１００を用いた画像作成支援方法の一例を説明する。
　実施例２による画像作成支援装置１００において、種類判別部１４２は、図１０Ａに示すように、入力画面データＩＤの例えば第１象限Ｑ１に含まれる部品を個別に抽出する。これにより、図１０Ａに示す第１象限Ｑ１からは、例えば１つのラベルＬＡ２と１つのランプＬＰ１と１つのボタンＢＴと種類の不明な１つの部品について、部品情報ＰＩが抽出される。
　ここで、実施例２による画像作成支援装置１００では、このように種類の不明な部品について、データベース１３０に蓄積されている部品データごとの過去の使用回数による回数情報ＣＩから当該部品データごとの使用頻度ＦＩを算出し、その算出結果を画面データ作成部１４０に送る。
　すなわち、頻度算出部１５０は、例えば図１０Ｂに示すように、部品の形状、色及び位置ごとに過去に使用された種類の回数をまとめた回数情報ＣＩを読み込む。ここで、回数情報ＣＩには、種類ＰＴの判別において他よりも優先する項目を決めてその項目ごとに重み付けした重み係数が設定されている。この重み係数は表示画面が適用される装置の用途等を考慮して任意に決めることができる。
　回数情報ＣＩから使用頻度ＦＩを算出する手法としては、例えば、部品の種類ごとに以下のような数式に回数値を当てはめて算出する。
Figure JPOXMLDOC01-appb-M000001
 （ランプの使用頻度）
Figure JPOXMLDOC01-appb-M000002
 （ボタンの使用頻度）
Figure JPOXMLDOC01-appb-M000003
 （ラベルの使用頻度）
Figure JPOXMLDOC01-appb-M000004
 （リストボックスの使用頻度）
　そして、画面データ作成部１４０では、付加情報作成部１４４が以上の算出結果から、図１０Ｂに示した回数情報ＣＩにおいてランプの使用頻度ＦＩが最も大きいと判断して、不明な部品の種類ＰＴがランプＬＰ１であると推定する付加情報ＡＩを作成する。これにより、候補画面データＣＤにおける部品の種類ＰＴの判別精度を向上することができる。
　また、図１１は、実施例２による画面データ作成部の変形例を示すブロック図である。
図１１に示すように、実施例２による画像作成支援装置１００の画面データ作成部１４０は、図８で示した頻度算出部１５０を内蔵する構成としてもよい。この場合、頻度算出部１５０は種類判別部１４２で判別された部品の種類ＰＴの情報を画面データ作成部１４０の内部で共有でき、かつ情報を伝送する特別な構成が不要なるため、画像作成支援装置１００全体の構成を簡素化することが可能となる。
　以上のように、本発明の実施例２による任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法によれば、実施例１で得られた効果に加えて、過去の部品の使用頻度から種類が不明である部品に対してもその種類を推定できるとともに、最終的な候補画面データを作成する際の部品の種類の判別精度を向上させることができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　１０　表示装置
　１２　表示部
　１００　画像作成支援装置
　１１０　主制御部
　１２０　画像入力部
　１３０　データベース
　１４０　画面データ作成部
　１４２　種類判別部
　１４４　付加情報作成部
　１５０　頻度算出部

Claims (9)

  1. 　任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置であって、
    　前記デザイン画を読み取って入力画面データを作成する画像入力部と、過去にデザインされた前記表示画面を構成する表示部品の部品データを蓄積したデータベースと、前記データベースから前記部品データを取得して前記表示画面に対応する前記候補画面データを作成する画面データ作成部と、を備え、
    　前記データベースは、前記部品データの種類及び前記部品データの組合せによるグループ定義情報を併せて蓄積しており、
    　前記画面データ作成部は、前記入力画面データに含まれる入力部品の種類を判別する種類判別部と、前記グループ定義情報に基づいて前記入力部品の種類と組み合わせる付加情報を作成する付加情報作成部と、を含むとともに、前記入力部品の種類及び前記付加情報に基づいて前記入力画面データに対応する前記候補画面データを作成する
    画像作成支援装置。
  2. 　前記データベースは前記部品データごとの使用回数による回数情報をさらに蓄積しており、
    　前記回数情報に基づいて前記部品データの種類ごとの使用頻度を算出する頻度算出部をさらに含むとともに、
    　前記画面データ作成部は、前記入力部品の種類及び前記付加情報に加えて前記使用頻度を考慮して、前記候補画面データを作成する
    請求項１に記載の画像作成支援装置。
  3. 　前記頻度算出部は、前記画面データ作成部に内蔵されている
    請求項２に記載の画像作成支援装置。
  4. 　前記グループ定義情報は同一グループ内における前記部品データの個数を含んでおり、　前記付加情報作成部は、前記部品データの数に基づいて前記入力画面データに含まれる前記入力部品の推奨数を前記付加情報に追加する
    請求項１～３のいずれか１項に記載の画像作成支援装置。
  5. 　前記画面データ作成部は、ユーザからの選択に基づいて前記候補画面データを修正する機能を有する
    請求項１～４のいずれか１項に記載の画像作成支援装置。
  6. 　任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを自動的に作成する画像作成支援方法であって、
    　前記デザイン画を読み取って入力画面データを作成した後、過去にデザインされた前記表示画面を構成する表示部品の部品データを蓄積したデータベースから前記部品データを取得して前記表示画面に対応する候補画面データを作成する際に、
    　前記データベースには、前記部品データの種類及び前記部品データの組合せによるグループ定義情報が併せて蓄積されており、
    　前記候補画面データは、前記入力画面データに含まれる入力部品の種類を判別するとともに、前記グループ定義情報に基づいて前記入力部品の種類と組み合わせる付加情報を作成した後、前記入力部品の種類及び前記付加情報に基づいて作成される
    画像作成支援方法。
  7. 　前記データベースには、前記部品データごとの使用回数による回数情報がさらに蓄積されており、
    　前記回数情報に基づいて前記部品データの種類ごとの使用頻度を算出するとともに、
    　前記候補画面データの作成は、前記入力部品の種類及び前記付加情報に加えて前記使用頻度を考慮して作成される
    請求項６に記載の画像作成支援方法。
  8. 　前記グループ定義情報は同一グループ内における前記部品データの個数を含んでおり、　前記部品データの数に基づいて前記入力画面データに含まれる前記入力部品の推奨数を前記付加情報に追加する
    請求項６又は７に記載の画像作成支援方法。
  9. 　前記候補画面データを表示後に、ユーザからの選択に基づいて当該候補画面データを修正可能とする
    請求項６～８のいずれか１項に記載の画像作成支援方法。
PCT/JP2021/001055 2020-01-17 2021-01-14 画像作成支援装置及び画像作成支援方法 WO2021145379A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180010036.6A CN115004234A (zh) 2020-01-17 2021-01-14 图像生成辅助装置以及图像生成辅助方法
DE112021000614.2T DE112021000614T5 (de) 2020-01-17 2021-01-14 Bilderzeugungs-unterstützungsvorrichtung und bilderzeugungs-unterstützungsverfahren
JP2021571229A JP7453256B2 (ja) 2020-01-17 2021-01-14 画像作成支援装置及び画像作成支援方法
US17/758,964 US20230083887A1 (en) 2020-01-17 2021-01-14 Image creation support device and image creation support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-006106 2020-01-17
JP2020006106 2020-01-17

Publications (1)

Publication Number Publication Date
WO2021145379A1 true WO2021145379A1 (ja) 2021-07-22

Family

ID=76864408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001055 WO2021145379A1 (ja) 2020-01-17 2021-01-14 画像作成支援装置及び画像作成支援方法

Country Status (5)

Country Link
US (1) US20230083887A1 (ja)
JP (1) JP7453256B2 (ja)
CN (1) CN115004234A (ja)
DE (1) DE112021000614T5 (ja)
WO (1) WO2021145379A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332645A (ja) * 1993-05-26 1994-12-02 Nippon Telegr & Teleph Corp <Ntt> データ入出力画面構築方式
JPH08166865A (ja) * 1994-12-12 1996-06-25 Ricoh Co Ltd 画面生成方法及びその装置
JP2004272865A (ja) * 2003-03-10 2004-09-30 Yoshio Iwasaki 業務画面自動作成ツール
JP2008226102A (ja) * 2007-03-15 2008-09-25 Kyocera Mita Corp 電子機器、マニュアル作成方法、及びマニュアル作成プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690396B1 (en) * 1999-12-27 2004-02-10 Gateway, Inc. Scannable design of an executable
US7747941B2 (en) * 2002-12-18 2010-06-29 International Business Machines Corporation Webpage generation tool and method
US7412687B2 (en) * 2003-10-15 2008-08-12 International Business Machines Corporation Creating customized applications using templates having points of variability
US7617449B2 (en) * 2004-05-28 2009-11-10 Microsoft Corporation Method and system for mapping content between a starting template and a target template
US20060085470A1 (en) * 2004-10-15 2006-04-20 Matthias Schmitt Database record templates
US9575735B2 (en) * 2005-12-27 2017-02-21 International Business Machines Corporation Application template creation and management
US8560941B2 (en) * 2009-04-08 2013-10-15 Microsoft Corporation Schema based user interface mechanisms
JP5396490B2 (ja) * 2010-02-10 2014-01-22 株式会社小松製作所 摩耗量測定装置、摩耗量測定方法、摩耗量測定プログラムおよび記録媒体
CN102959511B (zh) * 2011-06-20 2016-05-25 松下电器（美国）知识产权公司 Gui程序制作辅助装置、gui程序制作辅助方法、程序及集成电路
JP5806061B2 (ja) * 2011-09-28 2015-11-10 発紘電機株式会社 プログラマブル表示器の支援装置、そのプログラム、操作画面一括変更支援方法
US9417760B2 (en) * 2012-04-13 2016-08-16 Google Inc. Auto-completion for user interface design
US9285948B2 (en) * 2013-03-15 2016-03-15 Assima Switzerland Sa System and method for interface display screen manipulation
US9461972B1 (en) * 2014-03-19 2016-10-04 NetSuite Inc. Intelligently designed user interface based on user behavior
WO2016043729A1 (en) * 2014-09-17 2016-03-24 Hewlett Packard Enterprise Development Lp User interface layout comparison
US9928043B2 (en) * 2014-10-03 2018-03-27 Sap Se User-driven evolving user interfaces
CA2987696A1 (en) * 2015-06-07 2016-12-15 Wix.Com Ltd System and method for the generation of an adaptive user interface in a website building system
US20180096358A1 (en) * 2016-09-30 2018-04-05 Wipro Limited Methods and Systems for Managing User Experience Design
JP6385616B1 (ja) 2016-10-17 2018-09-05 三菱電機株式会社 表示画面作成支援装置および表示画面作成支援プログラム
US20180275845A1 (en) * 2017-03-23 2018-09-27 International Business Machines Corporation Dashboard Creation With Popular Patterns and Suggestions Using Analytics
US20180300296A1 (en) * 2017-04-17 2018-10-18 Microstrategy Incorporated Document similarity analysis
US10360473B2 (en) * 2017-05-30 2019-07-23 Adobe Inc. User interface creation from screenshots
US11151313B2 (en) * 2018-09-28 2021-10-19 Microsoft Technology Licensing, Llc Personalization of content suggestions for document creation
US10789052B2 (en) * 2018-10-29 2020-09-29 Salesforce.Com, Inc. User interface (UI) design system mapping platform for automatically mapping design system components to a design document file from a design tool to generate a mapped specification
CN114127732A (zh) * 2019-04-15 2022-03-01 坎瓦有限公司 基于设计模板和另外的设计生成设计的***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332645A (ja) * 1993-05-26 1994-12-02 Nippon Telegr & Teleph Corp <Ntt> データ入出力画面構築方式
JPH08166865A (ja) * 1994-12-12 1996-06-25 Ricoh Co Ltd 画面生成方法及びその装置
JP2004272865A (ja) * 2003-03-10 2004-09-30 Yoshio Iwasaki 業務画面自動作成ツール
JP2008226102A (ja) * 2007-03-15 2008-09-25 Kyocera Mita Corp 電子機器、マニュアル作成方法、及びマニュアル作成プログラム

Also Published As

Publication number Publication date
US20230083887A1 (en) 2023-03-16
CN115004234A (zh) 2022-09-02
DE112021000614T5 (de) 2022-12-15
JPWO2021145379A1 (ja) 2021-07-22
JP7453256B2 (ja) 2024-03-19

Similar Documents

Publication Publication Date Title
CN105988753B (zh) 信息处理装置和信息处理***
JP5506176B2 (ja) 情報処理装置及び情報処理方法
JP2008003649A (ja) 操作画面生成方法、操作画面生成装置、電子機器、プログラム
JP4827536B2 (ja) 情報処理装置および出力情報生成方法およびプログラム
JP2011070472A (ja) アプリケーション開発支援方法、システム、及びプログラム
US7934157B2 (en) Utilization of tree view for printing data
KR101610605B1 (ko) 전자 메뉴얼 열람 장치 및 시스템
WO2021145379A1 (ja) 画像作成支援装置及び画像作成支援方法
JP2007179361A (ja) ダイアログ表示変更方法，プログラム，および電子機器
JP2009176166A (ja) 印刷指示装置、印刷システム、印刷方法、プログラムおよび記録媒体
WO2017150084A1 (ja) 電子機器およびマーカー処理方法
JP2015069496A (ja) 名刺情報管理システム、画像形成装置、及び名刺情報管理方法
JP5140950B2 (ja) 操作画面生成方法、操作画面生成装置、電子機器、プログラム
US8190563B2 (en) Document management apparatus, document management method, and computer-readable encoding medium recorded with a computer program
JP5075061B2 (ja) 情報処理装置、情報処理装置の制御方法、コンピュータプログラム及び記憶媒体
CN100588218C (zh) 图像形成装置和电子邮件传送服务器
KR101214107B1 (ko) 프로젝터 및 화상 투사 방법
US20200274976A1 (en) Information processing apparatus and non-transitory computer readable medium
JP2010244110A (ja) ソフトウエア設計支援装置及びコンピュータプログラム
JP5228543B2 (ja) 印刷ジョブ処理システムおよび印刷ジョブ処理方法
US20230058163A1 (en) Information processing apparatus, product display system, recording medium, and product display method
JP7522514B1 (ja) 図面処理装置、及び、図面処理方法
JP2019074875A (ja) 情報処理装置、制御方法、およびプログラム
WO2020179837A1 (en) Cooperation processing apparatus and method
JP2010134531A (ja) 情報処理装置、処理実行装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21741248

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021571229

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21741248

Country of ref document: EP

Kind code of ref document: A1