WO2021145379A1 - 画像作成支援装置及び画像作成支援方法 - Google Patents
画像作成支援装置及び画像作成支援方法 Download PDFInfo
- Publication number
- WO2021145379A1 WO2021145379A1 PCT/JP2021/001055 JP2021001055W WO2021145379A1 WO 2021145379 A1 WO2021145379 A1 WO 2021145379A1 JP 2021001055 W JP2021001055 W JP 2021001055W WO 2021145379 A1 WO2021145379 A1 WO 2021145379A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- screen data
- type
- input
- component
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Definitions
- the present invention relates to an image creation support device and an image creation support method for presenting candidate screen data of the display screen based on an arbitrarily designed display screen design image.
- a display device for example, a touch panel type display device
- Parts such as buttons, labels, and list boxes for selecting control processes and functions are laid out on a display screen that displays control parameters. The user of the control device can select the operation or function of the controlled object by touching these parts.
- the display device applied to such a control device usually functions as a user interface capable of inputting or displaying a selection operation such as on / off by the user, the layout of the above parts on the display screen is easy for the user to input. It is necessary to devise. Then, in order to determine or create the layout of the parts on these display screens, image creation assisting technology is adopted.
- Patent Document 1 describes a data storage means for storing a plurality of parts, each of which belongs to any of a plurality of types, and a parts assembly screen including one or a plurality of parts.
- a parts set screen for a programmable display by having the user edit the parts set screen on the edit screen, store the generated parts set screen in a data storage means, and store one or more parts sets.
- a screen data editing device for programmable displays that creates project data including screens, and for each component assembly screen stored in the data storage means, the size and number of edits of each component included in the component assembly screen.
- the actual used area is calculated for each type of parts based on the above, the type having the largest actual used area is selected as the unique type, the use of the parts assembly screen is determined according to the unique type, and the parts assembly screen is determined.
- the usage information generation means for generating usage information indicating the usage of the data and the parts assembly screen stored in the data storage means the actual usage area of the unique type generated by the usage information generation means and the usage information are stored.
- the attribute information storage means to be used and the parts set screen for the same purpose specified when the parts set screen is newly created are stored in the attribute information storage means from the parts set screens stored in the data storage means.
- a means for setting a ranking based on the actual used area of the unique type stored in the attribute information storage means and a means for setting each of the extracted parts set screens are set for each of the extracted parts set screens extracted based on the intended use information.
- Patent Document 2 includes a display data storage unit that holds display data that is data of screen parts used for the display screen of a programmable display and indicates the state of parts, and a display that creates a display screen using the screen parts.
- a display screen creation support device including a screen creation unit and a display unit that displays a screen for accepting search conditions for searching display data.
- the display screen creation unit accepts search conditions and performs search conditions.
- the display data storage unit has a search execution unit for searching the display data based on the above. According to such a device, screen parts corresponding to display data to which a search tag matching a search keyword is attached are grouped into groups classified by display attributes and displayed in a list for each group. , It is said that users will be able to efficiently create display screens with a unified design.
- An image creation support device which presents candidate screen data of a display screen based on an arbitrarily designed display screen design image, is an image input unit that reads the design image and creates input screen data.
- a database that stores the component data of the display components that make up the display screen designed in the past, and a screen data creation unit that acquires component data from the database and creates candidate screen data corresponding to the display screen.
- the database also stores the types of component data and group definition information based on the combination thereof, and the screen data creation unit includes a type determination unit that determines the type of input component included in the input screen data and a group. It includes an additional information creation unit that creates additional information to be combined with the type of input component based on the definition information, and creates candidate screen data corresponding to the input screen data based on the type and additional information of these input components. ..
- the image creation support method which automatically creates candidate screen data for a display screen based on an arbitrarily designed display screen design image, reads the design image and creates input screen data. Later, when the above part data is acquired from the database that stores the part data of the display parts that compose the display screen designed in the past and the candidate screen data corresponding to the display screen is created, the part data is stored in the database. Group definition information based on the type and its combination is also accumulated, and the candidate screen data is added to determine the type of input component included in the input screen data and to combine it with the type of input component based on the group definition information. After creating the information, it is created based on the type of these input components and additional information.
- the image input unit reads the design image and creates the input screen data
- the screen data creation unit corresponds to the input screen data based on the type of the input component and the additional information.
- FIG. It is a block diagram which shows the outline of the image creation support apparatus by Example 1.
- FIG. It is a block diagram which shows an example of the specific structure of the screen data creation part by Example 1.
- FIG. It is the schematic which shows an example of the design drawing applied to the image creation support method by Example 1.
- FIG. It is a schematic diagram which shows an example of the input screen data created by an image input unit, and the discrimination result by a type discrimination unit.
- FIG. It is a schematic diagram which shows an example of the input screen data created by an image input unit, and the discrimination result by a type discrimination unit.
- FIG. 1 It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is the schematic which shows an example of the correction operation of the kind by the additional information created by the additional information creation part. It is a schematic diagram which shows an example of the candidate screen data created by a screen data creation part. It is a schematic diagram which shows an example of the candidate screen data created by a screen data creation part. It is the schematic which shows the modification of the additional information created by the additional information creation part. It is the schematic which shows the modification of the additional information created by the additional information creation part. It is a block diagram which shows the outline of the image creation support apparatus by Example 2. FIG.
- FIG. 2 It is a block diagram which shows an example of the specific structure of the screen data creation part by Example 2.
- FIG. It is a figure which shows the outline of the operation executed by the frequency calculation part by Example 2.
- FIG. It is a figure which shows the outline of the operation executed by the frequency calculation part by Example 2.
- FIG. It is a block diagram which shows the modification of the screen data creation part by Example 2.
- FIG. 1 is a block diagram showing an outline of an image creation support device according to a first embodiment of the present invention. As shown in FIG. 1, as an example thereof, the image creation support device 100 is applied in combination with a display device 10 provided on a controlled object such as an industrial machine, and has the same as the display device 10.
- a main control unit 110 that exchanges data between them and controls the operation of the entire image creation support device 100, and an image input unit that reads a design image P created as a paper medium or electronic data and creates an input screen data ID.
- Screen data creation to create a candidate screen data CD corresponding to the display screen by acquiring the component data from the database 130, which stores the component data of the display components constituting the display screen designed in the past, and the database 130.
- a unit 140 is provided.
- the display device 10 includes a display unit 12 that constitutes a part of the control object and displays numerical values, control parameters, and the like indicating the state of the control object. Further, the display device 10 is preferably configured as a user interface including an input mechanism (not shown) that allows the user to select a function and input a numerical value to be controlled. As such a display device, a touch panel type display device and the like can be exemplified.
- the main control unit 110 of the image creation support device 100 has a function of receiving a candidate screen data CD from the screen data creation unit 140 described later and transmitting the candidate screen data CD to the display device 10. At this time, the main control unit 110 is electrically connected to the display device 10 by wire or wirelessly, and is configured to be capable of transmitting and receiving signals to and from each other. The main control unit 110 also controls the operation of the entire image creation support device 100 including the image input unit 120 and the screen data creation unit 140.
- the image input unit 120 has a function of reading a design image P of a display screen created in advance by a designer or the like and converting it into an electronic input screen data ID.
- the design drawing P is recorded on a medium such as paper as a full-color handwritten picture or printed characters.
- the design image P is selected by touching (pressing) the screen with labels LA1 and LA2 for displaying parameters and numerical values, lamps LP1 and LP2 for turning on or off in a single color or a plurality of colors.
- a button BT in which the presence or absence of a button can be input and a list box LB in which a predetermined sentence or the like is described are included in one or more.
- the image input unit 120 the entire area of the design image P is read as data, and the above-mentioned labels LA1, LA2, lamps LP1, LP2, button BT, list box LB, etc. are taken in as "part data" of the design image P, respectively. Is done.
- Examples of such an image input unit 120 include an optical scanner and a device having a function of converting a captured image into pixel data.
- the entire area of the design image P is divided into the first quadrant Q1 to the fourth quadrant Q4, and the quadrant name is used as position information for the parts included in each quadrant. Is added to the data.
- the shape, color, position, and the like are given as basic information to each part.
- each part is given a type such as "label”, "button”, “lamp”, “list box”, etc., but the design image is read by the image input unit 120 and electronic data is obtained. At the stage of conversion, it is assumed that the type of each part cannot be identified.
- the database 130 stores "part data" of the display screen used or read in the past. At this time, the accumulated "part data” is stored as the "part information" PI in a state where the type is added in addition to the above-mentioned shape, color, and position. Further, in the part information PI of the "part data", the "number of times information” CI such as how many times the shape, color, position or type of the specific part is used for each factor, and the specific part are included. The combination of shape, color, position and type when a plurality of groups are grouped together is also included as "group definition information" GI.
- FIG. 2 is a block diagram showing an example of a specific configuration of the screen data creation unit according to the first embodiment.
- the screen data creation unit 140 has a type determination unit 142 that determines the type PT of the input component included in the input screen data ID, and additional information for the input component type PT based on the group definition information GI. It includes an additional information creation unit 144 that creates an AI. Then, the screen data creation unit 140 generates a candidate screen data CD corresponding to the input screen data ID based on the part type PT determined by the type determination unit 142 and the additional information AI created by the additional information creation unit 144. It is configured to be created and sent to the main control unit 110.
- the design image P as shown in FIG. 3 is read from the image input unit 120, and the input screen data ID as shown in FIG. 4A is created. Then, the created input screen data ID is stored in the database 130 and sent to the screen data creation unit 140.
- the screen data creation unit 140 receives the input screen data ID from the image input unit 120 and accesses the database 130 to obtain the group definition information GI and the like. On the other hand, the screen data creation unit 140 transmits the component information PI including the component type PT determined by the type determination unit 142 and the additional information AI created by the additional information creation unit 144 to the database 130. As a result, the information stored in the database 130 is updated.
- the type determination unit 142 individually extracts the parts included in, for example, the first quadrant Q1 of the input screen data ID.
- the shape and the type of the part are defined so as to be linked, and the shape of the part to be discriminated is preferentially discriminated as an index.
- the part information PI as the basic information of the part data including the type PT of each part is extracted from the first quadrant Q1 shown in FIG. 4B, for example, for one label LA2 and the three lamps LP1.
- the part information PI of the part data including the type PT of each part is extracted for, for example, three lamps LP2 and one list box LB.
- the component information PI extracted in this way is sent to the database 130 as reference data for new determination and is additionally stored.
- an operation of creating additional information AI for correcting the type PT of the part determined by the type determination unit 142 is executed as needed. That is, first, the type PT of the component data determined by the type determination unit 142 is sent to the additional information creation unit 144.
- the screen data creation unit 140 accesses the database 130 and receives the group definition information GI based on the component data accumulated in the past. At this time, the group to which the shape, color, or position of the part to be discriminated belongs is selected by referring to the part information PI of the currently discriminated part.
- the additional information creation unit 144 creates the additional information AI in which the type PT of the part determined to be the button BT by the type determination unit 142 is corrected to the lamp LP1. Then, by combining these information, as shown in FIG. 5C, for the input screen data ID input this time, the type PT of the component 3 determined to be the button BT is recognized as the lamp LP1.
- the screen data creation unit 140 includes the input screen data ID, the type PT of the part determined by the type determination unit 142, and the additional information AI created by the additional information creation unit 144. , Are integrated, and the extracted parts are arranged in the first quadrant Q1 to the fourth quadrant Q4 to create a candidate screen data CD, which is transmitted to the main control unit 110. Then, the created candidate screen data CD is transferred from the main control unit 110 to the display device 10 and displayed on the display unit 12.
- the display screen D is fixed as it is as shown in FIG. 6B.
- the display unit 12 is displayed.
- a function may be added such that the final display screen D is obtained by the user making a selection such as inputting to move the component directly to the displayed candidate screen data CD.
- FIGS. 7A and 7B are schematic views showing a modified example of the additional information created by the additional information creation unit.
- a group such as pattern A1 or A2 is stored as the group definition information GI stored in the database 130.
- the candidate screen is displayed.
- the data CD can also be presented as containing 6 button BTs.
- the image creation support device and the image creation support method that present the candidate screen data of the display screen based on the design image of the display screen arbitrarily designed according to the first embodiment of the present invention.
- the display screen is displayed by the image input unit reading the design image and creating the input screen data, and the screen data creation unit creating the candidate screen data corresponding to the input screen data based on the type of the input component and the additional information. It is possible to faithfully reproduce the design referred to when creating it and reduce the number of corrections. In addition, by modifying the candidate screen data with reference to the past data and proposing it, it is possible to assist the user when creating the display screen.
- FIG. 8 is a block diagram showing an outline of the image creation support device according to the second embodiment of the present invention.
- the image creation support device 100 is applied in combination with the display device 10 as in the first embodiment, and includes the main control unit 110, the image input unit 120, and the image input unit 120.
- the database 130, the screen data creation unit 140, and the frequency calculation unit 150 that calculates the usage frequency FI for each type PT of the component data based on the number information CI included in the component information PI stored in the database 130 are provided.
- the frequency calculation unit 150 When the frequency calculation unit 150 receives the part information PI of the part currently determined from the screen data creation unit 140, it accesses the database 130 and receives the number information CI corresponding to the part information PI, and the frequency information CI is used as the number information CI. On the other hand, the frequency of use FI for each part type BT is obtained by performing a predetermined calculation. Then, the frequency of use FI is configured to be sent to the screen data creation unit 140.
- FIG. 9 is a block diagram showing an example of a specific configuration of the screen data creation unit according to the second embodiment.
- the screen data creation unit 140 adds information AI to the type PT of the input component based on the type determination unit 142, the group definition information GI, and the usage frequency FI calculated by the frequency calculation unit 150. Includes an additional information creation unit 144 that creates the above. Then, the screen data creation unit 140 creates a candidate screen data CD corresponding to the input screen data ID based on the type PT determined by the type determination unit 142 and the additional information AI created by the additional information creation unit 144. , Is configured to be sent to the main control unit 110.
- the type determination unit 142 individually extracts the parts included in, for example, the first quadrant Q1 of the input screen data ID.
- the part information PI is extracted from the first quadrant Q1 shown in FIG. 10A, for example, for one label LA2, one lamp LP1, one button BT, and one part of unknown type.
- the image creation support device 100 for such a part of unknown type, use of each part data from the number of times information CI based on the number of times of past use for each part data stored in the database 130.
- the frequency FI is calculated, and the calculation result is sent to the screen data creation unit 140.
- the frequency calculation unit 150 reads the number information CI that summarizes the number of times of the types used in the past for each shape, color, and position of the part.
- the number-of-times information CI an item having priority over the others in the determination of the type PT is determined, and a weighting coefficient weighted for each item is set. This weighting coefficient can be arbitrarily determined in consideration of the application of the device to which the display screen is applied.
- the number-of-times value is applied to the following formula for each type of part.
- the additional information creation unit 144 determines from the above calculation results that the lamp usage frequency FI is the highest in the number information CI shown in FIG. 10B, and the unknown component type PT is determined. Additional information AI presumed to be lamp LP1 is created. As a result, the accuracy of discriminating the component type PT in the candidate screen data CD can be improved.
- FIG. 11 is a block diagram showing a modified example of the screen data creation unit according to the second embodiment.
- the screen data creation unit 140 of the image creation support device 100 according to the second embodiment may be configured to incorporate the frequency calculation unit 150 shown in FIG.
- the frequency calculation unit 150 can share the information of the type PT of the part determined by the type determination unit 142 inside the screen data creation unit 140, and does not require a special configuration for transmitting the information. It is possible to simplify the configuration of the entire device 100.
- the embodiment According to the image creation support device and the image creation support method for presenting the candidate screen data of the display screen based on the design image of the display screen arbitrarily designed according to the second embodiment of the present invention, the embodiment.
- the present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit.
- Display device 12 Display unit 100 Image creation support device 110 Main control unit 120 Image input unit 130 Database 140 Screen data creation unit 142 Type discrimination unit 144 Additional information creation unit 150 Frequency calculation unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
任意にデザインされた表示画面のデザイン画Pに基づいて当該表示画面の候補画面データCDを提示する画像作成支援装置100である。本発明による画像作成支援装置100は、デザイン画Pを読み取って入力画面データIDを作成する画像入力部120と、過去にデザインされた部品データを蓄積したデータベース130と、当該部品データから表示画面に対応する候補画面データCDを作成する画面データ作成部140と、を備え、データベース130は、部品データの種類及びその組合せによるグループ定義情報GIを併せて蓄積しており、画面データ作成部140は、入力部品の種類PTを判別する種類判別部142と、グループ定義情報GIに基づいて種類PTと組合せる付加情報AIを作成する付加情報作成部144と、含む。
Description
本発明は、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法に関する。
工作機械に代表される産業機械等の動作を制御する制御装置において、制御対象物の状態を示す数値や制御パラメータ等を表示する表示装置(例えばタッチパネル方式の表示装置)には、これらの数値や制御パラメータを表示する表示画面に制御する工程や機能を選択するためのボタンやラベルあるいはリストボックス等の部品がレイアウトされる。制御装置のユーザは、これらの部品にタッチすることで、制御対象物の動作や機能を選択できる。
このような制御装置に適用される表示装置は、通常、ユーザによるオンオフ等の選択動作を入力あるいは表示可能なユーザインターフェースとして機能するため、ユーザが入力しやすいように、表示画面における上記部品のレイアウトを工夫する必要がある。そして、これらの表示画面における部品のレイアウトを決定あるいは作成するために、画像作成支援技術が採用されている。
こうした表示装置に対する画像作成支援技術の一例として、特許文献1には、各々が複数の種別のいずれかに属する複数の部品と、1乃至複数の部品を含む部品集合画面とを記憶するデータ記憶手段を備え、部品集合画面を編集画面上でユーザに編集させることによってプログラマブル表示器用の部品集合画面を生成し、生成した部品集合画面をデータ記憶手段に記憶し、記憶された1乃至複数の部品集合画面を含むプロジェクトデータを作成するプログラマブル表示器用画面データ編集装置であって、データ記憶手段に記憶されている部品集合画面の各々について、該部品集合画面に含まれる部品の各々の大きさ及び編集回数に基づいて部品の種別ごとに実質使用面積を算出し、該実質使用面積が最も大きい種別を固有種別として選択し、該固有種別に応じて部品集合画面の用途を判定して、該部品集合画面の用途を示す用途情報を生成する用途情報生成手段と、データ記憶手段に記憶されている部品集合画面の各々に関して、用途情報生成手段が生成した固有種別の実質使用面積と、用途情報とを記憶する属性情報記憶手段と、部品集合画面を新規作成する際に指定された用途と同じ用途の部品集合画面を、データ記憶手段に記憶されている部品集合画面の中から属性情報記憶手段に記憶された用途情報に基づいて抽出し、抽出した部品集合画面の各々に属性情報記憶手段に記憶された固有種別の実質使用面積に基づいた順位を設定する手段と、抽出した部品集合画面の各々を設定された順位に基づいて一覧表示する手段とを有するものが開示されている。このような装置によれば、既存のプロジェクトデータを容易に再利用でき、所望のデータを探すことも容易であるため、似た画面を何度も新たに作る必要がなく、プロジェクトデータを再利用するにあたって時間をかけて目的のデータを探す必要がないとされている。
また、特許文献2には、プログラマブル表示器の表示画面に用いられ部品の状態を示す画面部品のデータである表示データを保持する表示データ保管部と、画面部品を用いて表示画面を作成する表示画面作成部と、表示データを検索するための検索条件の受け付け画面を表示する表示部と、を備えた表示画面作成支援装置であって、表示画面作成部が、検索条件を受け付けて、検索条件に基づいて表示データ保管部の表示データを検索する検索実行部を有するものが開示されている。このような装置によれば、検索キーワードと一致した検索用タグが付与されている表示データに対応する画面部品が表示属性で分類されたグループに纏められてグループ毎に一覧で表示されることにより、デザインが統一された表示画面を使用者が効率的に作成することが可能になるとされている。
ところで、上記した表示装置の表示画面を作成する際には、当該表示画面をイメージしたデザイン画を用いることが一般的である。このような場合、表示画面のデザインを行うデザイン画の作成者と、制御装置における表示装置の表示画面を作成する作業者とが異なることが多くある。
こうしてデザイン画を参照しつつ表示画面を作成する場合、例えば特許文献1あるいは特許文献2に開示された支援技術を用いたとしても、作成したいデザイン画に表現されている各種部品の種類や形状等に対して、参考となる部品データを蓄積されたデータベースから抽出して提示する動作に留まる。したがって、表示画面を作成する作業者は、支援装置から提示された部品データの中から適したものを選択するとともに、参照するデザイン画に合わせて位置や細部の形状等を修正する必要が生じる。
このような経緯から、表示画面を作成する際に参照するデザインを忠実に再現して修正部分を少なくすることができる画像作成支援技術が求められている。
本発明の一態様による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置は、デザイン画を読み取って入力画面データを作成する画像入力部と、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベースと、当該データベースから部品データを取得して表示画面に対応する候補画面データを作成する画面データ作成部と、を備え、データベースは、部品データの種類、及びその組合せによるグループ定義情報を併せて蓄積しており、画面データ作成部は、入力画面データに含まれる入力部品の種類を判別する種類判別部と、グループ定義情報に基づいて入力部品の種類と組み合わせる付加情報を作成する付加情報作成部と、を含むとともに、これら入力部品の種類及び付加情報に基づいて、入力画面データに対応する候補画面データを作成する。
本発明の一態様による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを自動的に作成する画像作成支援方法は、デザイン画を読み取って入力画面データを作成した後、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベースから上記部品データを取得して表示画面に対応する候補画面データを作成する際に、データベースには、部品データの種類、及びその組合せによるグループ定義情報が併せて蓄積されており、候補画面データは、入力画面データに含まれる入力部品の種類を判別するとともに、グループ定義情報に基づいて入力部品の種類と組み合わせる付加情報を作成した後、これら入力部品の種類及び付加情報に基づいて作成される。
本発明の一態様によれば、画像入力部がデザイン画を読み取って入力画面データを作成するとともに、画面データ作成部が入力部品の種類及び付加情報に基づいて入力画面データに対応する候補画面データを作成することにより、表示画面を作成する際に参照するデザインを忠実に再現して修正部分を少なくすることができる。
以下、本発明の代表的な一例による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の具体的な実施形態を図面と共に説明する。
<実施例1>
まず、図1~図6Bを用いて、本発明の代表的な一例である実施例1による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の概要を説明する。図1は、本発明の実施例1による画像作成支援装置の概要を示すブロック図である。図1に示すように、画像作成支援装置100は、その一例として、例えば産業機械等の制御対象物に備えられた表示装置10と組合せて適用されるものであって、上記表示装置10との間でデータのやり取りを行うとともに画像作成支援装置100全体の動作も制御する主制御部110と、紙媒体や電子データとして作成されたデザイン画Pを読み取って入力画面データIDを作成する画像入力部120と、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベース130と、データベース130から上記部品データを取得して表示画面に対応する候補画面データCDを作成する画面データ作成部140と、を備える。
まず、図1~図6Bを用いて、本発明の代表的な一例である実施例1による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の概要を説明する。図1は、本発明の実施例1による画像作成支援装置の概要を示すブロック図である。図1に示すように、画像作成支援装置100は、その一例として、例えば産業機械等の制御対象物に備えられた表示装置10と組合せて適用されるものであって、上記表示装置10との間でデータのやり取りを行うとともに画像作成支援装置100全体の動作も制御する主制御部110と、紙媒体や電子データとして作成されたデザイン画Pを読み取って入力画面データIDを作成する画像入力部120と、過去にデザインされた表示画面を構成する表示部品の部品データを蓄積したデータベース130と、データベース130から上記部品データを取得して表示画面に対応する候補画面データCDを作成する画面データ作成部140と、を備える。
表示装置10は、制御対象物の一部を構成して当該制御対象物の状態を示す数値や制御パラメータ等を表示する表示部12を備えている。また、表示装置10は好ましくは、ユーザが機能の選択や制御すべき数値の入力を行うことができるような入力機構(図示せず)を含むユーザインターフェースとして構成される。このような表示装置として、タッチパネル方式の表示装置等が例示できる。
画像作成支援装置100の主制御部110は、後述する画面データ作成部140から候補画面データCDを受け、この候補画面データCDを表示装置10に送信する機能を有する。このとき、主制御部110は、表示装置10と有線あるいは無線で電気的に接続されており、相互に信号の送受信が可能な構成とされている。また、主制御部110は、画像入力部120や画面データ作成部140を含む画像作成支援装置100全体の動作の制御をも行う。
画像入力部120は、デザイナー等が予め作成した表示画面のデザイン画Pを読み取って電子化した入力画面データIDとする機能を備える。デザイン画Pは、その一例として図3に示すように、フルカラーの手書きの絵や印刷された文字として紙等の媒体に記録されたものである。図3に示す例では、デザイン画Pは、パラメータや数値を表示するラベルLA1、LA2と、単色あるいは複数の色で点灯あるいは消灯するランプLP1、LP2と、画面にタッチ(押圧)することで選択の有無を入力可能なボタンBTと、所定の文章等が記載されたリストボックスLBと、を単数あるいは複数含んでいる。
画像入力部120では、デザイン画Pの全体の領域がデータとして読み込まれ、上記したラベルLA1、LA2やランプLP1、LP2、ボタンBTあるいはリストボックスLB等がそれぞれデザイン画Pの「部品データ」として取り込まれる。このような画像入力部120としては、光学的スキャナや撮影した画像を画素データに変換する機能を備えた装置等が例示できる。
入力画面データIDは、その一例として図4Aに示すように、例えばデザイン画Pの全面領域を第1象限Q1~第4象限Q4に分割し、それぞれの象限に含まれる部品に位置情報として象限名を付加した形でデータ化される。これにより、図4Bに示すように、それぞれの部品に対して、形状、色、位置等が基本情報として付与される。ただし、図4A~図4Cでは各々の部品に「ラベル」、「ボタン」、「ランプ」、「リストボックス」等の種類を付しているが、画像入力部120でデザイン画を読み取って電子データ化した段階では、それぞれの部品の種類については判別できていないものとする。
データベース130は、過去に使用したあるいは読み込んだ表示画面の「部品データ」が蓄積されている。このとき、蓄積された「部品データ」には、上記した形状、色、位置に加えて種類が追加された状態で「部品情報」PIとして格納されている。また、「部品データ」の部品情報PIには、特定の部品について、その形状や色、位置あるいは種類がそれぞれの因子に対して何回使用されたかといった「回数情報」CI、及び特定の部品が複数個まとまってグループを形成している場合の形状、色、位置や種類の組合せが、「グループ定義情報」GIとして併せて含まれている。
図2は、実施例1による画面データ作成部の具体的な構成の一例を示すブロック図である。図2に示すように、画面データ作成部140は、入力画面データIDに含まれる入力部品の種類PTを判別する種類判別部142と、グループ定義情報GIに基づいて入力部品の種類PTに対する付加情報AIを作成する付加情報作成部144と、含む。そして、画面データ作成部140は、種類判別部142で判別された部品の種類PTと付加情報作成部144で作成された付加情報AIとに基づいて入力画面データIDに対応する候補画面データCDを作成し、主制御部110に送るように構成されている。
次に、実施例1による画像作成支援装置100を用いた画像作成支援方法の手順を説明する。
まず、その一例として図3に示すようなデザイン画Pを画像入力部120から読み取って、図4Aに示すような入力画面データIDを作成する。そして、作成された入力画面データIDは、データベース130に蓄積されるとともに画面データ作成部140に送られる。
画面データ作成部140は、図2に示すように、画像入力部120から入力画面データIDを受け取るとともに、データベース130にアクセスしてグループ定義情報GI等を入手する。一方、画面データ作成部140は、種類判別部142で判別した部品の種類PTと付加情報作成部144で作成した付加情報AIとを含む部品情報PIをデータベース130に送信する。これにより、データベース130に蓄積される情報が更新される。
図4Bに示すように、種類判別部142は、入力画面データIDの例えば第1象限Q1に含まれる部品を個別に抽出する。このとき、種類判別部142における部品の種類PTの判別手法としては、その一例として、部品の形状と種類とを結びつくように定義しておき、判別すべき部品の形状を優先的に判別の指標とする方式等を適用できる。これにより、図4Bに示す第1象限Q1からは、例えば1つのラベルLA2と3つのランプLP1について、各々の部品の種類PTを含む部品データの基本情報としての部品情報PIが抽出される。
同様に、図4Cに示す第4象限Q4においては、例えば3つのランプLP2と1つのリストボックスLBについて、各々の部品の種類PTを含む部品データの部品情報PIが抽出される。このようにして抽出された部品情報PIは、新たな判別のための参照データとしてデータベース130に送られて追加蓄積される。
一方、実施例1による画像作成支援装置100では、必要に応じて種類判別部142で判別した部品の種類PTを訂正する付加情報AIを作成する動作が実行される。すなわち、まず種類判別部142で判別された部品データの種類PTが、付加情報作成部144に送られる。
続いて、画面データ作成部140がデータベース130にアクセスして、過去に蓄積された部品データに基づくグループ定義情報GIを受信する。このとき、現在判別されている部品の部品情報PIを参照して、判別対象の部品の形状や色あるいは位置が属するグループを選択する。
例えば、図5Aに示すように、入力画面データIDの第1象限Q1において、1つのラベルLA2、1つのボタンBT及び2つのランプLP1と判別された部品データが抽出された際に、併せて図5Bに示すような位置Q1に対するグループ定義情報GIが受信されたとする。この場合、抽出された部品データ上ではボタンBTとランプLP1とが混在しているが、過去に作成された表示画面に基づくグループ定義情報GIではランプLP1のみ3つで構成されている例が存在しているため、付加情報作成部144は、種類判別部142でボタンBTと判別された部品の種類PTをランプLP1に訂正するとした付加情報AIを作成する。そして、これらの情報を組合せることにより、図5Cに示すように、今回入力された入力画面データIDについては、ボタンBTと判別された部品3の種類PTをランプLP1として認識する。
続いて、画面データ作成部140は、図6Aに示すように、入力画面データIDと、種類判別部142で判別された部品の種類PTと、付加情報作成部144で作成された付加情報AIと、を統合して、第1象限Q1~第4象限Q4に抽出された部品を配置して候補画面データCDを作成し、主制御部110に送信する。そして、作成された候補画面データCDは、主制御部110から表示装置10に転送されて表示部12に表示される。
このとき、配置された部品の詳細な位置についての修正が不要である場合には、図6Bに示すように、そのまま表示画面Dとして確定される。一方、例えば図6Aに示すように、画面データ作成部140で作成された状態での候補画面データCDにおける部品の位置を修正すべき、あるいは修正したいとユーザが判断した場合は、表示部12に表示された候補画面データCDに対して直接部品を動かすための入力を行う等の選択をユーザが行うことにより、最終的な表示画面Dとするような機能を付加してもよい。
また、図7A及び図7Bは、付加情報作成部で作成される付加情報の変形例を示す概略図である。例えば、図7Aに示すように、データベース130に蓄積されたグループ定義情報GIとしてパターンA1あるいはA2のようなグループが保存されていたとする。このとき、図7Bに示すように1つの位置からボタンBTが4つ抽出された場合であっても、パターンA1の場合がより数多く使用されて推奨されるものとして蓄積されていれば、候補画面データCDには6つのボタンBTを含むものとして提示させることもできる。
以上のように、本発明の第1の実施形態による任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法によれば、画像入力部がデザイン画を読み取って入力画面データを作成するとともに、画面データ作成部が入力部品の種類及び付加情報に基づいて入力画面データに対応する候補画面データを作成することにより、表示画面を作成する際に参照するデザインを忠実に再現して修正部分を少なくすることができる。また、過去のデータを参照した候補画面データに修正して提案することにより、ユーザの表示画面作成時の補助が可能となる。
<実施例2>
次に、図8~図11を用いて、本発明の実施例2による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の概要を説明する。なお、実施例2による画像作成支援装置及び画像作成支援方法の説明において、実施例1で示した構成と同一あるいは共通するものについては、図面上で同一の符号を付して再度の説明を省略する。
次に、図8~図11を用いて、本発明の実施例2による、任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法の概要を説明する。なお、実施例2による画像作成支援装置及び画像作成支援方法の説明において、実施例1で示した構成と同一あるいは共通するものについては、図面上で同一の符号を付して再度の説明を省略する。
図8は、本発明の実施例2による画像作成支援装置の概要を示すブロック図である。図8に示すように、画像作成支援装置100は、その一例として、実施例1と同様に表示装置10と組合せて適用されるものであって、主制御部110と、画像入力部120と、データベース130と、画面データ作成部140と、データベース130が蓄積する部品情報PIに含まれる回数情報CIに基づいて部品データの種類PTごとの使用頻度FIを算出する頻度算出部150と、を備える。
頻度算出部150は、画面データ作成部140から現在判別している部品の部品情報PIを受けると、データベース130にアクセスして当該部品情報PIに対応する回数情報CIを受け取り、この回数情報CIに対して所定の演算を行うことにより部品の種類BTごとの使用頻度FIを求める。そして、この使用頻度FIを画面データ作成部140に送るように構成されている。
図9は、実施例2による画面データ作成部の具体的な構成の一例を示すブロック図である。図9に示すように、画面データ作成部140は、種類判別部142と、グループ定義情報GI及び上記頻度算出部150で算出された使用頻度FIに基づいて、入力部品の種類PTに対する付加情報AIを作成する付加情報作成部144と、を含む。そして、画面データ作成部140は、種類判別部142で判別された種類PTと付加情報作成部144で作成された付加情報AIとに基づいて入力画面データIDに対応する候補画面データCDを作成し、主制御部110に送るように構成されている。
次に、実施例2による画像作成支援装置100を用いた画像作成支援方法の一例を説明する。
実施例2による画像作成支援装置100において、種類判別部142は、図10Aに示すように、入力画面データIDの例えば第1象限Q1に含まれる部品を個別に抽出する。これにより、図10Aに示す第1象限Q1からは、例えば1つのラベルLA2と1つのランプLP1と1つのボタンBTと種類の不明な1つの部品について、部品情報PIが抽出される。
ここで、実施例2による画像作成支援装置100では、このように種類の不明な部品について、データベース130に蓄積されている部品データごとの過去の使用回数による回数情報CIから当該部品データごとの使用頻度FIを算出し、その算出結果を画面データ作成部140に送る。
すなわち、頻度算出部150は、例えば図10Bに示すように、部品の形状、色及び位置ごとに過去に使用された種類の回数をまとめた回数情報CIを読み込む。ここで、回数情報CIには、種類PTの判別において他よりも優先する項目を決めてその項目ごとに重み付けした重み係数が設定されている。この重み係数は表示画面が適用される装置の用途等を考慮して任意に決めることができる。
回数情報CIから使用頻度FIを算出する手法としては、例えば、部品の種類ごとに以下のような数式に回数値を当てはめて算出する。
そして、画面データ作成部140では、付加情報作成部144が以上の算出結果から、図10Bに示した回数情報CIにおいてランプの使用頻度FIが最も大きいと判断して、不明な部品の種類PTがランプLP1であると推定する付加情報AIを作成する。これにより、候補画面データCDにおける部品の種類PTの判別精度を向上することができる。
また、図11は、実施例2による画面データ作成部の変形例を示すブロック図である。
図11に示すように、実施例2による画像作成支援装置100の画面データ作成部140は、図8で示した頻度算出部150を内蔵する構成としてもよい。この場合、頻度算出部150は種類判別部142で判別された部品の種類PTの情報を画面データ作成部140の内部で共有でき、かつ情報を伝送する特別な構成が不要なるため、画像作成支援装置100全体の構成を簡素化することが可能となる。
図11に示すように、実施例2による画像作成支援装置100の画面データ作成部140は、図8で示した頻度算出部150を内蔵する構成としてもよい。この場合、頻度算出部150は種類判別部142で判別された部品の種類PTの情報を画面データ作成部140の内部で共有でき、かつ情報を伝送する特別な構成が不要なるため、画像作成支援装置100全体の構成を簡素化することが可能となる。
以上のように、本発明の実施例2による任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置及び画像作成支援方法によれば、実施例1で得られた効果に加えて、過去の部品の使用頻度から種類が不明である部品に対してもその種類を推定できるとともに、最終的な候補画面データを作成する際の部品の種類の判別精度を向上させることができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
10 表示装置
12 表示部
100 画像作成支援装置
110 主制御部
120 画像入力部
130 データベース
140 画面データ作成部
142 種類判別部
144 付加情報作成部
150 頻度算出部
12 表示部
100 画像作成支援装置
110 主制御部
120 画像入力部
130 データベース
140 画面データ作成部
142 種類判別部
144 付加情報作成部
150 頻度算出部
Claims (9)
- 任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを提示する画像作成支援装置であって、
前記デザイン画を読み取って入力画面データを作成する画像入力部と、過去にデザインされた前記表示画面を構成する表示部品の部品データを蓄積したデータベースと、前記データベースから前記部品データを取得して前記表示画面に対応する前記候補画面データを作成する画面データ作成部と、を備え、
前記データベースは、前記部品データの種類及び前記部品データの組合せによるグループ定義情報を併せて蓄積しており、
前記画面データ作成部は、前記入力画面データに含まれる入力部品の種類を判別する種類判別部と、前記グループ定義情報に基づいて前記入力部品の種類と組み合わせる付加情報を作成する付加情報作成部と、を含むとともに、前記入力部品の種類及び前記付加情報に基づいて前記入力画面データに対応する前記候補画面データを作成する
画像作成支援装置。 - 前記データベースは前記部品データごとの使用回数による回数情報をさらに蓄積しており、
前記回数情報に基づいて前記部品データの種類ごとの使用頻度を算出する頻度算出部をさらに含むとともに、
前記画面データ作成部は、前記入力部品の種類及び前記付加情報に加えて前記使用頻度を考慮して、前記候補画面データを作成する
請求項1に記載の画像作成支援装置。 - 前記頻度算出部は、前記画面データ作成部に内蔵されている
請求項2に記載の画像作成支援装置。 - 前記グループ定義情報は同一グループ内における前記部品データの個数を含んでおり、 前記付加情報作成部は、前記部品データの数に基づいて前記入力画面データに含まれる前記入力部品の推奨数を前記付加情報に追加する
請求項1~3のいずれか1項に記載の画像作成支援装置。 - 前記画面データ作成部は、ユーザからの選択に基づいて前記候補画面データを修正する機能を有する
請求項1~4のいずれか1項に記載の画像作成支援装置。 - 任意にデザインされた表示画面のデザイン画に基づいて当該表示画面の候補画面データを自動的に作成する画像作成支援方法であって、
前記デザイン画を読み取って入力画面データを作成した後、過去にデザインされた前記表示画面を構成する表示部品の部品データを蓄積したデータベースから前記部品データを取得して前記表示画面に対応する候補画面データを作成する際に、
前記データベースには、前記部品データの種類及び前記部品データの組合せによるグループ定義情報が併せて蓄積されており、
前記候補画面データは、前記入力画面データに含まれる入力部品の種類を判別するとともに、前記グループ定義情報に基づいて前記入力部品の種類と組み合わせる付加情報を作成した後、前記入力部品の種類及び前記付加情報に基づいて作成される
画像作成支援方法。 - 前記データベースには、前記部品データごとの使用回数による回数情報がさらに蓄積されており、
前記回数情報に基づいて前記部品データの種類ごとの使用頻度を算出するとともに、
前記候補画面データの作成は、前記入力部品の種類及び前記付加情報に加えて前記使用頻度を考慮して作成される
請求項6に記載の画像作成支援方法。 - 前記グループ定義情報は同一グループ内における前記部品データの個数を含んでおり、 前記部品データの数に基づいて前記入力画面データに含まれる前記入力部品の推奨数を前記付加情報に追加する
請求項6又は7に記載の画像作成支援方法。 - 前記候補画面データを表示後に、ユーザからの選択に基づいて当該候補画面データを修正可能とする
請求項6~8のいずれか1項に記載の画像作成支援方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180010036.6A CN115004234A (zh) | 2020-01-17 | 2021-01-14 | 图像生成辅助装置以及图像生成辅助方法 |
DE112021000614.2T DE112021000614T5 (de) | 2020-01-17 | 2021-01-14 | Bilderzeugungs-unterstützungsvorrichtung und bilderzeugungs-unterstützungsverfahren |
JP2021571229A JP7453256B2 (ja) | 2020-01-17 | 2021-01-14 | 画像作成支援装置及び画像作成支援方法 |
US17/758,964 US20230083887A1 (en) | 2020-01-17 | 2021-01-14 | Image creation support device and image creation support method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-006106 | 2020-01-17 | ||
JP2020006106 | 2020-01-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021145379A1 true WO2021145379A1 (ja) | 2021-07-22 |
Family
ID=76864408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/001055 WO2021145379A1 (ja) | 2020-01-17 | 2021-01-14 | 画像作成支援装置及び画像作成支援方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230083887A1 (ja) |
JP (1) | JP7453256B2 (ja) |
CN (1) | CN115004234A (ja) |
DE (1) | DE112021000614T5 (ja) |
WO (1) | WO2021145379A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06332645A (ja) * | 1993-05-26 | 1994-12-02 | Nippon Telegr & Teleph Corp <Ntt> | データ入出力画面構築方式 |
JPH08166865A (ja) * | 1994-12-12 | 1996-06-25 | Ricoh Co Ltd | 画面生成方法及びその装置 |
JP2004272865A (ja) * | 2003-03-10 | 2004-09-30 | Yoshio Iwasaki | 業務画面自動作成ツール |
JP2008226102A (ja) * | 2007-03-15 | 2008-09-25 | Kyocera Mita Corp | 電子機器、マニュアル作成方法、及びマニュアル作成プログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690396B1 (en) * | 1999-12-27 | 2004-02-10 | Gateway, Inc. | Scannable design of an executable |
US7747941B2 (en) * | 2002-12-18 | 2010-06-29 | International Business Machines Corporation | Webpage generation tool and method |
US7412687B2 (en) * | 2003-10-15 | 2008-08-12 | International Business Machines Corporation | Creating customized applications using templates having points of variability |
US7617449B2 (en) * | 2004-05-28 | 2009-11-10 | Microsoft Corporation | Method and system for mapping content between a starting template and a target template |
US20060085470A1 (en) * | 2004-10-15 | 2006-04-20 | Matthias Schmitt | Database record templates |
US9575735B2 (en) * | 2005-12-27 | 2017-02-21 | International Business Machines Corporation | Application template creation and management |
US8560941B2 (en) * | 2009-04-08 | 2013-10-15 | Microsoft Corporation | Schema based user interface mechanisms |
JP5396490B2 (ja) * | 2010-02-10 | 2014-01-22 | 株式会社小松製作所 | 摩耗量測定装置、摩耗量測定方法、摩耗量測定プログラムおよび記録媒体 |
CN102959511B (zh) * | 2011-06-20 | 2016-05-25 | 松下电器(美国)知识产权公司 | Gui程序制作辅助装置、gui程序制作辅助方法、程序及集成电路 |
JP5806061B2 (ja) * | 2011-09-28 | 2015-11-10 | 発紘電機株式会社 | プログラマブル表示器の支援装置、そのプログラム、操作画面一括変更支援方法 |
US9417760B2 (en) * | 2012-04-13 | 2016-08-16 | Google Inc. | Auto-completion for user interface design |
US9285948B2 (en) * | 2013-03-15 | 2016-03-15 | Assima Switzerland Sa | System and method for interface display screen manipulation |
US9461972B1 (en) * | 2014-03-19 | 2016-10-04 | NetSuite Inc. | Intelligently designed user interface based on user behavior |
WO2016043729A1 (en) * | 2014-09-17 | 2016-03-24 | Hewlett Packard Enterprise Development Lp | User interface layout comparison |
US9928043B2 (en) * | 2014-10-03 | 2018-03-27 | Sap Se | User-driven evolving user interfaces |
CA2987696A1 (en) * | 2015-06-07 | 2016-12-15 | Wix.Com Ltd | System and method for the generation of an adaptive user interface in a website building system |
US20180096358A1 (en) * | 2016-09-30 | 2018-04-05 | Wipro Limited | Methods and Systems for Managing User Experience Design |
JP6385616B1 (ja) | 2016-10-17 | 2018-09-05 | 三菱電機株式会社 | 表示画面作成支援装置および表示画面作成支援プログラム |
US20180275845A1 (en) * | 2017-03-23 | 2018-09-27 | International Business Machines Corporation | Dashboard Creation With Popular Patterns and Suggestions Using Analytics |
US20180300296A1 (en) * | 2017-04-17 | 2018-10-18 | Microstrategy Incorporated | Document similarity analysis |
US10360473B2 (en) * | 2017-05-30 | 2019-07-23 | Adobe Inc. | User interface creation from screenshots |
US11151313B2 (en) * | 2018-09-28 | 2021-10-19 | Microsoft Technology Licensing, Llc | Personalization of content suggestions for document creation |
US10789052B2 (en) * | 2018-10-29 | 2020-09-29 | Salesforce.Com, Inc. | User interface (UI) design system mapping platform for automatically mapping design system components to a design document file from a design tool to generate a mapped specification |
CN114127732A (zh) * | 2019-04-15 | 2022-03-01 | 坎瓦有限公司 | 基于设计模板和另外的设计生成设计的***和方法 |
-
2021
- 2021-01-14 US US17/758,964 patent/US20230083887A1/en active Pending
- 2021-01-14 DE DE112021000614.2T patent/DE112021000614T5/de active Pending
- 2021-01-14 JP JP2021571229A patent/JP7453256B2/ja active Active
- 2021-01-14 CN CN202180010036.6A patent/CN115004234A/zh active Pending
- 2021-01-14 WO PCT/JP2021/001055 patent/WO2021145379A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06332645A (ja) * | 1993-05-26 | 1994-12-02 | Nippon Telegr & Teleph Corp <Ntt> | データ入出力画面構築方式 |
JPH08166865A (ja) * | 1994-12-12 | 1996-06-25 | Ricoh Co Ltd | 画面生成方法及びその装置 |
JP2004272865A (ja) * | 2003-03-10 | 2004-09-30 | Yoshio Iwasaki | 業務画面自動作成ツール |
JP2008226102A (ja) * | 2007-03-15 | 2008-09-25 | Kyocera Mita Corp | 電子機器、マニュアル作成方法、及びマニュアル作成プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230083887A1 (en) | 2023-03-16 |
CN115004234A (zh) | 2022-09-02 |
DE112021000614T5 (de) | 2022-12-15 |
JPWO2021145379A1 (ja) | 2021-07-22 |
JP7453256B2 (ja) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105988753B (zh) | 信息处理装置和信息处理*** | |
JP5506176B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2008003649A (ja) | 操作画面生成方法、操作画面生成装置、電子機器、プログラム | |
JP4827536B2 (ja) | 情報処理装置および出力情報生成方法およびプログラム | |
JP2011070472A (ja) | アプリケーション開発支援方法、システム、及びプログラム | |
US7934157B2 (en) | Utilization of tree view for printing data | |
KR101610605B1 (ko) | 전자 메뉴얼 열람 장치 및 시스템 | |
WO2021145379A1 (ja) | 画像作成支援装置及び画像作成支援方法 | |
JP2007179361A (ja) | ダイアログ表示変更方法,プログラム,および電子機器 | |
JP2009176166A (ja) | 印刷指示装置、印刷システム、印刷方法、プログラムおよび記録媒体 | |
WO2017150084A1 (ja) | 電子機器およびマーカー処理方法 | |
JP2015069496A (ja) | 名刺情報管理システム、画像形成装置、及び名刺情報管理方法 | |
JP5140950B2 (ja) | 操作画面生成方法、操作画面生成装置、電子機器、プログラム | |
US8190563B2 (en) | Document management apparatus, document management method, and computer-readable encoding medium recorded with a computer program | |
JP5075061B2 (ja) | 情報処理装置、情報処理装置の制御方法、コンピュータプログラム及び記憶媒体 | |
CN100588218C (zh) | 图像形成装置和电子邮件传送服务器 | |
KR101214107B1 (ko) | 프로젝터 및 화상 투사 방법 | |
US20200274976A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP2010244110A (ja) | ソフトウエア設計支援装置及びコンピュータプログラム | |
JP5228543B2 (ja) | 印刷ジョブ処理システムおよび印刷ジョブ処理方法 | |
US20230058163A1 (en) | Information processing apparatus, product display system, recording medium, and product display method | |
JP7522514B1 (ja) | 図面処理装置、及び、図面処理方法 | |
JP2019074875A (ja) | 情報処理装置、制御方法、およびプログラム | |
WO2020179837A1 (en) | Cooperation processing apparatus and method | |
JP2010134531A (ja) | 情報処理装置、処理実行装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21741248 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021571229 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21741248 Country of ref document: EP Kind code of ref document: A1 |