JP2019101819A - Difference image generation device and program - Google Patents
Difference image generation device and program Download PDFInfo
- Publication number
- JP2019101819A JP2019101819A JP2017232823A JP2017232823A JP2019101819A JP 2019101819 A JP2019101819 A JP 2019101819A JP 2017232823 A JP2017232823 A JP 2017232823A JP 2017232823 A JP2017232823 A JP 2017232823A JP 2019101819 A JP2019101819 A JP 2019101819A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- image
- movement amount
- pair
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 239000002131 composite material Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 21
- 239000000284 extract Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、差異画像生成装置及びプログラムに関する。 The present invention relates to a difference image generation apparatus and program.
多環境においてアプリケーションを動作させたときのＵＩレイアウト崩れの検出や、回帰テストにおけるデグレード検出などを目的に、アプリケーションの実行結果として表示される画面について、正しく表示された画面（正解画面）の画像とテスト対象画面（比較画面）の画像を比較することで、誤りの箇所を自動検出するツールが存在する。画素単位の差異抽出ツール（例えばＤｉｆｆＩｍａｇｅ（https://ja.osdn.net/projects/sfnet_diffimg/））や画素単位の差異抽出技術（非特許文献１）では、正解画面と比較画面の差異を画素単位で比較し、その差分を表示することができる。 For the purpose of detection of UI layout collapse when operating an application in multiple environments, degradation detection in regression test, etc., the screen displayed as the execution result of the application is an image of the correctly displayed screen (correct screen) There is a tool for automatically detecting an error location by comparing the images of the test target screen (comparison screen). Pixel-wise difference extraction tools (eg DiffImage (https://en.osdn.net/projects/sfnet_diffimg/)) and pixel-wise difference extraction techniques (Non-Patent Document 1) The unit can be compared and the difference can be displayed.
非特許文献１のような、画素単位の画像比較は、比較される画面間において対応関係に有る各画面要素の位置が合っていれば、差異の箇所を画素単位で分かり易く表示することができ、細部の違いまで確認できる点が有用である。 In the image comparison in pixel units as in Non-Patent Document 1, the positions of differences can be displayed in an easy-to-understand manner in pixel units if the positions of the respective screen elements in the correspondence relationship between the screens to be compared are matched. It is useful that you can confirm the difference in details.
しかし、対応関係にある画面要素の位置にずれがあると、画面同士を重ねあわせたときに、テストにおいて確認すべき差異の箇所が目立たなくなり、分かりにくくなってしまうという問題がある。 However, if there is a shift in the position of the screen elements in the correspondence relationship, there is a problem that when the screens are superimposed, the place of the difference to be checked in the test becomes inconspicuous, and it becomes difficult to understand.
このようなずれが生じる理由としては、コンシューマ向けにサービスを提供しているアプリケーションでは、広告やニュース記事など、画面を表示するたびにその内容が変わってしまう部分が存在することや、バグなどの要因により、表示されるべき画面要素が表示されなくなる、又はずれて表示されるなどといったことが起こるためである。 The reason for such a gap is that, in applications that provide services for consumers, there are parts such as advertisements and news articles that change in content each time the screen is displayed, and factors such as bugs. As a result, the screen element to be displayed may not be displayed or may be displayed out of alignment.
図１は、既存技術の問題点を説明するための図である。図１では、少なくとも画面要素ａ１と画面要素ａ２、画面要素ｂ１と画面要素ｂ２、画面要素ｃ１と画面要素ｃ２とが対応するが、比較対象の２つの画像において広告領域（画面要素ａ１と画面要素ａ２）の大きさの違いにより、当該広告領域以降にずれが生じているため，画素単位で２つの画像を重ね合わせると、図１の出力結果に示されるように、画面要素ｂ１と画面要素ｂ２とが重ならず、画面要素ｃ１と画面要素ｃ２とが重ならないため、これらの画面要素について、画素単位での違いを把握することが困難になってしまう。 FIG. 1 is a diagram for explaining the problems of the existing technology. In FIG. 1, at least the screen element a1 and the screen element a2, the screen element b1 and the screen element b2, and the screen element c1 and the screen element c2 correspond, but in the two images to be compared, the advertisement area (the screen element a1 and the screen element Since a shift occurs after the advertisement area due to the difference in the size of a2), when two images are superimposed in pixel units, as shown in the output result of FIG. 1, the screen element b1 and the screen element b2 Because the screen element c1 and the screen element c2 do not overlap, it becomes difficult to grasp the difference in pixel units for these screen elements.
本発明は、上記の点に鑑みてなされたものであって、画面画像の比較作業を効率化することを目的とする。 The present invention has been made in view of the above-described points, and an object of the present invention is to streamline the comparison operation of screen images.
そこで上記課題を解決するため、差異画像生成装置は、第１の画面画像の画面要素と、第２の画面画像において当該画面要素に対応する画面要素とのペアを、前記第１の画面画像及び前記第２の画面画像から抽出する抽出部と、前記ペアごとに、当該ペアに係る前記第１の画面画像の画面要素の位置と、前記第２の画面画像の画面要素の位置との移動量を算出する算出部と、前記移動量ごとに、前記第１の画面画像の各画素と、当該画素の位置に対して前記第２の画面画像において当該移動量の分だけずれた各画素とが合成された合成画像を生成する生成部とを有する。 Then, in order to solve the above-mentioned subject, a difference picture generation device compares a pair of a screen element of the 1st screen picture, and a screen element corresponding to the screen element concerned in the 2nd screen picture with the 1st screen picture and Amount of movement between the position of the screen element of the first screen image of the pair and the position of the screen element of the second screen image for each pair, the extraction unit extracting from the second screen image A calculation unit that calculates the each of the movement amounts, each pixel of the first screen image, and each pixel deviated from the position of the pixels by the movement amount in the second screen image And a generation unit that generates a combined image.
画面画像の比較作業を効率化することができる。 The comparison work of screen images can be made efficient.
以下、図面に基づいて本発明の実施の形態を説明する。図２は、本発明の実施の形態における差異画像生成装置１０のハードウェア構成例を示す図である。図２の差異画像生成装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。 Hereinafter, embodiments of the present invention will be described based on the drawings. FIG. 2 is a diagram showing an example of a hardware configuration of the difference image generation device 10 according to the embodiment of the present invention. The difference image generation device 10 of FIG. 2 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, a display device 106, an input device 107, etc. .
差異画像生成装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。 A program for realizing the processing in the difference image generation device 10 is provided by a recording medium 101 such as a CD-ROM. When the recording medium 101 storing the program is set in the drive apparatus 100, the program is installed from the recording medium 101 to the auxiliary storage apparatus 102 via the drive apparatus 100. However, the installation of the program does not necessarily have to be performed from the recording medium 101, and may be downloaded from another computer via a network. The auxiliary storage device 102 stores the installed program and also stores necessary files and data.
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って差異画像生成装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。 The memory device 103 reads out the program from the auxiliary storage device 102 and stores it when there is an instruction to start the program. The CPU 104 implements the function related to the difference image generation device 10 according to the program stored in the memory device 103. The interface device 105 is used as an interface for connecting to a network. The display device 106 displays a graphical user interface (GUI) according to a program. The input device 107 includes a keyboard, a mouse, and the like, and is used to input various operation instructions.
図３は、本発明の実施の形態における差異画像生成装置１０の機能構成例を示す図である。図３において、差異画像生成装置１０は、画像入力部１１、矩形ペア抽出部１２、基準移動量群算出部１３、差異画像生成部１４、及びレポート出力部１５等を有する。これら各部は、差異画像生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。 FIG. 3 is a diagram showing an example of a functional configuration of the difference image generation device 10 according to the embodiment of the present invention. In FIG. 3, the difference image generation apparatus 10 includes an image input unit 11, a rectangle pair extraction unit 12, a reference movement amount group calculation unit 13, a difference image generation unit 14, a report output unit 15, and the like. These units are realized by processing that one or more programs installed in the difference image generation device 10 cause the CPU 104 to execute.
以下、差異画像生成装置１０が実行する処理手順について説明する。図４は、差異画像生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。 Hereinafter, the processing procedure executed by the difference image generation device 10 will be described. FIG. 4 is a flowchart for explaining an example of the processing procedure executed by the difference image generation device 10.
ステップＳ１１０において、画像入力部１１は、ユーザによって指定されたフォルダ配下において、テスト対象の画面ごとに記憶されている、正解画面及び比較画面群を読み込み、正解画面ごとに、同一画面に係る比較画面とのペア情報のリストを生成する。 In step S110, the image input unit 11 reads the correct answer screen and the comparison screen group stored for each screen to be tested under the folder specified by the user, and for each correct answer screen, the comparison screen pertaining to the same screen Generate a list of pair information with
なお、正解画面とは、作成者の意図通りに画面が表示される環境（以下、「正解環境」という。）において当該画面が表示された結果を示す画像データ（以下、「画面画像」という。）をいう。比較画面とは、正解環境とは異なる環境（以下、「比較環境」という。）において表示された結果を示す画面画像をいう。環境は、例えば、画面を表示した端末の機種、ＯＳ（Operating System）、及びブラウザ等の組み合わせによって区別される。更に、ブラウザの表示サイズ別に環境が区別されてもよい。環境は、画面の表示条件の一例であるともいえる。なお、正解画面及び比較画面は、例えば、画面キャプチャ等によって取得されてもよい。 The correct answer screen is image data (hereinafter referred to as a “screen image”) indicating the result of displaying the screen in an environment where the screen is displayed according to the intention of the creator (hereinafter referred to as “correct environment”). Say). The comparison screen refers to a screen image showing a result displayed in an environment (hereinafter referred to as “comparison environment”) different from the correct answer environment. The environment is distinguished by, for example, a combination of a model of a terminal displaying a screen, an OS (Operating System), and a browser. Furthermore, environments may be distinguished according to browser display sizes. The environment can be said to be an example of the display condition of the screen. The correct answer screen and the comparison screen may be acquired by, for example, screen capture.
なお、画面とは、プログラムがコンピュータに表示させる画面をいう。画面は、アプリケーションプログラム等の画面であってもよいし、ＨＴＭＬ（HyperText Markup Language）等によって記述された画面であってもよい。 Here, the screen refers to a screen that the program causes a computer to display. The screen may be a screen of an application program or the like, or may be a screen described in HTML (Hyper Text Markup Language) or the like.
図５は、本発明の実施の形態におけるデータ構造の定義例を示す図である。図５では、本実施の形態において利用される各種のデータのデータ構造が、ＢＮＦ（Backus-Naur Form）によって定義されている。 FIG. 5 is a diagram showing an example of definition of a data structure in the embodiment of the present invention. In FIG. 5, the data structure of various data used in the present embodiment is defined by BNF (Backus-Naur Form).
ステップＳ１１０に関しては、「■入力データとなる画像群」における定義が関連する。ここでは、環境ルートフォルダが、１つの正解環境フォルダと、１以上の比較環境フォルダとを含むことが示されている。また、正解環境フォルダ及び各比較環境フォルダは、それぞれ画面画像（正解画面又は比較画面）を格納した画像ファイルを含むことが示されている。正解環境フォルダに含まれる画像ファイルは、正解画面を格納した画像ファイルであり、比較環境フォルダに含まれる画像ファイルは、比較画面を格納した画像ファイルである。 As for step S110, the definitions in “image group to be input data” are related. Here, it is shown that the environment root folder includes one correct environment folder and one or more comparison environment folders. The correct answer environment folder and each comparison environment folder are shown to each include an image file storing a screen image (correct answer screen or comparison screen). The image file included in the correct answer environment folder is an image file storing a correct answer screen, and the image file included in the comparison environment folder is an image file storing a comparison screen.
図６は、フォルダ構成の一例を示す図である。図６には、環境ルートフォルダの下に、１つの正解環境フォルダと、２つの比較環境フォルダ（比較環境フォルダ（ａ）及び（ｂ））が含まれている例が示されている。正解環境フォルダ及び各比較環境フォルダのそれぞれには、画像ファイルＸ及び画像ファイルＹが格納されている。画像ファイルＸは、画面Ｘの表示結果が画面キャプチャ等されることにより生成された画面画像を格納したファイルである。画像ファイルＹは、画面Ｙの表示結果が画面キャプチャ等されることにより生成された画面画像を格納したファイルである。但し、正解環境フォルダの下の画像ファイルＸ及びＹは、画面Ｘ又は画面Ｙに関する正解画面を格納した画像ファイルである。比較環境フォルダ（ａ）の下の画像ファイルＸ及びＹは、環境（ａ）における画面Ｘ又は画面Ｙの表示結果を示す比較画面を格納した画像ファイルである。比較環境フォルダ（ｂ）の下の画像ファイルＸ及びＹは、環境（ｂ）における画面Ｘ又は画面Ｙの表示結果を示す比較画面を格納した画像ファイルである。なお、図６に示したフォルダ及びファイルは、例えば、補助記憶装置１０２に記憶されている。 FIG. 6 is a diagram showing an example of the folder configuration. FIG. 6 shows an example in which one solution environment folder and two comparison environment folders (comparison environment folders (a) and (b)) are included under the environment root folder. An image file X and an image file Y are stored in each of the correct answer environment folder and each comparison environment folder. The image file X is a file storing a screen image generated by screen capture or the like of the display result of the screen X. The image file Y is a file in which a screen image generated by screen capture of the display result of the screen Y is stored. However, the image files X and Y under the correct answer environment folder are image files storing the correct answer screen regarding the screen X or the screen Y. Image files X and Y under the comparison environment folder (a) are image files storing a comparison screen indicating the display result of the screen X or the screen Y in the environment (a). The image files X and Y under the comparison environment folder (b) are image files storing a comparison screen indicating the display results of the screen X or the screen Y in the environment (b). The folders and files shown in FIG. 6 are stored in the auxiliary storage device 102, for example.
図６の例によれば、ステップＳ１１０では、正解環境フォルダの下の画像ファイルＸに係る正解画面と、比較環境フォルダ（ａ）の下の画像ファイルＸに係る正解画面とのペアと、正解環境フォルダの下の画像ファイルＹに係る正解画面と、比較環境フォルダ（ａ）の下の画像ファイルＹに係る正解画面とのペアと、正解環境フォルダの下の画像ファイルＸに係る正解画面と、比較環境フォルダ（ｂ）の下の画像ファイルＸに係る正解画面とのペアと、正解環境フォルダの下の画像ファイルＹに係る正解画面と、比較環境フォルダ（ｂ）の下の画像ファイルＹに係る正解画面とのペアとの４つのペアに関してペア情報が生成される。 According to the example of FIG. 6, in step S110, a correct answer screen pertaining to image file X under the correct answer environment folder, a pair of a correct answer screen pertaining to image file X under the comparison environment folder (a), and a correct answer environment A pair of the correct answer screen concerning the image file Y under the folder and the correct answer screen concerning the image file Y under the comparison environment folder (a) and the correct answer screen concerning the image file X under the correct answer environment folder Correct pair screen with image file X under environment folder (b), correct screen with image file Y under correct environment folder, correct answer with image file Y under comparison environment folder (b) Pair information is generated for four pairs with the screen and the pair.
なお、ペア情報は、図１０の「■出力データとなるレポート」の欄に記載されているように、正解画面情報、比較画面情報、対応矩形ペア群、基準移動量群及び基準移動量別差異画像群等を含む。正解画面情報とは、正解画面の画面情報である。比較画面情報とは、比較画面の画面情報である。画面情報は、当該画面の画像ファイルと、当該画像ファイルのパス名とを含む情報である。対応矩形ペア群以降については、後述される。 The pair information is described in the column of “report as output data” in FIG. 10, the correct screen information, the comparison screen information, the corresponding rectangular pair group, the reference movement amount group, and the difference according to the reference movement amount Includes image groups etc. The correct answer screen information is screen information of the correct answer screen. Comparison screen information is screen information of a comparison screen. The screen information is information including an image file of the screen and a path name of the image file. The corresponding rectangular pair group and thereafter will be described later.
続いて、画像入力部１１は、結果レポート用の空のデータ領域を生成する（ステップＳ１２０）。なお、結果レポートは、図５に示されるように、１以上のペア情報を含むデータである。 Subsequently, the image input unit 11 generates an empty data area for the result report (step S120). The result report is data including one or more pair information as shown in FIG.
続くステップＳ１３０〜Ｓ１６０は、ステップＳ１１０において生成されたペア情報ごとに実行される。以下、処理対象とされているペア情報を、「対象ペア情報」という。 The following steps S130 to S160 are performed for each pair of information generated in step S110. Hereinafter, the pair information to be processed is referred to as “target pair information”.
ステップＳ１３０において、矩形ペア抽出部１２は、対象ペア情報に係る正解画面及び比較画面から、対応矩形ペア群を抽出する。例えば、矩形ペア抽出部１２は、非特許文献２又は特許文献１等の技術を用いて、当該正解画面及び当該比較画面のそれぞれについて、画面要素等の単位で矩形領域の抽出を行い、当該正解画面及び当該比較画面の間で対応関係にある矩形領域（対応矩形ペア）の全て（対応矩形ペア群）を抽出する。なお、対応関係とは、人間から見て対応する画面要素であると認識されうる関係をいう。したがって、対応関係は、完全一致の関係に限定されない。 In step S130, the rectangular pair extraction unit 12 extracts a corresponding rectangular pair group from the correct answer screen and the comparison screen related to the target pair information. For example, the rectangular pair extraction unit 12 extracts a rectangular area in units of screen elements and the like for each of the correct answer screen and the comparison screen using the technique of Non-Patent Document 2 or Patent Document 1 etc. All the corresponding rectangular pairs (corresponding rectangular pair group) having the corresponding relationship between the screen and the comparison screen are extracted. Note that the correspondence relationship refers to a relationship that can be recognized as a corresponding screen element from the viewpoint of human beings. Therefore, the correspondence is not limited to the perfect match.
図５の「■中間データ」に示されるように、対応矩形ペア群は、０以上の対応矩形ペアを含む。１つの対応矩形ペアは、正解画面矩形、比較画面矩形及び一時算出基準移動量を含む。正解画面矩形は、正解画面から抽出された１つの矩形領域をいい、比較画面矩形は、比較画面から抽出された、正解画面矩形に対応する矩形領域をいう。正解画面矩形及び比較画面矩形のそれぞれは、各矩形領域の左上座標によって表現される。したがって、ステップＳ１３０では、抽出された対応矩形ペアごとに、正解画面矩形の左上座標及び比較画面矩形の左上座標を要素とする対応矩形ペア群が抽出される。なお、抽出された対応矩形ペア群は、対象ペア情報に付与される。また、一時基準移動量については後述される。 As shown in ". Intermediate Data" of FIG. 5, the corresponding rectangle pair group includes zero or more corresponding rectangle pairs. One corresponding rectangular pair includes a correct screen rectangle, a comparison screen rectangle, and a temporary calculation reference movement amount. The correct answer screen rectangle refers to one rectangular area extracted from the correct answer screen, and the comparison screen rectangle refers to a rectangular area corresponding to the correct answer screen rectangle extracted from the comparison screen. Each of the correct screen rectangle and the comparison screen rectangle is expressed by the upper left coordinates of each rectangular area. Therefore, in step S130, a corresponding rectangle pair group having the upper left coordinates of the correct screen rectangle and the upper left coordinates of the comparison screen rectangle as elements is extracted for each of the extracted corresponding rectangle pairs. The extracted corresponding rectangular pair group is attached to the target pair information. The temporary reference movement amount will be described later.
図７は、対応矩形ペア群の抽出を説明するための図である。図７において、正解画面は、「タイトル」、「リンク集」、「メニューアイコン１」、「メニューアイコン２」等の正解画面矩形を含む。一方、比較画面は、「タイトル」、「リンク集」、「メニューアイコン１」、「広告」、「メニューアイコン２」等の正解画面矩形を含む。ここで、正解画面及び比較画面の「タイトル」、「リンク集」、「メニューアイコン１」、「メニューアイコン２」がそれぞれ対応する矩形領域であるとすると、テーブルＴ１に示される情報が、対応矩形ペア群として抽出される。なお、テーブルＴ１において、１つの行が対応矩形ペアに相当する。 FIG. 7 is a diagram for explaining extraction of a corresponding rectangular pair group. In FIG. 7, the correct answer screen includes correct answer screen rectangles such as “title”, “link collection”, “menu icon 1”, and “menu icon 2”. On the other hand, the comparison screen includes correct screen rectangles such as “title”, “link collection”, “menu icon 1”, “advertisement”, “menu icon 2” and the like. Here, assuming that “title”, “link collection”, “menu icon 1”, and “menu icon 2” on the correct answer screen and the comparison screen respectively correspond to corresponding rectangular areas, the information shown in the table T1 corresponds to the corresponding rectangular areas. It is extracted as a pair group. In the table T1, one row corresponds to the corresponding rectangular pair.
なお、正解画面矩形及び比較画面矩形は、必ずしも「矩形」でなくてもよい。画面を構成する部分領域が抽出されればよい。したがって、Ｌ字型、凸型、凹型、又はその他の多角形の形状の部分領域が画面要素矩形として抽出されてもよい。 The correct screen rectangle and the comparison screen rectangle may not necessarily be “rectangles”. Partial regions constituting the screen may be extracted. Therefore, L-shaped, convex, concave, or other polygonal partial regions may be extracted as screen element rectangles.
続いて、基準移動量群算出部１３は、ステップＳ１３０において抽出された対応矩形ペア群に含まれる対応矩形ペアごとに、基準移動量を算出し、該基準移動量の集合である基準移動量群を対象ペア情報に付与する（Ｓ１４０）。基準移動量とは、正解画面の画像と比較画面の画像を重ね合わせるときに、対応矩形ペアに係る正解画面矩形及び比較画面矩形がちょうど重なりあう移動量（ずれ）のことである。基準移動量は、全ての対応矩形ペアについて共通であるとは限らない。したがって、基準移動量は、複数存在する場合が有る。 Subsequently, the reference movement amount group calculation unit 13 calculates a reference movement amount for each of the corresponding rectangle pairs included in the corresponding rectangle pair group extracted in step S130, and a reference movement amount group which is a set of the reference movement amounts. Is attached to the target pair information (S140). The reference movement amount is a movement amount (displacement) in which the correct screen rectangle and the comparison screen rectangle according to the corresponding rectangular pair just overlap when the image of the correct screen and the image of the comparison screen are superimposed. The reference movement amount is not necessarily common to all the corresponding rectangular pairs. Therefore, there may be a plurality of reference movement amounts.
続いて、差異画像生成部１４は、ステップＳ１４０において算出された基準移動量ごとに、正解画面矩形と比較画面矩形との差異を画素レベルで示す画像（差異画像）を生成（算出）する（Ｓ１５０）。差異画像は、正解画面に対して基準移動量の分だけ比較画面をずらした状態で、正解画面及び比較画面の各画素を合成することで得られる合成画像をいう。より詳しくは、差異画像生成部１４は、基準移動量群における基準移動量それぞれに対し、画素レベルの差異計算を行う際の基準となる移動量を補正した上で、正解画面と比較画面の差異画像（合成画像）を画素単位で計算する。差異画像生成部１４は、基準移動量ごとに算出された差異画像の集合である基準移動量別差異画像群を対象ペア情報に付与する。 Subsequently, the difference image generation unit 14 generates (calculates) an image (difference image) indicating the difference between the correct screen rectangle and the comparison screen rectangle at the pixel level for each reference movement amount calculated in step S140 (S150) ). The difference image refers to a composite image obtained by combining the pixels of the correct screen and the comparison screen in a state where the comparison screen is shifted by the reference movement amount with respect to the correct screen. More specifically, the difference image generation unit 14 corrects, for each of the reference movement amounts in the reference movement amount group, the movement amount serving as a reference at the time of calculating the pixel level difference, and then the difference between the correct screen and the comparison screen. The image (composite image) is calculated in pixel units. The difference image generation unit 14 adds, to the target pair information, a difference image group classified by reference movement amount, which is a set of difference images calculated for each reference movement amount.
続いて、レポート出力部１５は、結果レポートに対して、対象ペア情報を追加する（ステップＳ１６０）。 Subsequently, the report output unit 15 adds target pair information to the result report (step S160).
ステップＳ１３０〜Ｓ１６０が、全てのペア情報について実行されると、レポート出力部１５は、結果レポートを表示装置１０６に出力する（ステップＳ１７０）。この差異、レポート出力部１５は、各ペア情報に付与された差異画像を、例えば、表示装置１０６に表示する。 When steps S130 to S160 are executed for all the pair information, the report output unit 15 outputs the result report to the display device 106 (step S170). The difference, the report output unit 15 displays the difference image given to each pair information on the display device 106, for example.
続いて、図４のステップＳ１１０の詳細について説明する。図８は、画面画像の入力処理の処理手順の一例を説明するためのフローチャートである。 Subsequently, details of step S110 in FIG. 4 will be described. FIG. 8 is a flowchart for explaining an example of a processing procedure of screen image input processing.
ステップＳ２１０において、画像入力部１１は、ユーザに指定された環境ルートフォルダを読み込む。続いて、画像入力部１１は、環境ルートフォルダの下の正解環境フォルダを取得する（ステップＳ２２０）。例えば、正解環境フォルダのフォルダ名が予め決められており、当該フォルダ名に係るフォルダが取得されてもよい。 In step S210, the image input unit 11 reads an environment root folder specified by the user. Subsequently, the image input unit 11 acquires a correct environment folder under the environment root folder (step S220). For example, the folder name of the correct solution environment folder may be determined in advance, and the folder related to the folder name may be acquired.
続いて、画像入力部１１は、これから生成されるペア情報を格納するための空のリスト（以下、「ペアリスト」という。）を生成する（ステップＳ２３０）。続いて、画像入力部１１は、正解環境フォルダに格納されている正解画面ごとに、ステップＳ２４０以降を実行する。ステップＳ２４０以降において処理対象とされている正解画面を、「対象正解画面」という。 Subsequently, the image input unit 11 generates an empty list (hereinafter, referred to as a “pair list”) for storing pair information to be generated from now (step S230). Subsequently, the image input unit 11 executes step S240 and subsequent steps for each of the correct answer screens stored in the correct answer environment folder. The correct answer screen to be processed in step S240 and subsequent steps is referred to as a “target correct answer screen”.
ステップＳ２４０において、画像入力部１１は、環境ルートフォルダの下に有る全ての比較環境フォルダ（以下、「比較環境フォルダ群」という。）を取得する。 In step S240, the image input unit 11 acquires all comparison environment folders (hereinafter referred to as "comparison environment folder group") under the environment root folder.
続いて、画像入力部１１は、取得された比較環境フォルダごとに、ステップＳ２５０及びＳ２７０を実行する。ステップＳ２５０及びＳ２７０において処理対象とされている比較環境フォルダを、「対象比較環境フォルダ」という。 Subsequently, the image input unit 11 executes steps S250 and S270 for each acquired comparison environment folder. The comparison environment folder to be processed in steps S250 and S270 is referred to as a "target comparison environment folder".
ステップＳ２５０において、画像入力部１１は、対象比較環境フォルダ内から対象正解画面に対応する比較画面を取得し、対象正解画面と当該比較画面とに対するペア情報を生成する。対象正解画面に対応する比較画面とは、対象正解画面が対応する画面と同じ画面に対応する比較画面をいう。例えば、画面が共通する画面画像は、同じファイル名のファイルに格納されていてもよい。そうすることで、正解画面に対応する比較画面を容易に特定することができる。 In step S250, the image input unit 11 acquires a comparison screen corresponding to the target correct screen from within the target comparison environment folder, and generates pair information for the target correct screen and the comparison screen. The comparison screen corresponding to the target correct answer screen means a comparison screen corresponding to the same screen as the screen to which the target correct answer screen corresponds. For example, screen images having a common screen may be stored in a file having the same file name. By doing so, the comparison screen corresponding to the correct answer screen can be easily specified.
続いて、画像入力部１１は、生成されたペア情報をペアリストに追加する（ステップＳ２７０）。 Subsequently, the image input unit 11 adds the generated pair information to the pair list (step S270).
続いて、図４のステップＳ１３０の詳細について説明する。図９は、基準移動量群の算出処理の処理手順の一例を説明するためのフローチャートである。 Subsequently, details of step S130 in FIG. 4 will be described. FIG. 9 is a flowchart for explaining an example of a processing procedure of calculation processing of a reference movement amount group.
ステップＳ４１０において、基準移動量群算出部１３は、自身の作業用のメモリ領域に対象ペア情報を読み込む。続いて、基準移動量群算出部１３は、対象ペア情報に付与されている対応矩形ペア群を読み込む（Ｓ４２０）。 In step S410, the reference movement amount group calculation unit 13 reads target pair information in its own work memory area. Subsequently, the reference movement amount group calculation unit 13 reads the corresponding rectangular pair group attached to the target pair information (S420).
続くステップＳ４３０は、対応矩形ペア群に含まれている対応矩形ペアごとに実行される。以下、処理対象とされている対応矩形ペアを「対象矩形ペア」という。 The following step S430 is performed for each corresponding rectangle pair included in the corresponding rectangle pair group. Hereinafter, the corresponding rectangular pair to be processed is referred to as “target rectangular pair”.
ステップＳ４３０において、基準移動量群算出部１３は、対象ペアに係る正解画面矩形と比較画面矩形との一時算出基準移動量を算出する。具体的には、基準移動量群算出部１３は、「対応矩形ペアの正解画面矩形の左上座標」−「対応矩形ペアの比較画面矩形の左上座標」を計算することで得られるベクトルを一時算出基準移動量として対象矩形ペアへ設定する。 In step S430, the reference movement amount group calculation unit 13 calculates a temporary calculation reference movement amount of the correct screen rectangle and the comparison screen rectangle according to the target pair. Specifically, the reference movement amount group calculation unit 13 temporarily calculates a vector obtained by calculating “upper left coordinates of the correct screen rectangle of the corresponding rectangular pair” − “upper left coordinates of the comparison screen rectangle of the corresponding rectangular pair”. Set to the target rectangle pair as the reference movement amount.
図１０は、基準移動量群の算出処理を説明するための図である。図１０のテーブルＴ２における「対応番号」は、図７における「対応番号」に対応する。ステップＳ４３０では、テーブルＴ２における「一時算出基準移動量」列の値が対応矩形ペアごとに算出される。 FIG. 10 is a diagram for explaining calculation processing of a reference movement amount group. The "corresponding number" in the table T2 of FIG. 10 corresponds to the "corresponding number" in FIG. In step S430, the value of the “temporary calculation reference movement amount” column in the table T2 is calculated for each corresponding rectangular pair.
全ての対応矩形ペアについてステップＳ４３０が実行されると、基準移動量群算出部１３は、各対応矩形ペアについて算出された一時算出基準移動量の重複を除くことで得られる基準移動量（ベクトル）と、当該基準移動量に一致する一時基準移動量を有する対応矩形ペア群とを含む基準移動量情報の集合を基準移動量群として対象ペア情報に設定する（Ｓ４４０）。 When step S430 is executed for all corresponding rectangular pairs, the reference movement amount group calculation unit 13 obtains a reference movement amount (vector) obtained by removing the overlap of the temporary calculation reference movement amounts calculated for each corresponding rectangular pair. A set of reference movement amount information including a group of corresponding rectangular pairs having a temporary reference movement amount coincident with the reference movement amount is set in the target pair information as a reference movement amount group (S440).
例えば、図１０のテーブルＴ２では、対応番号の順に、一時算出基準移動量が｛（０，０），（０，０），（０，−５０），（０，−５０）｝である。この場合、（０，０）及び（０，−５０）が重複している。したがって、基準移動量群は｛（０，０），（０，−５０）｝となる。この際（０，０）に係る基準移動量情報には、対応番号が１の対応矩形ペアと対応番号が２の対応矩形ペアとが、「算出元の対応矩形ペア群」として含まれる。また、（０，−５０）に係る基準移動量情報には、対応番号が３の対応矩形ペアと対応番号が４の対応矩形ペアとが、「算出元の対応矩形ペア群」として含まれる。すなわち、対応矩形ペアが、基準移動量ごとにグループ分け（分類）される。 For example, in the table T2 of FIG. 10, the temporary movement reference movement amounts are {(0, 0), (0, 0), (0, -50), (0, -50)} in the order of the corresponding numbers. In this case, (0, 0) and (0, -50) overlap. Therefore, the reference movement amount group is {(0, 0), (0, -50)}. At this time, in the reference movement amount information according to (0, 0), the corresponding rectangular pair with the corresponding number 1 and the corresponding rectangular pair with the corresponding number 2 are included as “corresponding rectangular pair group of calculation source”. Further, in the reference movement amount information according to (0, -50), the corresponding rectangular pair with the corresponding number 3 and the corresponding rectangular pair with the corresponding number 4 are included as "corresponding rectangular pair group of calculation source". That is, the corresponding rectangular pairs are grouped (classified) for each reference movement amount.
続いて、図４のステップＳ１５０の詳細について説明する。図１１は、基準移動量ごとの差異画像の生成処理の処理手順の一例を説明するためのフローチャートである。 Subsequently, details of step S150 in FIG. 4 will be described. FIG. 11 is a flowchart for describing an example of a processing procedure of generation processing of a difference image for each reference movement amount.
ステップＳ５１０において、差異画像生成部１４は、自身の作業用のメモリ領域に対象ペア情報を読み込む。続いて、差異画像生成部１４は、対象ペア情報に付与されている基準移動量群を読み込む（Ｓ５２０）。 In step S510, the difference image generation unit 14 reads target pair information into its own work memory area. Subsequently, the difference image generation unit 14 reads the reference movement amount group attached to the target pair information (S520).
続くステップＳ５３０及びＳ５４０は、基準移動量群に含まれている基準移動量情報ごとに実行される。以下、処理対象とされている基準移動量情報を「対象基準移動量情報」という。 The following steps S530 and S540 are performed for each piece of reference movement amount information included in the reference movement amount group. Hereinafter, reference movement amount information to be processed is referred to as “target reference movement amount information”.
ステップＳ５３０において、差異画像生成部１４は、対象ペア情報に係る正解画面と比較画面とを、対象基準移動量情報の基準移動量で重ね合わせの位置を補正した状態（すなわち、比較画面の画面情報を基準移動量だけずらした状態）で、正解画面と比較画面との各画素を合成して、差異画像を生成する。画素レベルの差異を算出には、例えば、非特許文献１等に開示された公知技術を用いることができる。 In step S530, the difference image generation unit 14 corrects the overlay position with the reference movement amount of the target reference movement amount information of the correct screen and the comparison screen related to the target pair information (that is, the screen information of the comparison screen Are shifted by the reference movement amount), each pixel of the correct screen and the comparison screen is synthesized to generate a difference image. For example, known techniques disclosed in Non-Patent Document 1 can be used to calculate the pixel level difference.
具体的には、基準移動量を（Ｖｘ，Ｖｙ）、正解画面の画像情報の各画素をＣ１（ｉ，ｊ）、比較画面の画面情報の各画素をＣ２（ｉ，ｊ）とした場合、Ｃ１（ｉ−Ｖｘ，ｊ−Ｖｙ）とＣ２（ｉ，ｊ）との画素が合成されて差異画像が生成される。 Specifically, when the reference movement amount is (Vx, Vy), each pixel of the image information of the correct screen is C1 (i, j), and each pixel of the screen information of the comparison screen is C2 (i, j), Pixels of C1 (i-Vx, j-Vy) and C2 (i, j) are synthesized to generate a difference image.
図１２は、基準移動量で重ね合わせの位置を補正した状態を示す図である。図１２の（１）は、図１０における重複グループ番号（１）に対応する。したがって、基準移動量は（０，０）である。よって、正解画面の左上頂点と比較画面の左上頂点とが重なる状態において、正解画面と比較画面との間で各画素が合成される。 FIG. 12 is a diagram showing a state in which the position of superposition is corrected by the reference movement amount. (1) of FIG. 12 corresponds to the overlapping group number (1) in FIG. Therefore, the reference movement amount is (0, 0). Therefore, in a state where the upper left vertex of the correct answer screen and the upper left apex of the comparison screen overlap, each pixel is synthesized between the correct answer screen and the comparison screen.
一方、図１２の（２）は、図１０における重複グループ番号（２）に対応する。したがって、基準移動量は（０，−５０）である。よって、正解画面の左上頂点と比較画面の（０，−５０）とが重なる状態において、正解画面と比較画面との間で各画素が合成される。換言すれば、正解画面の各画素について、比較画面において（０，−５０）だけずれた各画素との合成が行われる。 On the other hand, (2) in FIG. 12 corresponds to the duplicate group number (2) in FIG. Therefore, the reference movement amount is (0, -50). Therefore, in a state where the upper left vertex of the correct answer screen and (0, -50) of the comparison screen overlap, each pixel is synthesized between the correct answer screen and the comparison screen. In other words, for each pixel of the correct answer screen, composition with each pixel shifted by (0, -50) on the comparison screen is performed.
続いて、差異画像生成部１４は、算出した差異画像を、基準移動量別差異画像として、対象ペア情報の基準移動量別差異画像群へ追加する（Ｓ５４０）。 Subsequently, the difference image generation unit 14 adds the calculated difference image to the reference movement amount-based difference image group of the target pair information as the reference movement amount-based difference image (S540).
ステップＳ５３０及びＳ５４０が、対象ペア情報に係る全ての基準移動量情報について行われると、図１１の処理は終了する。 When steps S530 and S540 are performed for all reference movement amount information related to the target pair information, the process of FIG. 11 ends.
なお、図４のステップＳ１７０において、レポート出力部１５は、例えば、基準移動量ごとに、当該基準移動量に係る差異画像を表示装置１０６へ表示する。その結果、例えば、図１２の（１）のケースでは、タイトル領域及びリンク集領域について、画素単位の差異の把握を容易とすることができる。（２）のケースでは、メニューアイコン１及びメニューアイコン２について、画素単位の差異の把握を容易とすることができる。 In step S170 of FIG. 4, the report output unit 15 displays, for example, a difference image relating to the reference movement amount on the display device 106 for each reference movement amount. As a result, for example, in the case of (1) in FIG. 12, it is possible to easily grasp the difference in pixel unit for the title area and the link area. In the case of (2), it is possible to easily grasp the difference in pixel unit for the menu icon 1 and the menu icon 2.
なお、この際、レポート出力部１５は、差異画像において、基準移動量の算出元の対応矩形ペア群の情報を利用して、当該対応矩形ペア群に係る画面要素の領域をハイライト表示（強調表示）することで、注目すべき画面要素を示してもよい。例えば、図１２の（１）のケースでは、「タイトル」及び「リンク集」がハイライト表示され、（２）のケースでは、「メニューアイコン１」及び「メニューアイコン２」がハイライト表示されてもよい。ハイライト表示の方法は、所定のものに限定されない。例えば、当該画面要素の境界に枠が付与されてもよいし、当該画面要素の輝度が上げられてもよい。 At this time, the report output unit 15 highlights the area of the screen element relating to the corresponding rectangular pair group in the difference image using the information on the corresponding rectangular pair group at the calculation source of the reference movement amount (emphasis By displaying it, the screen element to be focused on may be shown. For example, in the case of (1) in FIG. 12, "title" and "link collection" are highlighted, and in the case of (2), "menu icon 1" and "menu icon 2" are highlighted and displayed. It is also good. The method of highlighting is not limited to a predetermined one. For example, a frame may be added to the border of the screen element, or the brightness of the screen element may be increased.
上述したように、本実施の形態によれば、正解画面と比較画面とにおいて対応する画面要素ごとに基準移動量が算出され、当該基準移動量別に差異画像が生成される。したがって、基準移動量ごとに、当該基準移動量に対応する画面要素についての正解画面と比較画面との差異の把握を容易とすることができる。その結果、画面画像の比較作業を効率化することができる。 As described above, according to the present embodiment, the reference movement amount is calculated for each screen element corresponding to the correct answer screen and the comparison screen, and a difference image is generated for each reference movement amount. Therefore, for each reference movement amount, it is possible to easily grasp the difference between the correct answer screen and the comparison screen for the screen element corresponding to the reference movement amount. As a result, the comparison operation of screen images can be made more efficient.
また、基準移動量群について重複が除去された上で差異画像が生成される。したがって、ユーザが確認すべき差異画像の数を少なくすることができ、斯かる点においても画面画像の比較作業を効率化することができる。 In addition, a difference image is generated after duplication is removed for the reference movement amount group. Therefore, the number of difference images to be confirmed by the user can be reduced, and the screen image comparison operation can be made efficient also in this respect.
なお、本実施の形態において、矩形ペア抽出部１２は、抽出部の一例である。基準移動量群算出部１３は、算出部の一例である。差異画像生成部１４は、生成部の一例である。レポート出力部１５は、出力部の一例である。正解画面は、第１の画面画像の一例である。比較画面は、第２の画面画像の一例である。 In the present embodiment, the rectangular pair extraction unit 12 is an example of an extraction unit. The reference movement amount group calculation unit 13 is an example of a calculation unit. The difference image generation unit 14 is an example of a generation unit. The report output unit 15 is an example of an output unit. The correct answer screen is an example of the first screen image. The comparison screen is an example of a second screen image.
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments of the present invention have been described above in detail, the present invention is not limited to such specific embodiments, and various modifications may be made within the scope of the present invention as set forth in the claims. Modifications and changes are possible.
１０ 差異画像生成装置
１１ 画像入力部
１２ 矩形ペア抽出部
１３ 基準移動量群算出部
１４ 差異画像生成部
１５ レポート出力部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１０６ 表示装置
１０７ 入力装置
Ｂ バス
10 difference image generation apparatus 11 image input unit 12 rectangle pair extraction unit 13 reference movement amount group calculation unit 14 difference image generation unit 15 report output unit 100 drive device 101 recording medium 102 auxiliary storage device 103 memory device 104 CPU
105 interface device 106 display device 107 input device B bus
Claims (4)
前記ペアごとに、当該ペアに係る前記第１の画面画像の画面要素の位置と、前記第２の画面画像の画面要素の位置との移動量を算出する算出部と、
前記移動量ごとに、前記第１の画面画像の各画素と、当該画素の位置に対して前記第２の画面画像において当該移動量の分だけずれた各画素とが合成された合成画像を生成する生成部と、
を有することを特徴とする差異画像生成装置。 An extraction unit for extracting a pair of a screen element of the first screen image and a screen element corresponding to the screen element in the second screen image from the first screen image and the second screen image;
A calculation unit that calculates, for each pair, a movement amount of the position of the screen element of the first screen image related to the pair and the position of the screen element of the second screen image;
A combined image is generated in which each pixel of the first screen image and each pixel shifted from the position of the pixel by the movement amount with respect to the position of the pixel are generated for each movement amount. A generation unit,
A difference image generation device characterized by having.
ことを特徴とする請求項１記載の差異画像生成装置。 The generation unit generates the composite image for each movement amount after removal of duplication of movement amounts calculated for each pair.
The difference image generation apparatus according to claim 1, wherein the difference image is generated.
前記出力部は、前記合成画像に係る移動量の算出元の前記ペアに係る画面要素を強調表示する、
ことを特徴とする請求項１又は２記載の差異画像生成装置。 An output unit for outputting the composite image;
The output unit highlights a screen element related to the pair as a calculation source of the movement amount related to the composite image.
The difference image generation apparatus according to claim 1 or 2, characterized in that
前記ペアごとに、当該ペアに係る前記第１の画面画像の画面要素の位置と、前記第２の画面画像の画面要素の位置との移動量を算出する算出手順と、
前記移動量ごとに、前記第１の画面画像の各画素と、当該画素の位置に対して前記第２の画面画像において当該移動量の分だけずれた各画素とが合成された合成画像を生成する生成手順と、
をコンピュータに実行させることを特徴とするプログラム。 An extraction procedure for extracting a pair of a screen element of the first screen image and a screen element corresponding to the screen element in the second screen image from the first screen image and the second screen image;
A calculation procedure for calculating, for each pair, a movement amount of the position of the screen element of the first screen image related to the pair and the position of the screen element of the second screen image;
A combined image is generated in which each pixel of the first screen image and each pixel shifted from the position of the pixel by the movement amount with respect to the position of the pixel are generated for each movement amount. Procedure to generate
A program characterized by causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017232823A JP2019101819A (en) | 2017-12-04 | 2017-12-04 | Difference image generation device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017232823A JP2019101819A (en) | 2017-12-04 | 2017-12-04 | Difference image generation device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019101819A true JP2019101819A (en) | 2019-06-24 |
Family
ID=66973782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017232823A Pending JP2019101819A (en) | 2017-12-04 | 2017-12-04 | Difference image generation device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019101819A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05181949A (en) * | 1991-12-26 | 1993-07-23 | Toshiba Corp | Image positioning device |
| JPH11201908A (en) * | 1998-01-16 | 1999-07-30 | Nec Corp | Device and method for visual inspecting and storage medium storing visual inspection program |
| JP2001052166A (en) * | 1999-08-04 | 2001-02-23 | Mitsubishi Heavy Ind Ltd | Picture collating method and picture collating device using the same |
| JP2016033716A (en) * | 2014-07-31 | 2016-03-10 | 日本電気株式会社 | Information processing apparatus, information processing method, and program |
| JP2017138713A (en) * | 2016-02-02 | 2017-08-10 | 日本電信電話株式会社 | Screen difference extraction device, screen difference extraction method, and program |
-
2017
- 2017-12-04 JP JP2017232823A patent/JP2019101819A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05181949A (en) * | 1991-12-26 | 1993-07-23 | Toshiba Corp | Image positioning device |
| JPH11201908A (en) * | 1998-01-16 | 1999-07-30 | Nec Corp | Device and method for visual inspecting and storage medium storing visual inspection program |
| JP2001052166A (en) * | 1999-08-04 | 2001-02-23 | Mitsubishi Heavy Ind Ltd | Picture collating method and picture collating device using the same |
| JP2016033716A (en) * | 2014-07-31 | 2016-03-10 | 日本電気株式会社 | Information processing apparatus, information processing method, and program |
| JP2017138713A (en) * | 2016-02-02 | 2017-08-10 | 日本電信電話株式会社 | Screen difference extraction device, screen difference extraction method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 丹野治門: "画像処理を活用したUIレイアウト崩れ検出支援手法の提案", 情報処理学会研究報告 [ONLINE], vol. 第2016-SE-194巻, 第9号, JPN6020021450, 10 November 2016 (2016-11-10), JP, pages 1 - 8, ISSN: 0004361506 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9135714B1 (en) | Method and system for integrating a graphical user interface capture for automated test and retest procedures | |
| JP5622647B2 (en) | Scenario generation device and scenario generation program | |
| JP2006185324A5 (en) | ||
| US9697107B2 (en) | Testing applications | |
| CN112667230A (en) | Application program user interface development method, device, equipment and storage medium | |
| JP6543649B2 (en) | Screen difference detection device and program | |
| WO2020240778A1 (en) | Test script generation device, test script generation method, and program | |
| JP6476145B2 (en) | Screen difference acceptance / rejection determination device, screen difference acceptance / rejection determination method, and program | |
| JP2010039815A (en) | Web page layout correction system | |
| JP2019101819A (en) | Difference image generation device and program | |
| JP6130011B1 (en) | Software operation verification apparatus and software operation verification method | |
| JP6608719B2 (en) | Screen difference extraction apparatus, screen difference extraction method, and program | |
| JP6476147B2 (en) | Screen difference extraction apparatus, screen difference extraction method, and program | |
| JP6476144B2 (en) | Screen difference confirmation support device, screen difference confirmation support method, and program | |
| US20150309771A1 (en) | Unified flow designer | |
| WO2020149242A1 (en) | Work assistance device, work assistance method, program, and object detection model | |
| JP6476146B2 (en) | Screen difference evaluation device, screen difference evaluation method, and program | |
| US11960390B2 (en) | Test apparatus, test method and program | |
| JP7260150B2 (en) | WEBSITE DESIGN SUPPORT DEVICE, WEBSITE DESIGN SUPPORT METHOD, AND PROGRAM | |
| JP2016066227A (en) | Incompatibility detecting device, incompatibility detecting method and program | |
| JP6840656B2 (en) | Test script modifiers and programs | |
| JPWO2012049816A1 (en) | Model checking apparatus, method and program | |
| JP2008250640A (en) | Graphic processor | |
| JP7367451B2 (en) | Information processing device, information processing system and program | |
| JP2013206310A (en) | Model inspection device, model inspection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200727 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201006 |