WO2014044164A1 - 内容录制方法和装置 - Google Patents

内容录制方法和装置 Download PDF

Info

Publication number
WO2014044164A1
WO2014044164A1 PCT/CN2013/083622 CN2013083622W WO2014044164A1 WO 2014044164 A1 WO2014044164 A1 WO 2014044164A1 CN 2013083622 W CN2013083622 W CN 2013083622W WO 2014044164 A1 WO2014044164 A1 WO 2014044164A1
Authority
WO
WIPO (PCT)
Prior art keywords
mouse
screen display
display content
content
icon
Prior art date
Application number
PCT/CN2013/083622
Other languages
English (en)
French (fr)
Inventor
郭子风
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Publication of WO2014044164A1 publication Critical patent/WO2014044164A1/zh
Priority to US14/659,872 priority Critical patent/US9600399B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3664—Environments for testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs

Definitions

  • the present invention relates to the field of computer software development, and in particular, to a content recording method and apparatus. Background technique
  • the logic of the internal modules of the software is tight due to the cumbersome operation steps.
  • the tester's description of the discovered defects and the explanation of the various operational steps related to the occurrence of the defects often fail to enable the developer to correctly and effectively understand the defects, that is, let the developer reproduce the development process through text description, text reading It is not accurate and quick to understand what actually happened and how it happened.
  • the recurrence of some defects is not inevitable, that is, the various steps associated with the occurrence of the defect described by the tester may not be able to reproduce the same defect. When the defect cannot be quickly reproduced, the overall development efficiency is reduced.
  • a technical problem to be solved by embodiments of the present invention is to provide a content recording method and apparatus. You can record screenshots of the software test development process and related mouse and keyboard operations, effectively record the test development process and improve test development efficiency.
  • an embodiment of the present invention provides a content recording method, which is used in software development, and the method includes: Intercept the screen display content during the software development process;
  • the embodiment of the present invention further provides a content recording apparatus, which is used in software development, and the apparatus includes:
  • a screen capture module for intercepting screen display content during software development
  • An event module configured to obtain a mouse event related to the screen display content
  • a recording module configured to process the mouse event and the screen display content to obtain a recorded content, where the recorded content includes the screen display content and the mouse event.
  • the embodiments of the present invention have the following beneficial effects:
  • the screen display content and related mouse and keyboard operations in the software development process are recorded in real time, and a playable file is generated, so that other people can play the playable file by playing the file.
  • FIG. 1 is a schematic diagram of a specific process of a content recording method in an embodiment of the present invention
  • FIG. 2 is another schematic flowchart of a content recording method in an embodiment of the present invention.
  • FIG. 3 is a schematic screenshot of a screen in the embodiment of the present invention.
  • FIG. 4 is a schematic diagram of a program file for implementing a mouse and keyboard event in an application written in Java according to an embodiment of the present invention, and performing corresponding processing;
  • FIG. 5 is a schematic diagram of a program file for performing image compression in an application written in Java according to an embodiment of the present invention
  • FIG. 6 is a schematic diagram of a specific composition of a content recording apparatus according to an embodiment of the present invention.
  • the embodiments of the present invention aim to provide a method and a tool for effectively recording the software development process of a tester, thereby effectively recording various problems encountered by testers in software development, and various means adopted. Etc., to replace the tester's human communication and expression.
  • the embodiment of the invention provides a content recording method. As shown in FIG. 1, the method includes the following steps.
  • the specific screen capture method can refer to the scheme adopted in various existing screen capture tools.
  • the captured screen display content can be stored in a variety of image formats, such as image files stored in jpg format.
  • mouse event related to the displayed content of the screen.
  • the mouse event can be the mouse staying or shaking on the screen, or the mouse click operation.
  • Keyboard events can be key events on the keyboard during the screen capture, such as pressing the Enter key, pressing the letter “C”, pressing the "Ctrl” and “C” keys, and so on.
  • step 101 There is no inevitable sequence between this step and step 101.
  • the screen capture process when certain screen events occur at the same time in a screen display state, the screen display content and mouse events may be acquired in real time.
  • the mouse event may be converted into a visual icon, and inserted into a corresponding position in the corresponding screen display content, and then the screen display content after the image insertion processing is stored as Play the image file.
  • the screen display content obtained by the originally stored screenshot is deleted.
  • the normal mouse icon in the screen display content intercepted when the mouse click operation occurs may be converted into the enlarged mouse icon, and the enlarged mouse icon is used to cover the The screen displays the normal mouse icon in the content.
  • the enlarged mouse icon (or the other icon described above) is used to indicate that a mouse click has occurred.
  • different visual icons may be defined for various mouse and keyboard events, and are reflected in the screen capture image.
  • compression may be performed, that is, in this step, the mouse event and the screen display content are processed to obtain a picture file; The file is compressed to get the recording.
  • the picture file can also be made into a playable picture file, and the playable picture file in the playable picture file can be played for a longer time interval than the predefined time period. That is, in order to more clearly reflect various situations in the software development process, the playback speed of the playable picture file is set to be lower than the screen capture speed.
  • the playable picture file may be a Graphics Interchange Format (gif) file.
  • FIG. 2 it is an example of further detailed description of the content recording method in the embodiment of the present invention.
  • an application can be written in Java to implement the content recording method.
  • the method includes the following steps.
  • the entire desktop content is intercepted every second as a screenshot. If there is a dual display, only the desktop content of the main display can be intercepted as the recording content. For example, a desktop screenshot is taken every 200 milliseconds (ms). As shown in Figure 3, a screenshot of the screenshot is obtained. At the same time, during the recording process, the mouse position is recorded in the screenshot, and when there is a mouse click operation, the mouse is enlarged.
  • the Jar package after writing the application in Java, the Jar package can be generated and deployed to the computer for software development, which can be the platform of the Windows operating system.
  • a desktop screenshot is taken every 200ms and saved to the specified directory.
  • the program will compress all the pictures into a playable gif file every 500ms. This achieves the effect of slow playback.
  • the position of the mouse is recorded in the content of each screenshot. If there is a mouse click operation, the enlarged mouse icon is redrawn to display the click operation. The operation of the keyboard was also recorded during the recording.
  • FIG. 6 is a schematic diagram of a specific composition of a content recording apparatus in an embodiment of the present invention.
  • the device can be used in software development, and includes: a screen capture module 10 for intercepting screen display content during software development; an event module 12 for obtaining a mouse event related to the screen display content; and a recording module 14 for Processing the mouse event and the screen display content to obtain a recorded content, where the recorded content includes the screen display content and the mouse event.
  • the screen capture module 10 is further adapted to intercept the screen display content every predefined time period.
  • the recording module 12 is further configured to convert the mouse event into a visual icon, insert it into a corresponding position in the corresponding screen display content, and store the screen display content after the image insertion processing as Play image files.
  • the screen display content after the picture insertion processing is performed is stored as a playable picture file that plays the screen display content at intervals longer than the predefined time period.
  • the recording module 12 can also process the mouse event and the screen display content to obtain a picture file, and compress the picture file to obtain the recorded content.
  • the specific compressed image file may be made into a playable picture file as described above, or may be only a related compressed image.
  • the slice files are stored in a folder.
  • the recording module when the mouse event is a mouse click operation, the recording module
  • the ordinary mouse icon in the screen display content intercepted when a mouse click operation occurs into an enlarged mouse icon is converted into a mouse icon of a prominent color, and the ordinary mouse icon in the screen display content is covered with a mouse icon of the highlighted color.
  • a screen display content and related mouse and keyboard operations in a software development process are recorded in real time, and a playable file is generated, so that other personnel can fully understand the software development process by playing the playable file. Improve the efficiency of software development with various details.
  • the content recording method according to Fig. 2 may be a content recording method performed by each module in the content recording apparatus shown in Fig. 6.
  • steps 101-103 shown in FIG. 2 can be performed by the screen capture module 10, the event module 12, and the recording module 14 shown in FIG.
  • each unit in the content recording apparatus shown in FIG. 6 may be separately or entirely combined into one or several other units, or one of the units may be further removed. It is divided into multiple units that are functionally smaller.
  • the screen capture module 10 can be split into two separate units for capturing the entire desktop content and a unit for storing the desktop screenshots.
  • the event module 12 can be split into two separate units for recording mouse events and presets. The unit that stops recording after the time has elapsed can achieve the same operation without affecting the realization of the technical effects of the embodiment of the present invention.
  • a person skilled in the art can understand all or part of the process of implementing the content recording method shown in FIG. 2 of the above embodiment, and the related hardware, such as a central processing unit (CPU), can be instructed by a computer program (including program code).
  • Processing elements such as the content recording apparatus shown in FIG. 6, and an image synthesizing method according to an embodiment of the present invention, the program being storable in a computer readable storage medium, the program being When executed, the flow of an embodiment of the methods as described above may be included.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or a random access memory (Random Access Memory, RAM) and so on.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Debugging And Monitoring (AREA)

Abstract

公开了一种内容录制方法和装置，用于软件开发中，该方法包括：截取软件开发过程中的屏幕显示内容；获得与所述屏幕显示内容有关的鼠标事件；将所述鼠标事件与所述屏幕显示内容进行处理，获得录制内容，所述录制内容中包括所述屏幕显示内容以及所述鼠标事件。采用上述技术方案，可以录制软件测试开发过程中的屏幕截图和与之相关的鼠标键盘操作，有效的记录测试开发过程，提高测试开发效率。

Description

内容录制方法和装置 本专利申请要求 2012 年 9 月 19 日提交的中国专利申请号为 201210348744.3 , 发明名称为 "一种内容录制方法和装置" 的优先权， 该申请 的全文以引用的方式并入本申请中。 技术领域
本发明涉及计算机软件开发领域， 尤其涉及一种内容录制方法和装置。 背景技术
随着互联网软件的不断发展， 已经开发出多种类型和功能的应用软件。 目 前软件测试人员对于应用软件的功能大都采取手工测试。
而对于有些应用软件， 尤其是游戏类应用软件， 在执行用例（如， 测试某 个功能的执行步骤及查看预期结果）时， 由于操作步骤繁瑣， 软件内部模块的 逻辑关联较紧密， 在发现缺陷后， 测试人员对于发现的缺陷的描述， 以及与出 现该缺陷有关的各个操作步骤的阐述，往往不能使开发人员正确有效率的理解 缺陷， 即让开发人员通过文字描述重现开发过程， 文字阅读者并不能准确快速 的理解实际发生了什么和如何发生的。仍需要与开发人员沟通，有时还需要重 现演示。 特别是， 有些缺陷的重现规律并不是必然的， 即按照测试人员描述的 出现该缺陷有关的各个操作步骤可能无法重现相同的缺陷。在不能很快地重现 缺陷时， 会降低整个开发的效率。
另外， 对于一些外包的测试任务， 由于沟通的成本较高， 使用文字和语音 也不能够清楚的描述缺陷， 而受地域限制， 测试人员也不能给开发现场演示缺 陷。 因此需要一种新的技术来帮助相关测试人员更好的描述软件开发过程。 发明内容
本发明实施例所要解决的技术问题在于， 提供一种内容录制方法和装置。 可以录制软件测试开发过程中的屏幕截图和与之相关的鼠标键盘操作，有效的 记录测试开发过程， 提高测试开发效率。
为了解决上述技术问题， 本发明实施例提供了一种内容录制方法， 用于软 件开发中， 该方法包括： 截取软件开发过程中的屏幕显示内容；
获得与所述屏幕显示内容有关的鼠标事件；
将所述鼠标事件与所述屏幕显示内容进行处理， 获得录制内容， 所述录制 内容中包括所述屏幕显示内容以及所述鼠标事件。
另一方面， 本发明实施例还提供一种内容录制装置， 用于软件开发中， 该 装置包括：
截屏模块， 用于截取软件开发过程中的屏幕显示内容；
事件模块， 用于获得与所述屏幕显示内容有关的鼠标事件；
录制模块， 用于将所述鼠标事件与所述屏幕显示内容进行处理， 获得录制 内容， 所述录制内容中包括所述屏幕显示内容以及所述鼠标事件。
实施本发明实施例， 具有如下有益效果： 在本发明实施例中， 实时录制软 件开发过程中的屏幕显示内容和相关鼠标键盘操作， 并生成可播放文件，使得 其他人员可以通过播放该可播放文件完整全面的了解在软件开发过程中的各 个细节， 提高软件开发效率。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地， 下面描述 中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
图 1是本发明实施例中的内容录制方法的一个具体流程示意图；
图 2是本发明实施例中的内容录制方法的另一具体流程示意图；
图 3是本发明实施例中的一幅屏幕截图示意图；
图 4是本发明实施例中 Java编写的应用程序中实现监听鼠标和键盘事件， 并进行相应处理的程序文档示意图；
图 5是本发明实施例中 Java编写的应用程序中进行图片压缩的程序文件 示意图；
图 6是为本发明实施例中的内容录制装置的一个具体组成示意图。 具体实施方式 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是 全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
在现有技术中只能通过测试人员文字或口述等方式重现软件开发过程中 出现的各种问题， 这种方式一方面给测试人员带来很多额外的工作， 同时对测 试人员的沟通表达能力有很高的要求。在实际测试工作中， 限于测试人员的能 力限制， 往往不能很好的对测试问题进行有效的交流。
在此基础上，本发明实施例旨在提供一种方法和工具可以有效的记录测试 人员的软件开发过程， 从而有效的记录测试人员在软件开发中碰到的各种问 题， 采取的各种手段等， 来取代测试人员的人为沟通和表达方式。
本发明实施例提出了一种内容录制方法，如图 1所示， 该方法包括如下步 骤。
101、 截取软件开发过程中的屏幕显示内容。 在截取屏幕显示内容时， 可 以每隔预定义时间段截取一次屏幕截图。具体的截屏方法可以参考现有的各种 截屏工具中采用的方案。截取的屏幕显示内容可存储为多种图片格式，如存储 为 jpg格式的图片文件。
102、 获得与所述屏幕显示内容有关的鼠标事件。 在截屏过程中， 鼠标事 件可以是鼠标在屏幕上停留或晃动，也可以是鼠标的点击操作等等。键盘事件 可以是在截屏过程中， 键盘上的按键事件， 如， 按下回车键、 按下字母 "C" 、 同时按下 "Ctrl" 和 "C" 键等等。
比如， 软件开发为触屏游戏开发时， 一般只有鼠标单击操作， 记录每次左 键点击鼠标操作。
本步骤与步骤 101之间并没有必然的先后顺序，在截屏过程中， 当某一屏 幕显示状态下， 可能同时发生某些鼠标事件， 则此时可能实时获取屏幕显示内 容和鼠标事件。
103、 将所述鼠标事件与所述屏幕显示内容进行处理， 获得录制内容， 所 述录制内容中包括所述屏幕显示内容以及所述鼠标事件。
如， 在本步骤中， 可将所述鼠标事件转换成可视图标， 并***到对应的屏 幕显示内容中的对应位置，再将进行图片***处理后的屏幕显示内容存储为可 播放图片文件。 当然， 在生成可播放图片文件之后， 可见原来存储的截屏获得 的屏幕显示内容删除。
举例来说， 当鼠标事件为鼠标点击操作时，在本步骤中可将发生鼠标点击 操作时截取的屏幕显示内容中的普通鼠标图标转换为放大后的鼠标图标，用放 大后的鼠标图标覆盖所述屏幕显示内容中的普通鼠标图标。也可以是用不同颜 色的图标进行提示， 即，将发生鼠标点击操作时截取的屏幕显示内容中的普通 鼠标图标转换为突出颜色的鼠标图标，用突出颜色的鼠标图标覆盖所述屏幕显 示内容中的普通鼠标图标。当然，也可以是在图标旁增加特定的图案进行提示， 如增加下划线， 增加圓圈等等。
这样， 在该幅截屏图片中， 就用放大后的鼠标图标（或是上述的其他方式 的图标）提示此时发生了鼠标点击操作。 在本发明实施例中， 对于各种不同的 鼠标和键盘事件可以定义不同的可视图标进行标识， 并反映在截屏图片中。
另一方面，在将进行图片***处理后的屏幕显示内容进行存储时， 可进行 压缩， 即本步骤中， 将所述鼠标事件与所述屏幕显示内容进行处理， 获得图片 文件； 对所述图片文件进行压缩获得录制内容。
当然，也可以将图片文件制作成为可播放图片文件， 该可播放图片文件中 可以长于所述预定义时间段的时间间隔播放所述屏幕显示内容的可播放图片 文件。 即， 为了更清楚的反应软件开发过程中的各种情况， 将可播放图片文件 的播放速度设置为低于屏幕的截屏速度。其中的可播放图片文件可以是图像互 换格式 ( Graphics Interchange Format, gif )文件。
如图 2所示， 为本发明实施例中的内容录制方法的进一步细节描述示例， 在本例中可用 Java编写应用程序来实现该内容录制方法。 该方法包括如下步 骤。
201、 在录制开始后， 每秒截取整个桌面内容作为截图若干次， 如果有双 显示器，则可只截取主显示器的桌面内容为录制内容。如，每隔 200毫秒（ms ) 截取一次桌面截图。 如图 3所示， 为获得的一幅屏幕截图示意图。 同时， 在录 制过程中， 在截图中记录鼠标位置， 并当存在鼠标点击操作时， 放大鼠标。
202、 将桌面截图存储到指定的位置， 如将各次截图以 jpg的格式存储在 存储器中。
203、 在录制过程中， 记录鼠标事件。 本步骤和前述某一图片的截图过程 可能是同时发生的。 如图 4所示， 为 Java编写的应用程序中实现监听鼠标和 键盘事件， 并进行相应处理的程序文档。
204、 在预设的时间到后停止录制， 如可将录制时间控制在 15分钟以内， 也可手动停止录制。
205、将鼠标事件转换成图标标识到对应的 jpg图片上，并将 jpg图片压缩 生成为 gif文件， 文件名可为： "trace"+录制开始时间 .gif, 如图 5所示， 为 Java 编写的应用程序中进行图片压缩的程序文件。 其中， 可设定 gif文件的每幅图 片播放间隔为 500ms， 这样可达到慢放录制的效果。
在具体实现时， 用 Java编写应用程序后可生成 Jar包， 并将其部署到进行 软件开发的电脑上， 该电脑可为视窗 （windows )操作***的平台。 应用程序 启动后， 会每隔 200ms截取一次桌面截图， 并保存到指定目录。 停止录制后， 程序会将图片每 500ms的间隔将所有图片压缩成可直接播放的 gif文件。 这样 达到慢放录制的效果。 并在每张截图的内容里记录鼠标的位置，如果有鼠标点 击操作， 重新绘制放大的鼠标图标， 以显示点击操作。 在录制过程中， 也记录 了键盘的操作。
如图 6所示， 为本发明实施例中的内容录制装置的一个具体组成示意图。 该装置可用于软件开发中， 包括： 截屏模块 10, 用于截取软件开发过程中的 屏幕显示内容； 事件模块 12, 用于获得与所述屏幕显示内容有关的鼠标事件； 录制模块 14, 用于将所述鼠标事件与所述屏幕显示内容进行处理， 获得录制 内容， 所述录制内容中包括所述屏幕显示内容以及所述鼠标事件。
根据本发明的实施例， 截屏模块 10还用于每隔预定义时间段截取一次屏 幕显示内容。
根据本发明的实施例， 录制模块 12还用于将所述鼠标事件转换成可视图 标， 并***到对应的屏幕显示内容中的对应位置，再将进行图片***处理后的 屏幕显示内容存储为可播放图片文件。如，将进行图片***处理后的屏幕显示 内容存储为以长于所述预定义时间段的时间间隔播放所述屏幕显示内容的可 播放图片文件。
当然，录制模块 12也可以将所述鼠标事件与所述屏幕显示内容进行处理， 获得图片文件，对所述图片文件进行压缩获得录制内容。具体的该压缩后的图 片文件可以制作成如上所述的可播放图片文件，也可以仅仅是将相关的压缩图 片文件存储在一文件夹中。
根据本发明的实施例， 所述鼠标事件为鼠标点击操作时， 所述录制模块
12还用于， 将发生鼠标点击操作时截取的屏幕显示内容中的普通鼠标图标转 换为放大后的鼠标图标，用放大后的鼠标图标覆盖所述屏幕显示内容中的普通 鼠标图标，或将发生鼠标点击操作时截取的屏幕显示内容中的普通鼠标图标转 换为突出颜色的鼠标图标，用突出颜色的鼠标图标覆盖所述屏幕显示内容中的 普通鼠标图标。
在上述装置实施例中的术语和功能定义与前述方法实施例中的一致，此处 不做一一赞述。
根据本发明的一个实施例，实时录制软件开发过程中的屏幕显示内容和相 关鼠标键盘操作， 并生成可播放文件，使得其他人员可以通过播放该可播放文 件完整全面的了解在软件开发过程中的各个细节， 提高软件开发效率。
根据本发明的一个实施例， 根据图 2 所示的内容录制方法可以是由图 6 所示的内容录制装置中的各个模块来执行的内容录制方法。例如， 图 2所示的 步骤 101-103可以由图 6所示的截屏模块 10、事件模块 12及录制模块 14来执 行。
根据本发明的另一个实施例，图 6所示的内容录制装置中的各个单元可以 分别或全部合并为一个或若干个另外的单元来构成， 或者其中的某个（些）单 元还可以再拆分为功能上更小的多个单元来构成。 例如但不限于， 截屏模块 10 可以拆分成两个单独的截取整个桌面内容的单元及将桌面截图存储的单 元， 事件模块 12可以拆分成两个单独记录鼠标事件的单元及在预设的时间到 后停止录制的单元， 这可以实现同样的操作， 而不影响本发明的实施例的技术 效果的实现。
本领域普通技术人员可以理解实现上述实施例的图 2 所示的内容录制方 法中的全部或部分流程， 是可以通过计算机程序 (包括程序代码 )来指令相关 的硬件， 例如中央处理单元（CPU )等处理元件， 来构造如图 6中所示的内容 录制装置， 以及来实现根据本发明的实施例的图像合成方法， 所述的程序可存 储于一计算机可读取存储介质中， 该程序在执行时， 可包括如上述各方法的实 施例的流程。 其中， 所述的存储介质可为磁碟、 光盘、 只读存储记忆体 ( Read-Only Memory, ROM )或随机存储记忆体 ( Random Access Memory, RAM )等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发 明之权利范围， 因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的 范围。

Claims

权 利 要 求
1、 一种内容录制方法， 包括以下步骤：
截取软件开发过程中的屏幕显示内容；
获得与所述屏幕显示内容有关的鼠标事件；
将所述鼠标事件与所述屏幕显示内容进行处理， 获得录制内容， 所述录制 内容中包括所述屏幕显示内容以及所述鼠标事件。
2、 如权利要求 1所述的方法， 所述截取软件开发过程中的屏幕显示内容 包括：
每隔预定义时间段截取一次屏幕显示内容。
3、 如权利要求 2所述的方法， 所述将所述鼠标事件与所述屏幕显示内容 进行处理， 获得录制内容包括：
将所述鼠标事件转换成可视图标，并***到对应的屏幕显示内容中的对应 位置， 将经过可视图标***处理后的屏幕显示内容存储为可播放图片文件。
4、 如权利要求 3所述的方法， 所述鼠标事件为鼠标点击操作时， 所述将 所述鼠标事件转换成可视图标，并***到对应的屏幕显示内容中的对应位置包 括：
将发生鼠标点击操作时截取的屏幕显示内容中的普通鼠标图标转换为放 大后的鼠标图标，用放大后的鼠标图标覆盖所述屏幕显示内容中的普通鼠标图 标。
5、 如权利要求 3所述的方法， 所述鼠标事件为鼠标点击操作时， 所述将 所述鼠标事件转换成可视图标，并***到对应的屏幕显示内容中的对应位置包 括：
将发生鼠标点击操作时截取的屏幕显示内容中的普通鼠标图标转换为突 出颜色的鼠标图标，用突出颜色的鼠标图标覆盖所述屏幕显示内容中的普通鼠 标图标。
6、 如权利要求 3至 5中任一项所述的方法， 将经过可视图标***处理后 的屏幕显示内容存储为可播放图片文件包括：
将经过可视图标***处理后的屏幕显示内容存储为以长于所述预定义时 间段的时间间隔播放所述屏幕显示内容的可播放图片文件。
7、 如权利要求 1所述的方法， 所述将所述鼠标事件与所述屏幕显示内容 进行处理， 获得录制内容包括：
将所述鼠标事件与所述屏幕显示内容进行处理， 获得图片文件； 对所述图片文件进行压缩获得录制内容。
8、 一种内容录制装置， 用于软件开发中， 所述装置包括：
截屏模块， 用于截取软件开发过程中的屏幕显示内容；
事件模块， 用于获得与所述屏幕显示内容有关的鼠标事件；
录制模块， 用于将所述鼠标事件与所述屏幕显示内容进行处理， 获得录制 内容， 所述录制内容中包括所述屏幕显示内容以及所述鼠标事件。
9、 如权利要求 8所述的装置， 所述截屏模块还用于， 每隔预定义时间段 截取一次屏幕显示内容。
10、 如权利要求 8所述的装置， 所述录制模块还用于， 将所述鼠标事件转 换成可视图标， 并***到对应的屏幕显示内容中的对应位置，将经过可视图标 ***处理后的屏幕显示内容存储为可播放图片文件。
11、 如权利要求 10所述的装置， 所述录制模块还用于， 将发生鼠标点击 操作时截取的屏幕显示内容中的普通鼠标图标转换为放大后的鼠标图标，用放 大后的鼠标图标覆盖所述屏幕显示内容中的普通鼠标图标，或将发生鼠标点击 操作时截取的屏幕显示内容中的普通鼠标图标转换为突出颜色的鼠标图标，用 突出颜色的鼠标图标覆盖所述屏幕显示内容中的普通鼠标图标。
12、如权利要求 10或 11所述的装置， 所述录制模块还用于将经过可视图 标***处理后的屏幕显示内容存储为以长于所述预定义时间段的时间间隔播 放所述屏幕显示内容的可播放图片文件。
13、 如权利要求 8所述的装置， 所述录制模块还用于， 将所述鼠标事件与 所述屏幕显示内容进行处理， 获得图片文件，对所述图片文件进行压缩获得录 制内容。
14、一种包括程序代码的计算机程序， 当所述计算机程序运行在计算机上 时， 所述程序代码执行根据权利要求 1所述的内容录制方法的各步骤。
PCT/CN2013/083622 2012-09-19 2013-09-17 内容录制方法和装置 WO2014044164A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/659,872 US9600399B2 (en) 2012-09-19 2015-03-17 Content recording method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210348744.3 2012-09-19
CN201210348744.3A CN103678106A (zh) 2012-09-19 2012-09-19 一种内容录制方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/659,872 Continuation US9600399B2 (en) 2012-09-19 2015-03-17 Content recording method and device

Publications (1)

Publication Number Publication Date
WO2014044164A1 true WO2014044164A1 (zh) 2014-03-27

Family

ID=50315746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/083622 WO2014044164A1 (zh) 2012-09-19 2013-09-17 内容录制方法和装置

Country Status (3)

Country Link
US (1) US9600399B2 (zh)
CN (1) CN103678106A (zh)
WO (1) WO2014044164A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408345A (zh) * 2018-09-25 2019-03-01 深圳壹账通智能科技有限公司 操作重现方法、装置、计算机设备和存储介质
CN113163256A (zh) * 2021-04-29 2021-07-23 深圳市艾酷通信软件有限公司 基于视频生成操作流程文件的方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970533B (zh) * 2014-04-14 2018-01-30 深信服科技股份有限公司 屏幕录制的信息记录方法及装置
CN105323624B (zh) * 2014-07-31 2019-04-19 腾讯科技（深圳）有限公司 一种录制视频的方法、装置和***
CN105045823B (zh) * 2015-06-26 2019-02-01 上海卓易科技股份有限公司 一种基于截图的移动终端演示文件的生成方法及装置
CN106055205B (zh) * 2016-05-30 2019-10-29 北京金山安全软件有限公司 录屏方法及装置
US10785541B2 (en) 2016-11-29 2020-09-22 Huawei Technologies Co., Ltd. Screencast recording method, screencast playing method, screen recording terminal, and playing terminal
CN107608886A (zh) * 2017-09-14 2018-01-19 郑州云海信息技术有限公司 一种自动报录软件缺陷的方法及***
WO2019056333A1 (zh) * 2017-09-25 2019-03-28 深圳传音制造有限公司 用于移动终端测试的屏幕录制方法及移动终端
CN107870725A (zh) * 2017-11-30 2018-04-03 广东欧珀移动通信有限公司 录屏方法、装置及终端
CN109271122B (zh) * 2018-09-03 2022-07-01 高新兴科技集团股份有限公司 一种基于双显示屏的文件显示方法、装置及设备
CN109800132A (zh) * 2019-01-02 2019-05-24 郑州云海信息技术有限公司 一种软件开发监测装置及方法
CN109871172B (zh) * 2019-01-23 2020-09-15 广州杰赛科技股份有限公司 一种自动化测试中的鼠标点击方法、装置及可读存储介质
CN110209557B (zh) * 2019-03-16 2022-05-17 平安科技（深圳）有限公司 用户操作录制还原方法、装置、设备及可读存储介质
CN112260835B (zh) * 2020-09-14 2022-06-24 浙江数秦科技有限公司 一种基于区块链的在线过程取证与存证方法
CN113535029A (zh) * 2021-07-30 2021-10-22 西安闻泰电子科技有限公司 操作录制方法、终端、计算机设备及计算机可读存储介质
CN113810639B (zh) * 2021-09-28 2023-09-29 深圳万兴软件有限公司 一种录制鼠标信息可再编辑的方法、装置及相关介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6938210B1 (en) * 2000-04-11 2005-08-30 Liztech Co., Ltd. Computer-Based lecture recording and reproducing method
CN101197990A (zh) * 2006-12-13 2008-06-11 四川川大智胜软件股份有限公司 与硬件和操作***平台无关的屏幕景象记录方法
CN101477440A (zh) * 2009-01-15 2009-07-08 腾讯科技（深圳）有限公司 屏幕截图方法和屏幕截图***
CN102054051A (zh) * 2009-11-04 2011-05-11 英特尔公司 记录显示屏幕的内容
CN102279739A (zh) * 2011-06-10 2011-12-14 吴东辉 屏幕操作的记录方法和应用

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335342A (en) * 1991-05-31 1994-08-02 Tiburon Systems, Inc. Automated software testing system
CA2190043C (en) * 1996-11-12 2001-10-16 Don E. Hameluck Buffered screen capturing software tool usability testing of computer applications
CA2321019A1 (en) * 2000-09-27 2002-03-27 Ibm Canada Limited-Ibm Canada Limitee Capturing snapshots of a debuggee's state during a debug session
WO2005041039A1 (en) * 2003-10-24 2005-05-06 Electronic Arts Inc. System and method for testing human interactive applications and devices
US7114018B1 (en) * 2004-01-06 2006-09-26 American Megatrends, Inc. Methods, systems, and computer program products for communication of non-keyboard related data via a keyboard connection
US7805008B2 (en) * 2005-11-14 2010-09-28 Intel Corporation Structural content filtration of hypotheses in a cognitive control framework
US20080141221A1 (en) * 2006-12-08 2008-06-12 Microsoft Corporation Using recorder technology to find defects in software applications
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
US20080282160A1 (en) * 2007-04-06 2008-11-13 James Ian Tonnison Designated screen capturing and automatic image exporting
US20090150868A1 (en) * 2007-12-10 2009-06-11 Al Chakra Method and System for Capturing Movie Shots at the Time of an Automated Graphical User Interface Test Failure
US8271951B2 (en) * 2008-03-04 2012-09-18 International Business Machines Corporation System and methods for collecting software development feedback
US9569231B2 (en) * 2009-02-09 2017-02-14 Kryon Systems Ltd. Device, system, and method for providing interactive guidance with execution of operations
KR20120009564A (ko) * 2010-07-19 2012-02-02 삼성전자주식회사 3차원 마우스 포인터 생성방법 및 생성장치
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks
US8704764B2 (en) * 2011-10-28 2014-04-22 Verizon Patent And Licensing Inc. Correcting client device inputs to a virtual machine
US9858173B2 (en) * 2011-12-01 2018-01-02 Microsoft Technology Licensing, Llc Recording user-driven events within a computing system including vicinity searching
WO2013162503A1 (en) * 2012-04-23 2013-10-31 Hewlett-Packard Development Company, L.P. Software defect verification
US9037913B2 (en) * 2012-04-30 2015-05-19 Microsoft Technology Licensing, Llc Dynamic event generation for user interface control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6938210B1 (en) * 2000-04-11 2005-08-30 Liztech Co., Ltd. Computer-Based lecture recording and reproducing method
CN101197990A (zh) * 2006-12-13 2008-06-11 四川川大智胜软件股份有限公司 与硬件和操作***平台无关的屏幕景象记录方法
CN101477440A (zh) * 2009-01-15 2009-07-08 腾讯科技（深圳）有限公司 屏幕截图方法和屏幕截图***
CN102054051A (zh) * 2009-11-04 2011-05-11 英特尔公司 记录显示屏幕的内容
CN102279739A (zh) * 2011-06-10 2011-12-14 吴东辉 屏幕操作的记录方法和应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JU, LONGYUAN: "ping mu lu xiang zhuan jia de jue zhao", SHAO NIAN DIAN NAO SH3 JIE, 31 December 2003 (2003-12-31), pages 24 - 25 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408345A (zh) * 2018-09-25 2019-03-01 深圳壹账通智能科技有限公司 操作重现方法、装置、计算机设备和存储介质
CN113163256A (zh) * 2021-04-29 2021-07-23 深圳市艾酷通信软件有限公司 基于视频生成操作流程文件的方法及装置
CN113163256B (zh) * 2021-04-29 2024-01-23 深圳市艾酷通信软件有限公司 基于视频生成操作流程文件的方法及装置

Also Published As

Publication number Publication date
US20150186248A1 (en) 2015-07-02
CN103678106A (zh) 2014-03-26
US9600399B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
WO2014044164A1 (zh) 内容录制方法和装置
US8701090B2 (en) Graphical user interface testing systems and methods
TWI509409B (zh) 用於檢視在一程式之執行期間錄製之記錄之方法及系統
US20170337116A1 (en) Application testing on different device types
US8645912B2 (en) System and method for use in replaying software application events
US20140317602A1 (en) Graphical User Interface Debugger with User Defined Interest Points
US20110173239A1 (en) Web Application Record-Replay System and Method
KR20060128022A (ko) 사용성 테스트를 실시하기 위한 자동화 시스템 및 방법
US8418148B2 (en) Thread execution analyzer
TW201518933A (zh) 測試裝置及其測試方法
KR100618319B1 (ko) 무선통신단말기의 에러 테스트 방법
Moran et al. On-device bug reporting for android applications
CN104239168B (zh) 卡顿检测方法和设备
CN104866420A (zh) 一种精确记录的手机软件测试方法
US20240189724A1 (en) Videogame telemetry data and game asset tracker for session recordings
KR20080052341A (ko) 내장형 시스템 소프트웨어 자동 테스트 시스템 및 방법과테스트 시나리오 작성 방법
US8984484B2 (en) Video sequence recording during a testing session on a data processing device to enable fault detection
US20150128048A1 (en) Automated multimedia content editing
JP2013143044A (ja) プログラム、情報処理方法、および情報処理装置
CN111475423A (zh) 数据录入方法、装置、电子设备及可读存储介质
CN110569184B (zh) 一种测试方法及终端设备
TWI393897B (zh) 整合測試方法及其系統
CN111858194A (zh) 机器人错误的生成及处理的方法及装置、机器人和后台服务器
CN115687058A (zh) 一种Unity3d程序的动作录制及生成回放脚本的方法及***
CN117563224A (zh) 音效播放方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13839585

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 31/07/2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13839585

Country of ref document: EP

Kind code of ref document: A1