CN106201454A - 引导文件生成*** - Google Patents

引导文件生成*** Download PDF

Info

Publication number
CN106201454A
CN106201454A CN201610363866.8A CN201610363866A CN106201454A CN 106201454 A CN106201454 A CN 106201454A CN 201610363866 A CN201610363866 A CN 201610363866A CN 106201454 A CN106201454 A CN 106201454A
Authority
CN
China
Prior art keywords
image
target
guiding
text
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610363866.8A
Other languages
English (en)
Inventor
木原隆幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN106201454A publication Critical patent/CN106201454A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

提供一种用于协助生成如电子手册或操作导航者的引导文件的***,用于在目标程序运行时引导操作目标程序的操作者。该***包括:操作目标,用于检测由操作目标程序的生成者执行的操作的目标;图像引导显示器,用于在操作的目标的附近显示图像引导;文本引导显示器,用于显示与所述操作的目标有关的预设引导文本和/或允许生成者键入文本的输入栏;内容存储处理器,用于将操作的目标、图像引导、以及引导文本以及其他内容存储在指定的存储部件中;以及引导文件生成器,用于使用存储于存储部件中的内容生成引导文件。

Description

引导文件生成***
技术领域
本发明涉及用于生成用户手册或者引导程序的***,该程序使用图形用户界面(GUI)来帮助用户操作应用程序。
背景技术
计算机允许用户利用各种各样的程序来执行各种各样的任务。然而,随着这种程序的数目的增加,对于每个单独的程序特定的操作的数目也同样增加,使得用户难以正确的记忆和执行所有的操作。相应地,通常程序配置有可在个人计算机上观看或者播放的打印的或者电子的手册,以便帮助用户正确的操作程序或者介绍程序具有的各种功能。电子手册允许使用跳转到相关主题以及嵌入的动画对象的链接,所以用户可以简单直观的理解各种操作。此外,电子手册可以以低成本被生成和分配。因此,近年来,电子手册比打印版本被更普遍的使用。
近年来,分析器以及许多其他的工业设备已经通过控制***被频繁地操作,控制***通过在万能计算机上安装专用程序来被配置。其原因在于,这种***不仅简化了操作,还允许控制数据、测量数据以及其他相关信息在其他程序(应用程序)中被使用。被用于控制设备,控制目标设备(例如,分析器)或者从而用于分析获取的测量数据的这种专用程序是一种高度特殊的程序,其操作对于用户来说难以正确的记忆。不正确的操作将导致不方便的情形;例如,可以阻止分析(或者其他任务),或者可以获取错误数据。对于这种专用程序,必须教会用户正确的操作。相应地,必须制备详细的手册。
通常,电子手册被设计成能够与提供手册的程序(“目标程序”)分开被显示。发明人已经提议了一种用于辅助用户操作目标程序的程序。当目标程序运行时,辅助程序自动地识别由用户操作的GUI部件(这种部件在下文中被称为“操作的目标”或者“操作目标”),并将引导或者类似的信息叠加在目标程序的窗口上,而不干扰该窗口的显示(参见专利文献1;这种程序在下文中被称为“操作导航程序”或者“操作导航者”)。该程序在目标程序运行时,显示关于所要求操作的适当的引导信息。这种导航程序允许用户更加容易地理解操作,并更加有效地防止除电子手册外的不正确操作。
引用列表
专利文献
专利文献1:JP2015-035120A。
发明内容
技术问题
传统的电子手册和操作导航者用于用户。然而,他们中的每一个都需要被预先生成。例如,电子手册的生成如下:当目标程序运行时,生成器实际上在目标程序上执行各种操作,采集该操作的每个重要步骤中的部分或者整个窗口图像(“内容”)。在所有必要内容被完成后,生成器根据用户期望执行的操作规程排列这些内容。另外,生成器需要为每个窗口图像添加适当的图像引导(例如,箭头或者圆圈)和注释(例如,备注)。在操作导航者的情况中,生成器需要在每个操作步骤中生成将要叠加在目标程序的显示器的帧或者其他图像引导,并添加适当的文本或者图像信息以引导用户进行操作。
这种手册或者操作导航者通常由目标程序的开发者准备,虽然有时候由终端用户或者类似的不直接参与开发的个体生成。当目标程序正在运行并***作时,有可能为假定的用户添加适当的图像引导和备注。然而,在布置和编辑临时储存内容的过程中,添加适当的图像引导和备注的任务是困难的,因为生成器的注意力会不可避免地从目标程序被转移。当非开发者执行任务时该问题特别显著。虽然用于自动布置内容的专用程序是可用的,但是生成器仍然需要执行相当繁重的任务(如修订备注)以使终端用户易于理解这些内容。
本发明所要解决的问题在于提供一种***,用于方便地生成便于用户理解的电子手册或者操作导航程序(这种手册和程序在下文中统称为“引导文件”)。
解决问题的方案
用于解决上述问题开发的本发明为引导文件生成***,该***用于生成引导文件,用于在目标程序运行时,引导操作目标程序的目标程序操作者,该***包括:
a)操作目标检测器,用于在预定时间检测在目标程序的显示窗口上由操作目标程序的生成者执行的操作的目标;
b)图像引导显示器,用于在操作的目标的附近显示图像引导,图像引导是用于将目标程序操作者的注意力引至操作的目标的图形对象;
c)文本引导显示器,用于显示与操作的目标有关的预设引导文本和/或允许生成者键入文本的输入栏;
d)内容存储处理器,用于将操作的目标、图像引导、以及引导文本和/或由生成者在输入栏中键入的文本存储在指定的存储部件中;和
e)引导文件生成器,用于使用存储在所述存储部件中的内容来生成引导文件.
“生成者”是利用根据本发明的***生成用于目标程序的引导文件的人。提供用这样的方式生成的引导文件是为了“目标程序操作者”,即,使用(操作)目标程序的任何人。
用于操作目标检测器检测操作目标的预定时间可以被设置为预定时间间隔,或者可以是由生成者执行特定操作时的时间点。在前一种情况下,优选的时间间隔在0.5至1.0秒的范围内;例如,可以每隔0.5秒执行操作目标的检测。在后一种情况下,操作目标的检测由特定时间触发,例如,通过生成者按压键盘上的Ctrl键触发。
一种可以用于检测操作目标的方法是使用图像处理。例如,许多应用程序被设计成能在显示的图像上产生视觉变换,例如,突出由操作者(生成者)移动的鼠标光标所放置或者接近的组件。操作目标检测器可以通过适当的图象处理技术(例如,通过计算改变前后获取的两张图像之间的差值),检测图像中的这种由于操作者(生成者)的操作产生的变化。选择被检测区域作为操作目标的候选。另一种不依赖于图像处理的可能的方法为使用应用程序接口(API)或者由操作***(OS)提供的类似功能。例如OS具有API,API能够使应用程序位于设置聚焦(鼠标光标)处的控制(控件)的位置处。操作目标检测器可以基于检测结果选择操作目标的候选。
至于用于检测操作目标的这两种方法,生成者预先指定应当使用它们中的哪一个。此外,可能同时使用两种方法。
此外,操作目标检测器可以从上述操作目标的候选中选择操作目标。如果只有一个操作目标的候选被检测到,则该候选立即被选作操作目标。如果多个操作目标的候选被同时检测到,则操作目标检测器可以选择所有的被检测到的候选作为操作目标,或者可替换地,可以为单个的候选设置优先级,并选择具有高优先级的一个以上候选作为操作目标。
图像引导显示器示出了在被检测到的操作目标附近的图像引导。较佳地,图像引导应当以叠加的形式被显示在目标程序的显示窗口,或者被显示在显示窗口附近,然而有些时候,其可能被放置在分开的位置。图像引导的形状实例包括三角形框、圆框和其他框形、以及与操作目标的形状匹配的图形。当叠加在操作目标上时,较佳地,图像引导应当被给定半透明的外观。
文本引导显示器示出了接近图像引导的关于操作目标的预设引导文本和/或允许生成者键入文本的输入栏(这种引导文本和输入栏在下文中统称为“文本引导”)。输入栏允许生成者键入指令或者备注,例如在操作目标上将被执行的操作的内容或者在操作期间需要注意的事项。
内容存储处理器在存储部件中存储内容数据,即,操作的目标、图像引导和由之前描述的功能组件生成的文本引导。当用于数据储存动作的特定操作被生成者利用键盘或者其他设备执行时,或者当生成者在输入栏中完成了文本输入或者已经在操作目标上执行了预定操作时,可以执行数据存储动作。在后面的情况中,在当前显示的窗口上由生成者生成的内容数据被使用目标程序的转换,同时自动地存储至下一个显示窗口(即至下一个操作步骤)。
通过重复内容存储过程,多组关于内容(目标程序的显示窗口图像、操作内容等)的数据被相继采集到存储部件中。每个步骤得到的采集的图像同样被存储和采集到存储部件中。
使用存储在存储部件中的内容作为材料,引导文件生成器编辑引导文件,例如,引导文件是电子手册、视频手册、或者拥有操作导航程序的数据。由于适当的图像和文本引导被添加到用于编辑引导文件的内容中,可以获得易于理解的引导文件。此外,由于内容是以操作步骤的顺序被存储的,可以通过简单的方法获取易于理解的引导文件,例如,通过以时序次序自动分类那些内容的方法。
之前描述的用于生成引导文件的***可以进一步包括
f)图像引导编辑器,用于改变图像引导的位置和/或形状。
根据该配置,生成者可以自由改变图像引导的位置和/或形状。因此,如果通过操作目标检测器检测到的操作目标与生成者预期的位置和/或尺寸不符,则生成者可以根据需要修正图像引导的位置和/或形状。
本发明的有益效果
利用根据本发明的引导文件生成***,生成者可以在生成者正操作目标程序的非常时间点,生成和放置解释性文本和其他内容。因此,其便于添加适当的图像引导和备注。利用具有那些添加的图像引导和备注的内容,生成者可以容易地生成便于操作者理解的引导文件。
附图说明
图1是本发明一实施例的包含分析控制***的分析***的结构示意图。
图2是根据本实施例的安装在分析控制***中的引导文件生成程序的操作流程图。
图3A和3B是引导文件生成程序的执行窗口的实例,其中图3A是用于生成内容的窗口,图3B是用于选择数据格式的对话框。
图4A和4B是分析器控制程序的显示窗口的实例,其中图4A是没有突出部分的实例,图4B是在菜单栏中具有一个突出项目的实例。
图5是本实施例中的图像引导被叠加的分析器控制程序的执行窗口的一个实例。
图6是本实施例中的图像引导被改变尺寸的执行窗口的实例。
图7A-7C是将被存储在本实施例的存储部件中的图像数据的实例,其中图7A是采集的图像A,图7B是采集的图像B以及图像7C是完成的窗口图像。
图8是根据本实施例的多个图像引导被显示的执行窗口的一个实例。
图9是作为采集的图像被存储的图像的一个实例,采集的图像A仅显示了根据本实施例的图像引导的一部分。
具体实施例
将参考附图在下文中详细地描述根据本发明的引导文件生成***的一个实施例。
图1时根据本发明的引导文件生成***的一个实施例的包含分析控制***的分析***的结构示意图。
本分析***包括与分析器20(例如,液相色谱仪)连接的分析控制***1。分析控制***1具有控制分析器20的操作并分析在分析器20中执行的测量的结果的功能。
分析控制***1实际上是多功能的个人计算机(PC),包括中央处理单元(CPU)、存储单元、以及如硬盘驱动器(HDD)或者固态硬盘(SSD)的海量存储设备。海量存储设备的一部分被用作存储部件9,用于储存由引导文件生成程序3生成的数据。在分析控制***1中,分析器控制程序2在如操作***的操作***(OS)上执行分析器控制程序2(对应本发明的目标程序)。
与分析控制***1连接的是显示单元10(例如,液晶显示器)和输入单元11,显示单元10用于显示各种类型的信息,输入单元11包括鼠标、键盘以及其他允许用于输入各种指令的输入设备。虽然图1中所示的显示单元10位于分析控制***1的外部,但是作为分析控制***1被构造为利用平板电脑的情况,这些单元10和11可以是分析控制***1的内置组件。
引导文件生成程序3在分析控制***1中操作(即,该程序被安装在PC上)。
在下文中描述引导文件生成程序3的配置。引导文件生成程序3包括操作目标检测器4、图像引导显示器5、文本引导显示器6、内容存储处理器7、以及引导文件生成器8。所有这些在分析控制***1的PC上以软件组件的形式实现。
在下文中参考图2所示的流程图描述引导文件生成程序3的操作。
当引导文件生成程序3和分析器控制程序2被执行时,图3A和4A中所示的执行窗口被分别显示。当引导文件生成程序3上的开始生成键31被生成者按压时,操作目标检测器4采集包括分析控制程序2的控制执行窗口40的桌面图像(例如,被采集的图4A中所示的图像),并将其保持在存储单元中作为采集的图像A(步骤S1)。这种采集方法以0.5秒的间隔被同样地和自动地重复,并且采集的桌面图像被保持在存储单元中作为采集的图像B(步骤S3)。操作目标检测器4执行预定图像处理,以检测从采集的图像A改变的采集的图像B的任何部分,预定图像处理诸如为计算采集的图像A和B之间对应的像素的发光度差异。在两张图像之间没有差异时(步骤S4为“否”),操作目标检测器4重复步骤S2、S3和S4的处理。
现在,假如生成者已将光标移过控制执行窗口40上的“方法”菜单。基于分析器控制程序2的功能,字符串“方法”周围的区域被突出出来(图4B)。当该控制执行窗口40的图像被采集作为图像B,操作目标检测器4查找到从先前采集的图像A改变的区域,即,突出区域41(在步骤S4中为“是”)。
图像引导显示器5示出了图像引导42(图),该图像引导42为邻近控制执行窗口40上的突出区域,完全地围绕被检测区域(“被包围的区域”)的矩形框(步骤S5)。图像引导42未必总是必需是矩形形状;其可以是圆圈、椭圆、多边形或者其他任何能使被包围的区域引起生成者注意的图形。此外,图像引导42可以被配置,从而可以通过用鼠标拖动方框的其中一个侧边或者角,改变其方框尺寸(图6)。还可能在SHIFT键被按下时通过单击方框的侧边,提供为图像引导42的方框添加角的功能。图像引导42未必总必需是方框。例如,可以是以不同的显示彩色表示被包围区域的图像,或者采用应用预备的图像掩膜表示被包围区域的图像。这些图像还可以作为图像引导42被叠加在控制执行窗口40上。换句话说,在本发明中那些图像也应当被认为是图形对象的一种类型。
同时,当图像引导42被显示时,文本引导显示器6将图5所示的指令显示对象43和备注显示对象44(其中每个对应本发明中的文本引导)叠加在控制执行窗口40上。较佳地,如图5所示,这些对象应当被放在接近图像引导42的位置。另外,也可以提供允许生成者通过拖动对象来改变指令显示对象43或者备注显示对象44的显示位置和尺寸的功能。使他们的显示位置和尺寸可变,可以防止控制执行窗口40上的GUI部件和信息被指令显示对象43或者备注显示对象44隐藏。
指令显示对象43和备注显示对象44中显示的内容取决于生成者在指令输入栏33和备注输入栏34分别指定的项目。在本实施例中,作为显示指令输入栏33的一个实例,预定义三个文本字符串:“单击此处”、“双击此处”和“右击此处”。生成者可以通过选择这些选项中的一个来改变指令显示对象43的显示。“输入任意指令”栏允许用户输入任何文本字符串并使其限制在指令显示对象43中。在备注输入栏34中,如果“无”被选择,则备注显示对象44被移除。如果选择图像被选择,则文本引导显示器6显示允许生成者从预先存储在分析控制***1的大容量存储设备中的其中一个图像数据的窗口。进而将选择的图像显示在备注显示对象44中。“下一个(按键)”选项仅用于操作导航程序。当一块数据包括用于操作导航程序的项目时,备注显示对象44以按钮标签“下一个”的形式被显示。当按下该按键时,下一个操作步骤被显示。(当在操作目标处执行特定的鼠标操作或者“下一个”按键被按下时,操作导航程序进入下一个步骤。)
另外的,生成者还可以点击指令显示对象43或者备注显示对象44,并直接键入指令或者备注。
当图像引导42、指令显示对象43和备注显示对象44显示在目标程序的窗口40上时,引导文件生成程序3检测每个由生成者执行的操作(步骤S6),并判定该操作是否已经在图像引导42内被执行(步骤S7)。如果步骤S7的结果为“否”,则引导文件生成程序3判定操作是否为按下了清除目标键32(步骤S8)。如果步骤8的结果为“是”,则图像引导显示器5移除图像引导42,而文本引导显示器6移除指令显示对象43和备注显示对象44(步骤S9),并且从步骤S1开始再次执行该方法。例如,当图像引导42已经被显示在非计划的位置处时,生成者可以点击清除目标键32,以再次执行图像引导42的显示以及相关的处理。
如果在图像引导42内由生成者执行某个操作(例如,单击)(步骤S7中为“是”),内容存储处理器7在存储部件9中储存采集的图像和相关内容(步骤S11)。在该处理中,存储以下内容:从采集的图像A截取的操作目标图像(图7A);包括从采集的图像B截取的由图像引导42包围的区域的图像(例如,包括操作目标的整个窗口)(图7B);图像引导的位置(相对于图7A中操作目标的坐标)和形状;指令文本和备注文本的文本字符串(或者如果图像被选择,图像)和显示位置(相对于图像引导42的坐标);在步骤S6中图像引导42内执行的操作的内容(单击、双击,等等);执行操作处的位置(相对于图像引导的坐标);以及具有图像引导42、指令文本、被选中的图像以及排布其上的其他内容的被完成的窗口图像(图7C)。
可以通过在初始窗口图像上叠加图像、文本字符串及其他内容,从存储在存储部件9的数据(不包括已完成的窗口图像)中产生已完成的窗口图像。可替换地,步骤6中的桌面图像可以被采集并作为已完成的窗口图像被存储。
在之前描述的存储处理完成之后,图3A中步数指示器35的显示变为等于之前执行的存储处理数目加一的数目(步骤S12)。例如,在第一存储处理完成后,步数指示器35改变为“步骤2”。
在步骤S12的处理完成之后,图像引导显示器5从窗口移除图像引导42,同时文本引导显示器6移除指令显示对象43和备注显示对象44(步骤S13)。随后,引导文件生成程序3再次从步骤S1开始执行该方法。
在步骤S6中由生成者在图像引导内执行的单击操作是在分析器控制程序2上执行的操作。因此,分析器控制程序2实际上完成了当“方法”菜单被点击时,被编程执行的方法和屏幕显示。相应地,在“方法”菜单被点击的显示窗口上,生成者可以即时执行生成用于下一个操作步骤的数据的任务。
在这种方式下,通过重复运行分析控制***1中的引导文件生成程序3来设置图像引导、指令文本及其他内容的任务,生成者可以在实际操作分析器控制程序2时记录操作步骤。因而产生的数据按照操作步骤的次序被相继存储在存储部件9中。
在所有的操作步骤被记录以后,或者在任意时刻,生成者按压结束按钮36(步骤S14中为“是”)。然后,引导文件生成程序3显示图3B所示的数据格式选择对话框37。生成者选择数据格式并按下确定按钮38,于是引导文件生成器8将存储在存储部件9中的数据转换为生成者指定的数据格式(步骤S15)。在本实施例中,数据格式包括用于电子手册的PDF、HTML和MPEG格式。例如,当这些数据格式中的一个被选择时,图像引导、图注、图像及其他内容被放置在指定位置的完成的屏幕图像,被编辑成电子手册,该电子手册以操作步骤的次序相继地显示那些屏幕图像。此外,还可以允许生成者通过以任意的次序排布那些图像,手动生成引导文件,并在需要时修改备注及其他内容。数据格式不限于上述例子;引导文件可以以各种文档格式或者视频格式被生成。
通过内容存储处理器7储存的内容还可以用于操作导航程序。专利文献1(段落【0022】)示出了在操作导航程序中显示其他的GUI组件所必需的数据列表。列表中的“参考图像”对应本实施例中的“从采集的图像A截取的操作目标的图像”,“其他的GUI组件的图像”对应“图像引导”,“为其他的GUI组件指定显示位置上的信息”对应“图像引导的位置”,以及“对测量设备控制软件执行的操作”对应“在图像引导内执行的操作的内容”。操作导航程序可以读取这些数据并且利用读取的数据显示引导文件(或者播放导航)。
之前列举的数据是要存储的数据的少数实例。可以根据操作导航程序需要的数据格式,适当的改变存储图像数据和文本数据的种类。
应当注意,之前描述的根据本发明的引导文件生成***的实施例可以在本发明的精神内被适当的改变或者修改。
在之前的实施例中,假设程序自动地采集图像A和B。此外,还可以允许生成者指定采集的时间。例如,在这种情况下,当生成者按下特定按键(例如,键盘上的Ctrl键)被检测到时,图像引导显示器5采集桌面图像并将其作为图像A存储。随后,当特定按键的按压被再次检测到时,图像引导显示器5再一次采集桌面图像并将其作为图像B存储,每个特定按键被按压,图像引导显示器5都用新的替代采集的图像B。根据这种配置,生成者可以在适当的时间获取桌面图像,并从而防止由于误操作或者别的方式导致图像引导42被显示在非计划的位置。
在之前的实施例的步骤S4中,通过检测采集的图像A和B之间的差异来查找操作目标。还可以通过API或者OS听的类似功能来查找操作目标。例如,OS具有允许应用程序获取鼠标光标所指(例如,被聚焦的)的控制(控件)的位置坐标信息的API。基于该信息,操作目标检测器4可以在控制周围显示图像引导42。
在之前的实施例中,整个桌面图像被作为图像A和B采集。此外,还可以使用部分的桌面图像。如已经说明的,突出的按键(操作目标)大部分出现在鼠标指针周围的特定区域中。相应地,可以采用适当的像素数目在鼠标指针周围定义特定区域,在该区域采集桌面图像,并将其作为采集的图像A或者B进行存储。该方法减小了用于检测操作目标的被采集和处理的图像的尺寸,并因而减少了分析控制***1的处理量。此外,如果在屏幕显示中,在远离鼠标指针的位置出现非计划的变化,该变化将不会被检测到,并且因此,图像引导不会在错误的位置被显示。
该***还可以被配置,以在其中每个对应一个GUI组件的两个以上的区域通过基于采集的图像的变化的方法或者利用API被检测到时,对这些区域设置优先级,并将具有最高优先级的那个选作操作目标。优先级化的一种方法是在靠近鼠标指针的被包围的区域显示图像引导。另一个方法是仅在位于距离鼠标指针的特定距离内的被包围的区域处显示图像引导。通过这些方法,生成者将要操作的GUI组件可以被优先考虑作为操作目标。
还可以从被检测到的区域中选择两个以上的具有高优先级区域作为操作目标,并为每个操作目标显示图像引导。图8显示一个实例,在该实例中输入栏和对应的按键分别由图像引导42a和42b包围,以使使用目标程序的操作者的注意力被引导至两个组件。
在之前的实施例中,显示一个指令显示对象43和一个备注显示对象44。有可能显示两个以上的这种对象。为了这一目的,可以在引导文件生成程序3的执行窗口(生成协助窗口)30中提供用于添加指令文本的按键和/或用于添加备注文本的按键,从而允许同步显示如图8中的数字43a、43b和44a所表示的两个以上的指令文本字符串和/或备注文本字符串。
相反地,还可能生成既没有指令显示对象43又没有备注显示对象44的显示。通过为指令输入栏33提供如备注输入栏34中“无”选项,指令文本和备注文本都可以从显示中被移除。
作为与之前描述的输入方法不同的用于在指令输入栏33和备注输入栏34中设置文本字符串的一种方法,通过光学字符阅读器(OCR)技术从包围的区域中的图像读取的字符信息可以被自动地嵌入输入栏。例如,在之前的实施例中,可以通过OCR从图像数据(在被图像引导包围的采集的图像A的范围内)提取字符串“方法”,并结合预备字符串形成将要显示的句子,例如“点击方法”
作为另一种输入方法,图像引导显示器5可以识别由生成者在图像引导42的方框内执行的操作类型,并且文本引导显示器6可以自动地设置包括被识别的操作类型的指令文本。例如,在步骤6中当生成者已经点击了图像引导方框内的区域时,图像引导显示器5通过API(或者其他)检测点击操作,并且文本引导显示器6设置“点击此处”作为指令文本。
在步骤S11中,从采集的图像(A在下文中称为“引导图像内”)截取的操作目标的图像被存储在存储部件中。该处理存储的图像数据可以仅仅是引导图像A内的一部分。
专利文献1中描述操作导航程序设计参考图像(引导内的图像A)并将对应参考图像的图像定位在目标程序及其他程序被显示的桌面图像中。对于图像检测,有各种检测技术是可用的,例如,图像匹配或者图形识别。如果参考图像具有大尺寸,检测过程引起大量的负荷并导致各种问题,如减小运算速度。此外,在参考图像(引导图像A内)包括操作目标周围的不需要的部分时,如果上述不需要的部分出于某些原因被改变,例如目标程序的屏幕布局中的改变,则可以检测图样的图像作为参考图像(引导图像A内)。
在操作导航程序的检测过程中参考图像可被识别为目标的情况下,通过减小如图9所示的参考图像(在引图像A内)尺寸,可以降低图像处理负荷并提高运行速度,以及使得检测过程对目标程序的屏幕布局中的改变不敏感。(此外,存储于存储部件9中的图像数据的量同样会被减小。
存储部件9中存储的内容并不限于之前的实施例中描述的数据格式。例如,图像引导的数据可以是用于画矩形、圆形或者任何其他图形的一段光栅图像数据或者一段矢量数据。在采用图形掩膜执行处理的情况下,图形掩膜的数据可以作为图像引导的数据被存储。
在之前的实施例中,引导文件生成程序3是通过点击生成协助窗口30上的按钮***作的。可以讲这些操作分配给键盘上的按键。这将产生如下效果:消除为操作移动鼠标光标的时间并且允许利用键盘访问生成协助窗口30,即使该窗口是隐藏在控制执行窗口40的后面或者被最小化在任务栏中。
附图标记列表
1…分析控制***
2…分析器控制程序
3…引导文件生成程序
4…操作目标检测器
5…图像引导显示器
6…文本引导显示器
7…内容存储处理器
8…引导文件生成器
9…存储部件
10…显示单元
11…输入单元
20…分析器
30…生成协助窗口
31…开始生成按钮
32…清除目标按钮
33…指令输入栏
34…备注输入栏
35…步数指示器
36…结束按钮
37…数据格式选择对话框
38…确定按钮
40…控制执行窗口
41…突出区域
42…图像引导
43…指令显示对象
44…备注显示对象。

Claims (2)

1.一种用于生成引导文件的引导文件生成***,所述引导文件用于在目标程序运行时引导操作所述目标程序的目标程序操作者,其特征在于,所述***包括:
a)操作目标检测器,所述操作目标检测器用于在预定时间检测在所述目标程序的显示窗口上由操作所述目标程序的生成者执行的操作的目标;
b)图像引导显示器,所述图像引导显示器用于在所述操作的目标的附近,显示图像引导,所述图像引导是用于将所述目标程序操作者的注意力引至所述操作的目标的图形对象;
c)文本引导显示器,所述文本引导显示器用于显示与所述操作的目标有关的预设引导文本和/或允许所述生成者键入文本的输入栏;
d)内容存储处理器,所述内容存储处理器用于将所述操作的目标、所述图像引导、以及所述引导文本和/或由所述生成者在所述输入栏中键入的所述文本存储在指定的存储部件中;和
e)引导文件生成器,所述引导文件生成器用于使用存储在所述存储部件中的内容来生成所述引导文件。
2.如权利要求1所述的引导文件生成***,其特征在于,进一步包括:
f)图像引导编辑器,所述图像引导编辑器用于改变所述图像引导的位置或者形状。
CN201610363866.8A 2015-05-28 2016-05-27 引导文件生成*** Withdrawn CN106201454A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015108401A JP2016224599A (ja) 2015-05-28 2015-05-28 ガイドファイル作成プログラム
JP2015-108401 2015-05-28

Publications (1)

Publication Number Publication Date
CN106201454A true CN106201454A (zh) 2016-12-07

Family

ID=57398579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610363866.8A Withdrawn CN106201454A (zh) 2015-05-28 2016-05-27 引导文件生成***

Country Status (3)

Country Link
US (1) US20160350137A1 (zh)
JP (1) JP2016224599A (zh)
CN (1) CN106201454A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990958A (zh) * 2017-03-17 2017-07-28 联想(北京)有限公司 一种扩展组件、电子设备及启动方法
CN107844331A (zh) * 2017-11-23 2018-03-27 腾讯科技(成都)有限公司 生成引导配置文件的方法、装置及设备
CN108287739A (zh) * 2017-12-19 2018-07-17 维沃移动通信有限公司 一种操作引导方法及移动终端
CN109885365A (zh) * 2019-01-25 2019-06-14 平安科技(深圳)有限公司 操作引导方法、装置、计算机设备和存储介质
CN110223052A (zh) * 2018-03-02 2019-09-10 阿里巴巴集团控股有限公司 数据处理方法、装置和机器可读介质
CN111752442A (zh) * 2020-08-11 2020-10-09 腾讯科技(深圳)有限公司 显示操作引导信息的方法、装置、终端及存储介质
CN114296846A (zh) * 2021-12-10 2022-04-08 北京三快在线科技有限公司 一种页面引导的配置方法、***及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD816708S1 (en) * 2016-12-08 2018-05-01 Nasdaq, Inc. Display screen or portion thereof with animated graphical user interface
CN108132805B (zh) * 2017-12-20 2022-01-04 深圳Tcl新技术有限公司 语音交互方法、装置及计算机可读存储介质
CN109324857B (zh) * 2018-09-07 2021-10-08 腾讯科技(武汉)有限公司 一种用户引导实现方法、装置和存储介质
US11372661B2 (en) * 2020-06-26 2022-06-28 Whatfix Private Limited System and method for automatic segmentation of digital guidance content
US11461090B2 (en) 2020-06-26 2022-10-04 Whatfix Private Limited Element detection
US11704232B2 (en) 2021-04-19 2023-07-18 Whatfix Private Limited System and method for automatic testing of digital guidance content
US11669353B1 (en) 2021-12-10 2023-06-06 Whatfix Private Limited System and method for personalizing digital guidance content
WO2023238357A1 (ja) * 2022-06-09 2023-12-14 日本電信電話株式会社 特定装置、特定方法及び特定プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010039552A1 (en) * 2000-02-04 2001-11-08 Killi Tom E. Method of reducing the size of a file and a data processing system readable medium for performing the method
US20090172533A1 (en) * 2007-12-28 2009-07-02 Karim Hamzaoui Method to Enable Semi-Automatic Regeneration of Manuals by Saving Manual Creation Operations as Scripts
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065728A (ja) * 2004-08-30 2006-03-09 Sony Corp 電子機器の操作情報処理装置、電子機器の操作情報処理システム、サーバ、端末装置、電子機器の操作マニュアル作成方法、電子機器の操作マニュアル出力方法、電子機器の操作マニュアル、この操作マニュアルを記録した記録媒体
JP2006227730A (ja) * 2005-02-15 2006-08-31 Nec Corp 操作マニュアル作成装置、方法、及びプログラム
US8103367B2 (en) * 2008-11-20 2012-01-24 Fisher-Rosemount Systems, Inc. Methods and apparatus to draw attention to information presented via electronic displays to process plant operators

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010039552A1 (en) * 2000-02-04 2001-11-08 Killi Tom E. Method of reducing the size of a file and a data processing system readable medium for performing the method
US20090172533A1 (en) * 2007-12-28 2009-07-02 Karim Hamzaoui Method to Enable Semi-Automatic Regeneration of Manuals by Saving Manual Creation Operations as Scripts
US20120131456A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Capture and Playback for GUI-Based Tasks

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990958A (zh) * 2017-03-17 2017-07-28 联想(北京)有限公司 一种扩展组件、电子设备及启动方法
CN106990958B (zh) * 2017-03-17 2019-12-24 联想(北京)有限公司 一种扩展组件、电子设备及启动方法
CN107844331A (zh) * 2017-11-23 2018-03-27 腾讯科技(成都)有限公司 生成引导配置文件的方法、装置及设备
CN107844331B (zh) * 2017-11-23 2021-01-01 腾讯科技(成都)有限公司 生成引导配置文件的方法、装置及设备
CN108287739A (zh) * 2017-12-19 2018-07-17 维沃移动通信有限公司 一种操作引导方法及移动终端
CN110223052A (zh) * 2018-03-02 2019-09-10 阿里巴巴集团控股有限公司 数据处理方法、装置和机器可读介质
CN109885365A (zh) * 2019-01-25 2019-06-14 平安科技(深圳)有限公司 操作引导方法、装置、计算机设备和存储介质
CN111752442A (zh) * 2020-08-11 2020-10-09 腾讯科技(深圳)有限公司 显示操作引导信息的方法、装置、终端及存储介质
CN111752442B (zh) * 2020-08-11 2023-08-15 腾讯科技(深圳)有限公司 显示操作引导信息的方法、装置、终端及存储介质
CN114296846A (zh) * 2021-12-10 2022-04-08 北京三快在线科技有限公司 一种页面引导的配置方法、***及装置

Also Published As

Publication number Publication date
US20160350137A1 (en) 2016-12-01
JP2016224599A (ja) 2016-12-28

Similar Documents

Publication Publication Date Title
CN106201454A (zh) 引导文件生成***
US11543943B2 (en) Systems and methods for on-image navigation and direct image-to-data storage table data capture
US9098313B2 (en) Recording display-independent computerized guidance
US8918739B2 (en) Display-independent recognition of graphical user interface control
US20160188158A1 (en) Tool-tip for multimedia files
Hunt MacProbe: A Macintosh-based experimenter’s workstation for the cognitive sciences
US8148687B1 (en) System and method for creating equipment inspection routes
US8868524B2 (en) Floating merge selection viewer
US20110126158A1 (en) Systems and methods for implementing pixel-based reverse engineering of interface structure
US10169374B2 (en) Image searches using image frame context
EP2581895A2 (en) Content authoring application
US9405558B2 (en) Display-independent computerized guidance
JP2011118902A (ja) 自動フォーム・レイアウト方法、システム、およびコンピュータ・プログラム
JP6020383B2 (ja) 表示・実行操作補助プログラム
CN101292262A (zh) 认知控制框架中的假设的结构性内容过滤
US10042638B2 (en) Evaluating documentation coverage
Zhou et al. A Survey of Patterns for Adapting Smartphone App UIs to Smart Watches
Kelly et al. Mastering Xcode: Develop and Design
US20120162246A1 (en) Method and an apparatus for automatic capturing
Rohde Adobe Edge Animate CC for Dummies
Denoue et al. Content-based copy and paste from video documents
KR102207514B1 (ko) 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP2006105800A (ja) 分析システム、該システムに用いる情報集合体、及び該情報集合体を格納した記録媒体
Yemelin Making Visualization Work for You: Deriving Valuable Insights from Omics Data
EP3428618A1 (en) Management program for analysis device and management device for analysis device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20161207

WW01 Invention patent application withdrawn after publication