CN105512316B - 一种结合移动终端的知识服务*** - Google Patents

Abstract

本发明公开了一种结合移动终端的知识服务***，包括云服务引擎和移动终端。云服务引擎包括：知识获取模块、知识搜索模块、知识推荐模块、知识推理模块、可视化处理模块、图像识别模块、知识数据库、以及图像特征库，上述各模块和库部署在一台服务器中，或分布部署于能够通过高速网络相互访问的多台服务器中。移动终端包括：图像获取模块、图像特征提取模块、以及用户界面模块。本发明还提供了一种基于该知识服务***的知识服务方法。

Description

一种结合移动终端的知识服务***

技术领域

本发明涉及计算机应用技术以及移动通信领域，具体来说涉及一种结合移动终端的知识服务***。

背景技术

知识服务是从各种显性和隐性知识资源中按照人们的需要有针对性地提炼知识，并用来解决用户问题的高级阶段的信息服务过程。这种服务其特点就在于，它是一种面向知识内容和解决方案的服务。知识服务不同于传统的信息服务，知识服务不仅是用户目标驱动的服务，还是面向增值服务的服务，知识服务关注和强调利用自己独特的知识和能力，对现成的信息进行加工形成新的具有独特价值的信息产品，为用户解决其他的知识和能力所不能解决的问题。

1973年，马丁·库帕发明了手机，再到现在的平板电脑，各种移动终端成为了我们生活中不可缺少的一部分。现代的移动终端在硬件上具备中央处理器、存储器、输入/输出等部件；在软件上，移动终端有着各种专用的操作***；在通信能力上，移动终端配备了高带宽通信性能和灵活的接入方式，使得移动终端能够根据所选择的业务和所处的环境，自动调整通信方式。与此同时，移动终端更加注重多功能化、个性化和人性化的体验。正是因为移动终端的不断发展和普及，各种基于移动终端的应用程序已经成为人们生活和学习中不可缺少的工具。虽然，目前结合移动终端的知识服务***快速发展；但是，这些知识服务***在知识组织上没有统一标准，存在缺陷，并且，在知识计算上主要基于关键词而非语义，提供的仅仅是浅层次的知识服务。

随着计算机技术的不断发展，计算机的性能得到了很大提高，但是人类与计算机之间还是存在着交流的沟壑。为了让用户更好的利用计算机提供的服务，我们要做的不应该是让用户更好的适应计算机，而应该是让计算机适应人类，让计算机能够理解用户的意图，为用户提供更自然、无障碍的服务。而自然人机交互技术为计算机与人类的无障碍交流提供了可能。除了使用文字与计算机进行交互，我们还应借助于其它的交互手段让计算机理解人类的意图，例如基于视觉、声音、动作、表情的自然交互方式。

本发明通过结合具体的知识服务需求，分析知识内部的关系，将知识组织成完全本体型知识；在知识推理方面，通过移动端获取用户行为、用户输入，并提取用户行为、用户输入中的信息，从而更加有意义的推理结果；基于知识获取构建的知识数据库，知识服务***向用户提供知识搜索、知识推荐、知识推理等服务；知识服务***相比与传统的文字、图片、视频、超链接等传统的知识展现方式，***采用信息可视化的方式，利用基本的统计图、标签云、思维导图等可视化呈现方式，向用户更加清晰、明确的展现信息中蕴藏的知识；同时，通过移动终端与各种服务、可视化技术的结合，使得知识服务***更加具有特色。

移动终端结合知识服务，不仅为用户提供了更加深层次、个性化的知识服务，还让用户能够更加便捷、全面的获取知识服务，提高了用户获取和学习知识的体验。

发明内容

一种结合移动终端的知识服务***，包括云服务引擎和移动终端，其中：

云服务引擎包括：

知识获取模块，通过人机交互的方式获取知识，并对知识进行组织、管理和在知识数据库中进行存储；

知识搜索模块，基于知识数据库和图像识别模块的识别结果，向用户提供知识搜索服务；

知识推荐模块，基于知识数据库和用户历史行为，或基于知识搜索模块搜索到的知识节点和用户历史行为，向用户提供知识推荐服务，知识节点是表示人类知识的基本单元，通过将人类的知识进行切分，对切分好的知识表示成计算机可以存储和识别的数据，即为知识节点；

知识推理模块，基于知识搜索模块搜索到的知识节点和用户历史行为，参考规则集合进行推理，向用户提供推理结果；

可视化处理模块，将知识搜索模块、知识推荐模块和知识推理模块中至少一个的输出可视化，并向移动终端发送可视化结果；

图像识别模块，将从移动终端接收到的图像特征与图像特征库进行匹配，以得到识别结果；

知识数据库，存储知识；以及

图像特征库，存储多个图像的图像特征，

其中，上述各模块和库部署在一台服务器中，或分布部署于能够通过高速网络相互访问的多台服务器中，

移动终端包括：

图像获取模块，获取图像；

图像特征提取模块，从图像提取特征；以及

用户界面模块，实现与用户的人机交互。

本发明还提供了一种基于该知识服务***的知识服务方法。

附图说明

图1是本发明结合移动终端的知识服务***的***结构图；

图2是本发明结合移动终端的知识服务***的知识服务方法流程图；

图3是本发明结合移动终端的知识服务***的***流程图；

图4是本发明知识获取模块结构图；

图5是本发明知识搜索模块结构图；

图6是本发明知识推荐模块结构图；

图7是本发明知识推理模块结构图；

图8是本发明图像获取模块结构图；

图9是本发明图像特征提取模块结构图；

图10是本发明图像识别模块结构图；

图11a是本发明知识获取模块中的知识分类结果图；

图11b是本发明知识获取模块中的知识切分结果图；

图11c是本发明知识获取模块中的居民建筑中填入的部分知识节点图；

图11d是本发明知识获取模块中的知识节点属性编辑界面；

图11e是本发明知识获取模块中的知识节点属性修改界面；

图11f是本发明知识获取模块中的“秦始皇陵”知识节点的内容；

图12a是本发明知识搜索模块中的“玄奘”查询的结果；

图12b是本发明知识搜索模块中的“长乐”模糊查询的结果；

图12c是本发明知识搜索模块中的“玄奘”和“长乐”搜索到的知识节点赋予权重后的结果；

图12d是本发明知识搜索模块中的“玄奘”和“长乐”搜索的最终结果；

图12e是本发明知识搜索模块中的“玄奘”和“长乐”搜索结果在移动终端上的可视化呈现结果；

图13a是本发明知识推荐模块中的用户1603的历史行为数据；

图13b是本发明知识推荐模块中的对用户1603的推荐结果；

图13c是本发明知识推荐模块中的与知识节点“玄奘”相似的知识节点；

图13d是本发明知识推荐模块中的与知识节点“玄奘”相似的知识节点排序后的结果；

图13e是本发明知识推荐模块中的“玄奘”推荐结果的可视化结果；

图14是本发明图像获取模块中的获取到的图片；

图15是本发明图像特征提取模块中的提取到的图片特征点；

图16是本发明图像识别模块中的图像特征库的样本的示例；

具体实施方式

本发明欲解决的技术问题是如何充分挖掘知识的深层次信息，如何利用知识可视化技术实现知识的深度展示，以及如何把基于语义的知识服务与移动终端应用结合起来，最终实现为广大用户群体提供优秀、便捷的知识服务，为此本发明提供了一种结合移动终端的知识服务***。

本发明提供的技术方案如下：

知识服务***由云服务引擎和移动终端构成，***两层架构中包含的各模块如下：

一、知识获取模块，通过人机交互的方式获取知识(知识包括以下中的至少一种：文本、图片、视频、和音频)，并采用知识树的组织结构，对知识和相关联的资源进行组织、管理和存储，具体执行以下操作，包括：

步骤S101，在本***中将人类的知识进行分类，并将分类后的知识再切分成知识节点，即将人类的知识使用知识节点表示，知识节点是用于表示人类知识的基本单元，即通过将人类的知识进行切分，对切分好的知识表示成计算机可以存储和识别的数据，即为知识节点；其中，知识节点由知识节点名称、属性名称、属性值表示；因此，在此步骤需要知识工程师根据需要录入的知识进行分析，判断当前设计的数据库是否能表示知识节点包含的内容，以及知识节点间的关系；若当前数据库不支持知识录入的需求，则转向步骤S102；反之，转向步骤S103；

步骤S102，根据知识录入的需求重新设计知识数据库；

步骤S103，知识工程师按照知识服务***的需求将知识进行切分，得到一定粒度的知识节点，并得到各知识节点的名称；

步骤S104，知识节点由属性、属性值表示，由知识工程师对知识节点进行归纳分析，得到知识节点所包含的属性，并确定属性名称，即在表示知识节点的某一属性时，这一属性的名称是统一的；另外，确定属性中包含的字段，例如属性所对应的资源(视频、图片、音频)、经纬度信息；

步骤S105，知识工程师将知识节点填入知识库，并将知识节点按树形结构组织，即知识节点之间具有父子关系、兄弟关系；

步骤S106，知识工程师完善知识节点的内容，即录入知识节点的属性、属性值。

二、知识搜索模块向用户提供知识搜索服务，具体包括：

步骤S201，搜索内容来自于图像识别的结果，搜索内容包含中文字符、英文字符、词组、短语、句子等；

步骤S202，对步骤S201得到的搜索内容使用Python的jieba-0.35分词模块进行分词，然后依据分词结果提取搜索关键词；

步骤S203，对步骤S202中提取的关键词进行精确查询，即在知识库中搜索与该关键词完全匹配的知识节点，并对找到的知识节点赋予权值“9999”；

步骤S204，判断步骤S203中是否找到搜索关键词完全匹配的知识节点，如果找到完全匹配的知识节点，则转入步骤S207；反之，转入步骤S205；

步骤S205，判断是否开启模糊查询功能，如果开启模糊查询功能，则转向步骤S206；反之，转向步骤S207；

步骤S206，将步骤S203中没有找到完全匹配的知识节点的搜索关键词进行模糊查询，即在知识库中搜索知识节点名称包含搜索关键词的知识节点，并对找到的知识节点赋予权值“999”；

步骤S207，获取步骤S203和步骤S206查询得到的知识节点，在知识库中搜索与这些知识节点相关的其他知识节点，并对找到的知识节点赋予权值，知识节点的权值即知识节点与搜索关键词的相似度，相似度similarity(node，keyword)计算公式如下：

similarity(node，keyword)＝∑_{i∈attribute(node)}match(i，keyword) 公式1

其中，node代表知识节点，keyword代表搜索关键词，i代表知识节点node的其中一个属性，i.value代表属性i的值(属性值可以是字符串或数字)，attribute(node)代表节点node的所有属性；知识节点与搜索关键词的相似度即计算搜索关键词与知识节点属性值匹配的个数，匹配数越高，则知识节点与搜索关键词的相似度越大；如果属性值中含有搜索关键词，则该搜索关键词与知识节点的这个属性值匹配，即公式(2)的值为1，反之，公式(2)的值为0；

步骤S208，将步骤S203、步骤S206和步骤S207搜索得到的知识节点按知识节点所属的知识树进行分类，并去除重复的知识节点；

步骤S209，将S208中分类、去重后的知识节点，按知识节点的权值进行排序，即权值越高的知识节点排名越靠前；

步骤S210，将S209整理后的知识节点进行可视化的呈现，即将最后得到的搜索结果作为可视化模块(S500)的输入。

三、知识推荐模块采用混合推荐的方式向用户提供知识推荐服务，除了能够根据知识搜索模块得到的知识节点做推荐外，还能够基于用户的历史行为做推荐，具体包括：

步骤S301，判断是否基于用户的历史行为做推荐，如果基于用户历史行为做推荐则转向步骤S302；反之，转向步骤S305；

步骤S302，获取用户的历史行为数据，即用户曾经浏览或查阅过的知识节点；

步骤S303，基于步骤S302获取的用户历史行为数据，采用基于用户的协同过滤算法(User-based Collaborative Filtering)预测用户可能感兴趣的知识节点，以及用户对这些知识节点的兴趣度；用户对知识节点的兴趣度的计算公式如下：

p(u，i)＝∑_{v∈U(u，K)∩N(i)}w_uvr_vi 公式3

其中，u表示用户，i表示知识节点，U(u，K)表示与用户u的行为最相似的K个用户，即如果两个用户浏览或查询过相同的知识节点，则两个用户的行为相似，并且两个用户浏览或查询过的相同的知识节点越多，则两个用户越相似；r_vi表示用户v对知识节点i的评分，即当用户v浏览或查询过知识节点i则r_vi等于1，反之，r_vi等于0；w_uv表示用户u和用户v的相似度，计算公式如(4)所示，其中I_u和I_v分别表示用户u和用户v浏览或查询过的知识节点，N(i)表示浏览或查询过知识节点i的用户集合，计算用户之间的相似度即计算用户u和用户v浏览或查询过的知识节点中重合的比例；用户对知识节点兴趣度的计算公式如(3)所示，用户u对知识节点i的兴趣度，即与用户u相似的前K个用户中查询或浏览过知识节点i的用户，对知识节点i的评分与用户u、v相似度的乘积之和。

步骤S304，将步骤S303推荐得到的知识节点，按照预测的用户兴趣度排序，即对每个用户的推荐知识节点列表按用户对知识节点的兴趣度排序，兴趣度越高的知识点排名越高；

步骤S305，知识搜索模块得到的某个知识节点作为推荐的输入；

步骤S306，计算步骤S305获取的知识节点与其他知识节点的相似度，知识节点间的相似度是已经离线计算好并存入数据库中的，此处只需在数据库中查找知识节点与其他知识节点的相似度，知识节点间的相似度计算公式如下：

α+β+γ＝1 公式6

其中，A、B代表知识节点，attribute(A)、attribute(B)分别表示知识节点A、B所包含的属性，value(A)_i、value(B)_i分别表示知识节点A、B的属性i的属性值(属性值可以是字符串或数字)，NodeName(A)、NodeName(B)分别表示知识节点A、B的名称，A.TreeId、B.TreeId分别表示知识节点A、B所属知识树的id；知识节点间的相似度分为三个部分，各部分所占的比例为α、β、γ，第一部分，即α对应相乘的部分，计算两个知识节点都有的属性的相似度，由于属性值中存在字符串、句子、段落等，因此在比较属性之间的相似度时，先将属性对应的属性值进行分词处理并提取关键词，匹配关键词的个数即属性间的相似度值；第二部分，即β对应相乘的部分，计算一个知识节点在另一个知识节点的属性值中出现的次数，即计算一个知识节点名称在另一个知识节点属性值中出现的次数；第三部分，即γ对应相乘的部分公式(7)，计算知识节点是否属于同一知识树，如果两个知识节点所属的知识树id相同，则计算结果为1，反之，计算结果为0；

步骤S307，依据步骤S306中计算得到的知识节点相似度，在知识库中查找相似度大于0的知识节点；

步骤S308，将步骤S307中查找出的知识节点，按照步骤S306中得到的知识节点相似度进行排序，即相似度越大的知识节点排名越靠前；

步骤S309，将步骤S304或者步骤S308得到的推荐结果进行可视化呈现，即将推荐结果放入可视化模块(S500)。

四、知识推理模块采用正向推理的方法进行推理，具体包括：

步骤S401，通过移动端获取用户行为，并获取知识搜索模块得到的知识节点以及图像识别的结果，得到推理的事实库；

步骤S402，扫描规则集合，用步骤S401得到的推理事实库来匹配规则的前件，得到可用的规则集合；其中规则的形式化表达如下所述：

规则Rule

IF Precondition Then Conclusion

Precondition：前提条件，是由Proposition(命题)组成的Logic Expression(逻辑表达式)；

Conclusion：结论，即事实，也是由Proposition组成的逻辑表达式；

逻辑表达式Logic Expression：由逻辑词And(与)、Or(或)、Not(非)等组成逻辑命题；

命题Proposition：(Predicate VariableList)

Predicate：谓词，是为了实现某种功能而编制的程序，一般分成公共的和专用的，前者如逻辑比较型＞、＝、＜、≥、≤等和常规计算型+、-、×、÷等；后者如遥感图像处理中的FFT(傅里叶变换)、FeatherAbstract(特征抽取)、TargetRecognize(目标识别)等，专用谓词一般由知识工程师与专家一起根据***要求设计，医学的谓词与工厂中事故诊断的谓词肯定大不一样。谓词可以分成不同的组别存入谓词库中；

VariableList：变量表，是谓词运行所需要的参数。变量有三种类型，一是常数，如数字、符号、时间等等；二是概念，如“建筑高度”，在计算命题时它可以从概念的属性中得到实际数据；三是另一个命题，这样形成命题嵌套；

步骤S403，步骤S402得到的可用规则集合中，若可用的规则只有一个，则转向步骤S404；否则，若可用的规则有多个，则进行冲突消解；其中，冲突消解使用LEX策略(lexicographic sort)：

(1)把已经执行过的一组规则从冲突集合中清除；

(2)选择具有更新数据的一组规则；

(3)选择规则的条件更加详细的一组规则；

(4)选择任意一组规则；

冲突消解中按照上述策略的编号顺序进行冲突消解，直到可以选择出一个规则时，冲突消解处理结束，转向步骤S404；

步骤S404，执行步骤S403中选出的规则R，将规则R右部的结论，即推理得出的新事实加入到事实库；

步骤S405，判断步骤S404得到的结论是否是推理目标，即新的事实是否是推理想要获得的目标，若新的事实是推理目标，则推理成功，结束推理；反之，若新的事实不是推理目标，则转向步骤S406；

步骤S406，扫描当前事实库，判断是否还有新的事实未在推理中使用，若还有新的事实未使用，则转向步骤S402，继续进行推理；反之，推理失败，结束推理；

步骤S407，将步骤S405或步骤S406得到的推理结果进行可视化呈现，即将推理结果放入可视化模块(S500)。

五、图像获取模块，获取移动终端的图像，具体包括：

步骤S601，检查移动终端是否有网络，若移动终端有网络，则转向步骤S602；反之，转向步骤S605；

步骤S602，打开移动终端的摄像头，并开启摄像头预览；

步骤S603，向用户显示提示信息，让用户选择是否进行拍照，若进行拍照，则转向步骤S604；反之，程序结束；

步骤S604，用户对物体进行拍照，存储拍照得到的图片；

步骤S605，提示用户是否设置网络，若用户设置网络，则转向步骤S601；反之，程序结束。

六、图像特征提取模块，对移动终端上获取到的图片进行特征提取，具体包括：

步骤S701，获取移动终端拍照得到的图片；

步骤S702，采用ORB算法提取图片特征；

步骤S703，将步骤S702提取出的图片特征上传到云服务器上。

七、图像识别模块通过得到的图像特征对图像进行识别，具体包括：

步骤S801，获取步骤S703上传到云服务器的图像特征；

步骤S802，检验获取到的图像特征是否正确，若输入数据正确，则转向步骤S803；反之，转向步骤S807；

步骤S803，扫描图像特征库，将得到的图像特征与图像特征库中的图像样本进行匹配；

步骤S804，判断在图像特征库中是否有样本与该图像特征匹配，若匹配成功，则转向步骤S805；反之，转向步骤S806；

步骤S805，通过步骤S804匹配的样本，识别出图像中的物体，将得到的图像识别结果发送到移动终端；

步骤S806，图像匹配失败，没有得到图片识别的结果，向移动终端发送识别失败的信息；

步骤S807，向移动终端发送输入错误的信息。

本发明的有益结果：本发明公开的知识服务***，存储本体型知识数据，具有强大的语义特性，良好的知识推理能力。在云端构建面向领域的专业知识库，梳理知识之间的关系，进行体系化的知识信息管理，提供智能化的知识检索及推荐；利用可视化技术，实现知识的深层次、多样化呈现；结合移动终端的应用，让用户随时随地获取知识服务。使用本发明提供的方法，不仅能为广大用户群体提供方便、快捷、丰富多彩的知识服务，还能将人机交互与知识***相结合，应用知识服务***于展馆、旅游景点和博物馆的自助导览，促进文化知识的传播。

下面结合附图，以“丝绸之路”相关知识内容为背景，知识服务手机APP为例，介绍用户获取多元化知识的过程，对本发明进一步详细说明。

本发明使用的方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可将方法做成嵌入式芯片以硬件的形式来体现。

如图1所示，本发明公开了一种结合移动终端的知识服务***，该***通过知识获取模块建立本体型的知识数据库，基于知识数据库知识搜索模块、知识推荐模块、知识推理模块、可视化模块提供相应的服务；同时，通过云服务引擎，用户利用移动终端来访问云端的知识数据，从而可以随时随地的使用知识服务手机APP提供的各种服务。

如图3所示，描述了在移动终端与云服务引擎的两层架构中，各模块之间数据流的关系：

(1)用户使用移动终端拍摄感兴趣物品的照片；

(2)移动终端上的图像获取模块(S600)获取用户拍摄的图片，并将照片发送给图像特征提取模块(S700)；

(3)图像特征提取模块(S700)对获取到的图片进行特征提取，并将提取出的特征数据发送到云服务引擎；

(4)云服务引擎中的图像识别模块(S900)根据得到的特征数据，以及图像特征库(D2)进行图像识别，并将识别结果发送给知识服务功能模块；

(5)知识服务功能模块根据用户想要获得的知识服务调用不同的功能模块，其中该模块包含知识搜索模块(S200)、知识推荐模块(S300)、知识推理模块(S400)，各模块的功能及关系如下：

知识搜索模块(S200)基于知识数据库(D1)对识别结果进行搜索，查找与该识别结果相配、相关的知识节点，并将搜索得到的知识节点发送给知识推荐模块(S300)和知识推理模块(S400)；

知识推荐模块(S300)基于知识数据库(D1)进行两种类型的推荐，一种是根据知识搜索模块(S200)得到的知识节点做推荐；另一种是基于用户历史行为做推荐，而用户历史行为知识推荐模块(S300)可以通过移动终端获得；

知识推理模块(S400)基于知识数据库(D1)和推理的事实库进行知识推理；其中推理事实库包括从移动终端获取的用户行为、知识搜索模块得到的知识节点以及图像识别的结果；

知识服务功能模块对知识搜索模块(S200)、知识推荐模块(S300)、知识推理模块(S400)得到的知识进行整合，并将整合好的数据发送给可视化模块(S500)；

(6)可视化模块(S500)对得到的知识进行可视化的呈现，并将知识呈现结果发送到用户界面模块(S800)；

(7)移动终端上的用户界面模块(S800)根据云服务引擎发送来的数据进行调整后显示到移动终端上，将知识服务的结果呈现给用户。

如图4所示，知识获取模块包括以下步骤：

知识获取模块通过人机交互的方式获取知识，并将知识组织成知识树，例如，针对“丝绸之路”的相关知识进行知识获取：

步骤S101，将“丝绸之路”的知识进行分类，并将分类后的知识再切分成知识节点，即将知识使用知识节点表示，现将知识分为10类，形成10颗知识树，知识分类结果如图11a所示；

其中，知识节点由知识节点名称、属性名称、属性值表示；因此，在此步骤需要知识工程师根据需要录入的知识进行分析，判断当前设计的数据库是否能表示知识节点包含的内容，以及知识节点间的关系；当前数据库支持知识录入的需求，转向步骤S103；现以历史遗迹树为例，进一步说明知识获取的过程；

步骤S103，知识工程师按照知识服务***的需求将知识进行切分，得到一定粒度的知识节点，并得到各知识节点的名称；现以历史遗迹树为例，将历史遗迹的相关知识进行进一步的切分，切分结果如图11b所示；

步骤S104，知识工程师对历史遗迹树中包含的知识节点进行分析，得到各类知识节点包含的属性，并确定属性名称，例如，民居建筑中的知识节点包含地点、文字介绍、图片示例、建筑类型这四个属性；陵基建筑中的知识节点包含修建年代、文字介绍、所在地点、陵基主人、代表图片、图片示例、埋葬时间、发掘年代等属性；另外，确定属性中包含的字段，主要包括属性名称、属性值、经度、纬度、资源；

步骤S105，知识工程师将知识节点填入知识库，并将知识节点按树形结构组织，即知识节点之间具有父子关系、兄弟关系；例如，民居建筑中填入的部分知识节点如图11c所示；

步骤S106，知识工程师完善知识节点的内容，即录入知识节点的属性、属性值，知识节点的属性编辑界面如图11d所示；

知识节点的属性修改界面如图11e所示；

完善内容的“秦始皇陵”知识节点如图11f所示；

如图5所示，知识搜索模块包括以下步骤：

步骤S201，用户在搜索框中输入搜索内容，例如“玄奘长乐”；

步骤S202，对步骤S201得到的搜索内容使用Python的jieba-0.35分词模块进行分词，然后依据分词结果提取搜索关键词，提取的搜索关键词为“玄奘”、“长乐”；

步骤S203，对步骤S202中提取的关键词进行精确查询，搜索关键词“长乐”精确查询没有找到匹配的知识节点，“玄奘”精确查询找到匹配的知识节点，查询结果如图12a所示，其中第一表显示查询到的知识节点，第二表显示对应的知识节点的属性；

步骤S204，判断步骤S203中搜索关键词“玄奘”找到完全匹配的知识节点，转入步骤S207；另一个搜索关键词“长乐”没有找到完全匹配的知识节点，转入步骤S207；

步骤S205，开启模糊查询功能转向步骤S206；

步骤S206，将步骤S203中没有找到完全匹配的知识节点的搜索关键词“长乐”进行模糊查询，即在知识库中搜索知识节点名称包含搜索关键词的知识节点“长乐门”，并对找到的知识节点赋予权值“999”，查询结果如图12b所示；

步骤S207，获取步骤S203和步骤S206查询得到的知识节点“玄奘”和“长乐门”，在知识库中搜索与“玄奘”和“长乐门”相关的其他知识节点，并对找到的知识节点赋予权值，知识节点的权值即知识节点与搜索关键词的相似度，得到的相关节点如图12c第二和第四表所示：

步骤S208，将步骤S203、步骤S206和步骤S207搜索得到的知识节点按知识节点所属的知识树进行分类，并去除重复的知识节点；

步骤S209，将S208中分类、去重后的知识节点，按知识节点的权值进行排序，即权值越高的知识节点排名越靠前，最后查询结果如图12d所示；

步骤S210，将S209整理后的知识节点进行可视化的呈现，即将最后得到的搜索结果作为可视化模块(S500)的输入，可视化的结果如图12e所示；

如图6所示，知识推荐模块包括以下步骤：

步骤S301，如果针对用户历史行为做推荐，例如现在对用户id为1603的用户做推荐，转向步骤S302；针对知识节点“玄奘”做推荐，转向步骤S305；

步骤S302，获取用户的历史行为数据，即用户曾经浏览或查阅过的知识节点，其中用户1603的历史行为数据如图13a所示；

步骤S303，基于步骤S302获取的用户历史行为数据，采用基于用户的协同过滤算法(User-based Collaborative Filtering)预测用户可能感兴趣的知识节点，以及用户对这些知识节点的兴趣度；

步骤S304，将步骤S303推荐得到的知识节点，按照预测的用户兴趣度排序，即对每个用户的推荐知识节点列表按用户对知识节点的兴趣度排序，兴趣度越高的知识点排名越高，排序后的推荐列表如图13b所示；

步骤S305，知识节点“玄奘”作为推荐的输入；

步骤S306，计算步骤S305获取的知识节点“玄奘”与其他知识节点的相似度，知识节点间的相似度是已经离线计算好并存入数据库中的，此处只需在数据库中查找“玄奘”与其他知识节点的相似度；

步骤S307，依据步骤S306中计算得到的知识节点相似度，在知识库中查找相似度大于0的知识节点，查找的部分结果如图13c所示；

步骤S308，将步骤S307中查找出的知识节点，按照步骤S306中得到的知识节点相似度进行排序，即相似度越大的知识节点排名越靠前，排序后的结果如图13d所示；

步骤S309，将步骤S304或者步骤S308得到的推荐结果进行可视化呈现，即将推荐结果放入可视化模块(S500)，例如，将关于知识节点“玄奘”的推荐结果使用标签云的方式进行呈现(显示推荐结果的前40条)，如图13e所示；

如图7所示，知识推理模块包括以下步骤：

步骤S401，通过移动端获取用户行为，并获取知识搜索模块得到的知识节点以及图像识别的结果，得到推理的事实库，例如，目前得到的事实库为：

a.唐朝

b.繁盛时期

c.李隆基

例子中推理的目标是希望找出具体的历史时期，历史时期使用全局变量period表示；

步骤S402，扫描规则集合，用步骤S401得到的推理事实库来匹配规则的前件，得到可用的规则集合；其中，time是全局变量表示时间，name也是全局变量表示庙号，规则集合如下：

R1：If唐朝or唐代，Thentime≥618and time≤907

R2：If李世民，Thenname＝唐太宗

R3：If李隆基，Thenname＝唐玄宗

R4：If(time≥618and time≤907)and繁盛时期，period＝贞观之治or period＝开元盛世

R5：If(time≥618and time≤907)and繁盛时期andname＝唐玄宗，period＝开元盛世

使用事实库中的a匹配规则库，得到可用的规则集合为{R1}；

步骤S403，步骤S402得到的可用规则集合中，可用的规则只有一个，则转向步骤S404；

步骤S404，执行步骤S403中选出的规则R1，将规则R1右部的结论，即“time≥618and time≤907”加入事实库，得到如下事实：

d.time≥618and time≤907

步骤S405，判断步骤S404得到的结论不是推理目标，转向步骤S406；

步骤S406，扫描当前事实库，发现还有新的事实未使用，则转向步骤S402，继续推理；

后续的推理过程如下：

第二次推理：

步骤S402，事实b与规则集合匹配，发现没有可以匹配的规则；事实c与规则集合匹配，得到可用的规则集合为{R3}；

步骤S403，步骤S402得到的可用规则集合中，可用的规则只有一个，则转向步骤S404；

步骤S404，执行步骤S403中选出的规则R3，将规则R3右部的结论，即“name＝唐玄宗”加入事实库，得到如下事实：

e.name＝唐玄宗

步骤S405，判断步骤S404得到的结论不是推理目标，转向步骤S406；

步骤S406，扫描当前事实库，发现还有新的事实未使用，则转向步骤S402，继续推理；

第三次推理：

步骤S402，事实b、d与规则R4匹配；事实b、d、e与规则R5匹配，得到可用的规则集合为{R4、R5}；

步骤S403，步骤S402得到的可用规则集合中有多条规则，进行冲突消解；应用冲突消解的LEX策略(lexicographic sort)发现(1)、(2)不能消解冲突，直到执行(3)时，发现规则R5的条件比R4的更加详细，因此选择使用规则R5，转向步骤S404；

步骤S404，执行步骤S403中选出的规则R5，将规则R5右部的结论，即“period＝开元盛世”加入事实库，得到如下事实：

f.period＝开元盛世

步骤S405，判断步骤S404得到的结论是推理目标，即得到的推理结果为period＝开元盛世，推理成功；

步骤S407，对步骤S405得到的推理结果进行可视化呈现，即将推理结果放入可视化模块(S500)；

整个推理的语义描述如下：

当所处的时代是唐朝的繁盛时期，并且还是在李隆基在位期间，那么对应的历史时期是“开元盛世”。

如图8所示，图像获取模块包括以下步骤：

现以三星GALAXY Note II(N7100/16GB)手机为移动终端来做实例说明；

步骤S601，检查手机是否有网络，手机连接无线网络，转向步骤S602；

步骤S602，打开移动终端的摄像头，并开启摄像头预览；

步骤S603，向用户显示提示信息，让用户选择是否进行拍照，用户选择进行拍照，转向步骤S604；

步骤S604，用户对物体进行拍照，存储拍照得到的图片，得到的图片如图14所示；

如图9所示，图像特征提取模块包括以下步骤：

步骤S701，获取手机拍照得到的图片，即获取步骤S604存储在手机上的图片；

步骤S702，采用ORB算法提取图片特征，提取到的特征点如图15中标记的红圈所示；

步骤S703，将步骤S702提取出的图片特征上传到云服务器上。

如图10所示，图像识别模块包括以下步骤：

例如，图像特征库存储以下四幅图片的特征(如图16所示)，基于此图像特征库进行图像识别；

步骤S801，获取步骤S703上传到云服务器的图像特征；

步骤S802，检验获取到的图像特征是正确的，转向步骤S803；

步骤S803，扫描图像特征库，将得到的图像特征与图像特征库中的图像样本进行匹配；

步骤S804，判断在图像特征库中是否有样本与该图像特征匹配，发现与样本库中“斗拱”这张图片的特征匹配，转向步骤S805；

步骤S805，通过步骤S804匹配的样本，识别出图像中的物体为“斗拱”，将得到的图像识别结果发送到手机上。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种结合移动终端的知识服务***，包括云服务引擎和移动终端，其中：

云服务引擎包括：

知识获取模块(S100)，通过人机交互的方式获取知识，并对知识进行组织、管理和在知识数据库(D1)中进行存储；

知识搜索模块(S200)，基于知识数据库(D1)和图像识别模块(S900)的识别结果，向用户提供知识搜索服务；

知识推荐模块(S300)，基于知识数据库(D1)和用户历史行为，或基于知识搜索模块(S200)搜索到的知识节点和用户历史行为，向用户提供知识推荐服务，知识节点是表示人类知识的基本单元，通过将人类的知识进行切分，对切分好的知识表示成计算机可以存储和识别的数据，即为知识节点；

知识推理模块(S400)，基于知识搜索模块(S200)搜索到的知识节点和用户历史行为，参考规则集合进行推理，向用户提供推理结果；

可视化处理模块(S500)，将知识搜索模块(S200)、知识推荐模块(S300)和知识推理模块(S400)中至少一个的输出可视化，并向移动终端发送可视化结果；

图像识别模块(S900)，将从移动终端接收到的图像特征与图像特征库(D2)进行匹配，以得到识别结果；

知识数据库(D1)，存储知识；以及

图像特征库(D2)，存储多个图像的图像特征，

其中，上述各模块和库部署在一台服务器中，或分布部署于能够通过高速网络相互访问的多台服务器中，

移动终端包括：

图像获取模块(S600)，获取图像；

图像特征提取模块(S700)，从图像提取特征；以及

用户界面模块(S800)，实现与用户的人机交互；

其中，移动终端上获取到图像后，在移动终端上的图像特征提取模块(S700)中，进行图像特征的提取，将提取出的图像特征数据发送到云服务引擎，云服务引擎的图像特征库(D2)中，存储有预先整理和提取出的图像特征数据，这些图像特征数据来自于知识点对应物品的不同角度和距离尺寸的图像采样，所采用的图像特征提取算法与移动终端上所使用的算法保持一致。

2.如权利要求1的知识服务***，其特征在于，知识数据库(D1)还包括：

采用知识树的组织结构，对知识进行组织、管理和存储，所述知识包括以下中的至少一种：文本、图片、视频、和音频。

3.一种基于如权利要求1所述的知识服务***的知识服务方法，包括：

步骤S001，用户使用移动终端拍摄感兴趣物品的照片；

步骤S002，移动终端上的图像获取模块获取用户拍摄的图片；

步骤S003，图像特征提取模块对获取到的图片进行特征提取，并将提取出的特征数据发送到云服务引擎；

步骤S004，云服务引擎中的图像识别模块根据得到的特征数据，以及图像特征库进行图像识别；

步骤S005，将图像识别的结果发送到以下中的至少一个：知识推荐模块、知识搜索模块、或知识推理模块；

步骤S006，向用户提供以下中的至少一个：知识搜索服务、知识推荐服务、或知识推理服务；

步骤S007，将步骤S006得到的知识发送给可视化模块；

步骤S008，可视化模块对接收到的知识进行可视化，并将可视化的结果发送到移动终端上，并通过用户界面模块呈现给用户。

4.根据权利要求3所述的方法，其中知识数据库采用如下组织方式：

将人类的知识进行分类，并将分类后的知识再切分成知识节点，所述知识节点具有一定粒度；

知识节点由知识节点名称、属性名称、属性值表示；

将知识节点按树形结构组织；

将与知识节点相关的多媒体资源进行整理放入资源库，并将这些资源以知识节点为中心进行分类，对分类后的资源使用知识节点的属性与对应的知识节点关联起来。

5.根据权利要求3所述的方法，其中知识搜索包括：

步骤S201，搜索内容来自于图像识别的结果，搜索内容包含以下中的至少一种：中文字符、英文字符、词组、短语、句子；

步骤S202，对步骤S201得到的搜索内容进行分词，然后依据分词结果提取搜索关键词；

步骤S203，对步骤S202中提取的关键词进行精确查询，即在知识库中搜索与该关键词完全匹配的知识节点，并对找到的知识节点赋予权值“9999”；

步骤S204，判断步骤S203中是否找到搜索关键词完全匹配的知识节点，如果找到完全匹配的知识节点，则转入步骤S207；反之，转入步骤S205；

步骤S205，判断是否开启模糊查询功能，如果开启模糊查询功能，则转向步骤S206；反之，转向步骤S207；

步骤S206，将步骤S203中没有找到完全匹配的知识节点的搜索关键词进行模糊查询，即在知识库中搜索知识节点名称包含搜索关键词的知识节点，并对找到的知识节点赋予权值“999”；

步骤S207，获取步骤S203和步骤S206查询得到的知识节点，在知识库中搜索与这些知识节点相关的其他知识节点，并对找到的知识节点赋予权值，知识节点的权值即知识节点与搜索关键词的相似度，相似度similarity(node，keyword)计算公式如下：

similarity(node，keyword)＝

∑_{i∈attribute(node)}match(i，keyword)公式1

其中，node代表知识节点，keyword代表搜索关键词，i代表知识节点node的其中一个属性，i.value代表属性i的值并且是字符串或数字，attribute(node)代表节点node的所有属性；知识节点与搜索关键词的相似度即计算搜索关键词与知识节点属性值匹配的个数，匹配数越高，则知识节点与搜索关键词的相似度越大；如果属性值中含有搜索关键词，则该搜索关键词与知识节点的这个属性值匹配，即公式2的值为1，反之，公式2的值为0；

步骤S208，将步骤S203、步骤S206和步骤S207搜索得到的知识节点按知识节点所属的知识树进行分类，并去除重复的知识节点；

步骤S209，将S208中分类、去重后的知识节点，按知识节点的权值进行排序，即权值越高的知识节点排名越靠前；

步骤S210，将S209整理后的知识节点进行可视化的呈现，即将最后得到的搜索结果作为可视化处理模块(S500)的输入。

6.根据权利要求3所述的方法，其中知识推荐包括：

步骤S301，若针对用户历史行为做推荐，则进行步骤S302，否则进行步骤S305；

步骤S302，获取用户的历史行为数据；

步骤S303，基于步骤S302获取的用户历史行为数据，采用基于用户的协同过滤算法预测用户感兴趣的知识节点，以及用户对感兴趣的知识节点的兴趣度；

步骤S304，将步骤S303得到的感兴趣的知识节点，按照用户对感兴趣的知识节点的兴趣度进行排序，即兴趣度越高的知识结点排名越靠前；

步骤S305，某个知识节点作为推荐的输入；

步骤S306，计算步骤S305获取的知识节点与其他知识节点的相似度，知识节点间的相似度是已经离线计算好并存入数据库中的，此处只需在数据库中查找知识节点与其他知识节点的相似度，知识节点间的相似度sim(A，B)计算公式如下：

α+β+γ＝1公式6

其中，A、B代表知识节点，attribute(A)、attribute(B)分别表示知识节点A、B所包含的属性，value(A)_i、value(B)_i分别表示知识节点A、B的属性i的属性值并且可以是字符串或数字，value(B)_j表示知识节点B的属性j的属性值，NodeName(A)、NodeName(B)分别表示知识节点A、B的名称，A.TreeId、B.TreeId分别表示知识节点A、B所属知识树的id；知识节点间的相似度分为三个部分，各部分所占的比例为α、β、γ，第一部分，即α对应相乘的部分，计算两个知识节点都有的属性的相似度，由于属性值中存在字符串、句子、段落等，因此在比较属性之间的相似度时，先将属性对应的属性值进行分词处理并提取关键词，匹配关键词的个数即属性间的相似度值；第二部分，即β对应相乘的部分，计算一个知识节点在另一个知识节点的属性值中出现的次数，即计算一个知识节点名称在另一个知识节点属性值中出现的次数；第三部分，即γ对应相乘的部分公式7，计算知识节点是否属于同一知识树，如果两个知识节点所属的知识树id相同，则计算结果为1，反之，计算结果为0；

步骤S307，依据步骤S306中计算得到的知识节点相似度，在知识库中查找相似度大于0的知识节点；

步骤S308，将步骤S307中查找出的知识节点，按照步骤S306中得到的知识节点相似度进行排序，即相似度越大的知识节点排名越靠前；

步骤S309，将步骤S304或者步骤S308得到的推荐结果进行可视化呈现，即将推荐结果放入可视化处理模块(S500)。