CN102521253A

CN102521253A - 一种可视化的网络用户多媒体管理方法

Info

Publication number: CN102521253A
Application number: CN2011103649744A
Authority: CN
Inventors: 蒋舒卉; 钱学明; 蓝可; 李靖; 李凡
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2011-11-17
Filing date: 2011-11-17
Publication date: 2012-06-27
Anticipated expiration: 2031-11-17
Also published as: CN102521253B

Abstract

本发明公开了一种可视化的网络用户多媒体管理方法，区别于现有仅以不同文件夹存放、管理多媒体数据的方法，其特征在于：对于用户已上传的图片、音频、视频和文档，本发明根据图片自带GPS与时间信息，在地图上生成旅游路线，并可在电脑和手机端显示；***实时提供与浏览图片同一地点的代表性图片，官方介绍和其他用户评论并且可编辑自己感受；用户可选择时间段查看游记；用户可将旅游日志与好友分享；对数据建立索引结构，并离线预处理GPS信息与代表性图片。

Description

一种可视化的网络用户多媒体管理方法

技术领域

本发明涉及网络尤其是社交网络数据管理，多媒体检索领域及地图开发领域，特别涉及在地图上生成游记***。

背景技术

随着生活水平的提高，人们开始热衷旅游，并在旅游过程中拍摄大量图片上传到图片分享网站与社交网络。知名的图片分享网站如Flickr，上传的图片总数达50亿张。社交网络中的图片上传数量更为惊人，光Facebook一家就达到了600亿。在我国，人人网、开心网等社交网站成为了主要的上传与分享图片的途径。并且，随着4G时代的到来，不仅在Youtube、优酷、土豆网等视频分享网站，社交网络中用户上传的视频数据也会急剧上升。因此，对于如此大规模的用户数与多媒体数据，如何有效地管理颇为重要。

目前的分享网站社交网络中的图片与视频管理方式基本相同。一个用户下有若干文件夹，这样的管理方式不利于向用户直观展示这些多媒体数据的空间位置分布，以及用户旅游时的路线。

随着科技的进步，人们使用智能手机和部分数码相机拍照时带有时间和GPS记录功能，在上传图片时，Flickr可用户手动在地图上找到图片位置标注。在Flickr上，当用户查看的图片具有GPS时，会出现该图片在地图上对应的位置。微软亚洲研究院发布的TRAVELGUIDE***，该***用户可在地图上找到景点位置，添加图片并添加评论，***自动生成路线，以动画方式放映。但这一功能仅针对某张图，或某次旅行，并未被用户大规模相片的管理中，尤其未被用于社交网络的图片管理中。并且更没有提供对视频的相关展示功能。

现有的社交网络的图片管理方法未能以可视化的方式管理图片。同时，现有的图片管理方法仅能查看用户本人图片和评论，当用户需要查看同一景点代表性图片及评论要格外使用搜索引擎。

发明内容

本发明的目的是提供一种直观的形式丰富的网络用户多媒体管理方法，将用户选择的数据，不仅仅是图片，还包括视频、音频、文字在地图上的对应位置显示，并连成旅游路线，在连成线路同时，呈现用户的旅游与日常生活，与社交网络中的好友分享，方便用户，更好地推广在地图上生成游记。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种可视化的网络用户多媒体管理方法，其特征在于，包括下述步骤：用户多媒体数据输入单元10、确定数据GPS单元20、时间窗单元30；多媒体类型选择单元40；地图自适应缩放单元50；在地图上显示多媒体图标及路线单元60；用户浏览旅游日志单元70；

所述用户多媒体数据输入单元10对图片100、视频110、文字120和音频130建立索引；

所述确定数据GPS单元20将用户多媒体数据输入单元10中建好索引的数据进行GPS确定，包括解析数据附带的位置信息；对于无位置信息的数据，用户进行手动GPS标注，在地图上找到对应位置；对于地名而非GPS信息，通过地名与GPS转换API获得GPS；

所述时间窗单元30对确定数据GPS单元20进行GPS确定的索引进行时间索引；

所述多媒体类型选择单元40将时间窗单元30确定时间索引后的多媒体数据进行种类选择，包括图片、视频、文字和音频某一种，或组合；在时间窗单元30的基础上再进行多媒体类型要求的索引；

所述地图自适应缩放单元50针对时间窗单元30确定的和多媒体类型选择单元40选定的索引结果，进行地图缩放级别的确定，以使得所选定的时间窗及选定类型的多媒体内容在地图上恰好占据整个屏幕，使游记有更好的展示效果；

所述在地图上显示多媒体图标及路线单元60，将来自地图自适应缩放单元50多媒体数据及地图缩放级别，根据时间、GPS、图标存放位置，按照时间先后顺序在地图上对应GPS显示多媒体图标，并根据时间先后连成路线，并生成旅游日志；

所述用户浏览旅游日志单元70对所生成的旅游日志进行游记浏览，包括多媒体资料浏览单元700，代表性图片单元710，和评论单元720。

上述方案中，所述用户多媒体数据输入单元10对图片、视频、文字和音频建立索引的具体步骤为：

建立索引表，每个多媒体资料为一行，列数为9，每一列表示一个索引类型，分别为：id为表示图片唯一的编号；uf为user flag，表示标记此图是否为用户上传图片；u为user Id，表示用户编号；t为time，表示图片上传时间；m为material表示多媒体种类；gps表示多媒体资料的GPS；url表示多媒体资料的存放地址；icon表示多媒体资料的略缩图标的存放地，其中图片图标为略缩图，视频图标为第一帧的略缩图，文字图标与音乐图片为表示文字和音乐的图标；c表示评论存放地址，索引提供指向存储在表的指定列中的数据值的指针，然后根据指定的排序顺序对这些指针排序；

所述时间窗单元30对确定数据GPS单元20进行GPS确定的索引进行时间索引的具体方法为：记距今最远时间为t₀₁，距今最近距离为t₀₂。将用户所选择的时间段为t₁和t₂，初始时t₁＝t₀₁，t₂＝t₀₂。本发明提供两种途径供用户选择时间段。途径一为直接输入具体的起始和结束时间。途径二为移动滚动条的左右按钮。在途径二中，滚动条的最左端为t₀₁最右端为t₀₂始终不变，中间位置均匀与时间一一映射，这样左右按钮映射到了新的t₁、t₂。根据t₁、t₂确定时间索引范围。

所述地图自适应缩放单元50中的地图缩放级别的确定步骤为：首先获取在确定数据GPS单元20中GPS在经度和纬度上的极值，记为LA_m以及LO_m。然后根据LA_m，LO_m的值来确定地图的缩放级别；方法为将地图选定为某一等级i，获取上下左右极值点，并计算得到经度纬度距离分别记LA_i，LO_i，在选择缩放级别时，比较LA_m，LA_i，LA_i+1，以及LO_m，LO_j，LO_j+1，当LA_i-1＜LA_m＜LA_i&LO_j-1＜LO_m＜LO_j，选k＝min(i，j)，则选定的地图缩放级别为k。

所述代表性图片单元710中的代表性图片生成流程包括图片库建立单元、图片库预处理单元和代表性图片生成单元，其中：图片库建立单元首先用用户标识uf来区别图片是否为用户上传图片，对于非用户上传图片则无需进行GPS对应景点图片扩充；对用户上传图片的GPS在库内进行索引，当图片数达到30张以上时则不需要进行补图，否则进行WEB检索，利用图片搜索引擎进行补图并入库，同样选择补图数为30，在此之前需进行GPS与地名转换；图片库预处理单元对图片分别进行视觉特征提取，KMEANS聚类、类间排序与类内排序；所述视觉特征为全局特征，包括颜色直方图、颜色矩、小波纹理特征；接着，对全局特征进行KMEANS聚类，取聚类中心数为30，包括4个季节白天黑色和不用场景类型的组合，通过聚类，图片库中图片根据其颜色和纹理划分到不同的类中，根据图片种类和拍摄时间排序，然后进行类间排序，根据类内GPS、用户与拍摄时间分布广度排序；类内SIFT匹配排序，对各类做类内的SIFT匹配比较：选取一张图片Pi，将某一SIFT描述Xim与另一张图片Pj中的所有SIFT描述Xjn做相似性度量，选择距离最近的点作为预选匹配对，为了达到对称性，只有当Xjn的最近距离点也为Xim时，才确定两点匹配；当两张图片间的匹配点数达到3对时，认为这两张图片匹配，根据图片与其他图片匹配的张数排序；代表性图片生成单元为提高浏览代表性图片的速度，建立针对代表性图片集的索引结构：对代表性图片集建立索引表，每张代表性图片为一行，列数为5，每一列表示一个索引类型，分别为：id为表示图片唯一的编号；gps表示多媒体资料GPS；url表示多媒体资料的存放地址；clu代表图片所属聚类类别标号；q代表图片在类内排序标号；索引提供指向存储在表的指定列中的数据值的指针，然后根据指定的排序顺序对这些指针排序；在用户浏览代表性图片时，先进行GPS索引，找到特定GPS范围内的图片对应的行，然后按照类别标号与类内排序标号从小到大顺序读取图片，如clu1q1，clu2q1…clunq1，clu1q2，clu2q2…此处n的选择根据实际情况为10。

与现有技术相比，本发明优点在于，为多媒体资料离线建立索引，并进行预处理，使用户在线获取个人数据时减少等待时间。对于用户新上传数据，可与已存库中多媒体数据建立相同索引结构。选取的代表性图片地点准确，能反映该地点代表景物，能反映该地点不同季节、不同时间如白天、黑夜，不用视角，图片重复性少。并且用户不需要额外借助搜索引擎，即能浏览该景点代表性图片，弥补了用户旅游时仅能看到某一季节或时间段图片的遗憾。

附图说明

图1为本发明方法的总体步骤示意图。

图2为本发明方法中采用软件游记界面示意图。图中：标记1为地图区域，标记2为用户当前选择多媒体信息区域，包括拍摄时间、位置信息等。标记3为时间窗，能选择在地图上显示游记的时间范围。标记4为多媒体浏览器区域，包括如图片和视频文件第一帧，共有4个按钮，上下按钮为游览前后景点，左右按钮为浏览同一景点代表性图片。标记5为评论框区域，包括用户评论、官方评论、其他用户评论和好友评论。标记6为好友窗口区域，显示浏览过该景点的好友，可游览该好友浏览此景点时的图片和评论。标记7为多媒体类型选择，可任意组合图片、视频、文字和音乐显示。

图3为图1中的代表性图片生成示意图。

图4为本发明方法中所采用的多媒体数据索引结构图。其中(a)图为多媒体资料索引结果，uf表示user flag。标记此图是否为用户上传图片，用以与从WEB中检索的图区分。u表示user Id。t表示图片上传时间。m表示多媒体种类，如图片、视频、文字和音乐。gps表示多媒体资料GPS。url表示多媒体资料的存放地址。icon表示多媒体资料的图标的存放地址。c表示评论地址。(b)图为针对代表性图片的索引结构。仅针对代表性图片建立的图片索引：gps代表图片所在GPS。url代表图片存放地址。clu代表图片所属聚类类别标号。q代表图片在类内排序标号。

图5为本发明方法效果截图。其中(a)图为用户i的游记，选择的媒体类型为图片。在地图上生成游记并显示路线；(b)图为用户i调整时间窗后游记，可见浏览景点减少，图片数减少。

具体实施方式

图1给出了本发明中对社交网络用户多媒体资料进行可视化管理的方法的总体步骤示意图。包括用户多媒体数据输入单元10、确定数据GPS单元20、时间窗单元30；多媒体类型选择单元40；地图自适应缩放单元50；在地图上显示多媒体图标及路线单元60；用户浏览旅游日志单元70。

所述的用户多媒体数据输入单元10中的多媒体数据包括图片100、视频110、文字120和音频130。该单元对图片、视频、文字和音频建立索引。

具体建立索引步骤，建立索引表如图4(a)所示，每个多媒体资料为一行，列数为9，每一列表示一个索引类型，分别为：id为表示图片唯一的编号；uf为user flag，表示标记此图是否为用户上传图片；u为user Id，表示用户编号；t为time，表示图片上传时间；m为material表示多媒体种类；gps表示多媒体资料GPS；url表示多媒体资料的存放地址；icon表示多媒体资料的略缩图标的存放地，其中图片的图标为略缩图，视频的图标为第一帧略缩图，文字图标与音乐图标为表示文字和音乐的图标；c表示评论存放地址。索引提供指向存储表的指定列中的数据值的指针，然后根据指定的排序顺序对这些指针排序。

确定数据GPS单元20将用户多媒体数据输入单元10中建好索引数据进行GPS确定，确定包括解析数据附带的位置信息；对于无位置信息的数据，用户进行手动GPS标注，在地图上找到对应位置；对于地名而非GPS信息，通过地名与GPS转换API获得GPS。

以上单元10单元20为离线预处理单元，离线建立索引使用户在线获取个人数据时减少等待时间。对于用户新上传数据，添加到已有索引表中，与已存库中多媒体数据建立相同索引结构。

时间窗单元30对确定数据GPS单元20所GPS确定的索引进行时间索引，用户可选择具体的时间段进行游记生成并浏览，便于用户有针对性查找资料。对建立索引用进行时间索引，记距今最远时间为t₀₁，距今最近距离为t₀₂。将用户所选择的时间段为t₁和t₂，初始时t₁＝t₀₁，t₂＝t₀₂。本发明提供两种途径使用户选择时间段。途径一为直接输入具体的起始和结束时间。途径二为移动滚动条的左右按钮。在途径二中，滚动条的最左端为t₀₁最右端为t₀₂始终不变，中间位置均匀一一映射，这样左右按钮映射到了新的t₁，t₂。在索引中，进行满足时间要求的索引。

多媒体类型选择40将时间窗单元30确定时间索引后的多媒体资料数据进行种类选择，包括图片、视频、文字和音频某一种，或组合；在时间窗单元30的基础上再进行多媒体类型要求的索引。

地图自适应缩放单元50针对时间窗单元30确定的和多媒体类型选择单元40选定的索引结果，进行地图缩放级别的确定，以使得所选定的时间窗及选定类型的多媒体内容在地图上恰好占据整个屏幕，使游记有更好的展示效果，步骤为首先获取在确定数据GPS单元20中GPS在经度和纬度上的极值，记为LA_m以及LO_m。然后根据LA_m，LO_m的值来确定地图的缩放级别。方法为将地图选定为某一等级i，获取上下左右极值点，并计算得到经度纬度距离分别记LA_i，LO_i。在选择缩放级别时，比较LA_m，LA_i，LA_i+1，以及LO_m，LO_j，LO_j+1，当LA_i-1＜LA_m＜LA_i&LO_j-1＜LO_m＜LO_j，选k＝min(i，j)，则选定的地图缩放级别为k。这里给出必应地图中i级LA_i，LO_i数据做参考

i	LA_i(纬度)	LO_i(经度)	i	LA_i(纬度)	LO_i(经度)
						1	170	360	9	2.3	1.8
2	132	223	10	0.4	0.88
						3	80	100	11	0.09619	0.4408
4	40	57	12	0.024167	0.10987
						5	20	55	13	11.958×10^-3	27.4673×10^-3

6	11	13	14	6.079×10^-3	13.732×10^-3
						7	5	6	15	3.0070×10^-3	6.8665×10^-3
8	2.6	2.8	16	1.5093×10^-3	3.4386×10^-3

例如在必应地图中，中国可设定为第3级，一个省可设定为5-6级，一个学校可设定为第15级。

在地图上显示多媒体图标及路线单元60，将来自地图自适应缩放单元50多媒体数据及地图缩放级别，根据时间、GPS、图标存放位置，根据时间先后顺序在地图上对应GPS显示多媒体图标，并根据时间先后连成路线，并生成旅游日志。

用户浏览旅游日志单元70对所生成的旅游日志进行游记浏览，包括多媒体资料浏览单元700，代表性图片单元710，和评论单元720。

功能包括：(1)切换地图模式，此功能为地图自带服务，模式有航拍模式交通模式，对于中国地区可选择添加中国图层获得更细节信息。(2)选择是否显示路线，有路线能更好了解旅游线路，没有路线能更好展示图标。(3)在图2界面示意图标记1地图区域展示游记，用户鼠标触及某多媒体图标时，图标放大，并且在图2标记2用户选择多媒体信息区域显示该媒体对应时间、名称位置信息。地图中心始终为当前展示多媒体图标中心，提高显示效果并具有动态效果。并且在图2标记4中多媒体浏览器区域显示放大图标。(4)当用户想浏览原多媒体文件时，双击图标，对于图片、视频和文字，打开新的页面进行图片浏览、视频播放和文字浏览，对于音乐文件，双击播放音乐。(5)在图2标记4中多媒体浏览器区域，点击上下按钮为游览前后景点，点击左右按钮为浏览同一景点。(6)代表性图片单元710实现功能浏览同一景点代表性图片。(7)用户可用该地点的代表性图片替代拍摄不理想的图片，实现方法为将索引结构(a)中url单元修改为存放该代表性图片的地址，并且将该图片略缩图代替icon单元地址对应内容。(8)在图2标记6中评论区域，实现评论单元720功能。包括显示当前地点用户评论、官方评论、其他用户评论和好友评论。评论信息的存放地址为索引结构(a)中c单元。其中用户评论为用户上传多媒体资料时附带的个人评论，官方评论为公开的主流网站上的景点评论，先调用GPS转地名API，接着搜索地名，本发明中主要使用***上景点介绍(www.wiki.com)，其他用户的该用户评论为索引GPS为同一地点但用户ID不同的评论，好友评论为索引GPS为同一地点用户ID为该用户好友的评论。用户可修改评论信息并发布，修改评论时修改原索引中评论地址c中内容即可。该模块特点是用户不需要额外借助搜索引擎，即能了解该景点背后的文化信息，他人的旅游感受，并且编辑自己的旅游感受与他人分享。(9)在图2标记6中好友窗口区域，显示浏览过该景点的好友，可游览该好友浏览此景点时的多媒体资料。实现方法为索引该用户好友ID对应内容。(10)用户在浏览日志过程中，可随时调整时间窗范围和选择显示的多媒体类型，即修改索引条件，***根据新的条件，索引满足的多媒体资料，游记实时更新。

其中代表性图片单元710，展示用户浏览图片同一地点的代表性图片。包括图片地点准确，反映该地点代表景物，反映该地点不用季节，不同时间如白天、黑夜，不同视角，重复性少等特点。该模块特点在于用户不需要额外借助搜索引擎，即能浏览该景点代表性图片，弥补了用户旅游时仅能看到某一季节或时间段图片的遗憾。

图3为服务端代表性图片生成示意图。7101～7103单元实现图片库建立功能，7104～7107单元实现图片库预处理单元，7108单元为代表性图片生成功能。为了达到用户浏览时能实时显示代表性图片，图片库建立与图片库处理单元均为预处理。由于用户拍摄图片GPS很多情况下为非著名景点，因此仅是注册用户上传的图片无法达到要求，要对图片库进行扩充，从WEB中检索GPS对应景点的图片。建库过程中，7101为读取用户上传图片GPS。用索引结构(a)中用户标识uf来区别图片是否为用户上传图片，对于非用户上传图片则无需进行GPS对应景点图片扩充。对用户上传图片的GPS在库内进行索引，当图片数达到30张以上时则不需要进行补图，否则进行7103WEB检索单元，利用图片搜索引擎进行补图并入库，同样选择补图数为30。在此之前需进行7102单元GPS与地名转换。对于WEB中无法检索到的地点则无法提供浏览代表性图片功能。数字30可根据实际情况调整，这里仅做建议。

建库后需对库进行预处理，7104～7107分别进行了视觉特征提取，KMEANS聚类、类间排序与类内排序，完整预处理后，代表性图片即为排序靠前类中排序靠前图片。预处理图库建立步骤为对图片提视觉特征7104，这些特征为全局特征，包括颜色直方图、颜色矩、小波纹理特征。因其维数低，故在大规模数据处理时复杂度低，并能反映全局的颜色和纹理信息。颜色和纹理信息对于图片种类(如大海、高山、古建筑)，拍摄时间(如不同季节，不同时间)都能较好的区分。接着，对全局特征进行聚类7015，使用KMEANS聚类方法(本论文所用特征与KMEANS聚类方法为本领域中公开特征与方法)，取聚类中心数为30，包括4个季节白天黑色和不用场景类型的组合。通过聚类，图片库中图片根据其颜色和纹理划分到不同的类中，根据图片种类和拍摄时间排序。然后进行类间排序7016，根据类内GPS、用户与拍摄时间分布广度排序，避免用户过于集中造成检索结果缺乏客观性，并使排序靠前的类则为以为以建筑、风景的类别。类内SIFT匹配排序7107，在各类做类内的SIFT匹配比较。选取一张图片Pi，将某一SIFT描述Xim与另一张图片Pj中的所有SIFT描述Xjn做相似性度量，选择距离最近的点作为预选匹配对，为了达到对称性，只有当Xjn的最近距离点也为Xim时，才确定两点匹配。当两张图片间的匹配点数达到3对时，认为这两张图片匹配。根据图片与其他图片匹配的张数排序。至此预处理库完成。参考了现有公开文献(KennedyL S，Naaman M.Generating Diverse and Representative Image Search Results forLandmarks[c].Proceeding of the 17th International Conference on World WideWeb.China：ACM Press，2008：297-306.)中的方法。

在代表性图片单元710中的代表性图片生成流程过程中，为了提高浏览代表性图片的速度，建立了针对代表性图片集的索引结构。

建立索引步骤为对代表性图片集建立索引表如图4(b)所示，每张代表性图片为一行，列数为5，每一列表示一个索引类型，分别为：id为表示图片唯一的编号；gps表示多媒体资料GPS；url表示多媒体资料的存放地址；clu代表图片所属聚类类别标号；q代表图片在类内排序标号。索引提供指向存储在表的指定列中的数据值的指针，然后根据指定的排序顺序对这些指针排序。在用户浏览代表性图片7108单元时，先进行GPS索引，找到特定GPS范围内的图片对应的行，然后按照类别标号与类内排序标号从小到大顺序读取图片，如clu1q1，clu2q1…clunq1，clu1q2，clu2q2…此处n的选择根据实际情况，这里给出10仅做参考。

Claims

1.一种可视化的网络用户多媒体管理方法，其特征在于，包括下述步骤：用户多媒体数据输入单元10、确定数据GPS单元20、时间窗单元30；多媒体类型选择单元40；地图自适应缩放单元50；在地图上显示多媒体图标及路线单元60；用户浏览旅游日志单元70；

2.如权利要求1所述的可视化的网络用户多媒体管理方法，其特征在于，用户多媒体数据输入单元10对图片、视频、文字和音频建立索引的具体步骤为：

建立索引表，每个多媒体资料为一行，列数为9，每一列表示一个索引类型，分别为：id为表示图片唯一的编号；uf为user flag，表示标记此图是否为用户上传图片；u为user Id，表示用户编号；t为time，表示图片上传时间；m 为material表示多媒体种类；gps表示多媒体资料的GPS；url表示多媒体资料的存放地址；icon表示多媒体资料的略缩图标的存放地，其中图片图标为略缩图，视频图标为第一帧略缩图，文字图标与音乐图片为表示文字和音乐的图标；c表示评论存放地址，索引提供指向存储在表的指定列中的数据值的指针，然后根据指定的排序顺序对这些指针排序。

3.如权利要求1所述的可视化的网络用户多媒体管理方法，其特征在于，所述时间窗单元30对确定数据GPS单元20进行GPS确定的索引进行时间索引的具体方法为：

记距今最远时间为t₀₁，距今最近距离为t₀₂。将用户所选择的时间段为t₁和t₂，初始时t₁＝t₀₁，t₂＝t₀₂。本发明提供两种途径供用户选择时间段。途径一为直接输入具体的起始和结束时间。途径二为移动滚动条的左右按钮。在途径二中，滚动条的最左端为t₀₁最右端为t₀₂始终不变，中间位置均匀与时间一一映射，这样左右按钮映射到了新的t₁、t₂。根据t₁、t₂确定时间索引范围。

4.如权利要求1所述的可视化的网络用户多媒体管理方法，其特征在于，所述地图自适应缩放单元50中的地图缩放级别的确定步骤为：首先获取在确定数据GPS单元20中GPS在经度和纬度上的极值，记为LA_m以及LO_m。然后根据LA_m，LO_m的值来确定地图的缩放级别；方法为将地图选定为某一等级i，获取上下左右极值点，并计算得到经度纬度距离分别记LA_i，LO_i，在选择缩放级别时，比较LA_m，LA_i，LA_i+1，以及LO_m，LO_j，LO_j+1，当LA_i-1＜LA_m＜LA_i&LO_j-1＜LO_m＜LO_j，选k＝min(i，j)，则选定的地图缩放级别为k。

5.如权利要求1所述的可视化的网络用户多媒体管理方法，其特征在于，所述代表性图片单元710中的代表性图片生成流程包括图片库建立单元、图片库预处理单元和代表性图片生成单元，其中：

图片库建立单元首先用用户标识uf来区别图片是否为用户上传图片，对于非用户上传图片则无需进行GPS对应景点图片扩充；对用户上传图片的GPS在库内进行索引，当图片数达到30张以上时则不需要进行补图，否则进行WEB检索，利用图片搜索引擎进行补图并入库，同样选择补图数为30，在此之前需进行GPS与地名转换；

图片库预处理单元对图片分别进行视觉特征提取，KMEANS聚类、类间排序与类内排序；所述视觉特征为全局特征，包括颜色直方图、颜色矩、小波纹理特征；接着，对全局特征进行KMEANS聚类，取聚类中心数为30，包括4个季节白天黑色和不用场景类型的组合，通过聚类，图片库中图片根据其颜色和纹理划分到不同的类中，根据图片种类和拍摄时间排序，然后进行类间排序，根据类内GPS、用户与拍摄时间分布广度排序；类内SIFT匹配排序，在各类做类内的SIFT匹配比较：选取一张图片Pi，将某一SIFT描述Xim与另一张图片Pj中的所有SIFT描述Xjn做相似性度量，选择距离最近的点作为预选匹配对，为了达到对称性，只有当Xjn的最近距离点也为Xim时，才确定两点匹配；当两张图片间的匹配点数达到3对时，认为这两张图片匹配，根据图片与其他图片匹配的张数排序；

代表性图片生成单元为提高浏览代表性图片的速度，建立针对代表性图片集的索引结构：对代表性图片集建立索引表，每张代表性图片为一行，列数为5，每一列表示一个索引类型，分别为：id为表示图片唯一的编号；gps表示多媒体资料GPS；url表示多媒体资料的存放地址；clu代表图片所属聚类类别标号；q代表图片在类内排序标号；索引提供指向存储在表的指定列中的数据值的指针，然后根据指定的排序顺序对这些指针排序；在用户浏览代表性图片时，先进行GPS索引，找到特定GPS范围内的图片对应的行，然后按照类别标号与类内排序标号从小到大顺序读取图片。