学位论文 > 优秀研究生学位论文题录展示

基于聚焦爬虫的网上药品信息监测系统

作　者: 严鸿毅
导　师: 郝平
学　校: 浙江工业大学
专　业: 控制理论与控制工程
关键词: 聚焦爬虫 药品信息监测 页面搜索算法 相关度分析算法
分类号: TP393.09
类　型: 硕士论文
年　份: 2011年
下　载: 23次
引　用: 1次
阅　读: 论文下载
 

内容摘要


近年来,随着互联网的飞速发展,网络已成为人们获取信息、传递信息的重要途径,随之而来的是网络信息呈指数级的爆炸性增长。互联网的发展虽然极大地方便了人们的生活,但由于其资源广,范围大,发布信息成本低,监管难等特点,使得许多在有形市场上受到有关执法部门强有力的打击的制假售假者逐渐将售假的平台转移到了网络上来,大量假冒侵权商品在网络上肆无忌惮地出现,一个新的“售假天堂”正在形成。为了打击日益猖獗的网络兜售假冒药品的犯罪行为,减轻工作人员的工作强度,需要对网上药品交易信息进行监测,药品信息监测的关键就是要对浩瀚的网络资源进行主题搜索,而实现主题搜索的就是聚焦爬虫。聚焦爬虫针对某个领域或面向特定主题,以获得较为理想的准确率和召回率。但大多数搜索算法都是用于大主题搜索,而专门用于特定小主题(比如药品交易监测)的搜索效果却不理想。为此,本文主要做的工作包括:1.针对论坛网站和普通网站的网络结构特点的不同,分别提出了不同的页面搜索算法。2.针对小主题搜索效果不佳的问题,在分析现有聚焦爬虫搜索方法的基础上,提出了一种对互联网特定主题进行信息搜索的组合策略。这种组合搜索策略包括页面搜索、相关度分析两部分。页面搜索算法采用了改进型的Fish-Search算法;相关度分析采用了分步算法,其中第一步采用向量空间模型。搜索算法,粗选出大主题;第二步分别采用改进型的朴素贝叶斯分类算法与k最近邻算法,从粗选结果中再精选出相关的小主题。3.在此研究基础上,开发了一套面向网上药品的信息监测系统。通过采集多个网站和论坛页面数据,结果表明,这种组合式搜索策略能有效提高爬虫的运行效率及小主题搜索的查准率。

全文目录


相似论文

  1. 基于聚焦爬虫技术的教学资源搜集与自动整理方法研究,TP301.6
  2. 网络文本信息采集分析关键技术研究与实现,TP391.1
  3. 分布式图片搜索引擎设计与实现,TP391.41
  4. 基于web文献的数据挖掘研究应用,TP311.13
  5. BitTorrent种子文件获取技术研究与实现,TP393.093
  6. 基于领域本体的聚焦爬虫技术研究,TP391.3
  7. Deep Web垂直搜索引擎研究,TP311.52
  8. 基于移动搜索的Spider爬行策略的研究和实现,TP391.3
  9. 基于聚焦爬虫的web信息采集技术研究,TP274.2
  10. 互联网舆情监控系统中聚焦爬虫的设计与实现,TP393.09
  11. 基于Wordnet和聚焦爬虫半自动构建本体技术的研究与实现,TP391.1
  12. 可定制的聚焦网络爬虫,TP391.3
  13. 基于网络研判的高校群体突发事件预警平台的研究,TP311.52
  14. 面向主题的网络爬虫设计与实现,TP393.09
  15. 基于协议驱动与事件驱动的综合聚焦爬虫研究与实现,TP311.52
  16. 可扩展分布式垂直搜索引擎设计与实现研究,TP391.3
  17. 基于领域关键词自动扩展的变量主题Hopfield聚焦爬虫的研究,TP391.1
  18. 聚焦爬虫技术研究,TP391.3
  19. 网站聚焦爬虫研究,TP393.092
  20. 基于URL规则的聚焦爬虫及其应用,TP391.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络应用程序
© 2012 www.xueweilunwen.com