WebGet 能够帮你从互联网页面上获取你所需要的信息。程序根据网页上的链接递归访问所有页面,匹配关键字并记录出现指定关键字的页面URL,在页面中提取你所需要的文字信息,并保存到文件或数据库,以及将图片保存到本地。
1、如果你需要在网站上搜索所有带有某些关键字的页面,比如进行信息安全检查,这个工具能够帮助你节约大量的人力和时间。
2、如果你需要定期到某个网站上去取某些文字/图片内容,并添加到自己的网站数据库里,这个工具能够帮助你节约大量的人力和时间。比如网站上每天的新闻添加。
3、你还可以用本工具来构造一个站内的全文搜索引擎,可以采用计划任务的方式在半夜对整个网站进行一次搜索,并将数据记录到数据库中,或者采用不间断运行(循环搜索)的方式对数据库里的网站数据进行不断刷新,从而方便地构建一个网站内容搜索数据库。通过这个工具可以将若干个网站的内容统一到一个搜索数据库里。特别是针对静态页面构成的网站(无法在数据库内进行信息检索)来说是很有用的。 |