本软件实现对政府网、行业网和企业网所有或部分(可定义)网页的自动搜索,也可用于互联网。
本搜索引擎搜索已在某直辖市某行业内网中正常使用,采集页面数十万页,运行在普通PC机上,采集效率每小时约一万条,搜索效率在秒级。
本搜索引擎可以设定从一个或者多个URL出发进行搜集,在一次搜集运行中对重复网页不会重复搜集;
可以设定每个起始URL的搜集层数;
可以设定搜集网站的等级,并作为搜索排序的权值之一;
使用关键词进行搜索,按关键词符合程度、时间和网站的重要性权值进行排序,特别适合政府、企业等内网的特点;
支持全面搜集和更新搜集,具有断点记录及继续搜集能力;
搜集的同时建立索引,搜集效率高;
软件可以自动运行,不需人工干预;
遵守robots.txt协议,支持HTTP 1.1 gzip 压缩;
支持多种平台。 |