|
说明
导入关键词,标题必须包含输入框(没有可不填),表示标题必须包含输入框列表中的其中一项;
过滤域名输入框(没有可不填),默认过滤一些大型常规站点,表示抓取的域名如果是输入框列表的其中一项或者是其子域名,都会被过滤;
抓取页数表示抓取搜索引擎的前几页;
自动去重域名,如果抓取的域名有重复的,就会被过滤;
工具支持百度、搜狗、360、谷歌四大主流搜索引擎,后期可增加;
百度本地模式即可,正常情况无需使用代理,根据网络速度调整设置,可降低失败率;
搜狗、360、谷歌等搜索引擎反爬虫比较严格,一个IP能查几十到几百个词不等,使用完就会被限制IP,过一段时间才能继续爬取;
如果关键词不是很多,使用VPN切换IP,每次爬取几十到几百个词之后,再切换IP即可;
若要大量关键词无间隙查询,则需要购买代理IP(配置见附图)
一般情况使用默认配置即可,若是查询失败,可以调整设置,减少线程数量,增加超时时间;
增加自动失败重查次数,同时可以增加延时抓取时间,;
总的来说,就是一个原则,减少同一时间爬取搜索引擎的次数,或者增加自动失败重查次数;
代理IP目前只支持E变代理(网址:http://http.shenggaocloud.com),如果您有性能更好的代理IP;
下载地址:https://www.heimaoxuexi.net/forum-47-1.html
|
|