shell批量采集百度下拉框关键词

 一直想写一篇用shell采集百度下拉框关键词的教程,个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程,操作步骤稍微多了些,很多朋友看完了仍然不知道怎么做,然后QQ问我,教程都写得很清楚明了,只要对照着来做,一定会成功的。

-------------------------------2015年5月22日补充-------------------------------

刚看到小五给了一个可以批量采集百度下拉框的百度接口,简单修改下,已经用shell实现了批量采集,代码如下:

采集单个词测试一下:

curl -s "https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=seo"|iconv -f gbk -t utf-8|awk -F":" '{print $4}'|grep -oP '(?<=").*?(?=")'|sed 's/,//g'

效果如下图所示:

 

shell采集百度下拉框关键词

 

指定一批母词,批量采集代码:

cat kws.txt|while read line;do curl -s "upload/201801051623520756.png" alt="【亲测好用!】shell批量采集百度下拉框关键词" width="524" title="【亲测好用!】shell批量采集百度下拉框关键词" align="" style="box-sizing: inherit; border: 0px; font-family: inherit; font-style: inherit; margin: 0px; outline: 0px; padding: 0px; vertical-align: middle; max-width: 100%; height: auto; display: block;" />

 

shell批量采集百度下拉框关键词另一个可用的百度API:

cat kws.txt|while read line;do curl -s http://suggestion.baidu.com/su?wd=$line=$line|iconv -f gbk -t utf-8|grep -oP '(?<=").*?(?=")'|egrep -v "baidu|,";done

效果如下图:

采集效率如下图,217个母词,不到一分钟采集到了416个下拉词,效率如何?