wget -c -r -np -k -L -p 网站地址抓取网站wget -c -r -np -k -L -l 3 -p www.xxx.org/pub/path/-c 断点续传-r 递归下载，下载指定网页某一目录下（包括子目录）的所有文件-np 递归下载时不搜索上层目录，如wget -c -r www.xxx.org/pub/path/，没有加参 ......
1、百度蜘蛛：Baiduspider
2、谷歌蜘蛛：Googlebot
3、360蜘蛛：360Spider
4、SOSO蜘蛛：Sosospider
5、雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
6、有道蜘蛛：YoudaoBot，YodaoBot
7、搜狗蜘蛛：Sogou News Spider、Sogou&n ......