wget -c -r -np -k -L -p 网站地址
抓取网站
wget -c -r -np -k -L -l 3 -p www.xxx.org/pub/path/
-c 断点续传
-r 递归下载，下载指定网页某一目录下（包括子目录）的所有文件
-np 递归下载时不搜索上层目录，如wget -c -r www.xxx.org/pub/path/，没有加参数-np，就会同时下载path的上一级目录pub下的其它文件
-k 将绝对链接转为相对链接，下载整个站点后脱机浏览网页，最好加上这个参数
-L 递归时不进入其它主机，如 wget -c -r www.xxx.org/ 如果网站内有一个这样的链接：www.yyy.org，不加参数-L，就会像大火烧山一样，会递归下载www.yyy.org网站；但是现在很多的css、js、img都不在项目的目录下保存，而是在html页面中src一个http引用，所以如果想要一并download当前页面引用的http资源，比如js，css，img，那么这个参数就需要省略
-l 下载层级，默认最大为5级，一般情况下3级就够了
-p 下载网页所需的所有文件，如图片等
通过Chrome我们可以抓取到Cookie
如果一个网站需要登录，那么直接用wget命令是下载不了的。
wget http://web.com 命令会被拒绝。
http://askubuntu.com/questions/161778/how-do-i-use-wget-curl-to-download-from-a-site-i-am-logged-into该博客上讲述了各种解决方案，其实最关键的还是要cookie.txt.
解决方案用curl命令下载该文件。
chrome 可以生成curl命令：
步骤：
比如要下载：Userinfo.tsv文件
第一步：到该下载按钮下，右键点击检查。切换到Network选项。
第二步：点击该下载按钮，chrome就会自动帮我们监控。
出现了两个UserInfo.tsv.7z
第三步：右键点击Copyan cURL.(bash)
然后将该命令复制到ubuntu上执行，就可以下载文件了
curl 'https://kaggle2.blob.core.windows.net/competitions-data/kaggle/4438/UserInfo.tsv.7z?sv=2012-02-12&se=2015-12-10T16%3A26%3A05Z&sr=b&sp=r&sig=olOI7lwDgKKXFFYmpYXalphxKjFfDa5uQ5w7rIcMQGo%3D'-H 'Accept-Encoding: gzip, deflate, sdch' -H 'Accept-Language: zh-CN,zh;q=0.8'-H 'Upgrade-Insecure-Requests: 1' -H 'User-Agent: Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73Safari/537.36' -H 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H'Referer: https://www.kaggle.com/c/avito-context-ad-clicks/data' -H'Connection: keep-alive' --compressed
默认是输出到标准输出的
curl'https://kaggle2.blob.core.windows.net/competitions-data/kaggle/4438/UserInfo.tsv.7z?sv=2012-02-12&se=2015-12-10T16%3A26%3A05Z&sr=b&sp=r&sig=olOI7lwDgKKXFFYmpYXalphxKjFfDa5uQ5w7rIcMQGo%3D'-H 'Accept-Encoding: gzip, deflate, sdch' -H 'Accept-Language: zh-CN,zh;q=0.8'-H 'Upgrade-Insecure-Requests: 1' -H 'User-Agent: Mozilla/5.0 (Windows NT 6.1;WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73Safari/537.36' -H 'Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8' -H'Referer: https://www.kaggle.com/c/avito-context-ad-clicks/data' -H'Connection: keep-alive' --compressed -o 1.7z 重定向到1.7z
使用cookie抓取网站
wget --header="Cookie: a=1; b=2; JSESSIONID=CD72BA6EF0408058EA343C358A98D243" http://www.baidu.com -c -r -np -k -L -p