1 #!/bin/bash2 for i in {
   1901..2014}3 do4 cd /home/xxxx/hapood/ncdc5 wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/6 done

创建 

$vi getbigdata.sh

导入上述代码。

$ ./getbigdata.sh 运行脚本

CentOs中，之前没有使用过Wget，会出现 无法识别wget的错误提示。

 

使用yum命令

sudo yum install wget

自动安装完成之后 再次运行脚本。