Linux下批量下载http目录里的内容

当遇到例如rpm列表的这种情况时，可以使用wget的一些参数进行配合来进行批量下载。

在研究这个问题的时候，我面对的是要下载pidora目录下所有的文件，因为在单位下载这些rpm的速度很快，而在家很慢，所以需要将这些文件都下载下来做一个yum源。

距离针对z开头的这个目录

http://mirror.raspberrypi.org/pidora/releases/18/packages/armv6hl/os/Packages/z/

可以使用命令wget http://mirror.raspberrypi.org/pidora/releases/18/packages/armv6hl/os/Packages/z/

现将这个HTML页面下载下来。

下载下来的这个文件名叫做index.html

然后使用wget -i index.html -F -B http://mirror.raspberrypi.org/pidora/releases/18/packages/armv6hl/os/Packages/z/

-i 表示从文件导入链接，默认是直接按行读取URL

-F 表示将文件以HTML的格式解析，其实就是解析<a>

-B 因为发现解析出来的链接用的都是相对路径，而为了下载这个文件，必须在相对路径前添加上Base URL，-B就是用来添加Base URL。

之后就可以批量下载当前目录中的文件了。