python-根据URL地址下载文件

使用Python中提供的urllib.request下载网上的文件

#coding=utf-8
""" 目标：提供一个函数能够从网上下载资源 输入： url列表 保存路径 输出： 保存到指定路径中的文件 要求： 能够实现下载过程，即从0%到100%可视化 """
# =====================================================
from six.moves import urllib
import os
import sys
 
 
def download_and_extract(filepath, save_dir):
    """根据给定的URL地址下载文件 Parameter: filepath: list 文件的URL路径地址 save_dir: str 保存路径 Return: None """
    for url, index in zip(filepath, range(len(filepath))):
        filename = url.split('/')[-1]
        save_path = os.path.join(save_dir, filename)
        urllib.request.urlretrieve(url, save_path)
        sys.stdout.write('\r>> Downloading %.1f%%' % (float(index + 1) / float(len(filepath)) * 100.0))
        sys.stdout.flush()
    print('\nSuccessfully downloaded')
 
 
def _get_file_urls(file_url_txt):
    """根据URL路径txt文件，获取URL地址列表 Parameter: file_url_txt: str txt文件本地路径 Return: filepath: list URL列表 """
    filepath = []
    file = open(file_url_txt, 'r')
    for line in file.readlines():
        line = line.strip()
        filepath.append(line)
    file.close()
    return filepath
 
 
if __name__ == '__main__':
    file_url_txt = 'file_url_txt.txt'
    save_dir = 'save_dir/'
    filepath = _get_file_urls(file_url_txt)
    download_and_extract(filepath, save_dir)