Python从URL下载文件：正确处理ZIP压缩文件以避免损坏

import requests
import pandas as pd

def download_and_read_csv_incorrect(url, save_path):
    try:
        response = requests.get(url, stream=True)
        response.raise_for_status()

        with open(save_path, "wb") as file:
            for chunk in response.iter_content(chunk_size=8192):
                if chunk:
                    file.write(chunk)
        print(f"Downloaded {url}, saved to {save_path}")
        # 尝试读取，但如果save_path是ZIP文件内容，这里会报错
        csv_data = pd.read_csv(save_path)
        print("CSV loaded successfully.")
    except Exception as e:
        print(f"Error occurred: {e}")

# 假设URL实际指向一个ZIP文件
# download_and_read_csv_incorrect("https://example.com/data.zip", "corrupted.csv")

import requests
import zipfile
import tempfile
import os

# 示例URL，指向一个ZIP文件
URL = "https://prod-dcd-datasets-cache-zipfiles.s3.eu-west-1.amazonaws.com/mpjzbtfgfr-1.zip"
# 定义下载时的分块大小，有助于处理大文件
CHUNK_SIZE = 32 * 1024 # 32 KB

def download_and_extract_zip(url, target_dir="."):
    """
    从指定URL下载ZIP文件，并在指定目录解压其内容。

    Args:
        url (str): ZIP文件的下载URL。
        target_dir (str): 解压文件存放的目标目录。
    """
    try:
        # 确保目标目录存在
        os.makedirs(target_dir, exist_ok=True)

        print(f"开始从 {url} 下载ZIP文件...")
        # 以流模式发送HTTP GET请求
        with requests.get(url, stream=True) as response:
            # 检查请求是否成功，如果状态码是4xx或5xx则抛出异常
            response.raise_for_status()

            # 使用临时文件存储下载的ZIP内容
            # tempfile.TemporaryFile() 创建一个在关闭时自动删除的临时文件，
            # 且在Windows上默认以二进制模式打开。
            with tempfile.TemporaryFile() as temp_zip_file:
                # 迭代响应内容块，并写入临时文件
                for chunk in response.iter_content(chunk_size=CHUNK_SIZE):
                    if chunk:  # 过滤掉保持连接的空块
                        temp_zip_file.write(chunk)

                # 刷新缓冲区，确保所有数据都已写入临时文件
                temp_zip_file.flush()
                # 将文件指针移到文件开头，以便zipfile可以从头读取
                temp_zip_file.seek(0)

                # 使用zipfile库打开临时文件进行解压
                with zipfile.ZipFile(temp_zip_file) as zip_ref:
                    print(f"ZIP文件内容: {zip_ref.namelist()}")
                    # 解压所有文件到目标目录
                    zip_ref.extractall(path=target_dir)
                    print(f"文件已成功解压到 {os.path.abspath(target_dir)}")

    except requests.exceptions.RequestException as e:
        print(f"网络请求错误: {e}")
    except zipfile.BadZipFile:
        print(f"错误: 下载的文件不是一个有效的ZIP文件。请检查URL或文件内容。")
    except Exception as e:
        print(f"发生未知错误: {e}")

# 调用函数进行下载和解压
if __name__ == "__main__":
    download_and_extract_zip(URL)
    # 示例：如果ZIP中包含CRC_clusters_neighborhoods_markers.csv，
    # 它将出现在当前工作目录。
    # 可以进一步处理这个文件，例如使用pandas读取
    # import pandas as pd
    # try:
    #     df = pd.read_csv("CRC_clusters_neighborhoods_markers.csv")
    #     print("CSV文件已成功加载到DataFrame。")
    #     print(df.head())
    # except FileNotFoundError:
    #     print("CSV文件未找到，请检查解压是否成功及文件名。")
    # except Exception as e:
    #     print(f"读取CSV文件时发生错误: {e}")