处理压缩的.tar.Z文件：Python与Pandas的实战指南

import pandas as pd
import numpy as np
import io
import tarfile # 核心库
from google.colab import files # 用于在Colab中上传文件

# Jupyter/Colab显示设置
pd.set_option('display.max_rows', None)
np.set_printoptions(threshold=np.inf)
%matplotlib inline

# 假设您的文件名为 'diabetes-data.tar.Z'
uploaded = files.upload()

# 获取上传文件的字节内容
# files.upload() 返回一个字典，键是文件名，值是文件的字节内容
# 通常只有一个文件上传，所以我们可以取第一个键
uploaded_filename = list(uploaded.keys())[0]
tar_z_bytes = uploaded[uploaded_filename]

print(f"文件 '{uploaded_filename}' 已上传，大小为 {len(tar_z_bytes)} 字节。")

# 定义CSV文件的列名，与原始问题保持一致
columnsNames = [
    'sequenceName',
    'TagIdentificator',
    'timestamp',
    'dateFORMAT',
    'x-coordinate-of-the-tag',
    'y-coordinate-of-the-tag',
    'z-coordinate-of-the-tag',
    'activity'
]

data = None # 初始化DataFrame

try:
    # 1. 使用 io.BytesIO 将上传的字节内容包装成文件对象
    # 2. 使用 tarfile.open() 以 'r:Z' 模式打开压缩的 .tar 文件
    #    'r' 表示读取模式，':Z' 指定使用 'compress' 算法解压
    with tarfile.open(fileobj=io.BytesIO(tar_z_bytes), mode='r:Z') as tar:
        # 3. 遍历归档中的所有成员，寻找我们需要的CSV文件
        csv_member = None
        for member in tar.getmembers():
            # 假设CSV文件是归档中的一个普通文件，且以 .csv 结尾
            if member.isfile() and member.name.endswith('.csv'):
                csv_member = member
                print(f"在归档中找到CSV文件: {member.name}")
                break

        if csv_member:
            # 4. 提取CSV文件的内容到另一个 io.BytesIO 对象
            #    tar.extractfile(member) 返回一个文件对象，read() 读取其全部内容
            extracted_csv_bytes = tar.extractfile(csv_member).read()

            # 5. 使用 pandas.read_csv 读取提取出的CSV数据
            #    io.BytesIO(extracted_csv_bytes) 将字节内容再次包装成文件对象供pandas读取
            #    encoding='latin1' 是为了解决原始问题中提到的字符编码错误
            data = pd.read_csv(io.BytesIO(extracted_csv_bytes), encoding='latin1', header=None, names=columnsNames)

            print("\n数据已成功加载到DataFrame:")
            print(data.head())
            print(f"\nDataFrame包含 {len(data)} 行数据。")
        else:
            print("错误：在 .tar.Z 归档中未找到任何 .csv 文件。请检查归档内容。")

except tarfile.ReadError as e:
    print(f"错误：无法读取 .tar.Z 文件。请确认文件格式是否正确且未损坏。详细信息: {e}")
except Exception as e:
    print(f"发生未知错误: {e}")

import pandas as pd
import numpy as np
import io
import tarfile
from google.colab import files

# Jupyter/Colab显示设置
pd.set_option('display.max_rows', None)
np.set_printoptions(threshold=np.inf)
%matplotlib inline

# 定义CSV文件的列名
columnsNames = [
    'sequenceName',
    'TagIdentificator',
    'timestamp',
    'dateFORMAT',
    'x-coordinate-of-the-tag',
    'y-coordinate-of-the-tag',
    'z-coordinate-of-the-tag',
    'activity'
]

print("请上传您的 .tar.Z 文件...")
uploaded = files.upload()

# 确保文件已上传且获取其字节内容
if not uploaded:
    print("未检测到文件上传。请重新尝试。")
else:
    uploaded_filename = list(uploaded.keys())[0]
    tar_z_bytes = uploaded[uploaded_filename]
    print(f"文件 '{uploaded_filename}' 已上传，大小为 {len(tar_z_bytes)} 字节。")

    data = None # 初始化DataFrame

    try:
        # 使用 tarfile 模块处理 .tar.Z 文件
        with tarfile.open(fileobj=io.BytesIO(tar_z_bytes), mode='r:Z') as tar:
            csv_member = None
            for member in tar.getmembers():
                if member.isfile() and member.name.endswith('.csv'):
                    csv_member = member
                    print(f"在归档中找到CSV文件: {member.name}")
                    break

            if csv_member:
                extracted_csv_bytes = tar.extractfile(csv_member).read()
                data = pd.read_csv(io.BytesIO(extracted_csv_bytes), encoding='latin1', header=None, names=columnsNames)

                print("\n数据已成功加载到DataFrame:")
                print(data.head())
                print(f"\nDataFrame包含 {len(data)} 行数据。")
            else:
                print("错误：在 .tar.Z 归档中未找到任何 .csv 文件。请检查归档内容或修改查找逻辑。")

    except tarfile.ReadError as e:
        print(f"错误：无法读取 .tar.Z 文件。请确认文件格式是否正确且未损坏。详细信息: {e}")
    except Exception as e:
        print(f"发生未知错误: {e}")