Python CSV解析深度指南：处理复杂字段与不规范表头

import csv
from datetime import datetime
import io

def get_data_from_csv(filepath, num_samples=None):
    """
    从CSV文件加载数据，处理复杂字段和非标准表头，并进行类型转换。

    Args:
        filepath (str): CSV文件路径。
        num_samples (int, optional): 要提取的行数。如果为None，则提取所有行。

    Returns:
        list: 包含字典的列表，每个字典代表一行数据。
    """
    # 1. 预处理文件内容以修复表头并跳过无关行
    # 使用io.StringIO在内存中构建一个“修复后”的文件流
    fixed_content_stream = io.StringIO()

    with open(filepath, 'r', newline='', encoding='utf-8') as f_in:
        # 根据原始问题描述，CSV文件的前两行是非数据内容，需要跳过
        try:
            next(f_in) # 跳过第一行
            next(f_in) # 跳过第二行
        except StopIteration:
            print("CSV文件内容不足，无法跳过前两行。")
            return []

        # 现在f_in指向第三行，这应该是包含实际表头的一行
        try:
            header_line = next(f_in)
        except StopIteration:
            print("CSV文件内容不足，没有找到表头行。")
            return []

        # 替换表头中的换行符。考虑Windows和Unix两种换行符。
        # 这里假设只有'TDCJ\nNumber'或'TDCJ\r\nNumber'需要处理
        header_line = header_line.replace("TDCJ\nNumber", "TDCJ Number")
        header_line = header_line.replace("TDCJ\r\nNumber", "TDCJ Number")

        # 将修复后的表头和剩余的数据内容写入内存文件对象
        fixed_content_stream.write(header_line)
        fixed_content_stream.write(f_in.read())

    fixed_content_stream.seek(0) # 将内存流的指针重置到开始位置

    deathrow_data = []
    # 2. 使用csv.DictReader解析数据
    # DictReader会自动将内存流的第一行（即我们修复后的表头）作为键
    reader = csv.DictReader(fixed_content_stream)

    for i, row in enumerate(reader):
        if num_samples is not None and i >= num_samples:
            break

        # 3. 数据类型转换与清洗
        try:
            # 整数类型字段
            int_fields = [
                "Execution",
                "Highest Education Level",
                "TDCJ Number",
                "Age at Execution",
                "Weight",
            ]
            for k in int_fields:
                if row.get(k) is not None and row[k].strip() != '': # 确保字段存在且不为空
                    row[k] = int(row[k])
                else:
                    row[k] = None # 或其他默认值，如0

            # 日期类型字段
            date_fields = [
                "Date of Birth",
                "Date of Offence",
                "Date