使用 Pandas 处理多重响应数据并生成交叉表教程

import io
import pandas as pd

data = '''Q2_1,Q2_2,Q2_3,Q3
Na loja,Email,Folheto,Sim
Na loja,,,Não
Na loja,Email,,Sim
,,Folheto,Sim'''

df = pd.read_csv(io.StringIO(data), sep=',', engine='python')
print("原始数据：")
print(df)

原始数据：
    Q2_1   Q2_2     Q2_3   Q3
0  Na loja  Email  Folheto  Sim
1  Na loja    NaN      NaN  Não
2  Na loja  Email      NaN  Sim
3      NaN    NaN  Folheto  Sim

# 将多重响应列 Q2_1, Q2_2, Q2_3 重塑为长格式
dfm = df.melt(id_vars=['Q3'], value_vars=['Q2_1', 'Q2_2', 'Q2_3'])

# 移除不再需要的 'variable' 列，因为它只是指示原始列名
dfm = dfm.drop('variable', axis=1)

# 移除重塑后产生的 NaN 值，这些 NaN 值表示该行没有对应的响应
dfm = dfm.dropna()

print("\n重塑后的数据 (dfm)：")
print(dfm)

重塑后的数据 (dfm)：
      Q3    value
0    Sim  Na loja
1    Não  Na loja
2    Sim  Na loja
4    Sim    Email
6    Sim    Email
8    Sim  Folheto
11   Sim  Folheto

# 按 'value' 和 'Q3' 分组并计数
dfg = dfm.groupby(['value', 'Q3']).agg(count=('value', 'count')).reset_index()
print("\n分组计数结果 (dfg)：")
print(dfg)

# 使用 pivot_table 将分组结果转换为交叉表
dff = pd.pivot_table(dfg, values='count', index=['value'], columns=['Q3'], aggfunc="sum", fill_value=0)
print("\n最终交叉表 (dff)：")
print(dff)

分组计数结果 (dfg)：
     value   Q3  count
0    Email  Sim      2
1  Folheto  Sim      2
2  Na loja  Não      1
3  Na loja  Sim      2

最终交叉表 (dff)：
Q3         Não  Sim
value              
Email        0    2
Folheto      0    2
Na loja      1    2

# 计算列百分比
dff_pct = dff.apply(lambda x: x / x.sum(), axis=0)
print("\n列百分比交叉表：")
print(dff_pct.round(2)) # 四舍五入到两位小数

列百分比交叉表：
Q3       Não   Sim
value             
Email   0.00  0.33
Folheto 0.00  0.33
Na loja 1.00  0.33

def calculate_multiple_response_crosstab(
    df: pd.DataFrame,
    mr_cols: list,
    target_col: str,
    output_type: str = 'count' # 'count' 或 'percentage'
) -> pd.DataFrame:
    """
    计算多重响应问题与目标变量的交叉表。

    参数:
    df (pd.DataFrame): 原始数据集。
    mr_cols (list): 包含多重响应问题所有子列名的列表。
    target_col (str): 目标变量的列名。
    output_type (str): 输出类型，'count' 表示绝对计数，'percentage' 表示列百分比。

    返回:
    pd.DataFrame: 生成的交叉表。
    """
    if not all(col in df.columns for col in mr_cols + [target_col]):
        raise ValueError("mr_cols 或 target_col 中有列名不存在于 DataFrame 中。")

    # 1. 数据重塑 (melt)
    df_melted = df.melt(id_vars=[target_col], value_vars=mr_cols)
    df_melted = df_melted.drop('variable', axis=1).dropna()

    if df_melted.empty:
        print("警告：重塑后无有效数据，可能所有多重响应列都为空。")
        return pd.DataFrame()

    # 2. 分组计数 (groupby)
    df_grouped = df_melted.groupby(['value', target_col]).agg(count=('value', 'count')).reset_index()

    # 3. 透视表 (pivot_table)
    crosstab_df = pd.pivot_table(
        df_grouped,
        values='count',
        index=['value'],
        columns=[target_col],
        aggfunc="sum",
        fill_value=0
    )

    # 4. 计算百分比（如果需要）
    if output_type == 'percentage':
        # 避免除以零，如果某一列总和为0，则该列百分比全为0
        crosstab_df = crosstab_df.apply(lambda x: x / x.sum() if x.sum() != 0 else 0, axis=0)
        crosstab_df = crosstab_df.round(4) # 保留4位小数

    return crosstab_df

# 使用通用函数
# 计算绝对计数
crosstab_counts = calculate_multiple_response_crosstab(df, ['Q2_1', 'Q2_2', 'Q2_3'], 'Q3', output_type='count')
print("\n使用通用函数生成的绝对计数交叉表：")
print(crosstab_counts)

# 计算列百分比
crosstab_percentages = calculate_multiple_response_crosstab(df, ['Q2_1', 'Q2_2', 'Q2_3'], 'Q3', output_type='percentage')
print("\n使用通用函数生成的列百分比交叉表：")
print(crosstab_percentages)