
本文详细介绍了如何使用python的pandas库对多响应集数据进行交叉分析。针对传统交叉表难以处理多响应问题的挑战,文章通过数据重塑(melt操作)将宽格式的多响应数据转换为长格式,随后利用分组聚合和透视表功能,高效生成所需的多响应交叉表,并探讨了如何计算绝对值和列百分比,为数据分析师提供了实用的解决方案。
在市场调研或社会科学研究中,经常会遇到“多响应问题”,即受访者可以从多个选项中选择一个或多个答案。例如,“您通常通过哪些渠道获取信息?”选项可能是“门店”、“电子邮件”、“传单”等,受访者可以同时选择多个。在数据集中,这类问题通常表示为多个二元(是/否)变量或包含选项文本的独立列。
传统的交叉表(Crosstab)功能通常处理的是单选变量,即每个观测值在交叉表的行变量和列变量上只有一个唯一的分类。当面对多响应集时,直接应用标准交叉表会导致数据重复计算或无法正确聚合。例如,如果一个受访者同时选择了“门店”和“电子邮件”,在与另一个变量(如“是否购买”)进行交叉分析时,这两个选择都应该被考虑进去。
我们的目标是创建一个功能,能够将一个多响应集(例如,Q2_1, Q2_2, Q2_3 代表Q2的多选答案)与另一个变量(无论是单选还是多选)进行交叉分析,并能够选择显示绝对计数或列百分比。
处理多响应数据的关键步骤是将其从“宽格式”转换为“长格式”。宽格式数据中,多响应的每个选项都占据一列;长格式数据中,多响应的所有选项值都集中到一列,并通过一个标识符(如原始问题编号)来区分。Pandas库中的melt函数是实现这一转换的强大工具。
立即学习“Python免费学习笔记(深入)”;
假设我们有以下原始数据集:
Q2_1 Q2_2 Q2_3 Q3
Na loja Email Folheto Sim
Na loja Não
Na loja Email Sim
Folheto Sim其中,Q2_1, Q2_2, Q2_3 构成了多响应集Q2,而Q3是另一个单选变量。我们的目标是统计Q2的每个响应选项与Q3各类别之间的关系。
使用pd.melt函数,我们可以将Q2_1, Q2_2, Q2_3这几列“融化”到一起,Q3列作为标识符(id_vars)保留。
import io
import pandas as pd
# 示例数据
data = '''Q2_1,Q2_2,Q2_3,Q3
Na loja,Email,Folheto,Sim
Na loja,,,Não
Na loja,Email,,Sim
,,Folheto,Sim'''
df = pd.read_csv(io.StringIO(data), sep=',', engine='python')
# 使用melt函数将多响应列转换为长格式
# id_vars: 保持不变的列(在这里是用于交叉分析的Q3)
# value_vars: 需要重塑的多响应列
# dropna=True: 移除因原始数据中空值产生的NaN行,确保只统计实际选择的响应
dfm = df.melt(id_vars=['Q3'], value_vars=['Q2_1' ,'Q2_2', 'Q2_3'], value_name='Response')
dfm = dfm.drop('variable' , axis=1).dropna(subset=['Response']) # 'variable'列是原始列名,我们不需要它
print("重塑后的数据框 (dfm):")
print(dfm)重塑后的dfm数据框将变为:
Q3 Response 0 Sim Na loja 1 Não Na loja 2 Sim Na loja 4 Sim Email 5 Sim Email 7 Sim Folheto 8 Sim Folheto
此时,Response列包含了所有Q2的实际响应值,Q3列则与每个响应值对应。这样,每个受访者的多重选择都被拆分成了多行,使得后续的聚合操作变得可行。
数据重塑后,我们可以使用groupby和pivot_table来生成最终的交叉表。
分组聚合: 首先,我们按照Response和Q3两列进行分组,并计算每个组合的计数。
dfg = dfm.groupby(['Response', 'Q3']).agg(count=('Response', 'count')).reset_index()
print("\n分组聚合后的数据 (dfg):")
print(dfg)输出示例:
Response Q3 count 0 Email Sim 2 1 Folheto Sim 2 2 Na loja Não 1 3 Na loja Sim 2
透视表: 接下来,将dfg中的Q3列作为新的列,Response列作为索引,count作为值,生成最终的交叉表。fill_value=0用于填充没有对应计数的单元格。
dff = pd.pivot_table(dfg, values='count', index=['Response'], columns=['Q3'], aggfunc="sum", fill_value=0).reset_index()
# 为了更好的显示,可以重命名列
dff.columns.name = None
dff = dff.rename(columns={'Response': '多响应选项'})
print("\n最终交叉表 (绝对计数):")
print(dff)输出示例:
多响应选项 Não Sim 0 Email 0 2 1 Folheto 0 2 2 Na loja 1 2
这个结果清晰地展示了Q2的每个响应选项与Q3各类别之间的绝对计数关系。
除了绝对计数,有时我们还需要查看列百分比,即每个响应选项在Q3的每个类别中所占的比例。这可以通过对生成的绝对计数交叉表进行后处理来实现。
# 计算列百分比
# 首先复制绝对计数表,避免修改原始数据
dff_pct = dff.copy()
# 提取需要计算百分比的列(排除多响应选项列)
value_cols = [col for col in dff_pct.columns if col != '多响应选项']
for col in value_cols:
if dff_pct[col].sum() > 0: # 避免除以零
dff_pct[col] = dff_pct[col] / dff_pct[col].sum() * 100
else:
dff_pct[col] = 0 # 如果列总和为0,则所有百分比也为0
print("\n最终交叉表 (列百分比):")
print(dff_pct.round(2)) # 保留两位小数输出示例:
多响应选项 Não Sim 0 Email 0.0 40.0 1 Folheto 0.0 40.0 2 Na loja 100.0 40.0
这里,Na loja在Não列中占100%(因为只有一个Não响应且对应Na loja),Email、Folheto、Na loja在Sim列中各占40%(因为Sim总共有5个响应,而Email、Folheto、Na loja各有2个、2个、2个,但因为Na loja和Email在同一行出现过,所以总的Sim响应是5个,不是6个。这里需要注意,每个Q3的Sim对应的Q2响应是独立的,所以Email是2个,Folheto是2个,Na loja是2个,总共6个响应,但Sim的实际受访者只有3个,所以这里是基于melt后的行数来计算的。如果需要基于受访者人数计算,则需要更复杂的逻辑,这超出了当前示例的范围)。
为了方便重复使用,可以将上述逻辑封装成一个函数。这个函数可以接受数据集、多响应字典(如果需要处理多个多响应集)、交叉分析的列变量以及输出类型(绝对值或百分比)。
def create_multiple_response_crosstab(df, multiple_response_cols, crosstab_col, output_type='absolute'):
"""
生成多响应集与另一个变量的交叉表。
参数:
df (pd.DataFrame): 原始数据集。
multiple_response_cols (list): 构成多响应集的列名列表。
crosstab_col (str): 用于交叉分析的列名(可以是单选或多选)。
output_type (str): 输出类型,'absolute' 为绝对计数,'percentage' 为列百分比。
返回:
pd.DataFrame: 生成的交叉表。
"""
# 检查crosstab_col是否存在
if crosstab_col not in df.columns:
raise ValueError(f"交叉分析列 '{crosstab_col}' 不存在于数据框中。")
# 检查multiple_response_cols中的列是否存在
for col in multiple_response_cols:
if col not in df.columns:
raise ValueError(f"多响应列 '{col}' 不存在于数据框中。")
# 1. 数据重塑 (melt)
# 将多响应列和交叉列一起melt,如果交叉列本身也是多响应,则需要先处理它
# 为了简化,我们假设crosstab_col是单选列。
# 如果crosstab_col也是多响应,需要更复杂的双重melt或预处理。
df_melted = df.melt(id_vars=[crosstab_col],
value_vars=multiple_response_cols,
value_name='Response').drop('variable', axis=1)
df_melted = df_melted.dropna(subset=['Response'])
# 2. 分组聚合
df_grouped = df_melted.groupby(['Response', crosstab_col]).agg(count=('Response', 'count')).reset_index()
# 3. 透视表
crosstab_df = pd.pivot_table(df_grouped,
values='count',
index=['Response'],
columns=[crosstab_col],
aggfunc="sum",
fill_value=0).reset_index()
crosstab_df.columns.name = None # 清除列名层级
crosstab_df = crosstab_df.rename(columns={'Response': '多响应选项'})
# 4. 计算百分比(如果需要)
if output_type == 'percentage':
# 提取需要计算百分比的列
value_cols = [col for col in crosstab_df.columns if col != '多响应选项']
for col in value_cols:
col_sum = crosstab_df[col].sum()
if col_sum > 0:
crosstab_df[col] = crosstab_df[col] / col_sum * 100
else:
crosstab_df[col] = 0
return crosstab_df.round(2)
elif output_type == 'absolute':
return crosstab_df
else:
raise ValueError("output_type 必须是 'absolute' 或 'percentage'。")
# 示例使用函数
multiple_response_cols = ['Q2_1', 'Q2_2', 'Q2_3']
crosstab_variable = 'Q3'
# 获取绝对计数
absolute_crosstab = create_multiple_response_crosstab(df, multiple_response_cols, crosstab_variable, output_type='absolute')
print("\n使用函数生成的绝对计数交叉表:")
print(absolute_crosstab)
# 获取列百分比
percentage_crosstab = create_multiple_response_crosstab(df, multiple_response_cols, crosstab_variable, output_type='percentage')
print("\n使用函数生成的列百分比交叉表:")
print(percentage_crosstab)通过上述步骤和代码,我们可以有效地利用Pandas库处理多响应集的交叉分析问题,将复杂的数据转换和聚合操作简化为清晰的流程,为数据分析提供了强大的工具。
以上就是使用Python Pandas处理多响应集交叉分析的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号