Pandas数据清洗：高效处理混合分隔符与文本数字的列拆分与转换

import pandas as pd
from word2number import w2n

# 假设df已加载
# df = pd.read_csv('your_data.csv')

# 模拟数据
data = {
    'cement_water': ['three hundred and two;203.0', 'one hundred and fifty-one;184.4', 'three hundred and sixty-two_164.9'],
    'coarse_fine_aggregate': ['974.0,817.0', '992.0;815.9', '944.7;755.8']
}
df = pd.DataFrame(data)

def convert_words_to_numbers(text):
    # 尝试统一分隔符并分割，然后转换
    # 这种方法存在问题，因为w2n.word_to_num不能处理纯数字字符串
    words = text.replace('_', ' ').replace(';', ' ').replace(',', ' ').split()
    converted_words = []
    for word in words:
        if word.isalpha(): # 如果是字母，尝试转换为数字
            converted_words.append(str(w2n.word_to_num(word)))
        else: # 否则直接添加
            converted_words.append(word)
    return ' '.join(converted_words)

# 应用转换函数
df['cement_water_processed'] = df['cement_water'].apply(lambda x: convert_words_to_numbers(x))

# 尝试拆分
# df[['cement', 'water']] = df['cement_water_processed'].str.split(' ', expand=True)
# 这段代码会因为w2n.word_to_num无法处理"203.0"等纯数字字符串而报错，
# 即使修改了convert_words_to_numbers函数，也可能因为分隔符处理不当导致问题。

import pandas as pd
from word2number import w2n

# 模拟数据
data = {
    'cement_water': ['three hundred and two;203.0', 'one hundred and fifty-one;184.4', 'three hundred and sixty-two_164.9'],
    'coarse_fine_aggregate': ['974.0,817.0', '992.0;815.9', '944.7;755.8']
}
df = pd.DataFrame(data)

# 1. 使用正则表达式提取 cement_water 列
# (?P<cement>.*) 捕获分隔符前的所有内容作为 'cement'
# [;,_] 匹配任意一个分隔符
# (?P<water>\d+.?\d*)$ 捕获分隔符后的数字（整数或浮点数）作为 'water'，并确保在行尾
tmp_cement_water = df['cement_water'].str.extract(r'(?P<cement>.*)[;,_](?P<water>\d+.?\d*)$')

# 2. 对 coarse_fine_aggregate 列进行拆分
# [;,_] 匹配任意一个分隔符进行拆分
tmp_coarse_fine = df['coarse_fine_aggregate'].str.split('[;,_]', expand=True) \
                                             .rename(columns={0: 'coarse_aggregate', 1: 'fine_aggregate'})

# 3. 将 'cement' 列的文本数字转换为数值
# 使用 .map() 配合 w2n.word_to_num 对 'cement' 列进行转换
tmp_cement_water['cement'] = tmp_cement_water['cement'].map(w2n.word_to_num)

# 4. 合并所有结果列并转换为浮点型
out = pd.concat([tmp_cement_water, tmp_coarse_fine], axis=1).astype(float)

print("方案一结果：")
print(out)

   cement  water  coarse_aggregate  fine_aggregate
0   302.0  203.0             974.0           817.0
1   151.0  184.4             992.0           815.9
2   362.0  164.9             944.7           755.8

import pandas as pd
from word2number import w2n

# 模拟数据
data = {
    'cement_water': ['three hundred and two;203.0', 'one hundred and fifty-one;184.4', 'three hundred and sixty-two_164.9'],
    'coarse_fine_aggregate': ['974.0,817.0', '992.0;815.9', '944.7;755.8']
}
df = pd.DataFrame(data)

# 1. 使用正则表达式提取 cement_water 列
tmp = df['cement_water'].str.extract(r'(?P<cement>.*)[;,_](?P<water>\d+.?\d*)$')

# 2. 尝试将 'cement' 列直接转换为数值，无法转换的标记为 NaN
s = pd.to_numeric(tmp['cement'], errors='coerce')

# 3. 找出那些无法转换为数值（即为 NaN）且原始数据不为空的行
m = s.isna() & df['cement_water'].notna()

# 4. 仅对这些无法直接转换为数值的行，使用 w2n.word_to_num 进行转换
# 注意：这里假设tmp['cement']中m对应的元素是word string，如果不是，w2n.word_to_num会报错
# 实际上，由于前面的regex已经将纯数字部分提取给了'water'，这里'cement'通常都是word string
tmp.loc[m, 'cement'] = df.loc[m, 'cement_water'].map(lambda x: w2n.word_to_num(x.split('[;,_]')[0]) if isinstance(x, str) else x)
# 修正：更准确的做法是使用tmp['cement']而不是df['cement_water']，因为tmp['cement']已经包含了提取出的word string
tmp.loc[m, 'cement'] = tmp.loc[m, 'cement'].map(w2n.word_to_num)


# 5. 对 coarse_fine_aggregate 列进行拆分
tmp_coarse_fine = df['coarse_fine_aggregate'].str.split('[;,_]', expand=True) \
                                             .rename(columns={0: 'coarse_aggregate', 1: 'fine_aggregate'})

# 6. 合并所有结果列并转换为浮点型
out = pd.concat([tmp, tmp_coarse_fine], axis=1).astype(float)

print("\n方案二结果：")
print(out)

     cement  water  coarse_aggregate  fine_aggregate
0     302.0  203.0             974.0           817.0
1     151.0  184.4             992.0           815.9
2     362.0  164.9             944.7           755.8