python爬虫存储数据的时候报错
阿神
阿神 2017-04-18 09:14:34
[Python讨论组]

报错的信息如下:
UnicodeEncodeError: 'gbk' codec can't encode character 'xa0' in position 21: illegal multibyte sequence

代码信息如下:


import urllib.request
import re
import csv
import datetime
import time
import requests

starttime = datetime.datetime.now()
city=input('请输入城市的首字母,例如:北京-BJ(不区分大小写):')
print('下载中...')
#列表

results=[]
for number in range(100):
    url='http://'+city+'.liepin.com/zhaopin/pn'+str(number)+'/'
#模拟浏览器
    response=requests.get(url,timeout=3)
    html=response.text
    if response.encoding=='UTF-8':
#正则表达式
        pattern=re.compile('
  • .*?job-info.*?href="(.*?)".*?(.*?).*?clearfix" title="(.*?)".*?.*?company-name.*?"公司(.*?)"',re.S) items=re.findall(pattern,html) results.append(items) print('当前下载第:'+str(number+1)+'页!') else: pass #输出csv csvfile=open(city+time.strftime('%m%d') +'.csv','w+',newline ='') try: writer=csv.writer(csvfile) writer.writerow((['公司名称','职位名称','职位链接','职位说明','发布时间'])) for n in range(len(results)): for m in range(len(results[n])): writer.writerow([results[n][m][4],results[n][m][1],results[n][m][0],results[n][m][2],results[n][m][3]]) finally: csvfile.close()
  • 阿神
    阿神

    闭关修行中......

    全部回复(2)
    迷茫

    每一行的内容里面,如果有中文,需要进行utf-8编码
    比如你可以在col_of_chn里指定中文列的index,
    每当你write row时候,对该行的中文进行编码

        def encode2printcsv(line, col_of_chn):
            for i in col_of_chn:
                #if isinstance(line[i],unicode)
                line[i] = line[i].encode('utf-8')
            return line
        list_of_encode_list = [encode2printcsv(x, col_of_chn) for x in list_of_list]
        for x in list_of_encode_list:        
            #print x    
            csv_writer.writerow(x)
    ringa_lee

    第一行应该声明指定的编码:

    # coding=UTF-8
    
    热门教程
    更多>
    最新下载
    更多>
    网站特效
    网站源码
    网站素材
    前端模板
    关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
    php中文网:公益在线php培训,帮助PHP学习者快速成长!
    关注服务号 技术交流群
    PHP中文网订阅号
    每天精选资源文章推送
    PHP中文网APP
    随时随地碎片化学习

    Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号