scrapy导出文件中文乱码问题

背景:

使用scrapy crawl spidername -o filename.json命令执行爬虫,并将item写入文件,发现中文乱码,比如这样子:
scrapy导出文件中文乱码问题

创新互联为您提适合企业的网站设计 让您的网站在搜索引擎具有高度排名,让您的网站具备超强的网络竞争力!结合企业自身,进行网站设计及把握,最后结合企业文化和具体宗旨等,才能创作出一份性化解决方案。从网站策划到网站建设、成都网站设计, 我们的网页设计师为您提供的解决方案。

解决方法

第一种方法:

使用scrapy命令导出时指定编码格式

scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8
第二种方法:

借助Pipeline将item写入到文件
1.修改pipelines.py,添加:

import json
import codecs

class YiyaoPipeline(object):
    def __init__(self):
        self.file = codecs.open('item.json', 'wb', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + '\n'
        self.file.write(line)
        return item

2.修改settings.py,激活pipeline:

ITEM_PIPELINES = {
   'yiyao.pipelines.YiyaoPipeline': 300,
}

注意:settings.py默认有ITEM_PIPELINES配置,只是注销掉了。
3.使用scrapy命令导出时,直接执行:

scrapy crawl baidu 

本文题目:scrapy导出文件中文乱码问题
网页链接:http://csruizhi.cn/article/ggshpg.html

其他资讯

Copyright © 2007-2024 成都优众联杰科技有限公司 All Rights Reserved 蜀ICP备2024116266号
友情链接: 企业网站设计 成都营销网站制作 响应式网站设计 成都网站设计 成都网站建设 专业网站设计 上市集团网站建设 成都网站建设 品牌网站建设 成都网站制作公司 商城网站建设 移动网站建设 网站建设方案 网站制作公司 企业网站建设公司 成都网站制作 手机网站制作 阿坝网站设计 重庆企业网站建设 泸州网站建设 网站建设改版 网站建设推广