自定义Scrapy的ItemExporter
Scrapy提供了定制输出格式的功能,包括JSON/CSV等,其实对于文本,分隔符不带Key的格式仍然是最好处理的。
虽然可以修改CSV_DELIMITER让CsvItemExporter输出符合需求的格式,但是对HTML总是存在编码转换的问题让我头疼不已。
索性继承BaseItemExporter实现了一个真正称心如意的定制版ItemExporter。
ItemExporter的代码不多,但必须配合自定义的StorePipeline使用。
客观们想要什么样的格式,就到format_output的函数里恣意妄为吧:
小2拜谢:custom_pipeline.py