rq和Scrapy的结合：darkrho/scrapy-redis · GitHub
后续处理，网页析取（grangier/python-goose · GitHub），存储（Mongodb）
5.如何写爬虫抓取自己的微信朋友圈数据用前嗅的ForeSpider数据采集软件就可以采集微信朋友圈的数据了 。是可视化的通用性爬虫软件 。简单配置两步就可以采集，软件还自带免费的数据库，可以采集直接入库 。
在ForeSpider里有一个内置浏览器，在里边打开这个网站，和在浏览器上一样输入用户名密码，登录上去后就可以了 。可以设置自动登录，下次爬虫还会自动登录 。
可以下载个免费版的试试，软件里有一些免费的模板，里边有一个登录的，还有公众号的案例 。帮助文档里也有登录的配置步骤 。
如果自己不想配置，可以让前嗅提供配置服务 。可以下载一个免费版试一试，免费版不限制功能 。

文章插图

• 软件业务流程怎么写
• 古风语c戏梗怎么写
• 非洲最难念名字怎么写
• 从一到12月英文怎么写
• 泰坦的英文怎么写
• 补结婚证证明怎么写
• hql日期查询语句怎么写
• excel怎么写副标题
• 所有的人用英语怎么写
• 至爱用英文怎么写