手把手教你写电商爬虫-第一课 找个软柿子捏捏

话说现在基本上大家都在网上买东西，国家经济数据已经可以在网络购物的数据中略微窥见一二，再加上目前B2B行业的持续火爆，大有把所有交易搬到网上来的趋势，这个系列教程就来讲讲如果爬取这些大量的电商交易的数据。工具要求：教程中主要使用到了 1、神箭手云爬虫框架 这个是爬虫的基础，2、Chrome浏览器和Chrome的插件XpathHelper 这个用来测试Xpath写的是否正确

业界 2016年05月13日

Scrap：pthon3下的第一次运行测试

1，引言《Scrapy的架构初探》一文讲解了Scrapy的架构，本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子，完整的代码可以在github上下载。2，运行环境配置本次测试的环境是：Windows10， Python3.4.3 32bit安装Scrapy ： $ pip install Scrapy # 实

业界 2016年07月06日

复杂爬虫编写心得

信息收集和网站地图绘制比编程更重要。浏览器访问效率的最大值是爬虫效率的最低值。永远不要使用selenium，尽量不要使用phantomjs对于脾气暴躁、技术能力强的网站，要让爬虫变的友善复杂爬虫不宜过度优化，越冗余，维护成本越低。尽量使用api和手机端接口。关键字：网页爬虫, 爬虫, selenium, phantomjs

业界 2016年07月08日

爬取豆瓣电影top250提取电影分类进行数据分析

标签（空格分隔）：python爬虫一、爬取网页，获取需要内容我们今天要爬取的是豆瓣电影top250页面如下所示：我们需要的是里面的电影分类，通过查看源代码观察可以分析出我们需要的东西。直接进入主题吧！知道我们需要的内容在哪里了，接下来就使用我们python强大的request库先获取网页内容下来吧！获取内容后，再使用一个好用的lxml库来分析网页内容，然后获取我们的内容就可

业界 2016年07月09日

互联网金融爬虫怎么写－第一课 p2p网贷爬虫（XPath入门）

相关教程：手把手教你写电商爬虫-第一课 找个软柿子捏捏手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取手把手教你写电商爬虫-第四课 淘宝网商品爬虫自动JS渲染手把手教你写电商爬虫-第五课 京东商品评论爬虫 一起来对付反爬虫 工具要求：教程中主要使用到了 1、神箭手云爬虫 框架 这个是爬虫的基础，2、

业界 2016年07月27日