复杂爬虫编写心得

1. 信息收集和网站地图绘制比编程更重要。

2. 浏览器访问效率的最大值是爬虫效率的最低值。

3. 永远不要使用selenium，尽量不要使用phantomjs

4. 对于脾气暴躁、技术能力强的网站，要让爬虫变的友善

5. 复杂爬虫不宜过度优化，越冗余，维护成本越低。

6. 尽量使用api和手机端接口。

关键字：网页爬虫, 爬虫, selenium, phantomjs

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！