给产品经理讲技术｜一步一步写爬虫之抓包

本文作者：果果 原文地址：戳这里【相关推荐】给产品经理讲技术｜向前兼容、向后兼容给产品经理讲技术｜产品经理应该这样提需求之“状态机”给产品经理讲技术｜撩妹技术三部曲之“设计模式”给产品经理讲技术丨没线，并不可怕？给产品经理讲技术丨提需求的正确姿势是什么上回讲到我们通过分析微信「历史消息」的网页结构，找到了藏有每篇历史文章的URL的标签，并且验证了这些URL就是我们文章的真实

产品经理 2016年05月27日

复杂爬虫编写心得

信息收集和网站地图绘制比编程更重要。浏览器访问效率的最大值是爬虫效率的最低值。永远不要使用selenium，尽量不要使用phantomjs对于脾气暴躁、技术能力强的网站，要让爬虫变的友善复杂爬虫不宜过度优化，越冗余，维护成本越低。尽量使用api和手机端接口。关键字：网页爬虫, 爬虫, selenium, phantomjs

业界 2016年07月08日

抓取6W+篇帖子、13W+个人用户信息，分析虎扑论坛与用户数据

文章作者对虎扑论坛的帖子、个人信息展开分析，到底虎扑论坛用户有哪些特点呢？通过文章来了解下。目录一、虎扑是什么？二、数据说明三、虎扑论坛分析 各论坛版块流量分析步行街/NBA论坛版块 用户发帖内容分析步行街/NBA论坛版块 用户活跃时间段分析四、虎扑用户分析 用户性别分析用户地域分布分析用户使用设备分析用户注册时长分析五、分析总结六、技术说明 一、虎扑是什么？以

用户研究 2017年11月25日

了解入门爬虫技术原理，看这篇就够了

爬虫技术就是一个高效的下载系统，能够将海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。本文从爬虫技术的诞生开始，为你详细解析爬虫技术原理。一、爬虫系统的诞生通用搜索引擎的处理对象是互联网网页，目前互联网网页的数量已达百亿，所以搜索引擎首先面临的问题是：如何能够设计出高效的下载系统，以将如此海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。网络爬虫能够起到这

分析评测 2018年04月17日

互联网“虫患”难除

作为一项计算机技术，爬虫能自动且高效地浏览互联网完成“复制、抓取”两个动作，存在于互联网生活的方方面面，而广泛应用的背景下，也存在着不少“虫患”。本文作者分析了这一问题，推荐感兴趣的朋友们阅读。爬虫几乎伴随着整个互联网的发展，作为一项计算机技术，它能自动且高效地浏览互联网完成“复制、抓取”两个动作。如果完全封禁网络爬虫，可能导致互联网发展“寸步难行”；但倘若不设置

业界综合 2021年11月09日

成为搜索产品经理（2）：认识网络爬虫

因为我本身并不从事技术岗位，本篇文章的读者，我也默认是与我一样，不从事技术岗位，但对技术有一定感知的同学，我将尽力将文章写得简单、易懂。索引引擎系统由多个子模

产品经理 2023年07月21日

互联网“虫患”难除

爬虫几乎伴随着整个互联网的发展，作为一项计算机技术，它能自动且高效地浏览互联网完成“复制、抓取”两个动作。如果完全封禁网络爬虫，可能导致互联网发展“寸步难行”；

业界综合 2023年08月01日