数据分析工具：Pandas架构分析

以往数据分析常使用的工具是excel和sql，用这两个工具做过大数据分析的网友都能感受到那种痛苦，本文对Python的Pandas大数据分析工具做架构分析，以方便掌握该强大的工具。

本文的架构分析是通过阅读pandas中文出版物教程、互联网搜索、代码验证的基础上得到的结构猜想，并没有深入源代码分析，实际架构与本分析可能略有出入，请知悉。

1. 结构概览

Pandas就是数据容器，容器好不好用，不仅取决于容器能装多少东西，更取决于，取出来是否方便。Pandas的Series和DataFrame作为数据容器就像一本书。

• 数组容器：就是这本书只有页码。如果书本不超过几百页，或者使用的很少，使用起来并没有问题，如果书本有十万页，频繁找东西时肯定就麻烦了。数据分析就像在几十万、几百万页的书本里，找数据，只有页码是不够用的。
• Index容器：Index是对数组容器页码的拓展，在原页码的基础上增加了文本描述，读者对频繁使用的章节可以夹个标签。Index容器有很多子类型，可以简化索引的使用，如：DatetimeIndex、PeriodIndex、IntervalIndex等
• MultiIndex容器：是对Index容器的组合，不仅支持一层便签，可以支持任意层便签，通过该容器可以实现目录管理。

Series是一列数据值，DataFrame是N列数据是，是N个Series的组合。Series和DataFrame从容器的角度，主要拓展的是索引部分，两者的分为index和values两部分，其中index是索引，有复杂的各种实现类。values仍是ndarray类型。

2. Series

Series是对数组的封装，比普通数组新增index的属性。不考虑MultIndex的场景该图是准确的，考虑MultiIndex，书签信息可以有无数列数据。

2.1 数据初始化

Series的两列位置信息，页码信息是系统自动编码，无法人工介入。书签信息是手动编码，可以指定也可以不指定。

索引列和对象可以单独起名字。value没有名字

2.2 通过Index定位值

数组支持按位置访问，比如s[1]

Series支持按位置和按index访问两种方式。

• Series传入的标签参数可以换算为位置信息。
• loc和iloc返回值是向量
• at和iat返回值为标量

位置信息的使用，用SQL表达就是：from 原表 where index.loc in() or index.lable in()

2.3 通过值定位Index

• 函数返回值为bool类型的Series
• 要得到index值或者数据向量，需要再调用一次se.loc[]

此处函数的使用，用SQL表达就是:from 原表 y left join BoolSeries yi where y.index = yi.index and yi.value =True

2.4 MultiIndex构建

Index和MultiIndex都是数组，数组的个数=数据的行数。Index数组的元素是标量数值。MultiIndex的数组元素是元组，可以是二元组、三元组、四元组等。

这里的目录操作，也是人工智能算法打标签的地方，打好标签就可以分群，就可以推荐了。

对于Series由于只有一列数据，所有列的层级就没有建目录的功能，DataFrame有此功能。

2.5 时间构建目录

时间可以按年、月、日、时、分这五个维度构成一个目录层级结构，可以用目录实现。直接使用DatetimeIndex对象构建：

3. DataFrame

DataFrame是有多个Series或数组联表而成的组装表。

Series和数组的组装方式分为三种场景，每种场景有几种存在的组合，如图，绿色的组合场景是合法的，白色的组合场景是非法的。

3.1 多个数组合并

数组和DataFrame的维度信息对照：

• 数组是有序的，所以有位置信息，位置信息是隐含的。隐式对应于DataFrame的index属性。
• 数组是有值的，所以有数值信息，数值信息是显式的。显式对应DataFrame的value属性。

数组和DataFrame的存储值对照：

• 数组的值存储的是地址，所以数组可容纳数值、字符串、对象等任意类型。
• DataFrame每列存储的类型是固定的，所以DataFrame组装时，会自动转换数据类型。

组装关系用SQL表示为：

原则猜测：

之所以数组组装要求严格，是因为数组本身很灵活，数据清洗程度低，数据脏乱差的概率更大，所以此处严格校验，可以降低数据错误的风险。

3.2 多个Series合并

多个series组成DataFrame实际执行的是连表操作，效果等同于Sql语句的全连接。

3.3 Series和数组合并

只要有数组存在，就必须完全对齐，索引列使用Series的索引列。系统默认Series和数组的索引列按照所在顺序建立联表关系。

当Series和数组组成DataFrame时，按照从严法则，必须上下对齐。

4. 数据分组

分组是根据索引将数据聚合，两种方法：

• 显式声明索引，可以直接使用索引分组
• 不声明索引，调用groupby后自动创建索引

分组有三个维度：

• 行维度分组：groupby
• 行维度分组+列维度分组：数据透视表 pivot
• 按顺序，固定行数组成窗口分组：rolling、expanding

4.1 显式声明索引后分组

4.2 分组后自动创建索引

4.3 行维度分组

4.4 行列两维度分组

4.4.1 单行单列写法

4.4.2 多行单列写法

4.4.3 多行多列写法

4.5 窗口滚动分组

滚动分组是按照位置数量分组，实际工作中常说的过去1年，过去一个月，过去一周，以及时间函数都使用滚动计算的理念。

窗口函数与窗口累计函数都可以使用apply函数拿到窗口的值数组，可以使用该值，做任意匹配的运算。

4.6 窗口累计分组

5. 改变数据形状

Pandas中，处理的数据基本都是按表格组织，数据输入有两种方式，按行输入，按列输入。为了输入方便基本会按长轴维度输入数据。

比如8行两列的数据，可以按照行的顺序写，也可以按照列的顺序写。对于该数据，肯定是按列的顺序书写，需要输入的中括号最少。数据输入后再处理即可。

图中可知，数据调用zip分组后，从数据分组的角度看：zip和数据转置的效果是一致的。

6. 数据查询逻辑

Series和DataFrame作为数据容器，数据查询是很重要的逻辑，此处再系统梳理一下流程。

6.1 按索引取值

按索引取值，类比于select的按照主键取值。Pandas接受到入参索引后，会构建一个与被查询数据，相同索引的Series，其中被查询的索引对应值为True，未被查询的索引对应值为False，将该Series作为入参，查询效果与直接输入索引查询效果相同。

代码如下：

6.2 按值取值

按照值取值时，每个运算符对应一个Bool。如果Bool之间是and关系，就执行b1*b2如果Bool之间是or关系，就执行b1+b2

7. 不同数据类型之间的转换逻辑

8. Index展开详解

8.1 概述

index是比数组更大的容器，数组内的元素可以是不同的类型，index统一定义了数组的类型，必须是obj、Datetime、int、Period等其中的一种。index会猜测数组内存储的数据类型，如果是数值，会自动转换为对应的类型,否则统一定义为object类型。

• 定义object类型的好处是：可以存储任意类型的数据。
• 定义object类型的缺点是：大而全，就没有操作数据的方法。小而精，才可以使用对应的操作方法。
• 为了调用int、Datetime类型数据对应的操作方法，需要显式的转换为对应的类型。

8.2 DatetimeIndex

DatetimeIndex就是Datetime格式的index。日期是一组连续的数字，默认可以按照年、月、日、时、分、秒分组，也可以自定义时间段分组。如果某Series或者DataFrame需要使用年月日时分秒做分组依据，有两个方案：

8.2.1 年月日时分组成5列数组，通过MultiIndex赋值

将字符数组转为

8.2.2 直接将日期转为Datetimeindex赋值，用方法取值

两个对比，显然第二个方案更简单灵活。

9 .常用函数说明

9.1 map与replace的等价写法

map可以将任意值改名其他值，此处主要介绍将Bool转成文本。因为在查询函数返回的值都为bool类型，所以此场景使用map函数的频率更高。

map的传参是集合，是因为这里传值是映射关系。

调用多次replace函数的效果与调用map函数的结果相同。

9.2 isna与isin的等价写法

isna与isin(pd.NA)是等价的。fillna与replace(pd.Na)是等价的。

9.3 notna与notin的等价写法

pandas没有not in函数。但是有波浪线表示取反，即True取反后是False，False取反后是True

9.4 列拆分函数split

Series分列，默认是将内容分成，数组，不会展开。

9.4.1 默认为Series格式

9.4.2 数据自动变成DataFrame格式

版权声明

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！