DataFrame之缺失值处理
只要和数据打交道，就不可能不面对一个令人头疼的问题-数据集中存在空值。空值处理，是数据预处理之数据清洗的重要内容之一。本篇文章更加细致的讨论一下空值在Pandas中的判断和处理。
#### pandas对空值的表现
首先我们有三张表格：
在jupyter notebook中我们读取数据如下：
通过对比我们发现：
> 1. 不加入空格时，序号列被读为float型，出生日期列被读为datetime64型，而加入了空格后，统一解读为object型。
>
> 2. 不加入空格时，序号列和姓名列中的缺失值默认为NaN，而时间则为NaT，而加了空格后，缺失值统一为NaN。
> 3. 当时间识别为datetime64类型时，其格式就是输入的格式，但其识别为字符串时，格式会统一加上时分秒。
#### 判断缺失值
缺失值：在DataFrame中读出数据显示为NaN或者NaT(缺失时间)，在Series中为None或者NaN均可。
快速确认数据集中是不是存在缺失值。有两个函数 **isnull, isna**，这两个函数可以帮助我们快速定位数据集中每个元素是否为缺失值。
##### isna(isnull)的使用：
先说一下被问过很多次的问题，就是isna和isnull的区别?我们看一下如下代码：
说明其实这两个是一个函数，isnull就是isna。ok明白了吗?
下面我们看如何使用isna，以上面的表格数据为例：
查看所有列的缺失值情况
```
import pandas as pd
ts2 = pd.read_excel('table1.xlsx',sheet_name='Sheet2',encoding='gbk') # 注意编码设置根据情况设置也可以省略
pd.isna(ts2) # 或者ts2.isna()
```
结果：
查看某一列的缺失值情况
```
pd.isna(ts2['出生日期']) # ts2['出生日期'].isna()
```找出出生日期有缺失值的行,当然也可以是其他的列名
```
ts2[ts2['出生日期'].isna()]
```
#### 缺失值处理
对缺失值的处理主要有两种方式：
> 1. 填充
>
> 2. 删除
##### 缺失值填充
缺失值的填充我们使用：fillna。
> **DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)**
>
> **函数作用：填充缺失值**
value: 需要用什么值去填充缺失值
axis: 确定填充维度，从行开始或是从列开始
method：ffill:用缺失值前面的一个值代替缺失值，如果axis =1，那么就是横向的前面的值替换后面的缺失值，如果axis=0，那么则是上面的值替换下面的缺失值。backfill/bfill，缺失值后面的一个值代替前面的缺失值。注意这个参数不能与value同时出现
limit:确定填充的个数，如果limit=2，则只填充两个缺失值。
```
# 仍然是上面的数据：Sheet1
ts1 = pd.read_excel('table1.xlsx',sheet_name='Sheet1')
ts1.fillna(axis=0,method='bfill')
ts1.fillna(axis=0,method='ffill')
ts1.fillna(axis=1,method='bfill') # 当前axis=1没有太大意义，还破坏了结构
```
也可以使用fillna(固定value)填充所有或者填充某列内容
如果加上limit参数就会对每列出现的替换值有次数限制。
##### 缺失值删除
> DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
>
> 函数作用：删除含有空值的行或列
>
axis:维度，axis=0表示index行,axis=1表示columns列，默认为0
how: "all"表示这一行或列中的元素全部缺失(为NaN)才删除这一行或列，"any"表示这一行或列中只要有元素缺失，就删除这一行或列
thresh: 一行或一列中至少出现了thresh个才删除。
subset：在某些列的子集中选择出现了缺失值的列删除，不在子集中的含有缺失值得列或行不会删除(有axis决定是行还是列)
inplace：刷选过缺失值得新数据是存为副本还是直接在原数据上进行修改。
注意一下inplace参数，inplace默认为False是返回新的数据集，而如果inplace为True则表示在原数据集上操作。
更多关于“Python 培训”的问题，欢迎咨询千锋教育在线名师。千锋教育多年办学，课程大纲紧跟企业需求，更科学更严谨，每年培养泛IT人才近2万人。不论你是零基础还是想提升，都可以找到适合的班型，千锋教育随时欢迎你来试听
