Python Pandas删除替换并提取其中的缺失值NaN(dropna,fillna,isnull)
前言
例如，当使用pandas读取csv文件时，如果元素为空，则将其视为缺失值nan（非数字）。
使用dropna（）方法删除缺失值，使用fillna（）方法用其他值替换（填充）缺失值。
如果要提取包含缺失值的行或列，使用isnull（）方法确定元素是否缺失。
例如，读取并使用包含带read_csv的空格的csv文件。
import pandas as pd
import numpy as np
import math
df = pd.read_csv('./data/05/sample_pandas_normal_nan.csv')
print(df)
# name age state point other
# 0 alice 24.0 ny nan nan
# 1 nan nan nan nan nan
# 2 charlie nan ca nan nan
# 3 dave 68.0 tx 70.0 nan
# 4 ellen nan ca 88.0 nan
# 5 frank 30.0 nan nan nan
在此，将对以下内容进行说明。
- pandas中缺失值nan的介绍
- 将缺失值作为pandas中的缺失值nan
- 缺失值nan的删除方法
- 删除所有值均缺失的行/列
- 删除至少包含一个缺失值的行/列
- 根据不缺失值的元素数量删除行/列
- 删除特定行/列中缺失值的列/行
- pandas.series
- 替换（填充）缺失值
- 用通用值统一替换
- 为每列替换不同的值
- 用每列的平均值，中位数，最频繁值等替换
- 替换为上一个或下一个值
- 指定连续更换的最大数量
- pandas.series
- 提取缺失值
- 提取特定行/列中缺少值的列/行
- 提取至少包含一个缺失值的行/列
pandas中缺少值nan的介绍
在pandas中，如果列包含任何缺失值nan，则即使所有其他值均为整数int，该列的dtype也将被视为浮点。
df = pd.read_csv('./data/05/sample_pandas_normal_nan.csv')
print(df)
# name age state point other
# 0 alice 24.0 ny nan nan
# 1 nan nan nan nan nan
# 2 charlie nan ca nan nan
# 3 dave 68.0 tx 70.0 nan
# 4 ellen nan ca 88.0 nan
# 5 frank 30.0 nan nan nan
print(df.dtypes)
# name object
# age float64
# state object
# point float64
# other float64
# dtype: object
虽然编写代码时不必担心，但是对象类型列的缺失值是内置的float，而浮点类型列的缺失值是numpy的numpy.float64。数字可能会因环境而异）。
print(df.at[1, 'name']) print(type(df.at[1, 'name'])) # nan # <class 'float'> print(df.at[0, 'point']) print(type(df.at[0, 'point'])) # nan # <class 'numpy.float64'>
使用pandas.isnull（）检查缺失的值。也可以使用numpy.isnan（）和math.isnan（）（但是需要分别导入numpy和math）。
print(pd.isnull(df.at[0, 'point'])) print(np.isnan(df.at[0, 'point'])) print(math.isnan(df.at[0, 'point'])) # true # true # true
注意，用==与np.nan或math.nan比较会返回false。
print(df.at[0, 'point'] == np.nan) # false
将缺失值作为pandas中的缺少值nan
在pandas中，将none，np.nan，math.nan和pd.np.nan视为缺失值nan，以下所述的dropna（）和fillna（）。另外，只要导入了pandas，pd.np.nan就可以不导入numpy了。 在numpy.float64中，none也转换为nan。
s_nan = pd.series([none, np.nan, math.nan, pd.np.nan]) print(s_nan) # 0 nan # 1 nan # 2 nan # 3 nan # dtype: float64 print(s_nan[0]) print(type(s_nan[0])) # nan # <class 'numpy.float64'> print(s_nan.isnull()) # 0 true # 1 true # 2 true # 3 true # dtype: bool
如上所述，如果包含缺失值，则将整数int类型值强制转换为浮点浮点类型。
s_nan_int = pd.series([none, pd.np.nan, 0, 1]) print(s_nan_int) # 0 nan # 1 nan # 2 0.0 # 3 1.0 # dtype: float64 print(s_nan_int.isnull()) # 0 true # 1 true # 2 false # 3 false # dtype: bool
如果包含字符串str值，则其pandas.series（和pandas.dataframe列）数据类型将为object。 none不会转换为numpy.float64的nan并保持为none，但是它是dropna（）和fillna（）的对象，因此在实践中无需担心。
s_nan_str = pd.series([none, pd.np.nan, 'nan', 'nan']) print(s_nan_str) # 0 none # 1 nan # 2 nan # 3 nan # dtype: object print(s_nan_str[0]) print(type(s_nan_str[0])) # none # <class 'nonetype'> print(s_nan_str.isnull()) # 0 true # 1 true # 2 false # 3 false # dtype: bool
如果有一个您想当作缺失值的值，例如字符串“ nan”，则可以使用replace（）方法将其替换为缺失值。
s_nan_str_replace = s_nan_str.replace({'nan': pd.np.nan, 'nan': pd.np.nan})
print(s_nan_str_replace)
# 0 nan
# 1 nan
# 2 nan
# 3 nan
# dtype: float64
print(s_nan_str_replace.isnull())
# 0 true
# 1 true
# 2 true
# 3 true
# dtype: bool
请注意，在上面的示例中，在读取read_csv（）之类的文件的函数中，空字符串（空白）和字符串’nan’，'null’默认情况下视为缺失值。有关详细信息，请参见以下文章。
pandas读取csv/tsv文件（read_csv，read_table）
缺少值nan的删除方法
使用dropna（）方法删除缺失值。
默认情况下，将返回新对象，并且不会更改原始对象，但是参数inplace = true会更改原始对象本身。 以较早加载的pandas.dataframe为例。
print(df) # name age state point other # 0 alice 24.0 ny nan nan # 1 nan nan nan nan nan # 2 charlie nan ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen nan ca 88.0 nan # 5 frank 30.0 nan nan nan
删除所有值均缺失的行/列
如果指定了参数how =‘all’，则将删除所有缺少值的行。
print(df.dropna(how='all')) # name age state point other # 0 alice 24.0 ny nan nan # 2 charlie nan ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen nan ca 88.0 nan # 5 frank 30.0 nan nan nan
如果设置axis = 1，则将删除所有缺少值的列。
print(df.dropna(how='all', axis=1)) # name age state point # 0 alice 24.0 ny nan # 1 nan nan nan nan # 2 charlie nan ca nan # 3 dave 68.0 tx 70.0 # 4 ellen nan ca 88.0 # 5 frank 30.0 nan nan
如果axis = [0，1]，则会删除所有缺失值的行和列，但是从版本0.23.0开始，将不推荐使用（不推荐使用）轴列表和元组规范。 如果要同时应用于行和列，则可以重复应用dropna（）。
print(df.dropna(how='all').dropna(how='all', axis=1)) # name age state point # 0 alice 24.0 ny nan # 2 charlie nan ca nan # 3 dave 68.0 tx 70.0 # 4 ellen nan ca 88.0 # 5 frank 30.0 nan nan
删除至少包含一个缺失值的行/列
示例是删除所有缺少值的行和列的数据。
df2 = df.dropna(how='all').dropna(how='all', axis=1) print(df2) # name age state point # 0 alice 24.0 ny nan # 2 charlie nan ca nan # 3 dave 68.0 tx 70.0 # 4 ellen nan ca 88.0 # 5 frank 30.0 nan nan
如果指定了参数how =‘any’，则将删除至少包含一个缺失值的行。默认值为how =‘any’。
print(df2.dropna(how='any')) # name age state point # 3 dave 68.0 tx 70.0 print(df2.dropna()) # name age state point # 3 dave 68.0 tx 70.0
如果设置axis = 1，则将删除包含至少一个缺失值的列将被删除。
print(df2.dropna(how='any', axis=1)) # name # 0 alice # 2 charlie # 3 dave # 4 ellen # 5 frank
根据不缺少值的元素数量删除行/列
通过在参数thresh中指定数字，可以根据不缺少值的元素数量删除行和列。
例如，如果thresh = 3，则保留包含三个或更多个不丢失值的元素的行，并删除其他行（包含两个或更多个不丢失值的元素的行）。
print(df.dropna(thresh=3)) # name age state point other # 0 alice 24.0 ny nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen nan ca 88.0 nan
如果axis= 1，则应用于列。
print(df.dropna(thresh=3, axis=1)) # name age state # 0 alice 24.0 ny # 1 nan nan nan # 2 charlie nan ca # 3 dave 68.0 tx # 4 ellen nan ca # 5 frank 30.0 nan
删除特定行/列中缺少值的列/行
如果要基于特定的行/列删除，请在列表的参数子集中指定要定位的行/列标签。由于它必须是列表，因此请至少指定一个目标，例如subset = [‘name’]。 默认情况下，子集指定的列中缺少值的行将被删除。
print(df.dropna(subset=['age'])) # name age state point other # 0 alice 24.0 ny nan nan # 3 dave 68.0 tx 70.0 nan # 5 frank 30.0 nan nan nan
如果指定了多列，则默认为删除所有缺少指定值的行。
print(df.dropna(subset=['age', 'state'])) # name age state point other # 0 alice 24.0 ny nan nan # 3 dave 68.0 tx 70.0 nan
如果参数how =‘all’，则仅删除所有指定列均缺少值的行。
print(df.dropna(subset=['age', 'state'], how='all')) # name age state point other # 0 alice 24.0 ny nan nan # 2 charlie nan ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen nan ca 88.0 nan # 5 frank 30.0 nan nan nan
如果axis = 1，则删除子集指定的行中缺少值的列。参数how也可以使用。
print(df.dropna(subset=[0, 4], axis=1)) # name state # 0 alice ny # 1 nan nan # 2 charlie ca # 3 dave tx # 4 ellen ca # 5 frank nan print(df.dropna(subset=[0, 4], axis=1, how='all')) # name age state point # 0 alice 24.0 ny nan # 1 nan nan nan nan # 2 charlie nan ca nan # 3 dave 68.0 tx 70.0 # 4 ellen nan ca 88.0 # 5 frank 30.0 nan nan
pandas.series
如果数据是一维pandas.series，则只需调用dropna（）。缺少的值将被删除。
s = df['age'] print(s) # 0 24.0 # 1 nan # 2 nan # 3 68.0 # 4 nan # 5 30.0 # name: age, dtype: float64 print(s.dropna()) # 0 24.0 # 3 68.0 # 5 30.0 # name: age, dtype: float64
替换（填充）缺失值
可以使用fillna（）方法将缺失值替换为任意值。
默认情况下，将返回新对象，并且不会更改原始对象，但是参数inplace = true会更改原始对象本身。 以较早加载的pandas.dataframe为例。
print(df) # name age state point other # 0 alice 24.0 ny nan nan # 1 nan nan nan nan nan # 2 charlie nan ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen nan ca 88.0 nan # 5 frank 30.0 nan nan nan
用通用值统一替换
如果指定要用参数替换的值，则所有缺少的值nan都将替换为该值。
print(df.fillna(0)) # name age state point other # 0 alice 24.0 ny 0.0 0.0 # 1 0 0.0 0 0.0 0.0 # 2 charlie 0.0 ca 0.0 0.0 # 3 dave 68.0 tx 70.0 0.0 # 4 ellen 0.0 ca 88.0 0.0 # 5 frank 30.0 0 0.0 0.0
为每列替换不同的值
将字典指定为参数时，每列将替换一个不同的值。字典键是列标签（列名），而值是要替换的值。未指定的列仍缺少值nan。
print(df.fillna({'name': 'xxx', 'age': 20, 'point': 0}))
# name age state point other
# 0 alice 24.0 ny 0.0 nan
# 1 xxx 20.0 nan 0.0 nan
# 2 charlie 20.0 ca 0.0 nan
# 3 dave 68.0 tx 70.0 nan
# 4 ellen 20.0 ca 88.0 nan
# 5 frank 30.0 nan 0.0 nan
不仅可以指定字典，还可以指定pandas.series。具有与pandas.series中的标签匹配的列标签（列名）的列中缺少的值将替换为pandas.series值。与pandas.series标签不对应的列仍然缺少值。
s_for_fill = pd.series(['zzz', 100], index=['name', 'age']) print(s_for_fill) # name zzz # age 100 # dtype: object print(df.fillna(s_for_fill)) # name age state point other # 0 alice 24.0 ny nan nan # 1 zzz 100.0 nan nan nan # 2 charlie 100.0 ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen 100.0 ca 88.0 nan # 5 frank 30.0 nan nan nan
用每列的平均值，中位数，众数等替换
可以使用mean（）方法计算每列的平均值。结果是pandas.series。缺失值将被排除并计算。
print(df.mean()) # age 40.666667 # point 79.000000 # other nan # dtype: float64
如果将此pandas.series指定为fillna（）的参数，则如上所述，将相应列中的缺失值替换为平均值。
print(df.fillna(df.mean())) # name age state point other # 0 alice 24.000000 ny 79.0 nan # 1 nan 40.666667 nan 79.0 nan # 2 charlie 40.666667 ca 79.0 nan # 3 dave 68.000000 tx 70.0 nan # 4 ellen 40.666667 ca 88.0 nan # 5 frank 30.000000 nan 79.0 nan
同样，如果要替换中位数，请使用中位数（）方法。在偶数的情况下，两个中心值的平均值是中值。
print(df.fillna(df.median())) # name age state point other # 0 alice 24.0 ny 79.0 nan # 1 nan 30.0 nan 79.0 nan # 2 charlie 30.0 ca 79.0 nan # 3 dave 68.0 tx 70.0 nan # 4 ellen 30.0 ca 88.0 nan # 5 frank 30.0 nan 79.0 nan
最频繁值的取得。mode（）返回pandas.dataframe，因此iloc [0]将第一行作为pandas.series。
print(df.fillna(df.mode().iloc[0])) # name age state point other # 0 alice 24.0 ny 70.0 nan # 1 alice 24.0 ca 70.0 nan # 2 charlie 24.0 ca 70.0 nan # 3 dave 68.0 tx 70.0 nan # 4 ellen 24.0 ca 88.0 nan # 5 frank 30.0 ca 70.0 nan
尽管在此示例中这不是问题，但是诸如mean（）之类的方法可能会返回意外的值，因为默认情况下它们不仅尝试处理数字列，而且还尝试处理其他类型的列。 如果参数numeric_only = true，则目标仅限于数字列。同样在这种情况下，布尔类型列也被处理为true = 1，false = 0。
替换为上一个或下一个值
通过使用method参数，可以替换之前和之后的值，而不是指定的值。 如果method =‘ffill’，它将被以前的值替换；如果method =‘bfill’，将被后面的值替换。对于时间序列数据很有用。
print(df.fillna(method='ffill')) # name age state point other # 0 alice 24.0 ny nan nan # 1 alice 24.0 ny nan nan # 2 charlie 24.0 ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen 68.0 ca 88.0 nan # 5 frank 30.0 ca 88.0 nan print(df.fillna(method='bfill')) # name age state point other # 0 alice 24.0 ny 70.0 nan # 1 charlie 68.0 ca 70.0 nan # 2 charlie 68.0 ca 70.0 nan # 3 dave 68.0 tx 70.0 nan # 4 ellen 30.0 ca 88.0 nan # 5 frank 30.0 nan nan nan
指定连续更换的最大数量
使用参数limit，可以指定连续替换的最大数量。
print(df.fillna(method='bfill', limit=1)) # name age state point other # 0 alice 24.0 ny nan nan # 1 charlie nan ca nan nan # 2 charlie 68.0 ca 70.0 nan # 3 dave 68.0 tx 70.0 nan # 4 ellen 30.0 ca 88.0 nan # 5 frank 30.0 nan nan nan
pandas.series
对于pandas.series，可以与前面的示例相同的方式进行处理。
s = df['age']
print(s)
# 0 24.0
# 1 nan
# 2 nan
# 3 68.0
# 4 nan
# 5 30.0
# name: age, dtype: float64
print(s.fillna(100))
# 0 24.0
# 1 100.0
# 2 100.0
# 3 68.0
# 4 100.0
# 5 30.0
# name: age, dtype: float64
print(s.fillna({1: 100, 4: 0}))
# 0 24.0
# 1 100.0
# 2 nan
# 3 68.0
# 4 0.0
# 5 30.0
# name: age, dtype: float64
print(s.fillna(method='bfill', limit=1))
# 0 24.0
# 1 nan
# 2 68.0
# 3 68.0
# 4 30.0
# 5 30.0
# name: age, dtype: float64
提取缺失值
提取特定行/列中缺少值的列/行
如果要选择并检查特定列中包含缺失值的行，通过isull（）方法，并通过布尔索引引用进行检查提取。
print(df) # name age state point other # 0 alice 24.0 ny nan nan # 1 nan nan nan nan nan # 2 charlie nan ca nan nan # 3 dave 68.0 tx 70.0 nan # 4 ellen nan ca 88.0 nan # 5 frank 30.0 nan nan nan print(df['point'].isnull()) # 0 true # 1 true # 2 true # 3 false # 4 false # 5 true # name: point, dtype: bool print(df[df['point'].isnull()]) # name age state point other # 0 alice 24.0 ny nan nan # 1 nan nan nan nan nan # 2 charlie nan ca nan nan # 5 frank 30.0 nan nan nan
选择在特定行中包含缺失值的列时，想法是相同的。使用loc []按行名（行标签）选择，并使用iloc []按位置选择。请参见以下文章。
pandas获取和修改任意位置的值（at,iat,loc,iloc）
print(df.iloc[2].isnull()) # name false # age true # state false # point true # other true # name: 2, dtype: bool print(df.loc[:, df.iloc[2].isnull()]) # age point other # 0 24.0 nan nan # 1 nan nan nan # 2 nan nan nan # 3 68.0 70.0 nan # 4 nan 88.0 nan # 5 30.0 nan nan
提取至少包含一个缺失值的行/列
当提取包含至少一个缺失值的行/列时，而不是确定特定的行/列。
df2 = df.dropna(how='all').dropna(how='all', axis=1) print(df2) # name age state point # 0 alice 24.0 ny nan # 2 charlie nan ca nan # 3 dave 68.0 tx 70.0 # 4 ellen nan ca 88.0 # 5 frank 30.0 nan nan
pandas.dataframe isnull（）方法确定每个元素是否为缺失值，并返回为true或false的pandas.dataframe。
print(df2.isnull()) # name age state point # 0 false false false true # 2 false true false true # 3 false false false false # 4 false true false false # 5 false false true true
如果任何行或列包含true，则any方法将返回true。如果参数axis= 1，则在该行上执行处理。
print(df2.isnull().any(axis=1)) # 0 true # 2 true # 3 false # 4 true # 5 true # dtype: bool print(df2[df2.isnull().any(axis=1)]) # name age state point # 0 alice 24.0 ny nan # 2 charlie nan ca nan # 4 ellen nan ca 88.0 # 5 frank 30.0 nan nan
提取列时也是如此。如果any（）的参数轴设置为0，则对列执行处理。可以省略，因为默认值为axis = 0。
print(df2.isnull().any()) # name false # age true # state true # point true # dtype: bool print(df2.loc[:, df2.isnull().any()]) # age state point # 0 24.0 ny nan # 2 nan ca nan # 3 68.0 tx 70.0 # 4 nan ca 88.0 # 5 30.0 nan nan
总结
到此这篇关于python pandas删除替换并提取其中的缺失值nan(dropna,fillna,isnull)的文章就介绍到这了,更多相关pandas删除替换提取缺失值nan内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！
上一篇： 腊八节各地风俗有哪些