Pandas数据分析库

统计非空数据数量：df.count()

最大最小值：df.max(), df.min()

平均值：df.mean()

中位数：df.median()

求和：df.sum()

分位数：df.quantile(q = [0.2 ,0.4 , 0.6])

汇总统计：df.describe()

最大值索引：df['Python'].argmax()

最小值索引：df['Python'].argmin()

最大值的标签：df.idxmax()

最小值标签：df.idxmin()

统计元素出现次数：df['Python'].value_counts()

去重：df['Python'].unique()

累加和：df.cumsum()

累乘和：df.cumprod()

累计最小值：df.cummin()

累计最大值：df.cummax()

标准差：df.std()

方差：df.var()

差分，即与上个数据相减：df.diff()

计算 百分比变化：df.pct_change()

协方差：df.cov() 两属性的协方差：df['Python'].cov(df['En'])

相关性系数：df.corr()

单一属性相关性系数：df.corrwith(df['Python'])

先分组，再迭代获取数据

g = df.groupby(by='sex') for x, y in g: print(x) print(y)

df.groupby(by = 'class')['Python']也可以写成df['Python'].groupby(df['class'])

多分组：df.groupby(by = ['sex', 'class'])

按数据类型分组：df.groupby(df.dtypes, axis = 1)

通过字典进行分组：m = {'sex':'catagory', 'class':'catagory', 'Python' = 'IT', 'Keras' = 'IT'} for x, y in df.groupby(m, axis = 1): print(x) print(y)

分组直接调用函数进行聚合

df.groupby(by='sex').mean().round(1)，根据sex分组，求平均值，保留一位小数

df.groupby(by=['sex', 'class']).size()，根据sex和class进行分组，统计每个班男女人数

聚合结果变少

df.groupby(by = ['class', 'sex']).apply(np.mean)

聚合结果和原数据shape一样

df.groupby(by = ['class', 'sex']).transform(np.mean)

apply和transform只能计算一种统计，agg可以多种统计

不同列进行相同计算：df.groupby(by = ['class', 'sex']).agg([np.max,np.min,pd.Series.count])

不同列进行不同计算：df.groupby(by = ['class','sex']).agg({'Python':[('最大值', np.max), ('最小值', np.min)], 'En':[('计数', pd.Series.count), ('中位数', np.median)]})

类似于Excel透视表

df.pivot_table(values = ['Python', 'En'], index = ['class', 'sex'], aggfunc = {'Python': [('最大值', np.max)], 'En':[('最小值', np.min), ('中位数', np.median)]}) ，其中values表示要透视的值，index表示分组，aggfunc表示聚合运算

创建方法

转换方法

时间戳索引：ts = pd.Series(np.random.randint(0,10,size=10), index=批量时刻数据)

str类型索引：ts['2020-09-01']，获取2020年9月1日的数据 ts['2020-9']，获取2020年9月份数据 ts['2020-9-15':'2020-9-20']，获取9月15到20日数据

时间戳索引：ts[pd.Timestamp('2020-9-1')]，[]中为时间戳操作

时间戳索引属性：ts.index.year 获取年 ts.index.dayofweek 获取一周中的第几天 ts.index.weekofyear 获取一年中第几周

数据移动

日期移动

频率转换

重采样

DataFrame重采样

df.cumsum().polt()

df.plot.bar(stacked = True)，其中stacked表示是否堆叠

df.plot.barh()为条形图

df.plot.pie(subplots = True, figsize(10,10),autopct = '%0.2f%%')，其中subplots表示子视图，figsize表示尺寸,autopct显示百分比

df.plot.scatter(x='A', y='B')，根据A和B的关系绘制

一张散点图中绘制两组关系：先绘制AB的关系ax，然后df.plot.scatter(x='C',y='D',color = 'DarkBlue', label = 'Group2', alpha = 0.5, ax=ax)，其中ax为向子视图ax中继续绘制，alpha为透明度

气泡图：df.plot.scatter(x='A', y='B', s = 30)，其中s为气泡大小

df.plot.area(stacked = True)

df.plot.box()

df.plot.hist()

一维数组 ，比NumPy多了索引

创建方法一：pd.Series(data=[ ], index=list(' '))，其中index为行索引

创建方法二：pd.Series(data={'A':149,'B':150})，以键值对创建

多个Series共用索引，类似Excel

不指定index就默认从0开始索引

创建方法一：pd.DataFrame(data=np.random.randint(0,151,size=(10,3), index=list(' '), columns = [' ', ' ', ' '])，其中index为行索引，columns为列索引

创建方法二：pd.DataFrame(data={'A':[ ],'B':[ ]})，其中key作为列索引

df.to_csv('./data2.csv', sep=';', index = True, header = True)，保存到当前路径下，文件名是data2.csv，sep为分隔符，index为是否保存行索引，header为是否保存列索引

pd.read_csv('./data2.csv', index_col=0, header= [0])，加载data2.csv文件，index_col=0指定第一列作为行索引，header=[0]指定第一行作为列索引，header=None即没有行索引

df.to_excel(' ',sheet_name=xxx)，保存到指定路径，sheetname为工作表名

pd.read_excel(‘ ’, sheet_name=‘ ’, names = list('ABCD'))，加载excel文件，sheetname读取某一个工作表，names替换行索引

保存多个工作表： with pd.ExcelWriter('./data.xlsx') as writer: df1.to_excel(writer,sheet_name='salary',index = False) df2.to_excel(writer,sheet_name='score',index = False)

HDF5可以管理非常大和复杂的数据集，有两个概念：group和dataset，group是目录，dataset是数据集

df.to_hdf(' ',key = ' ')，保存数据key，作为标记

pd.read_hdf(' ', key = ' ')，读取指定的key数据

from sqlalchemy import create_engine，数据库引擎

engine = create_engine('mysql+pymysql://root:12345678@localhost/pandas?charset=utf8')，其中root为用户名，12345678为密码，pandas为数据库

df.to_sql('xx',engine,if_exists='append')，xx为数据库表名，engine为上面命令，if_exists如果表名存在，追加数据

pd.read_sql('select * from score', engine, index_col=' ')，加载engine数据，select为sql语句，index_col指定行索引名

获取单列Series：df['Python']或者df.Python

获取多列：df[['Python', 'En']]

行切片：df[3:5]

获取指定行标签数据：df.loc[['A', 'C']]

获取A到C行的Python列数据：df.loc['A':'C', ['Python']]

行切片从E开始每隔2个获取一个，保留所有列：df.loc['E'::2, :]

df.iloc[2:8, [0,2]]

cond = df.Python > 80, df[cond]

cond = df.index.isin(['a','b']), df[cond]，判断index是否在数组[a,b]中

修改某个位置的值：df['A']['Python'] = 150或者df.loc['A','Python'] = 150或者df.iloc[3,2] = 150

新增一列：df['Java'] = 151

df[df>=128] = -df，按照where条件进行赋值，将大于128的变成原来的负数

行合并，行增加：pd.concat([df1,df2], axis = 0)

列合并，列增加：pd.concat([df1,df2], axis = 1)

插入列：df.insert(loc = 1, column = ' ' , value = 1024)，其中loc为位置，column为列名，value为插入的值

插入行，在最后一行：df1.append(df2)，df1后面追加df2

如果想在指定位置插入行，先切割--添加--合并

根据共同的属性来合并数据

内合并：pd.merge(df1,df2,how = 'inner' , on = 'name')

外合并：pd.merge(df1,df2,how = 'outer', left_on = 'name', right_on = '名字')，其中left_on表示左边的DataFrame使用name进行合并，右边的DataFrame使用名字进行合并

左合并：pd.merge(df1,df2,how = 'left')

使用共同的行索引进行合并：pd.merge(df1,df2,left_index=True, right_index = True)

判断是否存在重复数据：df.duplicated()

删除重复数据：df.drop_duplicates()

判断是否存在空数据：df.isnull()

删除空数据：df.dropna()，若只想删除某列的空数据，可以df.dropna(subset=[' '])

填充空数据：df.fillna(value=1111)

直接删除某列：del df['color']

删除指定列：df.drop(labels = ['color'] , axis = 1)

删除指定行：df.drop(labels = [0,1,5], axis = 0)

df.reset_index(inplace= True)

只保留color列：df.filter(items = ['color'])

模糊匹配，保留带有i字母的索引df.filter(like = 'i')

正则表达式删选列标签：df.filter(regex='e$',axis = 1)

cond = (df > 3*df.std()).any(axis=1) 3倍标准差为异常值 index = df[cond].index 不满足条件的行索引 df.drop(labels = index, axis=0) 根据行索引，删除数据

重命名轴索引：df.rename(index={'A':'AA', 'B':'BB'}, columns = {'Python':'人工智能'})，若加上inplace =True，则会直接修改原数据

替换值：df.replace(3, 100)，将3替换为10.

df.replace({0:512,np.nan:998})，将0替换成512，将空值替换成998

df.replace({'Python':2}, 1024)，将Python列为2的值，替换为1024

只能针对一列，没有对应的就返回空值

字典映射：df['Python'].map({1:1024, 2:'Hello'})

隐式函数映射：df['Python'].map(lambda x:True if x > 0 else False)，如果大于0，返回True，否则返回False

显示函数映射：先定义一个convert函数，然后df['Python'].map(convert)

既支持Series，也支持DataFrame

操作Series：df['Python'].apply(lambda x:1 if x else 0)，如果True，则为1，否则为0

操作DataFrame：df.apply(lambda x:x+1000)，对所有数据进行+1000 df.applymap(lambda x:x+1000)也可实现，不过applymap只支持DataFrame

一列执行不同计算：df['Python'].apply([np.sqrt, np.exp])

多列执行不同计算：df.apply({'Python': np.max , 'En': np.min})

支持显示函数映射

与apply基本类似

随机重排10个数：np.random.permutation(10)

重排DataFrame：df.take(np.random.permutation(10))

随机抽样15个数据：df.take(np.random.randint(0,10,size = 15))

哑变量表示是否存在此数据，存在为1，不存在为0：pd.get_dummies(df, prefix=' ', prefix_sep=' ')