Python数据分析常用函数笔记

1、生成随机数列表

import numpy as np
array = np.random.permutation(20)

结果：
array([12, 18, 16, 8, 10, 17, 1, 2, 9, 7, 3, 6, 15, 13, 11, 5, 4, 0, 14, 19])

2、合并两个pandas.DataFrame数据集

import pandas as pd

data1 = {'A1':['A','B','C','D','E','F','G'],
           'A2':[1,2,3,4,5,6,7]}

data2 = {'A1':['H','I','J','K','L','M','N'],
           'A2':[8,9,10,11,12,13,14]}

df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

frames = [df1, df2]     #将两个DataFrame数据放入列表
df = pd.concat(frames)

3、pandas.DataFrame保存CSV文件

df.to_csv("D://df_test.csv", index = False)

• index=False，表示不保存索引值，若为True，则保存索引值

4、 # 查看列的名字

df.columns

5、查看所有列的统计描述，包括平均值，标准差，最大最小值，以及25%，50%，75%的 percentile 值

df.describe()

6、Pandas 与 matplotlib 配合使用进行作图

# 首先打开图表行内显示
%matplotlib inline

# 生成600个随机数（符合正态分布），存放在 Series 或 DataFrame 的某一列中
nd = pd.Series(np.random.randn(600))

# bins 表示直方图的方块数
# range 表示图表显示的范围
nd.hist(bins=100, range=(-5,5))

结果如图所示：

7、按轴进行排序

train_df[['job', 'education', 'age', 'marital']].sort_index(axis=1, ascending=False).head()

8、DataFrame 合并

df1 = pd.DataFrame(...)
df2 = pd.DataFrame(...)
df3 = pd.DataFrame(...)

li = list()
li .append(df1)
li .append(df2)
li .append(df3)

df = pd.concat(li)

9、写入、读取Excel文件

写入Excel文件：

df.to_excel('foo.xlsx', sheet_name='Sheet1')

从Excel文件中读取：

pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

10、读取CSV文件

iris = pd.read_csv(iris_filename, sep=',', decimal='.', header=None, names= ['sepal_length','sepal_width','petal_length','petal_width', 'target']

• 除了文件名，read_csv函数还可以指定分隔符（sep）、小数点的表达方式（decimal）、是否要标题行（本例中，header=None；通常情况下，如果有标题行，header=0）和变量名称（若全部列检索，则该项可省略）