【python】numpy与pandas快速入门
官网
- numpy官网
- pandas官网
Numpy
简介
- numpy与pandas是非常常用的库，后面会经常用到。
- 如果使用anaconda的，可能已经自带了这2个包。
- 如果提示没有此包的，使用conda或者pip或者anaconda navigator安装一下。
- 正常来说，pandas是依赖numpy的
- NumPy数组比Python列表更快，更紧凑。阵列消耗较少的内存，使用起来很方便。NumPy使用更少的内存来存储数据，并且提供了一种指定数据类型的机制。这使得代码可以进一步优化。
- 需要查找更多库可以去 https://pypi.org/ 对标npmjs
引入
- 通常我们会把numpy命名为np
import numpy as np
np数组
- 制作你的第一个nparray：
a = np.array([1, 2, 3, 4, 5, 6])
- 这个输出跟普通的python数组没太大区别，但是你可以看见打印出来是个nparray的类，类似于js中的类数组：
print type(a)
py2:
py3:
- 同样，可以做成n维数组：
a = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])
- 创建全是为0的数组：
>>> np.zeros(2)
array([0., 0.])
- 创建全是1的数组
np.ones(3)
array([1., 1., 1.])
- 创建空数组（每个值会由内存的随机值填入）
np.empty(2)
- 创建0-100的数组：
np.arange(100)
排序
arr = np.array([2, 1, 5, 3, 7, 4, 6, 8])
np.sort(arr)
array([1, 2, 3, 4, 5, 6, 7, 8])
- https://numpy.org/doc/stable/reference/generated/numpy.sort.html#numpy.sort
合并
>>> a = np.array([1, 2, 3, 4])
>>> b = np.array([5, 6, 7, 8])
array([1, 2, 3, 4, 5, 6, 7, 8])
重塑数组
>>> a = np.arange(6)
>>> print(a)
[0 1 2 3 4 5]
>>> b = a.reshape(3, 2)
>>> print(b)
[[0 1]
[2 3]
[4 5]]
基本运算
>>> a = np.array( [20,30,40,50] )
>>> b = np.arange( 4 )
>>> b
array([0, 1, 2, 3])
>>> c = a-b
>>> c
array([20, 29, 38, 47])
>>> b**2
array([0, 1, 4, 9])
>>> 10*np.sin(a)
array([ 9.12945251, -9.88031624, 7.4511316 , -2.62374854])
>>> a<35
array([ True, True, False, False])
索引
- 除了正常通过中括号数字取，索引还支持数组：
a = np.arange(12)**2
print a
i = np.array([1, 1, 3, 1, 5, 1])
print a[i]
[ 0 1 4 9 16 25 36 49 64 81 100 121]
[ 1 1 9 1 25 1]
- 可以使用py本来数组的操作来操作nparray
>>> data = np.array([1, 2, 3])
>>> data[1]
2
>>> data[0:2]
array([1, 2])
>>> data[1:]
array([2, 3])
>>> data[-2:]
array([2, 3])
- 可以在里面进行计算：
>>> print(a[a < 5])
[1 2 3 4]
深拷贝
a = np.arange(12)**2
d = a.copy() # a new array object with new data is created
d is a #false
Pandas
简介
- pandas主要处理类似于表格一样的结构：
- 每一列DataFrame都是一个Series
引入
- 一般会叫它pd
import pandas as pd
创建
- 使用对象创建一个dataframe:
df = pd.DataFrame(
{
"Name": [
"Braund, Mr. Owen Harris",
"Allen, Mr. William Henry",
"Bonnell, Miss. Elizabeth",
],
"Age": [22, 35, 58],
"Sex": ["male", "male", "female"],
}
)
print df
Age Name Sex
0 22 Braund, Mr. Owen Harris male
1 35 Allen, Mr. William Henry male
2 58 Bonnell, Miss. Elizabeth female
- 创建series：
ages = pd.Series([22, 35, 58], name="Age")
- series没有列标签，它只是相当于一列。
索引
- 也可以通过索引获取series:
df["Age"]
Out[4]:
0 22
1 35
2 58
Name: Age, dtype: int64
- 索引还可以使用iloc , loc , ix 。具体看https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#indexing-choice
- 其中iloc会用的比较多：
titanic.iloc[9:25, 2:5]
- 可以筛选出10到25行，3到5列的数据
读取数据
- 我们可以很方便的从excel文件或者csv文件里获取数据转换成dataframe格式：
titanic = pd.read_csv("data/titanic.csv")
titanic.to_excel("titanic.xlsx", sheet_name="passengers", index=False)
titanic = pd.read_excel("titanic.xlsx", sheet_name="passengers")
筛选
- 可以像操作数组一样去使用它
above_35 = titanic[titanic["Age"] > 35]
合并
- 可以把2个表粘在一个表上
air_quality = pd.concat([air_quality_pm25, air_quality_no2], axis=0)