python数据处理

一、Numpy库入门

• ndarray对象的属性

  • .ndim 秩，即轴的数量或维度的数量
  • .shape ndarray对象的尺度，对于矩阵，n行m列
  • .size ndarray对象元素的个数，相当于.shape中n*m的值
  • .dtype ndarray对象的元素类型
  • .itemsize ndarray对象中每个元素的大小，以字节为单位

• ndarray数组的创建方法

  • 从Python中的列表、元组等类型创建ndarray数组
    x= np.array(list/tuple)
x= np.array(list/tuple, dtype=np.float32)
    当np.array()不指定dtype时，NumPy将根据数据情况关联一个dtype类型
  • 使用NumPy中函数创建ndarray数组，如：arange, ones, zeros等
    np.arange(n) 类似range()函数，返回ndarray类型，元素从0到n‐1
    np.ones(shape) 根据shape生成一个全1数组，shape是元组类型
    np.zeros(shape) 根据shape生成一个全0数组，shape是元组类型
    np.full(shape,val) 根据shape生成一个数组，每个元素值都是val
    np.eye(n) 创建一个正方的n*n单位矩阵，对角线为1，其余为0
    np.ones_like(a) 根据数组a的形状生成一个全1数组
    np.zeros_like(a) 根据数组a的形状生成一个全0数组
    np.full_like(a,val) 根据数组a的形状生成一个数组，每个元素值都是val

• 使用NumPy中其他函数创建ndarray数组
  np.linspace() 根据起止数据等间距地填充数据，形成数组
  np.concatenate() 将两个或多个数组合并成一个新的数组

• ndarray数组的变换

• ndarray数组的维度变换
  .reshape(shape) 不改变数组元素，返回一个shape形状的数组，原数组不变
  .resize(shape)与.reshape()功能一致，但修改原数组
  .swapaxes(ax1,ax2) 将数组n个维度中两个维度进行调换
  .flatten() 对数组进行降维，返回折叠后的一维数组，原数组不变

• ndarray数组的类型变换
  new_a = a.astype(new_type)

• ndarray数组向列表的转换
  ls = a.tolist()

• ndarray数组的操作

 索引：获取数组中特定位置元素的过程
 切片：获取数组元素子集的过程

• 一维数组的索引和切片：与Python的列表类似

a[2]
a[1:  4:  2]
起始编号: 终止编号(不含): 步长，3元素冒号分割
编号0开始从左递增，或‐1开始从右递减

• 多维数组的索引：
  每个维度一个索引值，逗号分割
• 多维数组的切片：

选取一个维度用:
a[: , 1 , -3]
每个维度切片方法与一维数组相同
a[: , 1 : 3 , :]
每个维度可以使用步长跳跃切片
a[: , : , : : 2]

• ndarray数组的运算
  • NumPy一元函数
    np.abs(x) np.fabs(x) 计算数组各元素的绝对值
    np.sqrt(x) 计算数组各元素的平方根
    np.square(x) 计算数组各元素的平方
    np.log(x) np.log10(x)np.log2(x) 计算数组各元素的自然对数、10底对数和2底对数
    np.ceil(x) np.floor(x) 计算数组各元素的ceiling值 或 floor值
    np.rint(x) 计算数组各元素的四舍五入值
    np.modf(x) 将数组各元素的小数和整数部分以两个独立数组形式返回
    np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x)计算数组各元素的普通型和双曲型三角函数
    np.exp(x) 计算数组各元素的指数值
    np.sign(x) 计算数组各元素的符号值，1(+), 0, ‐1(‐)
• NumPy二元函数
  + ‐ * / **两个数组各元素进行对应运算
  np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin()元素级的最大/小值计算
  np.mod(x,y) 元素级的模运算
  np.copysign(x,y) 将数组y中各元素值的符号赋值给数组x对应元素
  > < >= <= == !=算术比较，产生布尔型数组

二、Numpy数据文件与存储

• 一维、二维数据
  CSV (Comma‐Separated Value, 逗号分隔值)，是一种常见的文件格式，用来存储批量数据
  • 从数组写入数据
    np.savetxt(frame, array, fmt='%.18e', delimiter=None)
frame 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
    array 存入文件的数组
    fmt 写入文件的格式，例如：%d %.2f %.18e
    delimiter 分割字符串，默认是任何空格，csv文件是逗号分隔
    np.savetxt('a.txt', a, fmt='%d', delimiter=',')
• 读入文件到数组
  np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)
frame 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
  dtype 数据类型，可选 （CSV中存储的是字符串类型）
  delimiter 分割字符串，默认是任何空格
  unpack 如果True，读入属性将分别写入不同变量
• CSV的局限性
  CSV只能有效存储一维和二维数组，np.savetxt() np.loadtxt()只能有效存取一维和二维数组
• 任意维度数据
• a.tofile(frame, sep='', format='%s')
frame 文件、字符串
  sep 数据分割字符串，如果是空串，写入文件为二进制
  format 写入数据的格式
  a.tofile('b.dat', sep=',' , formt='%s')
• np.fromfile(frame, dtype=float, count=‐1, sep='')
frame 文件、字符串
  dtype 读取的数据类型
  count 读入元素个数，‐1表示读入整个文件
  sep 数据分割字符串，如果是空串，写入文件为二进制
  np.fromfile(frame, dtype=float, count=‐1, sep='')

该方法需要读取时知道存入文件时数组的维度和元素类型，a.tofile()和np.fromfile()需要配合使用，可以通过元数据文件来存储额外信息

• Numpy的便捷文件存取

• np.save(fname, array)或 np.savez(fname, array)
fname 文件名，以.npy为扩展名，压缩扩展名为.npz
  array 数组变量

• np.load(fname)
fname 文件名，以.npy为扩展名，压缩扩展名为.npz

• Numpy的随机数函数子库
  rand(shape) 根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
  randn(shape) 根据d0‐dn创建随机数数组，标准正态分布
  randint(low,high,shape]) 根据shape创建随机整数或整数数组
  seed(s) 随机数种子，s是给定的种子值
  shuffle(a) 根据数组a的第1轴进行随排列，改变数组x
  permutation(a) 根据数组a的第1轴产生一个新的乱序数组，不改变数组x
  choice(a[,size,replace,p]) 从一维数组a中以概率p抽取元素，形成size形状新数组， replace表示是否可以重用元素，默认为False
  uniform(low,high,size) 产生具有均匀分布的数组,low起始值,high结束值
  normal(loc,scale,size) 产生具有正态分布的数组,loc均值,scale标准差
  poisson(lam,size) 产生具有泊松分布的数组,lam随机事件发生率

• Numpy的统计函数
  sum(a, axis=None) 根据给定轴axis计算数组a相关元素之和，axis整数或元组
  mean(a, axis=None) 根据给定轴axis计算数组a相关元素的期望，axis整数或元组
  average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值
  std(a, axis=None) 根据给定轴axis计算数组a相关元素的标准差
  var(a, axis=None) 根据给定轴axis计算数组a相关元素的方差
  min(a) max(a) 计算数组a中元素的最小值、最大值
  argmin(a) argmax(a) 计算数组a中元素最小值、最大值的降一维后下标
  unravel_index(index, shape) 根据shape将一维下标index转换成多维下标
  ptp(a) 计算数组a中元素最大值与最小值的差
  median(a) 计算数组a中元素的中位数（中值）

• Numpy的梯度函数
  np.gradient(f) 计算数组f中元素的梯度，当f为多维时，返回每个维度梯度

梯度：连续值之间的变化率，即斜率
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是： (c‐a)/2