python程序化 k线指定时间更新_python3数据处理 —— K线周期处理
简介
原始素材为1分钟周期的k线数据——开高低收量时间
目标是将1分钟周期的K线数据转化为n分钟周期的K线数据
关键步骤
指标处理 → 归纳 → 整理
核心函数pandas.to_datetime
DataFrame.resample
DataFrame.agg
核心步骤说明
k线中的日期数据全部转化为时间格式（timestamp）优点：从txt等文件导入数据后，时间是字符串格式，形式多样，需要统一化
时间格式支持加减运算和布尔运算
时间格式转化日期，小时，星期等数据方便
案例代码
import pandas as pd
# 原始数据 data —— DataFrame格式 其中，timestamp为字符串日期格式 如'2020-05-06 22:21'
# 参数 interval -- str格式,指目标数据的周期，如'5min'
# 参数准备
columns_list = ['open', 'high', 'low', 'close', 'volume']
fun = ['first', 'max', 'min', 'last', 'sum']
sinceTime = '2020-01-04T00:00:00.000Z'
endTime = '2020-05-04T00:00:00.000Z'
# 标准化日期指标
data['timestamp'] = pd.to_datatime(data['timestamp']
# 归纳整理
data_interval = data.resample(rule=interval, on = 'timestamp', base=0, label='left', closed='left').\
agg(dict(zip(columns_list,fun)))
# 规范化处理
data_interval.reset_index(inplace=True)
data_interval.fillna(method='ffill') # 如果是期货数据，则删除非交易时间段数据
# 筛选时间
sinceTime_ = pd.to_datetime(sinceTime, '%Y-%m-%dT%H:%M:%S.%fZ', utc=True)
endTime_ = pd.to_datetime(endTime, '%Y-%m-%dT%H:%M:%S.%fZ', utc=True)
data_interval = data_interval[(data_interval['timestamp'] >= sinceTime_) & (data_interval['timestamp'] <= endTime_)]
附注：三个核心函数介绍
pandas.to_datetime
pandas.to_datetime(arg, errors='raise', utc=None, format=None, unit=None)
# 参数解释
errors： 'raise' 无效的解析将引发异常
'coerce'无效解析将被设置为NaT
'ignore'无效解析将返回输入值
utc： 布尔值，返回utc即协调世界时
format： 字符串格式
unit： 默认值为'ns',精确到微妙，'s'为秒
扩展功能
# 转化为字符串
df['time_str'] = df.timestamp.dt.strftime('%d%m%y %H:%M')
df['month'] = df.timestamp.dt.month
df['year'] = df.timestamp.dt.year
df['hour'] = df.timestamp.dt.hour
df['minute'] = df.timestamp.dt.minute
DataFrame.resample
DataFrame.resample(rule, how=None, on=None, axis=0, fill_method=None, closed=None, label=None, convention='start', kind=None, loffset=None, limit=None, base=0)
# 参数解释
rule： 重采样频率，如'M', '5min', Second(15)
on: 用于采样的数据轴
how: 聚合的方法，例如’mean', 'ohlc', 'np.max'
axis: 采样的坐标轴，横向采样还是纵向采样
fill_method: 如何差值，例如‘ffill', 'bfill'等
closed: 采样时闭合的一端，’right' 或 ‘left'
label: 索引采用左边的时间还是右边的时间
loffset： 标签的时间矫正值（这在切换时区很有用）
limit： 向前或向后填充时，允许填充的最大时期数
kind: 聚合到时期（’period‘）或时间戳（’timestamp），默认聚合到时间序列的索引类型
convention：重采样从低频到高频采用的约定，‘start’ 或者 ‘end’
DataFrame.agg
DataFrame.agg(func, axis=0, *args, **kwargs)
# 参数说明
func：function， str, list 或者 dict
axis：在行或者列上面做聚合
# 举例
df = pd.DataFrame([[1,2,3],
[4,5,6],
[7.8.9],
[np.nan, np.nan, np.nan]],
columns=['A', 'B', 'C'])
df.agg(['sum', 'min'])
df.agg({'A':['sum', 'min'], 'B':['min', 'max']})
df.agg('mean', axis=1)