量化数据23:外盘期货全品种逐笔Tick与分钟数据存档

外盘期货全品种逐笔Tick与分钟数据存档

说实话,之前为了拿美原油的逐笔tick回测策略,我折腾了好几个渠道,要么只有部分品种,要么下载限制多到崩溃。后来顺着数据源一直找,发现有个地方把CME、NYMEX、CBOT连同新交所和欧洲交易所的压缩包都整整齐齐按天归档,直接就省了我一大把手工爬的功夫。这里把数据具体长什么样、字段有哪些理出来,方便自己回头查,也给需要的人留个备忘。


都覆盖哪些交易所和标的

基本上你能想到的外盘主流品种都有,整理了一下我见过的:

交易所常见标的(部分)
CME标普500期货(ES)、纳斯达克(NQ)、日元、英镑等外汇期货
CBOT美豆(ZS)、玉米(ZC)、小麦(ZW)、美债(ZN、ZB)
NYMEX美原油(CL)、天然气(NG)、RBOB汽油(RB)
COMEX黄金(GC)、白银(SI)、铜(HG)
SGX(新交所)富时A50(CN)、日经(NK)
EUREX(欧交所)德国DAX(FDAX)、欧洲斯托克50(FESX)

上面只是挑了几个眼熟的,列表远不止这些。每天按日期生成压缩包,想补历史数据的话直接按日期在CMES金融数据库下载就行,不用一个品种一个品种去凑。


数据形式:逐笔Tick + 分钟线

数据是按天打包的,解压出来通常有两类文件:

  • Tick 级别:真的逐笔成交,不是隔几秒抓一次的那种快照。每个成交都会有一条记录,还有买卖盘口的变化。盘中做高频的话,这个精度基本够用。
  • 分钟时序:1分钟K线数据,包含开、高、低、收、成交量这些基础字段。如果只是跑一些日内趋势策略,分钟线体积小很多,拉起来也快。

偶尔有些品种还会有5分钟或小时级的汇总,不过我主要用tick和1分钟,别的没太细看。


逐笔Tick大概有哪些字段

拿解压出来的20240320_CL.csv举例,里面的列是这样的(不同交易所可能会稍微有点差别,但核心字段差不多):

字段名大概意思
Timestamp精确到毫秒的时间戳,芝加哥时间是CT时区
Price成交价格
Volume这一笔的成交量
Bid_Price当时最优买价
Ask_Price当时最优卖价
Bid_Size买一挂单量
Ask_Size卖一挂单量
Trade_Condition成交类型,比如正常交易、价差、场外等标记

这次拿到的美原油CL数据里,盘口变化很密集,一秒十几笔是常态。我一开始没留意磁盘读写,拿笔记本直接解压了一周的数据,把硬盘读写拉满差点卡死,后来老实放到固态里跑的。


用Python接入的一些操作

除了网页下载,可以直接用API拉数据,倒是方便写脚本批量跑。我是先安装了一下他们的库:

pip install cmesdata

然后写个脚本把tick拉到DataFrame里,这样后面怎么折腾都好说:

from cmesdata import MarketData

# CMES金融数据库的行情接口,注意入参正确,调用频率正常,避免被封
md = MarketData(api_key='your_key_here')

# 获取某一天某合约的tick数据
df = md.get_tick_data(
    symbol='CL',
    date='20240320',
    exchange='NYMEX'
)

print(df.head())  # 看看前几行字段长什么样

调用的时候入参的symbol必须大写,日期格式YYYYMMDD,交易所也得对上,不然接口直接返回空。频率方面官方文档建议每秒不超过5次请求,我一般设个time.sleep(0.3),省得IP被暂时限制。


分钟线这边关键字段

分钟线相对简单一些,每一行就是一根1分钟K线:

字段说明
DateTime分钟线起点时间
Open这一分钟里的第一笔价
High最高成交价
Low最低成交价
Close最后一笔成交价
Volume总成交量
Open_Interest持仓量(部分品种有)

拿这类数据做波动率锥或者日内波动区间测算很方便,省得从tick合成,还不用担心对齐的问题。


最后值得提一句,数据包是每天增量更新的,历史数据存量看具体品种,常见的大品种能往回拉好几年。我自己习惯每周拉一次增量,写个定时任务自动解压扔到数据库,免得忘了。硬盘小的记得定期清理,tick数据堆起来很恐怖,我这一个多月已经攒了快200G了。

0
0
0
0
评论
未登录
暂无评论