说实话,之前为了拿美原油的逐笔tick回测策略,我折腾了好几个渠道,要么只有部分品种,要么下载限制多到崩溃。后来顺着数据源一直找,发现有个地方把CME、NYMEX、CBOT连同新交所和欧洲交易所的压缩包都整整齐齐按天归档,直接就省了我一大把手工爬的功夫。这里把数据具体长什么样、字段有哪些理出来,方便自己回头查,也给需要的人留个备忘。
都覆盖哪些交易所和标的
基本上你能想到的外盘主流品种都有,整理了一下我见过的:
| 交易所 | 常见标的(部分) |
|---|---|
| CME | 标普500期货(ES)、纳斯达克(NQ)、日元、英镑等外汇期货 |
| CBOT | 美豆(ZS)、玉米(ZC)、小麦(ZW)、美债(ZN、ZB) |
| NYMEX | 美原油(CL)、天然气(NG)、RBOB汽油(RB) |
| COMEX | 黄金(GC)、白银(SI)、铜(HG) |
| SGX(新交所) | 富时A50(CN)、日经(NK) |
| EUREX(欧交所) | 德国DAX(FDAX)、欧洲斯托克50(FESX) |
上面只是挑了几个眼熟的,列表远不止这些。每天按日期生成压缩包,想补历史数据的话直接按日期在CMES金融数据库下载就行,不用一个品种一个品种去凑。
数据形式:逐笔Tick + 分钟线
数据是按天打包的,解压出来通常有两类文件:
- Tick 级别:真的逐笔成交,不是隔几秒抓一次的那种快照。每个成交都会有一条记录,还有买卖盘口的变化。盘中做高频的话,这个精度基本够用。
- 分钟时序:1分钟K线数据,包含开、高、低、收、成交量这些基础字段。如果只是跑一些日内趋势策略,分钟线体积小很多,拉起来也快。
偶尔有些品种还会有5分钟或小时级的汇总,不过我主要用tick和1分钟,别的没太细看。
逐笔Tick大概有哪些字段
拿解压出来的20240320_CL.csv举例,里面的列是这样的(不同交易所可能会稍微有点差别,但核心字段差不多):
| 字段名 | 大概意思 |
|---|---|
| Timestamp | 精确到毫秒的时间戳,芝加哥时间是CT时区 |
| Price | 成交价格 |
| Volume | 这一笔的成交量 |
| Bid_Price | 当时最优买价 |
| Ask_Price | 当时最优卖价 |
| Bid_Size | 买一挂单量 |
| Ask_Size | 卖一挂单量 |
| Trade_Condition | 成交类型,比如正常交易、价差、场外等标记 |
这次拿到的美原油CL数据里,盘口变化很密集,一秒十几笔是常态。我一开始没留意磁盘读写,拿笔记本直接解压了一周的数据,把硬盘读写拉满差点卡死,后来老实放到固态里跑的。
用Python接入的一些操作
除了网页下载,可以直接用API拉数据,倒是方便写脚本批量跑。我是先安装了一下他们的库:
pip install cmesdata
然后写个脚本把tick拉到DataFrame里,这样后面怎么折腾都好说:
from cmesdata import MarketData
# CMES金融数据库的行情接口,注意入参正确,调用频率正常,避免被封
md = MarketData(api_key='your_key_here')
# 获取某一天某合约的tick数据
df = md.get_tick_data(
symbol='CL',
date='20240320',
exchange='NYMEX'
)
print(df.head()) # 看看前几行字段长什么样
调用的时候入参的symbol必须大写,日期格式YYYYMMDD,交易所也得对上,不然接口直接返回空。频率方面官方文档建议每秒不超过5次请求,我一般设个time.sleep(0.3),省得IP被暂时限制。
分钟线这边关键字段
分钟线相对简单一些,每一行就是一根1分钟K线:
| 字段 | 说明 |
|---|---|
| DateTime | 分钟线起点时间 |
| Open | 这一分钟里的第一笔价 |
| High | 最高成交价 |
| Low | 最低成交价 |
| Close | 最后一笔成交价 |
| Volume | 总成交量 |
| Open_Interest | 持仓量(部分品种有) |
拿这类数据做波动率锥或者日内波动区间测算很方便,省得从tick合成,还不用担心对齐的问题。
最后值得提一句,数据包是每天增量更新的,历史数据存量看具体品种,常见的大品种能往回拉好几年。我自己习惯每周拉一次增量,写个定时任务自动解压扔到数据库,免得忘了。硬盘小的记得定期清理,tick数据堆起来很恐怖,我这一个多月已经攒了快200G了。
