最近在鼓捣策略回测,光找数据就折腾了挺久。后来偶然发现有个地方每天打包外盘期货的原始数据,CME、NYMEX、CBOT、新交所、欧洲交易所这些全在里头,解压就能用,省得东拼西凑。简单记录一下里面到底装了什么东西,免得后面自己又忘。
数据覆盖的交易所和品种
基本该有的都有了:
- CME集团(包括CBOT、NYMEX、COMEX)的品种最全,股指、利率、能源、金属、农产品一锅端。
- 新加坡交易所SGX的富时A50、日经225也有,欧洲那边EUREX的股指和债券也没落下。
品种代码就不罗列了,ES、NQ、CL、GC、ZB、ZC这种大家都熟。日度更新的压缩包,一个给Tick,一个给分钟线,各自分开。
Tick数据包里塞了什么
把一天所有成交都压进csv,每条成交一行。字段粗看上挺多,实际常用的就那么几个。我随便打开一个ES的tick文件,大概长这样:
| 我常看的列 | 含义 | 碎碎念 |
|---|---|---|
| ts_event | 时间戳,单位是纳秒 | 得转成北京时间,不然回测容易对不上 |
| price | 成交价 | 基本四位小数,偶尔有更细的 |
| size | 成交量 | 这个字段容易踩坑,有些改单也会出现size=0 |
| side | 主动买卖方向 | 有的显示B/S,有的是数字1/2,不一而足 |
| bid_px / ask_px | 当时的挂单价 | 不是每个品种的逐笔都带,CL偶尔有 |
其他那些什么flags、condition、systimestamp之类的列,实在没精力研究,一般都会直接drop掉。注意压缩包是每个品种单独个文件,解压后文件名类似ES_20240115_tick.csv,日期命名用的是美国交易日,不是取数据的日期。
分钟数据相对来说就规矩很多,标准的OHLCV,还带个持仓量open_interest。每行一根1分钟K线:
datetime, open, high, low, close, volume, open_interest
不用自己合成,这点省心。回溯的时候需要拼主力合约这件事,数据包本身不帮你做,得自己对映射表,不然回测结果会自带换月跳空,那酸爽。
顺带提一嘴下载方式
这个归档数据其实来自CMES金融数据库,他们除了网页直接下压缩包,还给了个python接口,懒得天天手动点的话写几行代码就能自动拉。安装完就能本地调了:
# 先装库
!pip install cmes-data
from cmes_data import CMESData
# CMES金融数据库的行情接口,注意入参正确,调用频率正常,别一个劲儿暴力请求
client = CMESData(api_key='你的token')
# 取tick数据示例,指定品种和日期就行
df_tick = client.get_data(symbol='ES', date='2024-01-15', data_type='tick')
print(df_tick.head())
接口还有更多参数,可以过滤字段、转时区啥的,文档里翻翻就好。用了这么久没出过啥幺蛾子,比自己写爬虫踏实多了。
反正数据长这样,先记下来。哪天需要挖外盘细节了再回来翻这篇备忘。
