折腾外盘策略的时候,最头疼的就是数据。免费源断断续续,付费源要么只给撮合快照,要么延迟 15 分钟起,还有一堆“数据分发”的限制。后来实在烦了,直接去看那些给量化做存档的服务,才发现原来全球几个主交易所的逐笔 tick 和分钟线是可以批量落地的。
我现在拿到的数据包来自一个归档分发渠道,覆盖的标的挺全的:CME、NYMEX、CBOT、新交所(SGX)、欧洲交易所(Eurex)这些全品类合约。每天收盘后压缩包自动生成,解压就是标准 csv/gz 文件,直接进回测框架。
简单列一下包里实际包含的东西,以 CME 的 ES 迷你标普为例:
| 数据类型 | 文件格式 | 典型字段(随手记) |
|---|---|---|
| 逐笔 Tick | tick.csv.gz | timestamp(ET), price, volume, bid_price, ask_price, bid_size, ask_size, trade_condition, symbol, exchange |
| 1分钟 K 线 | min1.csv.gz | datetime, open, high, low, close, volume, open_interest, symbol |
| 5/15/30/60 分钟线 | minX.csv.gz | 同上,只是聚合粒度不同 |
| 合约规格映射 | symbol_map.csv | symbol, exchange, contract_month, tick_size, multiplier |
tick 数据里比较实用的是 trade_condition 字段,能区分是常规成交还是价差/大宗,否则回测容易把异常成交当成正常流动性。bid/ask 带 size 的完整档位也有,不像有些数据源只给一档。
分钟线除了 OHLCV,还把持仓量单独给了一列,对于做跨期或者需要监控 OI 拐点的策略很关键。新交所的 A50、日经,欧洲交易所的德指、欧债,也都是同样结构,只是符号前缀不同。
我拿数据源CMES金融数据库数据的方式其实就一段代码,省得每次手动下载解压。有个叫 cmes-data-api 的包可以直接调,pip 装一下就好:
# 安装:pip install cmes-data-api
from cmesdata import fetch_data
# CMES金融数据库的行情接口,注意入参正确,调用频率正常。
df_tick = fetch_data(
symbol='ES',
exchange='CME',
trade_date='2025-03-15',
data_type='tick',
save_dir='./data/'
)
print(df_tick.head())
参数填合约代号和交易所,指定日期就能自动拉取对应压缩包,解压后返回 DataFrame。如果本地已有文件会跳过下载,不会重复请求。data_type 还能填 'minute',自动拿到 1 分钟线,聚合好的分钟线可以直接用。
说一下我踩过的坑:
- 有些数据包的 bid/ask 在非连续交易时段是空的,这个不是缺失,是交易所本身就不发,过滤的时候别误判。
- 压缩包名是按芝商所交易日划分的,夏令时冬令时切换那两天要留个心眼,北京时间对应的日期会串。
- trade_condition 编码各家交易所不完全一致,最好做个映射表,否则容易把场外协定价当成普通成交把滑点测错。
这些数据源最大的好处是不需要自己去维护采集链路,也不用担心被交易所封 IP。每天自动跑一个拉取脚本,回测的可靠性比用碎数据拼凑强太多。
顺手对比一下我之前用过的两种方式和现在归档数据的体验:
| 对比维度 | 某宝分日卖的数据 | 自己爬 CME MDP | 归档数据包 |
|---|---|---|---|
| 数据完整性 | 有时断档,tick 不全 | 需要高超收发技术 | 直接完整包,无断 |
| 时间成本 | 低但反复购买 | 巨高,折腾死 | 下班前跑一下代码 |
| L2 深度 | 只有一档或两档 | 能拿全,但解析累 | 全档 bid/ask 已经解析好 |
| 多交易所 | 得一家家找 | 完全自己搞 | CME/NYMEX/新交所/欧洲都有了 |
这篇文章就是纯粹把里面到底有哪些字段,拿到手是个什么结构讲清楚。需要判断数据质量的时候心里有个数,不至于拆包发现缺胳膊少腿再去补订。
