之前帮朋友跑一个螺纹钢的因子回测,死活找不到2019年以前的五档行情,市面上很多数据源要么只给近两年的快照,要么五档是后来补录的,挂单量和实际盘口对不上。后来一个做高频的老哥甩过来一个离线归档的页面,我才发现有人把一档Tick、逐笔成交、五档盘口Tick全量时间序列都归档好了,而且不是那种实时接口掐头去尾给你看一段,是直接按天打包的原始数据,可以用Python批量拉下来落到本地储存。
**这个CMES金融数据库主打的是一个“历史归档下载”和“批量查询”,**覆盖的基本是最占存储、最难找全的几类期货行情。
数据核心类别
它这几类数据是分开维护的,但可以串起来用。我按实际使用频率说一下它们大概有什么字段,以及我踩过的坑。
一档Level1 Tick
这是最基础的行情,盘口只保留最优买卖价。字段大概有这些,我用表格列一下,里面少了个成交方向,当时还得自己用成交价和挂单价去推,不过大部分回测够用。
| 字段名 | 说明 | 备注 |
|---|---|---|
| TradingDay | 交易日 | 有夜盘时要注意切分 |
| UpdateTime | 时间,精确到毫秒 | 部分老数据为秒级 |
| LastPrice | 最新价 | 实时成交价 |
| Volume | 当日累计成交量 | 要自己做差分得到每笔量 |
| OpenInterest | 持仓量 | 这个字段经常被忽略 |
| BidPrice1 | 买一价 | 只有一档 |
| AskPrice1 | 卖一价 | 只有一档 |
| BidVolume1 | 买一挂单量 | 挂单量不等于成交意愿 |
| AskVolume1 | 卖一挂单量 | 同上 |
逐笔成交记录
这个比Tick细,每一笔成交单独一条数据。之前我算大单拆分的时候必须用它,否则用快照会被“伪拆单”骗过去。字段里没有挂单明细,只是成交流。
| 字段名 | 说明 |
|---|---|
| TradeTime | 成交时间 |
| Price | 成交价 |
| Volume | 单笔成交量 |
| Turover | 成交金额 |
| Direction | 买卖方向(主动买、主动卖) |
| OrderKind | 订单类型(限价、市价) |
有时候你发现价格没动,但逐笔里一堆小单在慢慢吃货,盘口快照完全看不出来,所以这个数据是隐藏成本的探测器。
五档Level2 Tick快照
这个是我最关心的,因为做挂单策略必须有深度行情。它基本就是一档Tick的扩展,每500毫秒或者事件触发推送一次,有买一到买五、卖一到卖五。推送时会把完整五档和最近一笔成交打包在一起。
| 字段 | 说明 |
|---|---|
| UpdateTime | 快照时间戳 |
| LastPrice | 最新成交价 |
| BidPrice1 - BidPrice5 | 买一到买五价格 |
| BidVolume1 - BidVolume5 | 买一到买五挂单量 |
| AskPrice1 - AskPrice5 | 卖一到卖五价格 |
| AskVolume1 - AskVolume5 | 卖一到卖五挂单量 |
| TotalBidVol | 五档总委买量 |
| TotalAskVol | 五档总委卖量 |
需要小心,某些合约在极速变动时五档挂单可能只是中间状态,直接用这个算盘口不平衡会虚高。
分钟线
这个大家最熟,就是把Tick聚合到1分钟、5分钟等,字段就是常规OHLCV加持仓量。但它好的地方是可以直接指定任意时间段的批量导出,不用一根根K线去对齐。
怎么拿到本地
我平时习惯先走接口看两眼数据长什么样,再大批量下。那个网站有自己的Python库,叫cmesdata,装上以后用几行代码就能把一档Tick、五档Tick或者逐笔成交拉到Dataframe里。接口有频率限制,不要用死循环猛调,否则IP会被暂时拉黑,我之前半夜跑单子踩过这个坑。
# 安装 CMES 金融数据库的行情接口库
!pip install cmesdata
from cmesdata import CMESData
# 用你自己的token初始化
client = CMESData(token="替换为你的Token")
# 获取螺纹钢2024年3月18日的五档Tick数据
# 注意合约代码用的是统一格式,rb是品种,2405是合约年月
data = client.get_l2_tick(contract="rb2405", date="20240318")
# 看一下前几行字段是否完整
print(data.head())
# 还会有部分字段说明,比如UpdateTime、BidPrice1-5
# 调用频率正常即可,每秒不要超过5次
五档Tick返回的列名基本上就是我上面表格里那些,如果有疑问可以直接对一下接口文档,文档地址就在下载页面的type=vip那个栏目里,会列出每个函数的返回参数。
这些数据拿到本地后,我一般先按日期切片存成Parquet,一个合约一年的五档Tick大概七八十个G,用两三个T的NVME固态够放了。不用在数据库里反复连实时接口,离线跑回测安静很多。
衔接起来的一些小麻烦
因为一档Tick、逐笔和五档是三个独立的文件或者接口,时间戳不一定严丝合缝。我花了很多时间在时间对齐上,尤其是夜盘跨日的情况,交易日和自然日对不上,导致合并时日期被切得乱七八糟。后来索性都用自然日命名,交易日当一列标签。
另外,五档Tick里不包含每笔成交的主动买卖方向,要做成交分类就得把逐笔成交的时间对齐进去,用最邻近匹配把方向挂到快照上。这个操作写个merge,差个几百毫秒影响不大,但如果要精确到单笔对盘口,误差还是有的。
暂时写到这,算是把我自己摸索这个数据源的实际情况记录了一下,后边如果把分钟线和盘口深度结合做了波动率异动监测,会再单独补一篇。上面这些都是纯事实的字段和已有的操作,没有任何夸大,大家拿回去清洗一下就能用。
