使用 Polars 实现的近实时交易数据统计分析系统

Qiao dan

中文演讲 #rust
  1. 非凸科技的自动交易系统每日处理超过 200 亿元人民币的交易量,产生海量订单和交易数据。
  2. 为了在快速变化的市场环境中快速监控系统性能,我们使用 Rust 和 Polars(一个基于 Rust 的优秀开源数据框架库)开发了一套统计分析系统。
  3. 本文将介绍该系统所面临的关键挑战,以及其总体架构和实现方法。
  4. 非凸科技持续通过开源项目进行创新。我们的高性能异步日志库 ftlog 具有基于时间的分段、限速写入、异步 I/O 以及按业务类型进行多目标日志记录的功能。我们正在开发 RTL(Rust 交易语言),这是一种基于 Rust 宏的领域特定语言,旨在加速策略研究、回测和实时交易的迭代周期。此外,我们正在使用 Rust + WebAssembly 创建基于浏览器的高性能可视化工具,显著提高战略研究人员的工作流程效率。

讲师:


非凸人工智能实验室主任,负责搜索、推荐等领域大规模分布式机器学习策略的开发和迭代。毕业于北京大学