AlphaGen

使用强化学习自动生成公式化alpha。

论文《通过强化学习生成协同公式化Alpha集合》已被KDD 2023接收，应用数据科学（ADS）方向。

论文可在ACM数字图书馆或arXiv上获取。

如何复现？

请注意，您可以选择使用我们内置的alpha计算流程（见选项1），或实现适配器以连接您自己的流程（见选项2）。

选项1：股票数据准备

内置流程需要Qlib库和本地存储的股票数据。

请务必阅读！我们需要Qlib提供的部分元数据（但不包括实际的股票价格/交易量数据），因此请先按照Qlib的数据准备流程进行操作。
我们使用的实际股票数据来自baostock，这是出于对Qlib使用的数据源的时效性和真实性的考虑。
可以通过运行脚本data_collection/fetch_baostock_data.py来下载数据。默认情况下，新下载的数据保存在~/.qlib/qlib_data/cn_data_baostock_fwdadj中。可以根据具体需求自定义此路径，但请确保在加载数据时使用正确的路径（在alphagen_qlib/stock_data.py中，函数StockData._init_qlib中，应将路径传递给qlib，使用qlib.init(provider_uri=path)）。

选项2：适配外部流程

如果您有更好的alpha计算实现，可以实现alphagen.data.calculator.AlphaCalculator的适配器。接口定义如下：

class AlphaCalculator(metaclass=ABCMeta):
    @abstractmethod
    def calc_single_IC_ret(self, expr: Expression) -> float:
        '计算单个alpha与预定义目标之间的IC。'

    @abstractmethod
    def calc_single_rIC_ret(self, expr: Expression) -> float:
        '计算单个alpha与预定义目标之间的Rank IC。'

    @abstractmethod
    def calc_single_all_ret(self, expr: Expression) -> Tuple[float, float]:
        '计算单个alpha与预定义目标之间的IC和Rank IC。'

    @abstractmethod
    def calc_mutual_IC(self, expr1: Expression, expr2: Expression) -> float:
        '计算两个alpha之间的IC。'

    @abstractmethod
    def calc_pool_IC_ret(self, exprs: List[Expression], weights: List[float]) -> float:
        '首先线性组合alpha，'
        '然后计算该线性组合与预定义目标之间的IC。'

    @abstractmethod
    def calc_pool_rIC_ret(self, exprs: List[Expression], weights: List[float]) -> float:
        '首先线性组合alpha，'
        '然后计算该线性组合与预定义目标之间的Rank IC。'

    @abstractmethod
    def calc_pool_all_ret(self, exprs: List[Expression], weights: List[float]) -> Tuple[float, float]:
        '首先线性组合alpha，'
        '然后计算该线性组合与预定义目标之间的IC和Rank IC。'

提醒：不同alpha评估的值可能有显著不同的尺度，我们建议在组合前对它们进行归一化。

运行前

我们实验的所有主要组件都位于train_maskable_ppo.py中。

以下参数可能有助于您构建AlphaCalculator：

instruments（股票代码集合）
start_time和end_time（每个数据集的数据范围）
target（目标股票趋势，例如20天收益率）

以下参数将定义一次强化学习运行：

batch_size（PPO批量大小）
features_extractor_kwargs（LSTM共享网络的参数）
device（PyTorch设备）
save_path（检查点保存路径）
tensorboard_log（TensorBoard日志路径）

运行！

python train_maskable_ppo.py --seed=种子 --pool=池容量 --code=股票代码 --step=步数

其中，种子是随机种子，例如1或1,2，池容量是组合模型的大小，步数是强化学习步骤的限制。

运行后

模型检查点和alpha池位于save_path；
- 该模型与stable-baselines3兼容
- Alpha池以人类可读的JSON格式存储。
Tensorboard日志位于tensorboard_log。

基准方法

基于GP的方法

gplearn实现了遗传规划，这是符号回归常用的方法。我们维护了gplearn的修改版本，使其与我们的任务兼容。相应的实验脚本是gp.py

深度符号回归

DSO是一个成熟的深度学习框架，用于符号优化任务。我们维护了DSO的最小版本，使其与我们的任务兼容。相应的实验脚本是dso.py

仓库结构

/alphagen包含了启动alpha挖掘流程的基本数据结构和核心模块；
/alphagen_qlib包含了用于数据准备的qlib特定API；
/alphagen_generic包含了为我们的基准方法设计的数据结构和工具，基本上遵循gplearn的API，但针对量化流程进行了修改；
/gplearn和/dso包含了我们基准方法的修改版本。

交易（实验性）

我们基于Qlib实现了一些交易策略。请参阅backtest.py和trade_decision.py获取演示。

引用我们的工作

@inproceedings{alphagen,
    author = {Yu, Shuo and Xue, Hongyan and Ao, Xiang and Pan, Feiyang and He, Jia and Tu, Dandan and He, Qing},
    title = {Generating Synergistic Formulaic Alpha Collections via Reinforcement Learning},
    year = {2023},
    doi = {10.1145/3580305.3599831},
    booktitle = {Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining},
}