环境层

FinRL-Meta 遵循 OpenAI gym 风格，使用数据层中的清理数据创建市场环境。它提供了数百个具有通用接口的环境。用户可以基于 FinRL-Meta 环境轻松构建自己的环境，分享他们的结果并比较策略的表现。为了方便起见，我们将在未来添加更多环境。

将交易约束纳入模型以模拟市场摩擦

为了更好地模拟现实世界的市场，我们引入了常见的市场摩擦（例如，交易成本和投资者风险厌恶）和投资组合限制（例如，非负余额）。

• 灵活的账户设置：用户可以选择是否允许保证金交易或卖空。

• 交易成本：我们纳入交易成本以反映市场摩擦，例如每次买入或卖出交易的0.1%。

• 市场崩盘的风险控制：在FinRL中，使用金融动荡指数来控制市场崩盘情况下的风险。然而，计算动荡指数非常耗时，可能需要几分钟，这不适合纸上交易和实时交易。我们用可以立即访问的波动率指数（VIX）替代了金融动荡指数。

通过向量环境进行多进程训练

我们利用GPU进行多进程训练，即Isaac Gym的向量环境技术，这显著加快了训练过程。在每个CUDA核心中，交易代理与市场环境交互，生成{状态、动作、奖励、下一状态}形式的转换。然后，所有转换都存储在回放缓冲区中以更新学习器。通过采用这种技术，我们成功实现了数百个市场环境的多进程模拟，以提高DRL交易代理在大数据集上的性能。