第12章：因子投资中的机器学习

12.1 人工智能在量化金融中的应用

随着机器学习和人工智能在各个领域取得重大里程碑，特别是像GPT这样的生成式人工智能模型展现出令人印象深刻的潜力，因子投资的学术界和业界都渴望利用机器学习算法的强大能力来增强因子投资策略。越来越多的实践者开始热情地探索人工智能算法的使用；然而，需要注意的是，尽管人工智能工具在基础自动化和初步分析方面取得了实质性进展，但让人工智能直接做出投资决策或真正理解金融市场底层机制的尝试尚未取得显著成功。

卷积神经网络（CNN）和循环神经网络（RNN）是两种流行的深度学习架构，它们对金融市场的建模和分析做出了重要贡献。

CNN主要设计用于处理网格状数据，如图像或时间序列数据，利用卷积的概念。CNN中的卷积层将滤波器应用于输入数据的小局部区域，捕获空间或时间模式。这使得它们能够自动从数据中学习层次化特征，从低级特征开始，逐步构建更复杂的表示。在金融领域，CNN已被应用于股票价格预测、异常检测和情绪分析等任务。它们可以从历史价格数据、新闻文章或社交媒体情绪中提取相关模式和关系，帮助做出更准确的预测并识别市场趋势。

另一方面，RNN设计用于捕获数据中的序列依赖性。它们在处理时间序列或顺序数据方面特别有效，其中观测值的顺序很重要。RNN维护一个内部记忆，允许它们保留关于过去输入的信息，并在每一步利用它进行预测。这使得它们非常适合股票市场预测、投资组合优化和信用风险评估等任务。为了解决梯度消失问题并有效捕获长期依赖性，已经开发了长短期记忆（LSTM）和门控循环单元（GRU）等RNN变体。通过利用金融数据的时间动态，RNN可以对复杂关系进行建模并发现隐藏模式，提高金融预测和决策的准确性。

CNN和RNN的结合也被证明在金融建模中非常强大。研究人员开发了混合架构，如卷积LSTM（ConvLSTM），其中CNN用于从输入数据中提取局部特征，然后将提取的特征馈送到LSTM层以捕获时间依赖性。这种方法在金融时间序列预测、欺诈检测和算法交易等任务中取得了成功。

通过利用CNN和RNN，金融市场中的模型可以受益于它们自动从复杂数据中学习和提取相关特征的能力。这些架构支持对空间、时间和序列关系进行建模，提供更准确的预测和见解。然而，需要注意的是，CNN和RNN在金融领域的成功应用也依赖于高质量的数据、适当的预处理技术以及稳健的模型训练和验证过程。

从本书讨论的一个核心概念——也是因子投资中必要的考量——数据分布变化的角度来看，我们可以理解为什么将金融决策托付给人工智能是一项极具挑战性的任务。迄今为止取得显著成功的大多数算法都是归纳性的，意味着它们基于数据中的相关性推导模式。人工智能在识别、理解和生成图像和文本方面取得了惊人的进步。然而，重要的是要理解数据的分布在未来可能不会保持不变，从而破坏对数据分布历史观察的依赖。读者应参考本书第10章，了解分布不确定性何时出现，并理解机器学习的局限性。从数学上讲，这意味着数据生成过程是时变的。

金融研究中的常见现象包括某些模式或因子随时间失去预测能力，或者在发达股票市场中有效的因子在新兴市场中表现出相反的效果（例如美国与中国股票市场的动量因子）。因此，使算法能够生成智能的最关键问题之一可能是处理数据生成过程中的分布变化。

此外，我们遇到的数据很可能是有偏差的，并不能代表整个样本空间。例如，分析医院患者数据可能会揭示医院访客的死亡率高于一般人群，但这是否意味着去医院会恶化患者的病情？这个悖论的产生是因为只有感觉不适的人才会去医院。为了分析就医的有效性，我们需要额外关于感觉不适但选择不去就医的个体后续健康结果的数据。回到因子投资，我们利用的历史数据仅代表了人类历史的一小部分。例如，近年来美国市场由科技巨头驱动，导致股市持续上涨。这种市场结构可能使从训练数据中识别的因子产生偏差，偏向于这些股票，错误地将大市值视为有效的预测变量。然而，更长期的视角揭示，小市值股票往往产生更高的超额收益（即著名的小减大因子）。

数据生成过程中分布变化的可能性，加上观测数据的偏差，使得现成的机器学习算法在金融领域的应用不太可能成功。中国古代兵法有云：“未料胜，先料败”，强调了认识和准备应对潜在失败对于有效应对挑战和取得成功的重要性。

我们专门讨论这些核心问题，因为理解将机器学习应用于投资的困难是开发新技术来克服或缓解这些挑战，或找到折中方案来规避它们的第一步。这些问题可能长期构成重大的学术挑战。它们告诉我们，在将先进的人工智能算法用于因子投资时，不应放弃因子研究中的逻辑分析；事实上，因子背后的逻辑需要更多的关注。因子仅仅是股票属性的可量化表现，但理解这些表现背后的原理至关重要。事实上，鉴于许多机器学习模型假设被违反、金融数据的低信噪比和非平稳性，用经济理论指导机器学习算法是其成功的关键（Nagel 2021）。

本章将从机器学习的角度全面解释因子投资的现状和未来，为读者提供前瞻性的见解。具体来说，第12.2节讨论机器学习如何应用于因子投资实践的整个流程。第12.3节深入探讨机器学习在实证资产定价和因子投资中应用的最新进展。第12.4节聚焦于因子发现这一关键问题以及机器学习可以发挥的作用。第12.5节在因子投资的背景下比较机器学习和计量经济学。第12.6节总结。

12.2 量化因子投资中可AI化的组成部分：一个剖析视角

本节从分析视角出发，剖析量化因子投资整个流程的主要阶段。我们考虑如何将机器学习算法引入每个阶段。遵循这种方法，我们依次分析每个步骤，初步识别算法可能显著增强我们投资实践的领域。

12.2.1 数据源扩展与预处理

除了传统的结构化金融数据，还有大量富含金融市场信息的非结构化数据，涵盖更广泛的市场和个股洞察。人工智能可以优化信息收集的全面性和及时性，基于GPT的工具提供了大量帮助。

此外，人工智能算法有助于实时监控数据质量和异常。在从非结构化数据（如新闻情绪或公司信息知识图谱，Bybee, Kelly, and Su 2023, Bybee et al. forthcoming）中提取信息时，人工智能可以擅长从文本和图像中推导出带有股票回报预测信息的量化指标。此外，数据处理中的一个重要任务是预处理，人工智能算法可以优化智能数据库的各个工程方面，例如数据更新、检查、填补缺失值（Freyberger et al. 2021, Bryzgalov et al. 2022）、向量化查询、负载均衡存储和分布式计算。

12.2.2 因子研究

因子研究的基石在于因子发现。因子逻辑的自动化挖掘和提取是人工智能应用的一个有前景的领域，尽管需要大量的工程和学术支持才能进一步发展。本章第12.4节将更深入地探讨这一讨论。

12.2.3 因子模型

我们已经讨论了各种定价模型来解释资产或投资组合在横截面上的预期收益，这逐渐在金融学术界形成了一个基于机器学习的研究范式（将在第12.3节进一步探讨）。

一旦识别出许多预测因子，将它们有效整合以形成可交易信号就变得至关重要。然而，因子的高维度和相关性构成了重大挑战，为应用机器学习算法提供了广阔空间。此外，在复杂的因子组合模型中，可以纳入市场环境变量，希望通过复杂模型的非线性拟合能力来增强现有的线性因子。当然，必须有意识地防止因模型复杂度增加而导致的过拟合，通过必要的正则化和其他技术来减轻这种风险。

12.2.4 风险分析与投资组合优化

在生成收益预测信号后，下一个关键步骤是投资组合风险分析。理解收益是通过承担一定风险获得的，风险控制优化的核心目标是在预定义的风险约束下最大化收益。一个新兴的研究方向涉及建立强化学习模型和模拟环境，该环境基于资产定价模型设置风险暴露水平，定义行动空间（即买卖股票），并训练一个强化智能体根据预测信号和定义的风险控制惩罚进行优化。

12.2.5 交易执行与监控

在量化研究分析之后，最后一步是实际的交易执行。在这个过程中存在许多优化机会，例如前面章节提到的流动性对交易执行的影响。

反映短期股票趋势的高频数据可用于开发交易算法。由于用于优化交易执行算法的数据频率更高，数据分布变化的程度相对较小，因此可以使用复杂算法进行优化，以剖析和分析市场微观结构及短期供需动态。

12.3 机器学习与资产定价

自从Gu、Kelly和Xiu（2020）的工作将机器学习方法正式引入实证资产定价研究以来，学术界的众多学者在过去几年中应用了各种机器学习模型。这些模型，无论是线性还是非线性的，都被用于预测股票回报以及识别应纳入定价模型或随机贴现因子（SDF）的因子。关于优秀的综述，参见Kelly和Xiu（2023）。

这种转变主要是由于因子的指数级增长以及因子与资产回报之间复杂关系的驱动，这是大数据和机器学习时代的标志。这些发展对基于计量经济学方法的传统实证研究构成了重大挑战。虽然计量经济学技术无疑仍然是分析简单线性关系和进行参数判定的强大工具，但它们并不是处理高维预测问题的首选方法——我们将在第12.5节中进一步阐述这一论断，该节将机器学习与计量经济学进行对比。已经在自然语言处理和图像识别等领域得到验证的机器学习算法，自然进入了解决此类复杂问题的竞争领域。

因此，学术研究发生了一个明显的转变：从提出简洁但特设的多因子模型（旨在减少市场异象），转向日益突出的机器学习方法。这种转变催生了一个围绕多因子模型和随机贴现因子的新研究范式。研究导向已悄然从程序驱动转向实证驱动。大量采用机器学习算法进行资产定价的论文发表在顶级期刊上，这是最有力的证据。与此同时，各种机器学习算法已经进入因子投资的行业实践，特别是在因子发现和聚合方面。

将目光转回学术研究，对这些实证研究的仔细审视揭示了在理论阐述和实证发现方面的大量共同点。深入研究这些工作可以极大地增进我们对将机器学习算法应用于实证资产定价和因子投资的理解。因此，本节旨在为读者客观地描述该领域的当前格局。为实现这一目标，本节通过讨论五对事实与虚构，来梳理围绕机器学习和资产定价的真相与误解。

12.3.1 虚构1：数据会“自己说话”

第一个虚构是关于将数据不加区分地输入复杂的机器学习算法，单纯期望数据会“自己说话”的谬误。

金融数据固有的低信噪比和非平稳性足以打消那种将现成机器学习单独应用于金融数据就能产生有意义见解的乐观但天真的希望。在资产定价领域，许多方面如参数的先验分布、协变量的缩放、正则化惩罚以及调优标准的选择，都可能显著影响结果。

一个来自Nagel（2021）的说明性例子（尽管简单）有效地阐明了上述考虑。假设我们使用过去120天的收益及其平方和立方值作为协变量来预测下一天的收益。表12.1总结了不同设置下的预测结果。表中，“方法”列表示应用的正则化（OLS表示无正则化），“缩放”列显示协变量如何标准化（“相等”表示所有协变量标准化为均值0、标准差1；“不等”表示标准化后具有不同的标准差），“CV标准”列表示用于交叉验证的指标（如R平方或投资组合的预期收益）。表中，OLS代表“普通最小二乘法”，IS代表“样本内”，CV代表“交叉验证”。

（表12.1略）

表中的实证结果显示，模型设置显著影响结果。然而，当面对众多选项时，详尽枚举所有可能的排列既不可行也不可取。相反，有效地利用源自金融理论的先验知识至关重要。例如，如果我们假设模型是非稀疏的，我们可能更倾向于Ridge回归而不是Lasso；如果我们认为协变量在预测回报方面具有不同程度的重要性，我们可能会选择不等缩放而不是相等缩放；如果我们从金融理论的核心出发，我们可能会调整模型以最大化夏普比率（或最小化定价误差），而非依赖传统的R平方。所有这些决策根本上都受资产定价理论的指导。

12.3.2 事实1：在资产定价框架内应用机器学习

与虚构1相反，第一个事实指出，我们应当在资产定价理论的框架内利用大数据和机器学习算法。

在实证资产定价领域，从CAPM到APT/ICAPM，再到后来庞大的因子动物园，这一演化无疑通过无数的实证挑战推动了学科的发展。尽管范式发生了转变，但研究的核心始终围绕着资产定价理论。例如，最近值得注意的论文如Bryzgalova、Pelger和Zhu（即将出版）以及Chen、Pelger和Zhu（2023）都采用了先进的机器学习方法——前者使用决策树，后者使用生成对抗网络（GAN）——但两者都将方法锚定在SDF框架内，将不同的算法应用于资产定价。

类似地，Kelly、Pruitt和Su（2019）的工具变量PCA（IPCA）以及Gu、Kelly和Xiu（2021）的自编码器模型，利用潜在因子模型，将因子暴露（贝塔）建模为协变量（如公司层面特征和宏观经济变量）的函数。它们的区别在于，Kelly、Pruitt和Su（2019）采用线性模型，而Gu、Kelly和Xiu（2021）选择非线性模型。此外，由于协变量是时变的，两种方法本质上都代表了条件定价模型。

实证上，这些研究的共同点是使用了大量的协变量——远超传统研究——并且它们通过投资组合的样本外表现来展示其方法的有效性。尽管这些论文实验了不同的机器学习算法，但鉴于SDF和多因子模型的等价性，它们的方法可以在一个统一的框架内被审视和理解，说明了先进机器学习技术与基础资产定价理论的整合。

12.3.3 虚构2：机器学习模型忽视可解释性

第二个虚构与以下论点有关：机器学习模型是黑箱，学术研究忽视了可解释性。

可解释性是传统多因子模型或异象研究的精髓。例如，Fama和French（2015）的五因子模型基于股息贴现模型，而Hou、Xue和Zhang（2015）的q因子模型基于q理论。关于异象的论文也提供了解释，将其归类为基于风险或源于错误定价。当研究目标转向通过复杂模型更准确地预测资产回报时，似乎有一种误解认为对可解释性的重视程度减弱了。然而，情况并非一定如此。

对于线性模型，如Kozak、Nagel和Santosh（2018, 2020）的PCA和Kelly、Pruitt和Su（2019）的IPCA，可解释性相当直接。-。-。-。-。-。-。-。-。-。-。-。-。-。-。-。-。-。-。-。-

当涉及到非线性模型时，它们的可解释性可能不如线性模型直观，但学术研究仍然非常重视这一方面（正如事实2将讨论的）。寻求理解模型预测背后的“为什么”和“如何”仍然是一个基本方面，确保即使是最复杂的模型也能在解释中努力达到一定程度的透明度和清晰度，与不仅追求预测准确性、也追求可理解洞察的学术追求相一致。

12.3.4 事实2：机器学习揭示关键预测变量

作为对虚构2的回应，第二个事实指出，机器学习揭示了与众多实证资产定价发现相一致的最重要的预测变量。

在他们的工作中，Gu、Kelly和Xiu（2020）利用排列重要性来识别哪些协变量在解释预期收益方面最为关键。他们的分析揭示：（1）最重要的协变量与先前的实证发现一致，大致分为四大类，包括动量/反转、流动性相关、风险相关（如特质性波动率）和基本面（注意，它们都是本书讨论的重要因子）；（2）来自不同机器学习模型的最重要协变量在很大程度上重叠。此外，Chen、Pelger和Zhu（2023）通过计算SDF权重对协变量的偏导数来评估模型可解释性。在所有协变量中，最有影响力的与交易摩擦、价值、无形资产、盈利能力、投资和历史回报相关。

另一个值得注意的工作是Kozak（2019），它巧妙地应用核技巧将协变量映射到更高维空间而不增加计算复杂度，然后对这些变换后的协变量执行PCA。非线性核的使用掩盖了变换后协变量的性质，然而，通过将构建的SDF映射回原始协变量的管理投资组合，仍然可以识别出最重要的解释变量。最后，某些变量的重要性还可以通过观察不同协变量下被选股票的共同特征来推断，如Avramov、Cheng和Metzker（2023）所示。这种方法强调了机器学习衍生的预测因子与大量实证资产定价结果之间的一致性，肯定了在数据驱动金融研究的创新格局中基本原理的连续性。

12.3.5 虚构3：复杂模型总是导致样本外表现不佳

乍一看，虚构3似乎合理，它表明复杂模型容易受到样本内过拟合的影响，导致样本外预测误差显著增加。这种观点认为，随着模型变得越复杂，它们捕捉和复制样本内数据细微差别的能力增加，但可能牺牲了对未见数据的泛化能力。

这种叙事基于对模型复杂度及其与欠拟合和过拟合关系的传统理解。在低复杂度下，模型倾向于欠拟合，表现出低方差但高偏差；相反，随着复杂度增加，偏差减小，但代价是方差增加，导致模型过拟合。这种相互作用被认为是偏差-方差权衡，表明存在一组最优超参数可以最小化总样本外误差（即测试风险）。参考图12.1的左侧部分，显示了经典的U型曲线，展示了这种权衡。

这种偏差-方差权衡也可以从不同的角度来看待。简单模型擅长避免过拟合，但可能无法准确逼近现实世界。另一方面，更复杂的模型可能更接近地表示现实世界的现象，但确实更容易过拟合。因此，偏差-方差权衡也可以被解释为逼近-过拟合权衡。因此，机器学习和统计建模中的传统观点认为，过参数化（即相对于训练数据的大小拥有大量参数）可能导致过拟合。这是因为模型学习的是训练数据中的噪声而非底层模式。因此，通常建议将模型中的参数数量保持相对小于训练数据的数量。

然而，在深度学习的背景下，这种传统观点并不总是成立。尽管深度学习模型的参数数量很多，常常超过训练数据的大小，但人们发现它们对未见数据具有很好的泛化能力。这种现象通常被称为“双重下降”曲线（Loog et al. 2020），表明在某个点之后，将参数数量增加到超过训练数据的大小实际上可以提高模型的测试性能。

其背后的原因仍然是一个活跃的研究领域。一些理论认为，深度学习模型的结构和用于训练它们的非凸优化算法可能隐含地对模型进行了正则化。另一些理论提出，过参数化模型可以表示更大的函数空间，增加了找到既能很好地拟合训练数据又能泛化到新数据的模型的机会。尽管缺乏确切的解释，但过参数化深度学习模型的有效性是一个已确立的实证事实。

12.3.6 事实3：在适当正则化下，模型复杂度超越统计成本

机器学习理论的发展为虚构3提供了一个令人信服的反驳，认为复杂模型可以更准确地逼近真实的数据生成过程（DGP）。通过足够的正则化，模型复杂度带来的优势可以超过过参数化的统计成本。

近年来机器学习领域一个特别令人兴奋的发现是双重下降现象，即样本外误差与模型复杂度呈现非单调关系。正如Belkin等人（2019）所强调的，当模型复杂度超过样本数量时，一个有趣的现象发生了，这个领域以前被认为是禁区。与预期相反，总样本外误差并没有“爆炸”，而是随着复杂度的增加开始单调下降（如图12.1右侧部分所示）。这种现象以插值阈值两侧误差单调递减为特征，被恰当地命名为双重下降。

这种现象背后的直觉在于，当协变量的数量超过样本数量时，样本内解变得非唯一。最优解可以理解为使参数方差最小化的解。随着模型复杂度的增加，最优解的方差减小。此外，请注意，所有模型在某种程度上都是真实DGP的误设版本。当存在模型误设时，可以证明当变量数量超过样本数量时，随着复杂度的增加，偏差也可能在一定范围内减小。因此，总体效应是测试风险的降低。对于对双重下降现象理论基础感兴趣的读者，Hastie等人（2022）提供了全面的讨论。

在实证资产定价的背景下，Kelly、Malamud和Zhou（2024）将此概念应用于美国股票市场的择时，并观察到类似的双重下降现象：当使用协变量数量远超样本数量的模型时，样本外夏普比率得到改善。Didisheim等人（2023）通过研究因子定价模型中的复杂性，进一步将这一思想扩展到横截面。

尽管机器学习理论的最新进展听起来令人兴奋，但值得注意的是，关于资产定价中模型复杂度和样本外表现的讨论仍处于初级阶段。正则化在这个过程中起着至关重要的作用，该领域的进一步研究备受期待。

12.3.7 虚构4：非线性模型能轻易将夏普比率翻倍

虚构4指的是非线性模型可以轻易将夏普比率翻倍的误解。然而，让我们首先检查一组似乎足以支持这一虚构的实证结果。

Baba-Yara、Boyer和Davis（2021）复制了近年来得出的一些主要机器学习资产定价模型，并将它们的表现与传统因子模型进行了比较。表12.2总结了一些代表性结果。

（表12.2略）

结果生动地表明，与传统的因子模型相比，机器学习模型实现的夏普比率确实比传统模型翻倍甚至三倍。然而，重要的是要记住，传统模型是稀疏的，在构建因子时使用的协变量少得多，这使得这种比较本质上不公平。（我们将在事实4中重新审视这些结果。）

另一方面，仔细检查后发现，在上述结果中，PCA和IPCA模型（两者都是非条件或条件线性模型）的夏普比率实际上高于采用随机森林和神经网络的非线性模型所实现的夏普比率。这似乎表明，至少在引用的实证结果中，非线性模型不一定比线性模型具有优势。

12.3.8 事实4：非线性模型提供边际增量贡献

毫无疑问，协变量与资产回报之间存在非线性关系。然而，在现阶段，非线性模型更可能在解释横截面方面提供边际增量贡献。

正如Nagel（2021）和众多最近的实证资产定价研究所证明的，变量之间的交互在这些非线性关系中起着至关重要的作用。对于传统的线性回归模型，随着变量数量的增加，考虑所有协变量对之间的交互项变得不切实际。这一局限性为擅长处理非线性关系的机器学习模型提供了机会。

然而，对于非线性关系对回报预测的增量贡献，保持现实的期望至关重要。Chen、Pelger和Zhu（2023）的实证发现表明，他们的GAN在构建SDF时可以捕获协变量之间的交互。然而，他们也强调，单个协变量对SDF的影响几乎是线性的。

现在，让我们重新审视虚构4中提到的Baba-Yara、Boyer和Davis（2021）的研究。他们论文早期版本中的表格覆盖了1990年至2020年的样本外实证期。然而，在最新版本中，实证期奇怪地缩短为1990年至2016年。为什么实证期在他们的更新版本中变得更短，这令人困惑。更令人困惑的是作者的辩解：用于比较的传统模型之一（即Stambaugh-Yuan模型）只有截至2016年的数据。然而，如果早期版本可以将实证研究扩展到2020年，为什么在新版本中又回到了更早的结束日期？真正的动机公众不得而知。

在这个较短的实证期内，结果总结在表12.3中（括号中的数据表示截至2020年的结果，在此处用于比较）。有趣的是，当实证期结束设为2016年时，所有四种机器学习模型都表现出不同程度的退化，而所有四种传统模型都表现出改善。

（表12.3略）

聚焦于机器学习模型，这些比较说明了不同实证期结果的显著波动。同时，尽管这些研究在预测下一年度的样本外回报之前采用了滚动或扩展窗口进行训练和验证，但几乎没有（如果有的话）讨论调优过程以及模型在不同超参数下的稳健性。在这方面，用于资产定价的机器学习的研究生态系统远未成熟，迫切需要该领域的领导者建立一个公认的研究协议。

12.3.9 虚构5：机器学习模型可以轻松应用于实践

最后一个虚构认为机器学习模型可以轻松应用于实践。尽管机器学习模型在实证资产定价的学术研究中取得了令人鼓舞的成果，但这并不一定意味着它们在考虑所有成本后可以轻松应用于实践并产生可观的超额净回报。

这方面最关键的实证发现之一是机器学习模型构建的投资组合相关的换手率高。在这方面，Avramov、Cheng和Metzker（2023）复制了文献中几个领先的机器学习模型，包括Gu、Kelly和Xiu（2020）的神经网络模型、Chen、Pelger和Zhu（2023）的GAN模型、Kelly、Pruitt和Su（2019）的IPCA模型以及Gu、Kelly和Xiu（2021）的条件自编码器。这些模型的平均月度换手率见表12.4。作为参照，传统的低频风格因子（如规模和价值）的平均月度换手率通常低于10%（即0.1）。通过估算交易成本，Avramov、Cheng和Metzker（2023）认为，在这种高换手率下，投资者很难通过机器学习模型赚取额外的超额收益（尽管这不排除一些成熟的投资者尽管换手率高，仍能成功设计这些模型以实现超额收益）。

（表12.4略）

为了解决交易成本带来的挑战，Jensen等人（2022）引入了“可实施有效前沿”的概念，该概念通过税后回报直接评估策略。这种方法将包含交易成本的投资组合优化问题整合到机器学习框架中，取得了有希望的结果。这一进展强调了在投资策略中部署机器学习模型时考虑实际约束（如交易成本）的必要性，突显了学术成功与实际应用之间的细微差距。

12.3.10 事实5：对某些机构投资者的价值有限

与虚构5相反，现实是，先进机器学习模型揭示的可预测性部分集中在具有高套利和交易成本的股票上。因此，它们对某些机构投资者的价值有限。

实证发现表明，许多异象的超额收益主要来源于其空头腿（Avramov et al. 2013）或具有微小市值的股票（Novy-Marx and Velikov 2016）。类似地，机器学习模型已被证明擅长从与较高套利和交易成本相关的股票中提取可预测性，从而降低了它们的实际适用性。

以Avramov、Cheng和Metzker（2023）的实证结果为例，除了全样本，该研究还考察了三个子样本：排除微小市值股票、排除无信用评级的公司以及排除财务困境公司。结果（见表12.5，括号内为t统计量）表明，与全样本相比，主流的机器学习模型（不包括IPCA）在这些子样本中的表现显著下降。此外，一些机器学习模型相对于FF5+MOM基准的alpha在某些子样本中不再显著。

（表12.5略）

例如，在排除微小市值股票的子样本中，GAN模型的月度回报比全样本下降了50%以上。在所考察的四个模型中，除了IPCA是线性模型外，其余都是非线性的，只有IPCA在全样本和所有子样本中显示出稳健且一致的结果。值得注意的是，子样本结果仍然是使用在全样本上训练的模型得出的，这可能引起一些读者的担忧。对此，Avramov、Cheng和Metzker（2023）进一步使用子样本进行训练和样本外预测，但发现结果没有实质性变化；事实上，某些子样本的样本外表现下降了。换句话说，试图约束模型从目标样本中学习的意图，由于样本量减少，反而导致样本外表现更差。

这些结果意味着，成功调整非线性模型以专注于具有较低套利和交易成本的股票，将是资产定价中机器学习模型实际实施的关键先决条件。

12.4 自动化因子发现

随着人工智能算法的不断进步，人们越来越有兴趣利用这些算法进行因子发现，有可能取代该领域中的人工工作。本节探讨这种方法的可行性。

12.4.1 端到端因子拟合

人们可能首先想到（尽管不是我们最推荐的方法）直接应用深度学习模型进行端到端因子训练。深度学习模型具有强大的拟合能力，梯度为快速搜索解提供了最优方向。在这种方法中，直接预测股票回报可能是一个潜在目标。然而，这通常会产生过于相似、过拟合的模型输出。

一种更有效的方法可能涉及基于金融逻辑识别许多中间目标。这种方法具有多样化的目标和每个目标的单独模型，可以增强模型输出的多样性，并允许调整预测目标。例如，模型可以预测股票的基本属性，如换手率、波动率、股票之间的相关性或回报的分布。更复杂的预测可能包括基本面指标，如每股收益、投资者对股票的情绪，或提前发布财务报告的可能性。预测目标应利用人们对金融市场的理解，其中一些目标可以根据数据的可用性由模型预测。

此外，可以采用无监督学习方法来提取关于股票回报的潜在信息，例如使用编码器-解码器架构。这种方法将因子视为股票潜在信息的可量化描述。然而，其缺点在于理解模型预测和识别潜在错误方面缺乏透明度。尽管运用必要技术来对抗过拟合，但这仍然是一个固有风险。

12.4.2 自动化符号因子

除了直接模型拟合，一种更复杂但更令量化因子研究人员放心的方法涉及挖掘数据-算子组合。本书中讨论的许多具有金融逻辑的因子可以分解为多个子逻辑，每个子逻辑由一个算子应用于一个或多个变量。这种逐步的逻辑链可以表达复杂的因子。图12.2通过一个示例说明了这一概念。

为了实现自动化因子搜索，需要几个组成部分：

操作数空间：用于因子挖掘的元因子，如价格、成交量、行业分类、限价订单簿特征、金融分析师/报告的统计数据以及投资者情绪信号。这个空间应该用反映股票内在属性的变量来丰富，正如前面章节所讨论的。理论上，更广泛和更高维的操作数空间为有意义的逻辑发现提供了更多可能性。
算子空间：用于处理因子的算子，如平方根、对数、排名、均值和分位数等，以及后处理算子，如用于异常值裁剪的缩尾处理和數據标准化。与操作数空间类似，多样化的算子集增强了搜索的能力。
搜索算法：旨在发现有效因子，方法从用于随机组合的蒙特卡洛算法到更复杂的方法，如马尔可夫链蒙特卡洛和遗传编程。最近的研究探索使用生成模型和LangChain，基于金融逻辑提出操作数和算子的组合。
评估：简单的标准包括信息系数、年化回报和夏普比率。为了避免高度相关因子之间的冗余，数据驱动的可解释性算法可以增强搜索到的因子的逻辑连贯性。
迭代：研究人员必须持续理解生成的结果，识别系统缺陷，并根据结果调整搜索算法或扩展操作数和算子。迭代改进对于功能性的因子发现系统至关重要。

Cheng和Tang（2024）研究了GPT-4生成因子的能力。该研究表明，利用GPT-4能力的ChatGPT生成的因子在回报和风险方面取得了令人印象深刻的结果。这些因子表现出可观的夏普比率和超越传统因子模型的年化回报轨迹。通过采用模型平均范式，ChatGPT生成的35个因子的集成展示出显著的多空年化回报和显著的夏普比率。这种方法优于传统的数据挖掘技术。GPT-4因子生成过程的一个显著优势是其时间效率。与依赖大量数据挖掘的传统方法不同，GPT-4基于知识的推理允许更快的因子生成，无需大量的金融数据。重要的是，ChatGPT提供了对生成因子的全面见解，这些见解根植于经济理论。这将其与纯粹的数据挖掘方法区分开来，并增强了因子的可解释性和稳健性。该研究突显了大型语言模型（如ChatGPT）在因子生成中日益增长的相关性。

金融市场中的回报预测传统上依赖于词袋方法，该方法无法捕捉文本的句法和语义。然而，自然语言处理中最先进的LLM提供了上下文表示，能够更全面地理解新闻文本。Chen等人（2024）利用来自16个国际股票市场和13种不同语言的新闻文章的数据，探讨了上下文表示在回报预测中的有效性。这些表示捕捉了文本的上下文信息和细微差别，克服了词袋方法的局限性，特别是在涉及否定词的情况下。研究结果揭示，新闻信息以低效的延迟被纳入股票价格，但利用新鲜新闻警报的实时交易策略可以利用新闻引发的回报可预测性，从而产生更高的夏普比率。

关于因子可解释性，Guo等人（2023）的方法包括：

对股票的解释：提供对股票与其他股票的关系、股票相似性、领先-滞后效应和行业趋势的见解，从而比传统方法更好地理解其行为以及在分析和预测中的潜在优势。然而，在确定适当的相似性度量、识别领先-滞后效应以及评估行业贡献和特征交互方面存在挑战。
对时间的解释：提供对特定时间点市场特征和异常现象的见解，包括极端市场条件、日历效应、风格转换和突发新闻事件的影响。通过分解回报、识别重要的日历因子、检测风格转换和分析事件影响，投资者可以调整其策略并针对市场动态做出明智的决策。
对因子的解释：涉及分析股票对不同因子随时间变化的敏感性，并识别因子之间的交互效应。因子可以根据数据源、金融特征和时间尺度等各个方面进行分类，并且可以计算它们对投资组合回报的贡献。因子交互可以通过特征交叉技术揭示，并且可以使用层次聚类等技术创建因子相似性的层次描述。

这种使用AI算法进行因子研究的多方面方法突显了将先进技术整合到因子投资中的复杂性和潜力，强调了在这一不断发展的领域中持续探索和完善的重要性。

12.5 机器学习与计量经济学

毫无疑问，机器学习已逐渐取代计量经济学方法，成为当代资产定价和因子投资中的主导工具。然而，在结束本章之前，从统计建模的角度审视这两种方法之间的差异可能会有所启发（Mullainathan and Spiess 2017, Athey and Imbens 2019）。这样的比较加深了我们对方法论的理解，使我们能够为手头的问题选择合适的技术。

12.5.1 两种文化

Leo Breiman在其开创性论文《统计建模：两种文化》（Breiman 2001）中深入探讨了统计建模中两种盛行的文化。

第一种是数据建模文化，它在数据生成过程基于某个随机模型的假设下运作，并基于此假设进行统计推断。这里的主要目标是理解数据内部的结构和关系，这意味着传统数据建模文化的本质在于通过一系列假设和理论框架来理解数据生成背后的机制。计量经济学方法在这一文化中众所周知，它们依赖于建立显式模型来解释变量之间的关系，通常假设线性关系和误差的正态分布。

这种方法的主要目标是参数估计而非预测，旨在阐述变量之间的因果关系。当数据与模型假设一致时，这种方法可以提供稳健的因果解释。时间序列回归或Fama和MacBeth（1973）横截面回归等实证研究方法遵循这种文化。但是，当预测准确性优先于无偏参数估计时会发生什么？

第二种文化是算法建模，它优先考虑预测准确性而非模型可解释性。这种方法不对数据生成过程做出严格的结构性假设，而是采用数据驱动的方法直接从数据中学习。机器学习模型是这种文化的典型代表。它们的灵活性使其能够处理复杂、非线性和高维数据，而无需预设数据的结构。然而，机器学习模型常常因其“黑箱”性质而受到批评。

在这种文化中，不对数据做出结构性假设；相反，选择一类模型（例如神经网络），并根据给定的损失函数从数据中学习模型参数。机器学习建模的核心是优化模型的样本外泛化性能，或者等效地最小化泛化误差，从而引入了正则化这一关键概念。与计量经济学相比，机器学习方法可以在不显式定义模型形式的情况下逼近非线性、高维和复杂的函数关系，这使得机器学习成为解决当代实证资产定价挑战的自然选择。

当通过这两种文化的视角来看待计量经济学和机器学习时，它们的差异变得明显。正如Breiman（2001）所强调的，传统统计方法与机器学习之间的根本分歧在于，前者专注于在已知数据模型的假设下估计模型参数和进行统计检验，而后者则在不假设已知数据模型的情况下最大化预测准确性。换句话说，对于计量经济学，参数估计先于预测准确性；而对于机器学习，预测准确性先于参数估计。如果考虑资产定价的实证研究目标，计量经济学主要关注定价模型是否能在样本内对测试资产进行定价，而机器学习则关注基于模型预测构建的投资组合是否能实现样本内的最优风险调整后回报。

12.5.2 机器学习与计量经济学的协同

在资产定价和因子投资领域，这两种文化不应被视为对立的力量，而应视为互补的方法（Kelly and Xiu 2023）。将计量经济学原理与机器学习模型的预测能力相结合，可以丰富我们的理解并提高投资策略的有效性。

例如，将计量经济学中的因果检验纳入机器学习工作流程，可以帮助识别和验证具有真正经济学原理的预测因子，从而降低虚假相关性的风险。此外，计量经济学对理解潜在数据生成过程的强调可以指导机器学习模型的特征选择，确保输入变量不仅仅是统计假象。这种综合方法还可以促进更具可解释性的机器学习模型。模型无关的可解释性工具等技术可以应用于机器学习模型，以阐明输入特征与预测之间的关系，从而提供类似于计量经济学模型的见解（Ribeiro, Singh, and Guestrin 2016）。此外，计量经济学中对不确定性和推断的严谨处理可以增强机器学习在金融领域的应用。例如，研究机器学习模型预测的渐近分布可以使投资者对机器学习模型生成的预测信号相关的风险和可靠性有更细致的认识。

相反，机器学习可以揭示传统计量经济学方法可能无法发现的新实证事实，从而丰富经济学和金融学中的假设检验和理论发展。机器学习的数据驱动特性能够发现金融数据中复杂的、非线性的模式和交互，这些可能不是立即显而易见的，也不是理论预期的。例如，机器学习技术可以识别大量市场指标和经济信号之间的复杂关系，揭示以前未被识别的资产回报或经济周期的预测因子。

总之，计量经济学的严谨性与机器学习的灵活性之间的相互作用为推进资产定价和因子投资提供了肥沃的土壤。通过利用每种方法的优势——计量经济学关注因果性、可解释性和严谨推断，以及机器学习处理复杂、非线性关系和大规模数据集的能力——金融界可以开发出更稳健、更具洞察力和更有效的因子。这种互补的协同作用突显了在金融研究中采用多学科视角的必要性，一种既拥抱计量经济学的丰富传统又拥抱机器学习的创新潜力的视角（Varian 2014）。

12.6 结论

在结束本章时，我们反思了机器学习在资产定价和因子投资领域的变革性作用。机器学习算法在这一领域的整合不仅增强了研究人员和实践者的分析能力，而且开创了金融建模和预测的新时代。

本章还强调了将计量经济学理论的严谨性与机器学习的适应性相结合的综合方法的重要性。这种多学科策略确保我们开发的模型不仅在预测方面强大，而且根植于经济学原理和可解释性。这种平衡对于在不断演变的市场动态中保持模型的可信度和相关性至关重要。

展望未来，机器学习在因子投资中的潜力似乎无限。然而，这一旅程并非没有挑战。过拟合、可解释性以及需要稳健的验证框架等问题仍然是我们考虑的重点。未来的旅程无疑需要学术界和业界的共同努力，才能有效应对这些挑战。随着我们继续探索这一激动人心的前沿领域，计量经济学的智慧与机器学习的创新的融合有望在复杂的金融世界中解锁更深刻的洞察并创造更有效的投资策略。

参考文献

Athey, S. and G. W. Imbens (2019). 经济学家应了解的机器学习方法. Annual Review of Economics 11, 685–725.

Avramov, D., S. Cheng, and L. Metzker (2023). 机器学习与经济约束：来自股票回报可预测性的证据. Management Science 69(5), 2587–2619.

Avramov, D., T. Chordia, G. Jostova, and A. Philipov (2013). 异象与财务困境. Journal of Financial Economics 108(1), 139–159.

Baba-Yara, F., B. Boyer, and C. Davis (2021). 因子模型失效之谜. 工作论文.

Belkin, M., D. Hsu, S. Ma, and S. Mandal (2019). 调和现代机器学习实践与经典偏差-方差权衡. Proceedings of the National Academy of Sciences 116(32), 15849–15854.

Breiman, L. (2001). 统计建模：两种文化（含评论及作者回应）. Statistical Science 16(3), 199–231.

Bryzgalov, S., S. Lerner, M. Lettau, and M. Pelger (2022). 缺失的金融数据. 工作论文.

Bryzgalova, S., M. Pelger, and J. Zhu (即将出版). 森林与树木：构建股票回报的横截面. Journal of Finance.

Bybee, L., B. T. Kelly, A. Manela, and D. Xiu (即将出版). 商业新闻与经济周期. Journal of Finance.

Bybee, L., B. T. Kelly, and Y. Su (2023). 叙事资产定价：来自新闻文本的可解释系统性风险因子. Review of Financial Studies 36(12), 4759–4787.

Chen, Y., B. T. Kelly, and D. Xiu (2024). 预期收益与大型语言模型. 芝加哥大学工作论文.

Chen, L., M. Pelger, and J. Zhu (2023). 资产定价中的深度学习. Management Science 70(2), 714–750.

Cheng, Y. and K. Tang (2024). GPT对股票因子的构想. Quantitative Finance 三月(5), 1–26.

Didisheim, A., S. Ke, B. T. Kelly, and S. Malamud (2023). 因子定价模型中的复杂性. 工作论文.

Fama, E. F. and K. R. French (2015). 五因子资产定价模型. Journal of Financial Economics 116(1), 1–22.

Fama, E. F. and J. D. MacBeth (1973). 风险、回报与均衡：实证检验. Journal of Political Economy 81(3), 607–636.

Freyberger, J., B. Hoppner, A. Neuhierl, and M. Weber (2021). 资产定价面板中的缺失数据. 工作论文.

Gu, S., B. T. Kelly, and D. Xiu (2020). 通过机器学习进行实证资产定价. Review of Financial Studies 33(5), 2223–2273.

Gu, S., B. T. Kelly, and D. Xiu (2021). 自编码器资产定价模型. Journal of Econometrics 222(1), 429–450.

Guo, J., S. Wang, L. M. Ni, and H.-Y. Shum (2023). Quant 4.0：利用自动化、可解释和知识驱动的人工智能工程化量化投资. IDEA研究报告.

Hastie, T., A. Montanari, S. Rosset, and R. J. Tibshirani (2022). 高维无脊最小二乘插值中的惊奇. Annals of Statistics 50(2), 949–986.

Hou, K., C. Xue, and L. Zhang (2015). 消化异象：一种投资方法. Review of Financial Studies 28(3), 650–705.

Jensen, T. I., B. T. Kelly, S. Malamud, and L. H. Pedersen (2022). 机器学习与可实施的有效前沿. 工作论文.

Kelly, B. T., S. Malamud, and K. Zhou (2024). 回报预测中复杂性的价值. Journal of Finance 79(1), 459–503.

Kelly, B. T., S. Pruitt, and Y. Su (2019). 特征即协方差：风险与回报的统一模型. Journal of Financial Economics 134(3), 501–524.

Kelly, B. T. and D. Xiu (2023). 金融机器学习. 工作论文.

Kozak, S. (2019). 横截面的核技巧. 工作论文.

Kozak, S., S. Nagel, and S. Santosh (2018). 解释因子模型. Journal of Finance 73(3), 1183–1223.

Kozak, S., S. Nagel, and S. Santosh (2020). 收缩横截面. Journal of Financial Economics 135(2), 271–292.

Loog, M., T. Viering, A. Mey, J. H. Krijthe, and D. M. J. Tax (2020). 双重下降的简要史前史. Proceedings of the National Academy of Sciences 117(20), 10625–10626.

Mullainathan, S. and J. Spiess (2017). 机器学习：一种应用计量经济学方法. Journal of Economic Perspectives 31(2), 87–106.

Nagel, S. (2021). 资产定价中的机器学习. Princeton University Press.

Novy-Marx, R. and M. Velikov (2016). 异象及其交易成本分类. Review of Financial Studies 29(1), 104–147.

Ribeiro, M. T., S. Singh, and C. Guestrin (2016). “我为什么要相信你？”解释任何分类器的预测. 第22届ACM SIGKDD国际知识发现与数据挖掘会议论文集.

Varian, H. R. (2014). 大数据：计量经济学的新把戏. Journal of Economic Perspectives 28(2), 3–28.