1.2　国内外研究现状综述

1.2.1　量化择时与金融预测

1.2.1.1　量化择时研究概述

量化择时就是运用统计建模等方法借助计算机的高效计算能力对股票等金融资产的走势或未来状态值进行实时计算与监控，及时进行高抛低吸从而获得比传统投资方法更高的收益的择时方法。择时的核心是对股票等金融资产的走势进行预测，股票的可预测性与有效市场假说密切相关，如果有效市场成立，那么股票价格的波动符合随机游走形态，通过技术分析、基本面分析等方法预测股票价格走势将毫无意义。然而研究表明，股票的自身发展并不完全遵循强势有效市场假说，尤其是在A股市场上，股价波动看似杂乱无章，但是却隐藏着确定性的机制，因此存在着可预测性（陈卫华、徐国祥，2018）。在针对股票价格及指数价格的预测问题上，国内外的研究者提出了如下三类方法：

第一类：技术分析。技术分析法成立的三个前提假说：其一是市场行为包含一切信息；其二是价格沿趋势运动；其三是历史会重演。本质上来讲，技术分析可分为形态分析和技术指标分析，道氏理论是该方法的理论基础，该理论认为市场指数反映了一切信息，个股走势与市场走势趋同，包括短、中、长三种走势，三者同时存在，但方向不确定。形态分析即通过对股票的K线形态分析以判定股票未来的走势，在使用形态分析时，投资者应重点关注市场长线走势并结合个股的反转、整固等技术形态以及成交量来指导交易。形态分析法虽然简单直观，但是具体的形态识别没有客观的标准定义，完全依靠投资者的主观认定，具有很大的局限性和较低的时效性。技术指标分析即对股票价格、交易量等数据进行数学统计与建模，进而得出能反映股价运行规律的指标，并用该指标去预测股价的未来运行方向。常见的技术指标有平滑异同平均线（MACD）、移动平均线（MA）、相对强弱指标（RSI）等。在实践中技术分析多应用于择时研究。如Mabu等（2013）构建了适合日本市场股票的基于多技术指标规则组合的量化择时模型，研究结果表明，多指标组合择时策略的收益比传统的单指标择时策略更高。Wang等（2014）将技术指标规则组合应用于NASDAQ100指数成份股，以此构建了一个复杂的绩效奖励交易策略，其中使用时变粒子群算法获得策略的最优参数集，实证结果表明，技术规则组合择时表现胜过基于单个指标规则的择时。徐建（2018）将KDJ、W&RA、MFI等指标进行不同组合，对上证综指的100只股票构建了择时策略，并使用遗传算法计算技术指标的最优参数，最终结果显示，经组合的技术指标择时效果优于单个技术指标择时。梁淇俊等（2015）以技术指标为择时策略依据，利用MACD、RSI和OBV等指标构建交易信号，并以中信证券收盘价为例，对基于三个技术指标的单策略、联合策略的有效性进行量化分析，得到了MACD指标择时相对最优的结论。林福泉等（2019）以华夏上证50ETF为标的，构建了均线交易策略，验证了均线分析能够在中国证券市场获得超额回报。指标分析法的最大缺陷在于其时效性较弱、不同的技术指标可能会给出截然不同的交易信号从而导致损失。

第二类：统计建模方法。该方法依据严谨的统计学理论对股票价格进行预测建模，代表性方法有ARIMA、GARCH和HMM等。Hassan（2009）提出一种新的HMM与模糊模型相结合的股价预测方法，使用HMM识别股价变化模式并用模糊逻辑进行预测，得到了比ARIMA、ANN等模型精度更高的预测效果。傅中杰等（2018）使用HMM模型对沪深300指数和标普500指数的运行状态进行了预测，并根据预测结果构建了择时模型，模型回测结果优于传统的均线择时模型，验证了HMM具有识别市场中长期状态的能力。曾青（2015）建立ARIMA-GARCH模型对上证综指和新上证综指的收益率进行预测，结果表明，当预测误差服从广义误差分布时，可以得到理想的预测结果。朱慧慧（2019）利用GARCH模型对标普500指数的收益率进行预测，结果表明，模型可以较为准确地预测收益率的波动状况。方燕等（2018）运用ARIMA-GARCH模型对国内传媒板块指数进行预测，结果表明，该模型可以更准确地预测价格趋势。统计建模方法的结果在统计意义上可靠，但过于严格的应用假设条件限制了其适用的情形与范围。

第三类：机器学习方法。该方法对建模数据的分布不做任何假设，有效解决了统计建模方法应用中研究假设过于严格的问题，并具有更强的非线性关系抽象力，典型应用有基于ANN、SVR等机器学习方法的股价预测建模。Ozbayoglu等（2008）使用神经网络对股票市场进行预测，并将预测结果与贝叶斯算法的预测结果比对，结果表明神经网络的预测效果更为出色。Tay等（2001）从结构风险最小化角度深入分析了SVM的最小化泛化误差优势，首次利用SVM对标普500指数进行预测，验证了SVM的金融预测性能优于传统ANN神经网络。Chen等（2017）提出了一个基于信息增益的特征加权SVM和KNN结合的预测模型，并对沪深股市指数进行预测实验，获得了比现有模型更好的预测效果。Fischer等（2018）使用LSTM神经网络预测了1993年到2005年标准普尔500指数，并根据LSTM构建了股票多空策略，在指数预测准确度、策略日回报率、年化夏普比率等方面，LSTM优于Logistic回归、随机森林等机器学习方法。

1.2.1.2　金融时间序列预测

在金融时间序列的分析预测方面，曹柯等（2013）使用EMD与相关向量机（RVM）对股指期货价格进行了预测，文中对EMD分解后的时间序列使用RVM独立建模，并最终将各个模型的预测结果相加获得了误差更小的预测结果。李合龙、冯春娥（2014）使用EEMD方法研究投资者情绪和股指价格序列，并结合计量模型考察了投资者情绪和股指价格序列在不同时间尺度下的波动关联性。梁坤等（2016）运用EMD、混沌分析理论和SVR算法对上证综指和深证成指的收盘价进行预测。他们使用EMD方法将社会媒体变量即百度搜索指数序列进行分解，然后对每个本征模态函数进行混沌序列的支持向量回归建模，最后利用社会媒体变量序列的分解分量和股指时间序列的前期值对股票市场进行预测，结果表明，对社会媒体变量序列进行多尺度分解能有效地提高其对股票市场的预测性能。秦喜文等（2017）采用EEMD方法和机器学习算法SVR对人民币汇率进行了预测，对EEMD分解的每个本征模态函数进行SVR建模，加总子模型预测结果，并与传统的ARMA模型建模结果进行对比，证明了EEMD-SVR模型对人民币汇率的预测更加稳定。贺毅岳、高妮、王峰虎等（2019）将EMD与SVR相结合，提出了股价集成预测方法EMD-SVRF，实证结果表明，该方法比ARMA-GARCH等已有方法具有更小的预测误差。邸浩等（2018）提出了多尺度组合预测模型EEMD-LSTM-Adaboost，并以沪金为例验证了该方法的预测能力优于已有的预测方法。

20世纪80年代，神经网络开始应用于股票价格的预测研究，IBM公司工程师White（1988）第一次将神经网络引入对IBM公司普通股每日收益率的预测中，虽然该模型的预测结果不理想，但却开创了将神经网络应用于股票价格预测的先河。随后，Kimoto等（1990）利用BP神经网络建立股票预测交易系统，并对东京证券交易所综合指数（Nikkei Index）进行预测，该预测系统实现了对指数的较准确预测，股票交易模拟系统也显示出良好的盈利能力。Gengay（1996）构建了前馈神经网络模型，对1963年到1988年的道琼斯工业指数的7日均线进行实证研究预测，生成了较为可靠的股票交易信号，证明了借助神经网络可以对股市的收益进行稳定预测。Timermannde等（2000）使用神经网络模型对1974年以来的伦敦证券指数进行预测，对指数月变化率的预测准确性可达到60%。进入21世纪以后，越来越多的神经网络模型被应用于股票市场预测研究中。英国皇家学院的Shapiro（2002）将神经网络、遗传算法及粗糙集分类结合构造了预测模型，组合模型弥补了各个方法的不足，并表现出良好的预测性能。Murat等（2007）将趋势、波动性、动机等作为神经网络的输入预测TKC股票的价格，相对于其他模型得到了更好的预测结果。Thomas等（2018）利用LSTM对标普500指数的变化方向进行预测，发现LSTM比随机森林、深度神经网络与Logistic回归的分类效果好，证实了LSTM在金融投资领域有很大的应用潜力和空间。

以国外的相关研究为基础，张健等（1997）使用BP神经网络对上海石化、长春华联等股票涨跌进行了预测，并得到了较好的预测结果。何芳等（2003）使用Kalman滤波的神经网络学习算法对“浦发银行”和“邯郸钢铁”的股票价格进行了预测，预测结果明显优于常规BP神经网络。任君等（2018）使用长短期记忆神经网络LSTM对道琼斯工业指数进行了预测，预测结果明显优于RNN神经网络和BP神经网络。杨青等（2019）通过构造深层LSTM神经网络对全球30种股票指数的3种不同期限进行预测，实证结果表明，LSTM比ARIMA、MLP和SVR泛化能力更强，对全部指数在不同期限下的预测精度更高、预测滞后性更弱，能有效控制误差波动，提高不同期限下指数预测的稳健性。黎镭等（2018）构建了GRU递归神经网络对股票未来10天日收盘价进行预测，预测精度达到了98.3%，模型的表现明显优于BP神经网络和SVR支持向量机。刘震等（2018）采用影响股票价格的若干因子数据训练LSTM神经网络，证实LSTM神经网络是一种有效的预测股票价格的方法。王宇轩（2019）建立适用于股票时间序列的改进型卷积神经网络预测模型，构建出两种组合模式并应用于股票预测，最终得到一个基于卷积神经网络算法的股市相对价值决策模型，实证结果表明，该模型在基于2018年上半年股市数据的仿真实验中获得了优于指数沪深300和中证500的收益。

1.2.2　日内交易量分布预测

日内区间交易量分布是指交易日内各时间区间内的交易量占当天总交易量的比例。Berkowitz等（1988）首次提出了VWAP交易策略，利用交易价格与VWAP的差额来衡量策略对市场的冲击成本，构造了传统的成交量均值预测模型。但国内外学者及机构研究者近年来才开始关注日内成交量预测问题（张帅，2009）。Jędrzej等（2008）首次提出动态调整的VWAP策略，将成交量分解为两部分构造模型，实验结果表明，该方法降低了VWAP订单的执行风险，相较传统的静态VWAP策略有极大的改进。魏文婷（2009）利用主成分分析方法基于日内高频采样数据对中国证券市场成交量进行动态分解建模，对日内成交量进行预测，然后应用VWAP算法策略，实证检验了该方法对于日内成交量预测的有效性。方兆本等（2011）利用高频数据处理方法提出了一种适合A股市场的交易算法，并且在预测交易量分布时，提出了一种基于自相关的分时VWAP算法，实证研究表明该算法在一定的成交概率下优于市场均价。Christian等（2009）提出了一个基于时间序列特征分解的乘法误差模型，通过该模型对日内成交量分布进行预测，实证结果表明该模型显著优于常用的交易量预测方法。周仁才等（2013）在传统VWAP算法的基础上，提出一种新的VWAP-VAP算法，并将日内交易量分为市场份额和特殊份额两部分，使用VAR对特殊份额进行动态调整，实证检验了该模型的有效性。Ye等（2014）用换手率作为成交量的代理变量，将其分为常规部分和特殊部分，利用主成分分析法（PCA）结合ARFIMA和ARMA模型对股票换手率的特殊部分进行建模。姚海博等（2015）将日内区间交易量时间序列分解为周期因素、趋势因素和波动因素三者的乘积，并对各因素分别进行建模预测，然后在此基础上构建依据股价变化不断动态调整的VWAP算法交易策略。夏晖等（2017）从个股与市场成交量变化趋势的角度出发，通过构造个股成交量与市场因素的因子载荷，将日内成交量分解为市场共同部分和个股特殊部分，然后对这两部分分别进行建模预测，这个改进的VWAP策略相比于传统的VWAP策略，不仅具有广泛的适应性，而且跟踪误差较小。张帅（2019）使用机器学习中随机森林和前馈神经网络的方法，构建日内成交量比例预测模型，相比于传统的滚动平均方法，该模型的预测精度得到很大的提升。

综上可知，现有关于日内交易量分布预测的研究更多集中在对区间成交量时间序列数据进行分解，然后利用统计、计量或机器学习等方法建模预测，并进行动态调整。虽然上述研究在日内交易量分布时间序列预测问题上大多都取得较好的实证结果，但都存在相关的理论或实用性缺陷。首先，由于股票市场的随机性很强，现有的预测建模方法难以有效提取股票交易量分布的复杂变化规律，作用于市场的时效性较弱，预测的不确定性过高；其次，由于股票日内交易量时间序列通常具有“U”形或“V”形的周期性结构，为非平稳时间序列，并且结合金融时序的非线性、低信噪比等特点，导致相关的统计学模型难以达到高精度的预测效果（Prem et al.，1988）；最后，浅层机器学习算法，如SVM、BP神经网络等，在复杂、高维数据学习方面存在较大局限性，如存在维数灾难与低效特征表示问题（Bengio，Lecun, 2007）。

然而，随着近年来对金融时间序列预测研究的不断深入，学者们发现结合深度学习与经验模态分解方法进行金融数据挖掘建模，可以有效改善和提升金融时序的预测精度。深度学习相较于传统的计量、统计模型以及浅层次的机器学习模型，特征抽取与表达能力更强，在非线性、非平稳数据的处理以及数据复杂特征的提取等方面，也具有较大优势（欧阳红兵等，2020）。Thomas等（2018）构建LSTM神经网络模型对标普500指数成份股的样本外方向性波动进行预测研究，实证发现LSTM网络优于随机森林、深度神经网络和Logistic回归。邸浩等（2018）提出EEMD-LSTM模型并利用其对金融市场中大宗商品交易价格进行预测，实证结果表明，该模型比已有的预测方法具有更好的预测能力。乔若羽（2019）通过建立基于注意力机制的LSTM、RNN、CNN等神经网络模型对股票进行预测，实证检验了结合注意力机制的神经网络模型在时间序列预测中的优异表现，为股票的预测提供了进一步的优化方向。贺毅岳、李萍等（2020）基于CEEMDAN-LSTM构建市场指数预测模型，首先运用CEEMDAN对指数进行分解重构，然后利用LSTM对各分量进行预测，实证表明该模型相较于SVR、MLP和LSTM具有更小的预测误差。李成等（2013）运用多元经验模态分解（Multivariate Empirical Mode Decomposition，MEMD）分析了股票收益与宏观经济之间的复杂关系，提出了一种基于MEMD的股市收益与宏观经济活动关系的分析方法，通过月度道琼斯指数和美国工业生产指数的联合MEMD分解，获得两序列的多尺度分量，并在不同尺度下分析多元序列的相关性及Granger因果关系。

1.2.3　深度强化学习及其在金融领域的应用

随着人工智能技术不断取得创新和突破，人工智能和机器学习在金融领域的应用日趋广泛、深入。2014年九次方大数据公司发布的《中国金融大数据白皮书》强调大数据环境中金融态势感知和信息深度挖掘在金融领域研究与应用中的重要性。2017年国务院发布《新一代人工智能发展规划》，明确要求各行业要积极引入、运用人工智能技术，以进一步提升各行业服务社会经济发展的效率和水平（熊礼东，2019）。金融行业是一个数据密集型行业，亟须大数据、人工智能与机器学习等前沿信息技术的支持。深度强化学习是当前人工智能领域中的研究热点，是深度学习与强化学习深度融合的产物，兼具深度学习的感知与强化学习的决策两种能力和优势，能通过端到端的学习实现从原始输入到输出的直接控制。自推出以来，深度强化学习就在处理复杂数据场景和决策控制场景时表现出明显的优势。显然，这和本书所要研究的量化投资建模面临的数据与决策场景及需求高度契合。

1.2.3.1　深度学习及其应用概述

深度学习（Deep Learning，DL）的概念由Hinton等（2006）首次提出。深度学习这个概念最初是基于人工神经网络提出的，相较于传统的人工神经网络，深度学习拥有更多的隐藏层层数。其原理是对底层特征信息进行组合，以此类特征信息的组合为基础形成更加抽象、复杂的高层信息，并用这些抽象且复杂的高层信息来表示输入数据的类别或者特征，通过更加抽象的特征发现数据的特征表达。深度学习自提出以来受到了众多自然科学和社会科学研究者的关注，目前已在语音识别和图像识别等领域得到了广泛应用。

在语音识别领域，早在2009年，微软公司的一些科学家就与Hinton展开了基于深度学习实现语音识别的合作。自2011年至今已发布许多研究成果，这是首次基于深度学习神经网络开发出的语音识别框架，之前的识别只是基于简单的浅层神经网络实现的。2012年10月，微软在天津举行21世纪的计算大会，会上使用利用深度语音识别开发的全自动同声传译系统将大会的演讲内容实时翻译为流利的中文播放出来。深层神经网络（DNN）在语音识别领域的应用首次走进了大众的视野。Google使用深层神经网络对声音的解析进行了模型的构建，并且在大会上发布了自己的产品——Google Now语音助手，该产品已经将识别错误率从24%降低到8%。目前，国内的百度深度学习研究院在语音识别领域的研究已达到国际领先水平。国际著名深度学习学者吴恩达（Andrew Ng）教授加入百度深度学习研究院，并对百度的Deep Speech语音系统给予了很高的赞赏，他认为百度研发的语音识别系统的识别错误率远低于Google、微软和苹果所开发的语音识别系统。

在图像识别领域，深度学习也取得了相当不错的进展。1989年，Lecun和Boser等提出了卷积神经网络（Convolutional Neural Networks，CNN），这是一种基于生物视觉原理而搭建的网络模型（Lecun et al.，2015）。2012年10月，Hinton团队利用卷积神经网络在大规模的图库的识别中取得了不错的实验结果。同年，谷歌发布“Google X实验室”中一个深度学习领域的项目成果，这个项目叫作“谷歌大脑”，其通过模仿人脑的运行模式，在You Tube视频网站中经过训练学习了1000万张图片之后，在没有标注的情况下能够自主地识别出猫的图片。2014年，微软研究院展示了“Adam”项目，微软称其在图像识别上的熟练程度是之前模型的两倍，并在其发布会上在没有任何标签的情况下准确地识别出现场两条狗的品种。与此同时，国内的百度深度学习研究院也开发出了属于自己的图像识别产品——百度识图，其能够准确地将用户输入的照片归类到4万个分类中，能够辨别上传的照片所属的风格并基于风格推荐风格相似的照片。

1.2.3.2　强化学习及其在金融领域的应用

强化学习（Reinforcement Learning，RL）也是一种重要的机器学习方法。强化学习是一种研究智能体如何将环境状态序列映射到行为动作序列以获取最优回报的交互式学习方法，是一种典型的奖惩式的学习（刘全等，2018）。智能体寻求能够产生较大奖赏的动作，同时避免低奖赏的动作，是一种适应性比较强的学习方法。在机器学习和人工智能研究中，基于强化学习所具有的动态决策和自主学习等优势，学者们尝试将强化学习方法应用于各个领域。Watkins（1992）提出了强化学习中广为人知的Q-Learning算法，并证明了该算法的收敛性。张汝波等（1996）巧妙地在碰撞模型中引入强化学习算法，并构建了基于强化学习的智能机器人避碰行为模型。Yasunobu等（2003）将模糊控制的概念引入强化学习算法，并成功运用于停车控制系统中。Zamstein（2009）成功将强化学习Q-Learning算法引入并应用于实际环境中的机器人路径规划过程中。随着学者们对强化学习理论研究的不断深入和对强化学习方法的不断改善，强化学习在智能机器人领域得到更加广泛的应用，取得突飞猛进的发展。Jaradat等（2011）使用W限制动态环境下移动机器人的状态数量，创新性地提出一种新的状态空间定义方法，使用该方法可以更加有效地减少Q值表的维数并且提高模型系统的学习效率。Ferreira等（2012）运用启发函数影响动作选择，提出了启发式Q-Learning算法，并应用于实验，实验结果表明，即使是一个简单的启发函数也具备强化学习算法的性能。Song等（2011）将神经网络应用于Q值的初始化过程中，提升了机器人获得比传统Q-Learning算法更加优异的策略的能力。

在人工智能和机器学习早期研究中，有很多将强化学习与金融领域结合研究的案例。Elton和Gruber等（1971）就将动态规划方法运用于金融领域。Merton（1971）提出将动态规划和随机控制思想应用于连续时间内最优消费和投资组合选择领域。Neunier（1995）尝试使用Q-Learning方法对资产分配做出决策。Neunier和Mihatsch（1998）将风险敏感性概念纳入了Q函数的构建中。Moody和Wu（1997）详尽地解释了循环强化学习（Recurrent Reinforcement Learning，RRL）的理论依据和组织构成，优化了模型的目标函数，并在标准普尔500指数和部分美股中做了测试，在对照实验过程中，Moody和Wu证明了强化学习相比于监督学习的优势是明显的。Dempster和Leemans（2006）将自适应强化学习运用到全自动交易系统中，该算法模型由机器学习算法、风险管理覆盖和动态效用优化构建而成，优点是不需要选择模型调整参数，允许用户在系统中进行风险回报评估，而且实验证明该方法可以获得一定收益，同时避免大额损失。Zhang等（2016）引入遗传算法来改进强化学习模型在单只股票上的表现，通过在模型中加入股票的传统指标，提高了强化学习在个股低频交易上的效果。

1.2.3.3　深度强化学习及其在金融投资中的应用研究

鉴于深度学习和强化学习分别在特征提取和动态决策领域获得很大成功，学者们开始关注深度强化学习并将其广泛应用于各个研究领域。Mnih等（2015）认为深度强化学习结合了深度学习的感知能力和强化学习的决策能力，有助于解决复杂系统的感知和决策问题。在深度强化学习模型方面，最领先的就是Google的DeepMind公司，其奠定了深度强化学习模型的基础。Mnih指出深度强化学习理论的开山之作主要克服了数据的相关性和非平稳分布问题。随后，Mnih则对Q-Learning算法进行了改进，引入了单独的Q函数网络，提出了迭代式更新的方法，该方法令Q函数的参数只在一定步数后才更新，相当于通过延迟更新来降低Q函数和Q函数目标间的相关性。这时的深度强化学习技术DQN（Deep Q-Learning）虽然解决了状态空间维度爆炸问题，但其所支持的动作空间依然离散，无法直接应用于权重连续的项目当中。Silver（2017）公开了将强化学习算法结合人工神经网络应用于围棋程序相关的研究，最广为人知的莫过于人工智能AlphaGo挑战世界冠军李世石，并最终以4∶1取得了胜利。同年，Google DeepMind团队提出著名的深度确定性策略梯度算法（Deep Deterministic Policy Gradient，DDPG），理论上解决了连续动作空间的强化学习问题。

在金融领域，深度强化学习也有涉及，但总体而言相关的文献并不多。Deng等（2017）为了加强模型对交易环境的感知能力，创新性地构建了包含模糊学习、循环神经网络和强化学习三个模块的深度强化学习算法交易模型。Jiang等（2017）分别采用了CNN、RNN、LSTM三种网络作为深度强化学习的Q值网络，将深度强化学习应用于数字货币投资，以数字货币30分钟K线数据进行训练和投资，取得了较好的效果。Zhang等（2016）采用DDPG方法，通过判断最佳股票并投入绝大多数资金的方式，获得较高收益。Lei等（2020）将时间驱动特征感知和深度强化学习结合在了一起，通过自适应的选择和加权金融市场的原始特征来获取金融市场中更为稳健的特征表示。上述研究仍是集中于单个金融资产的交易，或者虽然针对多个金融资产，但是将投资权重几乎全部集中在一个金融资产上，更类似于每次从几种金融资产中择优下注，而非关注投资组合管理与交易策略建模。在已有的研究中，深度强化学习方法多应用于自然科学领域，在金融领域的应用较少。而将该方法应用于金融领域的研究者们，大多使用基于价值迭代的DQN（Deep Q-Learning）算法或基于策略迭代的PG（Policy Gradient）算法，很少有学者将DDPG算法应用于股票交易策略构建当中。