国际网络波动不给提款 基于支持数据扩充事件驱动循环神经网络的市场波动预测

一、选题的目的和意义

为市场参与者的投资决策提供重要参考信息。根据《每日经济新闻》的报道，截止至 2016 年 10 月，中国股市(A、B 股)投资者数量达到 1.148 亿户，其中个人投资者为 1.145 亿户，占比超过 99.7%。由此可见，广大投资者在某一段时间内做出了一些非理性的行为汇集而成的强大的力量，足以导致市场出现了绝非标准金融理论所能解释的剧烈波动和各种股市异象。而长期的信息不对称和市场价格影响因素的复杂性往往使得普通投资者很难准确预测市场走势。新闻信息作为综合性资讯信息，能够及时反映热点事件，其广泛性特征使得新闻信息能够涵盖各行各业，其商业性质亦要求信息的真实性和时效性。本研究通过提取新闻信息的特征，拟合相关特征与市场走势的关系，通过对股指涨跌的预测，有效帮助市场参与者更好了解股市行业综合行情，一定程度规避金融风险，理性投资相关金融产品，从而提高证券市场投资者的投资决策能力和市场的运作效率。

对金融风险起到一定的预警作用。活跃的金融市场对经济发展和经济转型起到极大的推动作用，但不健全的金融体系和市场机制亦会阻滞市场经济稳步发展，甚至导致经济衰退的严重后果。特别随着国际金融市场逐步全球一体化，金融危机的影响愈发容易从单一市场辐射至其它经济主体，从 1998 年的东南亚金融危机到 2007 年的美国次贷危机，再到近几年的欧债危机，市场参与者的非理性行为、不健全的监管机制、市场的不确定风险等因素导致了金融危机的产生和蔓延。金融市场其中一个重要的功能是能够为市场参与者提供信息，并且以利率、价格等形式直观表示了实体经济供需状况、市场参与者的市场期望等市场信息。因此，若能有效预测金融市场的走势，把不确定风险转化为可测算风险，能为市场投资融资、企业经营管理、经济政策制定等决策提供参考，同时也能为监管机构提供有效预警信息。

探索和分析影响市场波动的因素。金融产品价格的形成及波动不仅受制于各种经济、政治因素，而且受投资心理和交易技术等的影响，乃至与整个市场发展状况及整体经济运行状况有关。多因素的综合作用力增加了分析和量化价格影响因素及其影响程度的难度。本研究应用端到端的深度神经网络模型，模型本身可以通过不断最小化代价函数的输出值自动抓取特征，并通过神经元之间的权重大小将影响因素与指数涨跌的关联程度表示出来。因此本研究在一定程度上能够探索和分析影响市场波动的因素，并量化其影响程度。

在文本处理技术，特别是非结构化文本信息的表示学习方面提供技术参考。在自然语言处理研究领域，以往数据表示方案包括词袋模型(Bag-of-Words,BoW)、实体命名(Named- ,NER)等模型，这些模型都是基于文本中的所有词汇均相互独立的假设，对单词的统计特征进行建模。这显然不符合语言学的逻辑性和语法规则。因此，本研究基于深度学习模型采用知识表示学习方法。在自然语言处理研究领域，表示学习的目标是将文本信息的语义信息表示为稠密低维实值向量。本研究构建一个 （-to-）模型，通过最小化代价函数，使得模型不断学习新闻文本中上下文的信息，并最终通过一个稠密低维实值向量表示一个句子的语义信息。这个句子粒度的表示学习可以用于机器翻译、文本分类、阅读理解等自然语言处理任务，同时也能够为文本信息的表示学习研究提供一定的技术参考。

二、研究背景（文献综述，要列出参考文献）

金融市场结构愈发复杂增加了市场预测的难度。现代金融理论由资金的时间价值、资产定价与风险管理等三大要素构成,其核心问题就是如何在不确定的环境下对资源进行最优配置。由于环境的不确定性以及资源类型的多样化，使得金融系统成为一个开放的复杂系统,其内部的各个经济变量之间存在错综复杂的关系。特别是近几年来，互联网金融快速发展，民间资本准入银行业，各种金融衍生品层出不穷，市场参与者覆盖面不断扩大，金融市场结构愈发复杂多样，增加了对金融市场进行准确预测预警的难度。

我国金融市场参与者亟待了解和参与国际金融市场。随着“一带一路” 建设的不断推进，我国主导的亚洲基础设施投资银行的成立，人民币加入特别提款权(SDR)篮子货币计划的启动，我国正积极吸引国际资金共建开放多元共赢的金融合作平台。特别是沪港通和深港通的成功开启，显示我国金融市场正在逐步走向国际市场，也意味着我国境内投资者有更多机会参与到国际金融市场。在党中央的“十三五规划”文件中，也多次提到要积极参与全球经济金融治理体系，扩大金融业的双向开放，提高我国金融市场在全球金融市场的话语权和国际化水平。由此，政策制定者和境内投资者急需了解把握国际金融市场的走势，以便于制定有效政策法规和投资融资策略。

研究现状带来课题研究的迫切性。当前国内金融市场预测特别是股市的预测大多基于计量经济学方法[Y1]，即使使用智能方法(支持向量机[Y2]、神经网络[Y3]、集成学习[Y4]等)进行预测，也多基于对历史价格[Y5]、交易量[Y6]等盘面数据进行分析预测，这与国外市场预测研究存在一定差距。国外该领域的其中一个研究分支是以大量在线文本信息(社交媒体推文[Y7]、新闻信息[Y8]等)作为数据，分析这些信息对市场走势的影响，进而对于相关指数进行预测，相关研究表明在线文本蕴含丰富的潜在信息，充分挖掘这些信息能有效预测市场波动。特别地，自 2006 年以来深度学习模型[Y9]在包括自然语言处理[Y10]在内的多个领域取得了巨大进展，极大促进了利用文本信息进行市场预测的研究进度。近年来互联网快速发展也使人们更加容易发布、获取和处理文本信息，根据路透社发布的 2016 年全球网络新闻状况调查，约 51%的互联网用户通过网络获取新闻信息，其中约 75%互联网用户更倾向于阅读文本新闻。由此可见，基于文本信息的市场预测值得深入研究。

基于此，本研究拟深入研究“基于新闻文本语义分析的金融市场波动预测研究”。当前，新闻文本包含大量对经济政策、市场等多方面的深度解读与报道，实时性较高，且这些信息被市场消化吸收后体现在其价格中。

因此，通过挖掘新闻文本与金融市场波动之间的潜在关系，可一定程度解释金融市场波动受哪些因素影响较强，各因素综合在一起又是如何影响市场波动走势等问题。对政策制定者和市场参与者而言，通过挖掘相关新闻与市场相关指数之间关系，可宏观把握金融市场经济波动趋势，从而为相应政策制定和投资融资策略提供依据与对策。

参考文献：

[Y1] , L. A., & , A. L. I. d. (2010). A for stock and . with , 37(10), 6885–6890.

[Y2] M. , M. , D. , news : Stock price based on

news using - , 55 (3) (2013) 685-697.

[Y3] Liu, F., & Wang, J. (2012). of stock index by with time . , 83, 12–21.

[Y4] , M., Poel, D. V. d., , N., & Gryp, R. (2015). for stock price . with , 42(20), 7046–7056. [39] A. K. , S. , et al. Text for : A . 41:7653-7670, 2014.

[Y5] , A. L., & Meira, S. R. (2006). in time with . , 70(1), 79–92.

[Y6] , G. S., & , K. P. (2009). stock –Part II: Soft . with , 36(3), 5932–5941.

[Y7] , W., & Frank, M. Z. (2004). Is all that talk just noise? The of stock . The of , 59(3), 1259-1294.

[Y8] G. , and C. Elkan. "Using news to stock price ." of and , of , San Diego (2001).

[Y9] Ding, X., Zhang, Y., Liu, T., & Duan, J. (2014). Using to Stock Price : An . In EMNLP (pp. 1415-1425).

[Y10] Ruiz, E. J., , V., , C., , A., & , A. (2012, ). time with micro- . In of the fifth ACM on Web and data (pp. 513-522). ACM.

三、选题研究的内容

研究内容

本论文主要对文本信息分布式表示、文本信息特征提取、深度学习预测模型三个部分进行建模。新闻文本上下文之间具有强关联性，前期发生的新闻事件对当前市场的影响具有时效性，这种数据关联性和时效性可以通过序列()进行建模，本论文采用 RNNs 进行序列建模。在传统前馈神经网络中，从输入层到隐含层再到输出层，层与层之间的神经元均为全连接，每层网络中神经元之间无连接，这种神经网络对于序列数据显得无能为力。RNNs 主要用于处理序列数据，即一个序列当前的输出与上一时刻的输出相关。具体表现为网络会对上一时刻的信息进行记忆并用于当前输出计算中，即隐含层节点之间相互连接，互相通信，隐含层的输入不仅包括当前时刻的输入，还包括上一时刻隐含层的输出。

图 2：RNNs 结构图

RNNs 的结构如图 2 所示，前面部分为实际的网络结构，后面部分为了直观表示，将其进行展开表示，其中 表示连续的不同的时间节点的输入数据， 表示对应时间节点的隐状态( state),其中隐单元前后时刻互相连接，后一时刻的输出受其前一时刻输出影响。理论上，RNNs 能够对任何长度的序列数据进行处理，但为了降低复杂性往往假设当前状态仅与前 N 个状态相关。此外，一般的 RNNs 无法处理随着递归深入而产生的权重指数爆炸或消失的问题，而且很难有效捕捉到长时间的关联信息。为了有效对序列数据进行建模，本研究分别结合 GRU 和 LSTM 两种不同的记忆单元构建 RNNs，其中文本信息分布式表示模型和深度学习预测模型均采用 RNNs 进行序列建模，文本信息特征提取模块采用向量求平均的方法进行建模。

(1) 文本信息分布式表示模型。

该模型基于 RNNs 和 GRU，利用新闻文本以及其上下文构建一个有效的语言模型，能够将把非结构化的文本信息表示成一个含有语义信息的向量。该模型以数据集中的新闻正文为训练集，训练完的模型能够将一篇新闻的标题表示成含有语义信息的向量，使得不同新闻标题之间可以进行有效的度量和特征的提取。

本研究采用 模型（-to- ）对新闻文本构建语言模型。 模型突破了传统方法必须输入固定长度输入的局限，是一种端到端的序列学习模型。该模型分为两个部分： 模块和 模块。 模块通过 RNNs 递归神经网络，从句子的第一个单词开始递归迭代至最后一个单词，通过记忆神经元将该句子中词与词之间特征信息不断通过隐状态( state)递归至句子结束，最后一个单词输出的隐状态即为该句子的分布式表示。 模块在 模块所产生的隐状态条件下，使用该隐状态作为输入，通过最大化在 模块中句子条件下生成 模块中的句子的条件概率。模型通过误差反向传播算法(Error Back , BP)对参数进行更新修改，最终使得该语言模型能够产生能够刻画句子语义信息的句子向量( )。

图 3： 模型

本研究设计的 模型如图 3 所示，其中三元组 表示一段连续的含有三个句子的文本，其中 为 的前一个句子， 为 的后一个句子，该模型通过中间的句子预测前后两个句子建立语言模型，“”(end of )标识符表示句子结束。为了直观理解，将 RNNs 平铺展开至图中所示，其中 model( )、 model( )和 model( )分别为三个不同的 RNNs 模型。定义 为句子 第 个单词， 为该单词的词向量， 为该句子序列 时刻的隐状态， 和 以此类推。本研究设计了一个四层 RNNs 递归神经网络作为 model和 model 的序列模型，每层网络由 1000 个 GRU 记忆神经元组成。 在给定上下文三元组 ，模型的目标函数如下最大似然公式所示：

该似然函数的优化目标为最大化给定 条件下，上下文分别为 和 的似然概率。通过最大化条件概率 ，利用误差反向传播算法，优化模型参数，最终使得模型能最大化拟合语料库数据。训练完的模型，固定 模型的参数，输入一个句子，生成具有语义信息的句子向量 。

(2) 文本信息特征提取模型。

经过 模型，每个新闻事件均可表示为一个有意义的向量，称为局部描述子。每天可以有多个新闻事件，但只有一个收盘指数，本研究对预测模型的时间序列进行建模也是以天为单位，如何有效把多个局部描述子与市场价格指数对应起来，在以往的研究中发现，将一天中所有新闻事件的向量求平均足以体现较好的预测性能，故本研究在进行文本信息提取时直接对一天中所有事件向量求平均，以对应每日股票指数的涨跌。

(3) 支持标签数据扩充模型。

在现实交易中，股市在周六日与假期没有相应的交易数据和标签指数，但每日的新闻事件却在不断地发生，因此标签数据的缺失造成了数据预测时的不连贯性，由此限制了模型的性能，故本文提出使用DNN和FLD模型构建人工标签，扩充数据集，以增强模型性能。

(4) 文本时序数据预测模型。

新闻事件对指数的影响具有时延性，前期发生的事件可能对当前市场造成波动，并且这种滞后性随着时间推移，其效用逐渐变弱。本研究采用由 LSTM 记忆单元组成的 RNNs 模型挖掘新闻事件对指数的时滞影响。在对每日发生的新闻文本进行建模得到全局特征向量之后，可将该值作为RNNs的输入进行训练，得到新的预测模型用于标普500指数的预测。

本研究设计一个包含数层隐层的递归神经网络，每层网络由 1000 个 LSTM 记忆单元组成。将全局特征向量按发布日期进行排序，记为 。若以 7 天为一个输入序列，每相隔一天取第二个输入序列，即输入数据为：

输出值 y 表示为第 t+1 天标普 500 指数的跌与涨的概率值， ，其中 表示指数是跌的概率值， 表示指数是涨的概率值，即如输入数据为 ， 预测第 t+1 天标普 500 指数收市时相比于第 t 天会涨或跌的概率值。模型将 函数作为输出层的激活函数，对 LSTM 神经元的输出值归一化，得到预测标普 500 指数涨和跌的概率值。

本模型使用交叉熵代价函数（cross- cost ）作为模型的目标函数，如下式所示：

其中 为目标概率， 为预测概率， 为输出类别的数量，该损失函数衡量了预测概率与目标概率在概率分布上的拟合程度。本文处理一个二分类问题，输出类别 为 2， 为实际标签值， ，0 表示跌，1 表示涨。 表示模型的预测值， ，且其分量之和为 1，若 表示跌的概率值，则 表示为涨的概率值。因为 ，所以 ，同时当 无限接近于 时， 无限趋向于 0，所以通过最小化 的值，对模型参数进行梯度更新，直到损失函数取得最小值并保持相对稳定不变，此时模型可以预测标普 500 指数的涨跌。

四、选题研究的研究方法和要解决的主要问题

研究方法

结合自然语言处理技术和深度学习模型，本研究拟定以路透社和彭博社财经版块的新闻信息作为数据集，以标准普尔 500 指数（ & Poor's 500 Index，S&P 500 Index）作为预测对象，利用该数据集对模型进行训练和测试，利用历史新闻信息预测每天指数的涨跌（以收盘指数为准）。本文提出方法和模型均适用于上证股指、深证成指等不同股指的分析和预测。

主要工作从以下四个部分进行：

(1) 文本信息的语义表示。文本信息的语义表示学习是通过机器学习算法将研究对象的语义信息表示为低维稠密实值向量（）,亦称分布式表示（ ）。如“我喜欢吃苹果”这句话与“我喜欢吃菠萝”和“我能够开车”两句话相比，与前者的语义相似度要比后者的强，亦原句与前者的语义距离更为相近。将文本信息转化为实值向量，就是将这种语义关系量化，提高文本之间的语义计算能力和模型的表达能力。本文使用基于 GRU（Gated Unit,GRU）记忆神经元的时间递归神经网络（ ,RNNs）对新闻文本进行建模，构建语言模型，并利用训练完的模型为每一篇新闻事件的标题生成一个对应的表示向量。

(2) 多文本信息的特征映射。每天可以有多个新闻事件，但只有一个收盘指数，本文对预测模型的时间序列进行建模也是以天为单位。为了有效将多个新闻事件映射成一个全局语义特征，在分布式表示基础上，本文利用高斯混合模型（ ,GMMs）和 FV 模型（ ,FV）对每天发生的新闻事件进行特征提取。该模块结合生成式模型和判别式模型的优点，能够有效提取多个新闻事件的特征信息，并最终将归属于同一天的所有新闻事件统一表示为一个高维向量。

(3) 标签数据扩充模型的构建。考虑循环神经网络的连续性对模型效果的影响，结合周末新闻事件对股票价格波动的作用，在获得上述新闻事件向量表示的基础上，通过线性判别模型 (FLD) 和深度神经网络 (DNN) 进行建模，以当天新闻事件向量作为特征，生成当天的股票指数标签，对数据集进行扩充。以该数据集为基础，使用上述方法进行市场预测，提升了模型的效果。

(4) 时序数据预测模型的构建。基于新闻事件的标普 500 指数预测模型结合 LSTM（Long-Short Term , LSTM）记忆神经元和时间递归神经网络模型，对新闻历史信息与指数涨跌的时间序列构建 LSTM 递归神经网络模型。该模型通过记忆一段时期内的历史信息，最小化模型代价函数，将影响指数变化的新闻特征映射到模型的参数中，最终利用训练完的模型对标普 500 指数的涨跌进行预测。

对于市场预测而言，文本是最主要、最直接的信息载体。其中，新闻报道由于撰写较为规范、行文风格较为统一、报道较为真实，已成为市场波动预测中研究最为广泛的一类在线文本。基于此，本研究主要研究基于在线新闻文本的金融市场波动预测。我们的研究特色在于综合运用自然语言处理技术、深度学习模型和机器学习方法从文本数据的角度分析和解决市场预测中非稳态、非线性和高信噪比的不稳定金融时间序列难题。文本语义表示的创新。本研究利用 RNNs 和自动编码器模型（Auto-），通过最小化代价函数去自动获取文本信息的语义信息，取代传统的统计方法。同时，在有效保留文本语义信息的前提下，将非结构化文本数据量化为稠密低维度的向量，提高了后续模型的学习能力和预测性能。

支持数据的创新。本研究基于线性判别模型 (FLD) 和深度神经网络 (DNN)，将缺失数据日期对应的人工标签通过 FLD模型和 DNN 模型生成一个有效额扩充数据，使得新闻事件与市场指数能够有效且不间断对应。

时序模型的创新。本研究基于递归神经网络模型和 GRU、LSTM 等记忆单元，将每天的新闻信息与标普 500 指数进行有效对应，通过模型拟合历史新闻和当前资讯对指数涨跌的影响。

拟解决关键问题

单语句语义表示。语句是单词按一定语法规则有逻辑的组织，其语义往往嵌入在其逻辑顺序中，因此必须建立一种模型能够刻画词与词之间的逻辑关系，以准确理解其语义。语句表示作为预测模型的输入，对模型预测性能极为关键。

多文本表示建模。在得到语句语义表示之后，直接对其进行运算，势必会破坏其语义性质，导致运算结果无意义。因此必须构建一个模型，使得各语句的语义表示可以在该模型上进行运算，使运算后的结果保持语义。如有三则新闻，两则对市场持有微弱的乐观态度，另一则对市场极度悲观，在此情况下，通过运算得到的最终表示应具有悲观语义。

五、研究与写作计划

研究与写作计划安排

具体研究进度如下：

2017.12-2018.01：完成相关数据采集和预处理工作；

2018.01-2018.01：完成模型设计和代码构建；

2018.02-2018.02：完成模型训练和效果评测；

2018.02-2018.03：完成软件系统搭建和毕业论文撰写。

剩余内容已隐藏，您需要先支付 5元 才能查看该篇文章全部内容！