全球最大交易市场NYSE开启生成式AI探索之旅

2024年12月31日,21时36分09秒 科技新知 阅读 108 views 次

在证券、外汇、商品等市场中,“量化交易”已成为被广泛使用的一项重要的交易策略。越来越多的基金经理、投资人更倾向于使用“量化交易”策略支持投资决策,即使用数学模型和计算机程序来预测证券市场的行为,在市场中快速买入和卖出证券,以求在市场波动时通过高频率交易获得较高收益。

这使得作为全球资本市场核心之一的纽约证券交易所(NYSE,以下简称“纽交所”),每天都需要处理如天文数字般的交易信息。纽交所高级技术总监Anand Pradha透露:“纽交所每日处理的交易量高达数十亿笔,最高记录达到五千亿笔”。在交易期间,纽交所还需要面向海量投资者,提供交易法规和文档解读服务,搜集来自市场的股价波动、市场情绪、企业资讯等信息,监控异常流量、审核欺诈内容等一系列复杂的信息处理工作。

全球最大交易市场NYSE开启生成式AI探索之旅

处理这些浩如烟海的交易数据,并从中高效、精准地挖掘出最有效的投资决策信息,对纽交所的分析师们而言挑战巨大。因此,纽交所将目光投向了在处理文本、总结与问答交互方面更具优势的数据分析和机器学习技术生成式AI上,以此提升数据处理分析、投资决策生成、异常监管等效率和质量,减轻重复繁重的人工作业。

超3000家上市公司,总市值全球第一

新考验之下纽交所开启“云化”之路

成立于1792年的纽交所是美国历史最悠久、规模最大,也是美国资本市场中,组织最健全、设备最完善、管理最严格的证券交易所。目前在纽交所上市的公司已超过3000家,包括来自48个国家的385家外国公司,在全球资本市场上筹措超10万亿资金,上市公司总市值位列全球第一。

美国及外国政府、公司和国际银行的数千种债券也在纽交所上市交易。如此庞大的交易体系和繁荣的交易市场为纽交所带来了巨大的数据量冲击的同时,也制造了不少麻烦。

首先,纽交所要存储和管理交易市场中产生的海量历史数据需要自建庞大的服务器或数据中心,大量的硬件设备和人力资源带来的运维成本极高;其次,由于参与纽交所交易活动的投资人来自世界各地,如何让不同地区的投资人都能享受到快速的访问速度和高质量的网络服务是一项难题;同时,由于资本市场数据的高度敏感性,纽交所必须确保全球投资人与上市公司数据的安全性、合规性和同步备份;此外,纽交所的分析师们和监管部门在处理分析海量交易数据时,例如识别、筛选、标记、处理其中的欺诈有害信息,对数据中心的分析算力也提出了不小的考验。

为应对上述诸多痛点,纽交所早年将信息处理提效的方向设定在自建大规模数据中心上。但新问题很快便接踵而来,一方面由于大量数据负载造成的过高延迟对市场产生会不可接受的影响,优化延迟问题迫在眉睫;另一方面,要从庞大数据中仔细查看每一笔交易信息,监管市场,对纽交所着有限的运算和存储能力又提出了更大的挑战。

于是,纽交所决定开始“上云”战略,选择与亚马逊云科技合作,将数据迁移到云端,由亚马逊云科技集中管理、处理、收集和存储,提供纽交所日常所需的数据运营服务,并支持客户能够大规模获取纽交所的历史参考数据。以Amazon Simple Storage Service(Amazon S3)储存服务为例,它在可扩展性、数据可用性、安全性和能效方面业界领先,为数百万不同规模和行业的客户提供几乎可应用于任何场景的存储、管理、分析和保护任意数量的数据。借助高成本效益的存储类和易于使用的管理功能,Amazon S3帮助纽交所优化成本、组织并分析数据,以及配置精细调整过的访问控制,从而满足特定的业务和合规性要求。

2023年10月,纽交所与亚马逊云科技进一步加大合作,通过整合自身在专业投资、新兴产业和项目评估领域的庞大知识体系,宣布推出了基于亚马逊云科技提供的云平台技术的NYSE LaunchPad,全面帮助客户获取专业技术和知识,以高效进行投资交易产品评估和测试。

瞄准下一代技术创新

纽交所开启生成式AI探索之旅

进入到AI时代,如何做好纽交所下一代的技术创新,Anand Pradha认为当下需要突破的是利用机器学习解决交易规则整理、市场情绪分析、异常流量和数据检测、监管欺诈信息等一系列的问题。

而早在2016年,证券市场中就有过使用AI技术识别市场欺诈信息和操纵行为的先例,如在大交易达成时从聊天室中搜寻、整理各类信息,快速解决“分层”等复杂问题,“分层”即向证券交易所提交订单后立即取消交易,人工操纵股市价格。当然,AI未必能阻止类似“闪电崩盘”的事件,但可以更快地找到造成类似事件的操纵行为,保障市场监管者省时省力。同时,由于AI能够同时分析数百万个数据点,某种程度上取代了大量来自人力的数据处理和分析工作,不仅能提供相对客观的投资策略建议还显著减低了金融机构的运营成本,因此坊间甚至一度曾引发“基金经理和金融分析师是否会被人工智能取代”的讨论。

在纽交所,目前的工作流程在许多环节中仍然离不开人工操作和干预,人工智能辅助人类决策的“人机协作”模式更符合现实。一个显而易见的问题是:并非所有纽交所交易人都是谙熟市场规则的资深投资人士,即便是证券行业从业者,面对时常更迭的监管文件和复杂的交易法规也会无所适从。Anand Pradha也表示:“在2007年,我刚刚进入纽交所时并不能理解这些复杂的交易规则,以至于我不得不寻找专业团队为我简化这些条文。”因此,更值得尝试的方向是生成式AI。然而,对于大多数企业而言,在构建生成式AI应用前如何找到合适的模型是一项重大问题,因为企业方通常仅对单一模型的效果评估也需要花费几周时间。

就这样,纽交所选择了长期合作伙伴亚马逊云科技推出的Amazon Bedrock——一项允许开发者轻松地构建、微调和部署由基础模型支持的生成式AI应用,在无需进行底层基础设施建设的同时也可以保障应用程序的无缝部署、可扩展性和持续优化服务。它基于亚马逊云科技强调多模型相互协作的AI生态系统,于今年发布的Amazon Bedrock Marketplace允许如纽交所这样的机构或其他开发者可以轻松访问包括 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon在内的100多款高性能基础模型。它还简化了客户模型选择、简化模型训练、简化代理集成等等,通过Model Evaluation即可帮助企业客户快速分析和比较Amazon Bedrock上模型,将模型评估时间缩短至几小时。

当然,纽交所选择Amazon Bedrock的原因并不仅限于此。例如对纽交所这样的金融机构而言,使用专有模型导入功能将其利用自身数据定制的模型集成至Amazon Bedrock能够显著减少运营成本并加速应用程序的开发,以完全托管的API形式进行访问,并通过这种方式为构建生成式AI应用程序:通过极为简化的操作,纽交所可使用Amazon SageMaker或其他工具开发的模型集成到Amazon Bedrock平台上,在模型通过自动化验证流程后便可像访问平台上其他模型一样,访问自己的定制模型,同时享受到目前Amazon Bedrock所具备的所有优势——包括无缝的可扩展性、强大的应用保护能力、遵循负责任的AI原则、利用检索增强生成(RAG)扩充模型知识库、轻松创建用于完成多步任务的代理(Agents)、进行微调以持续训练和优化模型,且无需管理底层基础设施。

此外,Amazon Bedrock的首要任务便是利用多个模型(FM)和尖端的AI生成功能,例如:使用更擅长文本生成、摘要、问答和代码生成,涵盖Mistral 7B、Mixtral 8x7B 和 Mistral Large尖端模型的Mistral AI 模型系列,将这些复杂的文件与法规内容转化为易于理解的语言,基于交易规则文件创建AI聊天机器人,让任何人都能够查询有关交易规则的问题。不仅如此,这一模型在创建期间集成了不仅包括纽交所,同时还涵盖所有美国交易所的2万页规则,使AI机器人的回答覆盖范围更广,提升询问者的使用体验。

全球最大交易市场NYSE开启生成式AI探索之旅AI智能回答交互

利用生成式AI提效海量信息处理

纽交所数据运营的开创性解法

相较传统的法规普及与解说模式,由AI聊天机器人提供的答疑互动一方面显著提升了提问者的咨询效率,通过参照可反复查阅的文字记录能够得出更令人满意的回答。另一方面也降低了提问者对交易所工作人员的服务依赖,使得纽交所能够释放更多人力资源到其它岗位,提升分析师人才的利用率。同时,模型的机器学习还能够时刻保持对法规文件的最新时效性解读,降低了提问者从非专业渠道、非官方途径记忆获取过时法规信息带来的风险因素。

由于交易市场每天都会涌现海量的新闻报道和客户交流信息,因此纽交所使用Amazon Bedrock开发了针对金融市场的文本情感的分析应用,即利用LLMs对这些非结构化数据进行内容提取,在海量文本中提取关键信息并生成摘要,通过深入分析这些信息判断对股票价格走势的潜在影响。。

事实上,LLMs在诸多领域中都有广泛应用,例如创建聊天机器人或虚拟助手准确响应某类特定客户的需求;高精准度的不同语言文本翻译;内容生成和代码补全等。但对于纽交所这样的证券机构而言,LLMs在挖掘市场动态、投资者情绪、洞察新闻事件对市场潜在影响等方面的能力更有价值,在此模型上创建的聊天机器人也可以成为交易人投资决策的辅助工具。据报道数据显示,LLMs极大改善了传统的问答搜索工具体验,显著减少了失败的搜索次数并提升了整体性能;其广泛应用降低了80%的人工工作量,在自动化任务执行中达到了约90%的准确率。

通常而言,这些基于LLMs创建的工具在正式投入使用前需要几个重要阶段。

首先是收集大量的文本数据,包含包括书籍、文章、网站等多样化的数据集,确保模型学习广泛的语言模式和概念,再经过数据预处理将其格式化为适合训练的结构,也就是数据收集与预处理;随后需要选择和配置符合使用者需求的神经网络模型的架构,一般大模型的性能更强,但需要更多算力资源来支持训练和推理;接下来将模型配置在预处理过的文本数据上进行训,例如基于前一个或几个词来预测句子中的下一个词,这涉及到使用反向传播和随机梯度下降等优化算法来调整模型的参数(权重和偏差),模型训练阶段时间一般取决于模型大小和算力的支持度;在初始训练完成后,使用者就可以利用各类指标对模型性能进行评估,微调或改善某些特定性能,使用如医疗、教育、制造业等领域的较小数据集继续训练模型,更适应其在不同行业内应用的细微差别。

由于证券市场中一直存在着部分欺诈、有害或误导信息操纵扰乱市场,依靠人力和传统监测方式难有效应对的现象。因此,纽交所利用Amazon Bedrock中的LLMs以及经过微调的模型,在实时分析和监控市场动态的同时创建了Guardrails功能。它允许客户在单一服务中同时拥有内置和定制的防护机制,对需要针对主观标准或需要细致判断的内容,建立信息审核模型,控制过滤不良和有害内容,根据特定应用场景的指标(如相关性、风格和品牌声量)对模型进行评估,为监管机构提供及时预警。

在创建Guardrails时,客户只需提供一个自然语言描述来定义其应用程序上下文中不予显示的主题,设置阈值以过滤如仇恨言论、侮辱、黄色用语、或在提示词中含有攻击和暴力性等内容,即可去除个人信息和敏感信息、亵渎语言、特定词汇,阻挡高达约85%的有害内容。显然,这种欺诈信息监控方式在增强纽交所信息监管精确度的同时也显著提升了分析师们的工作效率。

全球最大交易市场NYSE开启生成式AI探索之旅纽交所高级技术总监Anand Pradha

除以上应用场景外,据Anand Pradha公布的纽交所机器学习计划展示,未来将从整理交易规则文档情报、搜集新闻和市场情绪分析、检测异常网络流量、数据质量检查、债券价格邮件解析、转化复杂报价信息、欺诈信息检测和检测抵押文件时效8个方面部署和测试生成式AI。

END

随着算法模型的持续优化和算力资源的不断提升,生成式AI未来将在数据处理、内容创作、投资决策等诸多场景都将发挥更重要的作用,企业的技术体系、组织架构、商业模式、产业形态将被加速重构,迎来巨大的机遇与挑战。

正如Gartner报告预测,到2025年,综合数据的使用将使机器学习所需的真实数据总量减少70%,大型组织有30%营销信息由AI生成。到2026年,将有超过1亿人会和生成式AI一起工作,各司其职,到2027年,将有近15%新应用程序由AI自动生成,无需人工参与。

在金融证券市场,多数券商均表示看好生成式AI在业内的发展前景,并预测其成为证券从业者辅助决策、趋势研究、风险管理、监控信息、信息交互的重要基础设施。而作为全球金融领域的领导者,纽交所其行业数据积累丰富及较高的专业壁垒与生成式AI模型存在着高适配度,也将是更适合生成式AI模型进行学习和训练土壤。

*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用,亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。

(来源:钛媒体)



用户登录