BloombergGPT：推动金融GPT 产业机遇
　　2023 年3 月30 日，Bloomberg 发布专为金融领域打造的大语言模型（LargeLanguage Model，LLM）BloombergGPT，实现了LLM 在金融垂直场景的加速落地，国内相关公司包括同花顺、恒生电子、东方财富等企业。从测试结果来看，BloombergGPT 在保证LLM 通用性能的基础上，更加聚焦金融场景，有效实现了LLM 与金融垂直领域知识的深度融合。BloombergGPT 的成功，佐证了“开源模型+高质量垂直数据”LLM 搭建思路的有效性，金融GPT 率先在证券场景落地，同时建议关注后续GPT 在银行领域的业务机会。
　　模型拆解：核心突破在于构建金融训练数据集
　　根据论文《BloombergGPT: A Large Language Model for Finance》介绍，BloombergGPT 同样基于典型的Transformer 架构，与OpenAI GPT 模型相同， 采用了仅有解码器（ decoder-only） 的技术路径。对比来看，BloombergGPT 的模型参数为500 亿，介于GPT-2（1.5 亿）与GPT-3（1,750亿）之间。不同的是， Bloomberg 为强化LLM 对金融垂直领域的专业理解，构建了目前最大规模的金融数据集FINPILE，通过通用文本+金融知识的混合训练，让 BloombergGPT 在执行金融任务上的表现超过现有的通用LLM模型，在通用场景上的表现与现有通用LLM 模型能力基本持平。
　　模型启示：“开源模型+垂直数据”大有可为
　　以GPT-3、GPT-4 为代表的大语言模型均由大型的专业人工智能团队开发，并且模型训练需要大量算力。 BloombergGPT 的成功证明了“开源模型+高质量垂直数据”的方案，可以基于垂直领域数据打造同样具有竞争力的大语言模型。大量的高质量垂直领域知识有望弥补模型在规模上的不足，对比BloombergGPT 与GPT-3 可以看到，尽管BloombergGPT 的模型参数相较于GPT-3 较小，但得益于BloombergGPT 的预训练数据增加了大量的高质量金融数据，并对预训练数据进行了一系列的清洗、标注，BloombergGPT在通用能力与GPT-3 基本持平的情况下，实现了金融垂直能力的大幅增强。
　　金融GPT 展望：掌握金融数据的厂商有望复制BloombergGPT 路径基于BloombergGPT 的成功案例，我们认为，训练数据是大语言模型能力塑造的关键因素，同时，Bloomberg 在论文中明确出于对数据泄露的担忧，BloombergGPT 将采取与OpenAI 相同的闭源方案，侧面佐证了原始的预训练数据是各家大模型竞争的重要因素。从国内的金融GPT 的预期来看，以同花顺、恒生电子、东方财富为代表的金融IT 厂商，掌握着丰富的金融垂直知识与现有AI 产品布局，基于高质量的金融数据与开源的大语言模型，同样有机会打造专属金融场景的大语言模型，实现大语言模型在金融场景的有效赋能，让大语言模型成为底层的AI 操作系统。
　　风险提示：宏观经济波动影响；应用落地不及预期；本报告基于公开客观信息整理，不构成投资建议。
【免责声明】本文仅代表第三方观点，不代表和讯网立场。投资者据此操作，风险请自担。 （责任编辑:王丹）