好 各位来宾 大家好接下来将由我和另外两位演讲者一起来聊聊我们金融行业云原生存储的相关的探索与实践首先做一下自我介绍我是来自普发银行信息科技部的处结另外两位演讲者一位是我的同事 曹阳另一位是来自上海道客网络科技有限公司的郑宏超先生好 那现在我们就进入本次的话题近年来 随着大数据 人工智能区块链等技术的兴起和广泛应用正在深刻影响着我们传统的银行业数据已经成为数字时代的基础性战略资源和关键要素数据要素市场化也已经成为国家战略那么在这样的背景下银行业也在经历着这场大数据的变革那么在具体应用场景上随着我们大数据在银行中的逐步深入应用那业务场景也随之越来越复杂在用户使用上那我们银行科技包括业务部门的数据分析人员体量不断地增加那随之而来的数据分析和使用的需求也不断涌泄那么在平台规模上为了满足快速扩张的存储以及算力的需求那么我们平台的规模也在持续地扩展那在数据时效上为了快速动习市场变化并迅速做出相应的业务策略调整那么需要更高的数据时效保障在安全合规上那银行对于关键的信息技术有着更高的安全合规要求那么在这样的背景下银行在大数据建设过程中普遍遇到的两个问题也预加明显那首先是大数据平台类的系统随着规模地不断增大成本投入与收益比成竹建降低的趋势主要的原因使资源利用率难以进一步地提升银行的大数据平台对于资源使用率的峰值差往往是比较大的那在现有的存算议题架构下通过管理手段来提高资源利用率的效果其实是很有限的那么第二个问题是技术和架构的不断升级迭代所带来的新问题那从管理的角度看我们大数据多生态多组建共存 协同的解决方案其实是当今的主流那么同时大数据平台的传统架构又逐步地再向云元生存算分离等方向演进那么在过程中势必会面临多生态多组建甚至多架构并存的一个形态那么如何开展统一高效的管理是更带解决的问题那么从数据角度看其实企业大数据平台架构中的数据孤岛问题那其实仍然普遍存在那面对这些问题普发银行也一直在探索和尝试相应地解决以及优化的方案在2021年我们也有幸参与了当时的Kubakon大会分享了普发银行在普发银行大局平台在云元生方面的一些探索那么从大数据的技术和架构的发展趋势来看那我们认为云元生是大数据未来的发展趋势大数据加云元生将会是未来的主流架构那么因此近年来我们也在不断地尝试和探索将云元生技术与传统的大数据平台做更好的融合利用云元生的优势来强化我们的大数据平台以提供更好的平台和技术的支撑那普发银行根据业务经营的发展要求制定了数字科技十四五的战略规划而明确推进金融数字化转型以数据为驱动以创新为引擎加速全行业务转型发展那么在这样的背景下总航大数据应用中心也是着力构建了数据驱动模式下数据能力体系规划并不断地建设丰富与完善那么在这个规划中我们通过底层存储计算调度和云元生等组建构建来支撑上层AI BI DI等各类平台的建设那么这些平台通过对AI BI DI这些能力的沉淀来负能上层的业务产品能力输出最终负能全航的数字化经营那么在整个的建设过程中数据治理和资产运营始终贯穿整个建设的全生命周期我们通过健全数据治理体系加速数据资产化的管理来激发数据动能那在落地整个数据驱动能力体系建设规划过程里面那我们的普发银行基础数据平台建设是以多地多集群多活多租户的这样的架构模式去开展建设的那当前整个的平台架构已经超过2700个节点为全航大数据应用提供多场景的数据服务支撑那包括了离线批量处理实施计算连级查询建模分析等服务那么在部分场景上我们也使用了云烟生的技术来提升我们平台整体的服务和支撑能力那么在具体的云烟生技术相应用的方面主要集中在两个方面首先是融合应用那从普发银行自身的平台建设经验来看多技术生态是支撑我们航数据应用的基础为了运用好多类型的技术那其实是需要解决多种技术生态统筹管理融合应用的问题那结合行业技术的发展趋势那我们也根据自身平台一些管理的经验安全和规的要求自主研发了带帽的管理系统来对各类的生态组建开展统一的管理那么其次是高效支撑普发银行利用云烟生的技术优势开展了集群存算分离模式的部署并且开展了效应的应用实践存储计算资源分离之后我们可以更精细更灵活地来管理我们集群的资源为应用以及租户提供更好的服务体验那么在我们整个大数据云烟生的实践探索过程中我们也是主要从一些自身碰到的痛点问题出发这里也列举了几个痛点问题第一个是大数据平台架构在迭代扩展过程中刚才提到了就势必会出现我们大数据多种的大数据生态产品组建并存的问题那么如何对这一些多产品多组建进行统一以及高效的管理这是我们面临的第一个问题其次我们整个平台以及集群我们的资源利用率其实还不是很高有一些集群还存在一定的资源荣誉在这种情况下到底如何来进一步提升我们的资源利用率再有在多种生态产品的这种并存的情况下我们在数据交互和数据使用过程中如何来做到安全合规那时候是我们碰到第三个问题针对这些问题我们也是尝试了多方面的实践和探索在这里列举了三方面的实践在管理方面我们研发了代贸的这样的一个管理系统来统一管理多种大数据产品生态组建来提高整体的管理能力和管理效率来解决多产品的管理问题那在计算方面我们是持续在探索计算引擎的云化并且落地存算分离的架构那在存储方面我们主要是去探索了云元生存储的解决方案为大数据引擎云化提供持久化的存储支撑在存算方面去解决资源利用率的问题那么接下来将有我的同事曹阳来给大家介绍具体的实践内容欢迎谢谢初老师那接下来由我为大家介绍普发银行在云元生方面的相关探索实践那首先呢为了解决普发银行大数据平台多种大数据技术生态并存下的一个管理问题我们首先做的就是管理系统的研发我们研发了统一管理平台代贸也是依托这个平台我们实现了大数据云上到云下多种大数据技术生态并存并且分而置之那右边呢是我们代贸平台的一个架构图那通过架构图我们可以看到那我们整个的代贸管理平台呢是基于云环境进行部署的那它在存储也是支持常见的HDFS S3存储同时呢它也是支持我们行在二一年于道客还有其他公司联合研发的开源项目Paris容器存储那我们通过适配层的一个适配开源兼容适配开源商业化的引擎举证同时我们的代贸管理平台呢也是支持多种大数据技术生态组建的除了常见的Hadop技术生态它也是支持一些其他大数据技术生态的比如ClickhouseESSolar等等那为了增强上下层的一个联通性加强下层的大数据技术组建的管理到上层应用服务的一个穿透能力我们也是研发了一个驱动层进行一个统一的驱动对接包括审息 工作流调度 权限 用户等等那在应用服务层呢我们也是根据我们的应用逻辑定制化开发了一些应用服务的功能包括我们的应用服务运为服务 监控服务等功能在上层为了更好的支持这些应用服务以及一些运员生的支持我们也是研发了各类的增强组建那这些增强组建呢也都是支持运化部署的嗯 在最上层的应用层那为了让我们行各类的应用场景在我们平台上快速地落地我们也是依托了这个统一管理平台然后并且结合了我们的一些平台运为和平台管理的一些应用服务经验也是总结生成了各类的解决方案那其中有SML 动产分析解决方案SDW 数据仓库解决方案SOD 连基查询解决方案那除了这种方案整合式的管理那我们的代貌呢也是支持标准化接入管理的好 接下来为大家具体介绍一下我们研发的各类增强组件那为了应对行内的不同应用场景以及应用需求我们也是研发了各类的增强组件那下图呢是我们目前在深闪上已经试用的六个增强组件那第一个呢是跨集群的数据捅布组件SAML那这个组件呢它是支持不同生态之间不同版本的HARVHDFSHBS 的组件进行一个双向的数据捅布那它在数据传输的过程中呢也是安全加密的并且在数据传输前后进行数据移植性教验那它就会解决多种生态之间数据传输的一个安全问题以及数据移植性的问题那符合我们行一些安全合规的规范那除此之外呢我们还有一些其他的组件包括我们的数据加载数据质量减控query 前置干预那数据预处理那数据作业调度服务这些组件那这些组件呢都是助理我们行的一些业务需求并且在一些方面我们已经取得了一些做软件做作权和专利权那接下来呢就是我们的弹幕管理系统是支持接入了多种大数据技术生态并且海纳百川统筹管理的那右边呢是我们目前已经规划的各类大数据组件那我们通过一个驱动逻辑整合已经试点介入了cdh 集群cdp 集群和开源大数据集群那这种多技术管理它是具有非常重大意义的首先它不仅可以兼容一些新的技术同时呢我们也是使用了一些安全稳定的一些版本那这样就会符合我们行安全稳定的一些行列要求同时呢它面对不同的应用灵活变换也是可以助力业务可持续的一些业务需求的那接下来呢是为大家介绍第二个实践那为了解决我们行集群资源利用率低以及集群资源乳鱼的一个情况我们也是做了一个计算引擎的云化那在阿依年的cdp 大会中那结尾我们也是展望了一个存算分离的架构那通过两年的时间呢我们也是不断地探索不断地实践目前我们生产上已经有一个集群落地了存算分离的架构那这个集群呢它的存储部分是使用传统模式进行部署的那它的计算部分呢是使用私有云部署的那它们的存算之间呢是可以共享数据云元数据用户以及全线全线体系等相关信息的同时呢我们的计算集群呢也是可以快速弹性地创建hubimpalaspark 等计算服务那为上层的一些人工智能探查分析以及我们行的一些创新业务提供一些敏捷性的服务以及技术支撑那除此之外呢我们在计算引擎云化的过程中也是做了一些其他方面的探索那我们是针对一些主要的开源的大数据技术组建比如HDFSRangerHUBZCAD这些组建我们也是开展了一些容器化的部署研究那这里我就不在这处了那以上就是我们好像在管理系统研发和计算引擎云化方面的相关探索的时间那接下来呢请我们的道客的郑鸿超先生为大家介绍云化存储方面的相关探索大家好我是来自道处的数据工人郑鸿超下面由我来介绍本次实验中的持久化存储大数据平台云原生化的过程中和数据相关的有装的应用会逐步运行到Kubernetes上这是一个过程但是呢它的要求呢云原生化平台也是Kubernetes它自己本身必须有完善的持久化存储服务例如比如说如果是你要把Hadoop和Minio等部署在Kubernetes界面上面他们都是要访问本地盘的如果是比较严格的平台的话那是不可以直接访问House Pass它是必须要去做本地卷本地卷它本身是一个静态分配如果是要做的比较智能的话就需要动态分配本地卷还要进行引擎中许多组建比如Hive Impala的他们是要在本地存一个计时数据这也是要求对卷有一定高可用和多点挂载的能力还有就是卡夫哈租Keeper的建制库他们也需要挂的持有卷Paris Datastore是由这个云原生项目是由普发银行上海道客和奥地利林毕的三方共同发挤的开源项目它目的是在Kubernetes平台下面实现完善的本地卷存储服务2021年7月Paris很有信正式由CNCF进行二维杀箱三的BOX项目Paris使用云原生架构它部署在Kubernetes平台上面它实现了全套的CSI存储框架它具有几点在内所有的存储介质包括SDMME还有物理硬盘它提供了很多企业级存储特性比如说基于存储时的数据分离基于副本技术的高可用数据备份迁移恢复还有压缩去虫和纪念之备的基础的功能对Paris是云原存储所以它和Kubernetes是高度偶和的它有严格的几点新核性它卷有严格几点新核性它可以基于本地卷实现副本以及实现基于Kubernetes API的故障切缓和迁移后面会继续介绍Paris的后端使用了DRBD开源数据同步技术DRBD它是Linux 4代的标准内核模块在同类的数据同步软件中它的IO路径是最短的而且稳定可靠DRBD整体已经迭代了十多年了它应该是在社区里面是广泛使用一个HA技术在IBM Inter和细节客户中它是有广泛的生产实力实际上Linux 4的公司就是DRBD的开源技术的维护者它的CEO就是Fuel Resner就是DRBD作者首先我们的Paris它是把不同存储介质划分到独立的存储池中然后同意管理这些存储介质提供不同性能的存储券然后它基于这些存储池又能实现数据的再延迁移Paris CS驱动把存储池和Storeclass绑定提供各种参数调节用户可以通过不同Storeclass就能够分配不同的存储券但是如果是想简单一些就创建一个Storeclass以后面也可以通过后端操作甚至说通过Label来改变那个券的参数比如说你创建一个双副本的券以后你想变成单副本或者变成三副本都可以在线操作不需要再去通过Storeclass重新创建Paris最大的卖点就是它的IO性能这个IO性能也是通过DRBD来实现的因为DRBD它是内核模块而且它这里架构是透它的IO数据结构是不改变的IO是穿透型的到硬盘上面斯卡斯层面去我们普发项目组他们在库比利斯线上面我们使用MME固态硬盘我们长时间压测了NFSLangho和Paris三种存储方案Paris各个测试中的性能是非常优异的尤其是在最苛刻的数据库的那种随机小IO高并发场景里面Paris在IOPS延迟和吞吐量的指标上面都对NFS和Langho有非常明显的优势当然这就要说到NFS和Langho的设计理念并不是以性能为主也不是为存在小IO为主而Paris因为是整体的是一个框架构所以说它的小IO和随机上面是有新的优势的此外为了适应大数据平台的距离场景并最大化的发挥Paris的能力项目组还开发了两个组件一个是快速故障切换器另外是NFS转发控制器两个组件都已经回馈给了Paris社区第一个是快速故障切换器开发这组件主要原因是因为Kubernetes本身在切换有状态和挂键容器上面是非常非常一个消极的过程整个过程如果是不干预的话可能会长达12分钟甚至在Step Set的情况下它是不迁移的我们通过一个operator是强势干预Kubernetes切换因为Paris本身在几点出现故障的时候它的心跳的速度心跳的感应速度是要比Kubernetes快很多的所以说一旦Paris感觉到几点坏了之后它就会通知operatoroperator就会强势去杀破的把破的杀了然后破的重新调度这样的话就只能够把这12分钟这种很长的一个消极切换过程切换到一分钟以内这什么好处呢就是就有可能说是比如说数据库买四个之类挂一个Paris卷你就可以单实力部署一分钟之内切换是可以接受的12分钟是不能接受的另外一个重点插件是内外费转发控制器主要原因是因为Paris它是天生一个Quash主卷这个卷只能RW单点挂载但是我们有需要支持类似于Department的横向扩展模式这种模式下面就需要一个共享模式RWX怎么实现呢就是我们我们做的方法就是我们直接把Quart主卷再挂一个NFS Galaxia Pod这Pod再放出一个NFS服务到KBS的IP网络里面然后再通过NFS挂成一个NFS卷然后给Department使用这幅图里面就讲了描述了这个控制器的大概数据流的情况它的后端还是一个标准的PVPVC结构前端会自动启动一个NFS Galaxia Pod这Pod释放出来的NFS它是在KBS的ClassIP环境里面然后我们的ClassIP我们再重新挂成一个NFS PVC给前面的多个Pod横向扩展使用整个过程都是CSI的不修成干预的而且还有什么好处呢后端的PVPVCData PVVC如果你使用Poreus或Lanhore带副本的PVPVC然后再结合我们的快速固然轻换系那么当几点出现故障的时候它能够在一分钟之内把NFS后端切换到副本几点上面去NFS如果找Grace Peer调得长一点点的话前端是没有感应的它只会感到IO延迟长一点点好的以上就是本次实验中我们对云烟神主的支持Poreus本身在这次HuberCon在家门大厅里面有一个Kiosk就小亭子大家如果对Poreus感兴趣可以会后去小亭子我在那里我也可以让大家做汉藏演示我要具体地讲解好 下面我把画头我还给陶洋后来我们将继续秉承云烟神的一个架构理念立足于大数据平台的云化架构以大数据大模型大算力为发展路线持续进行一个探索同时我们也将在服务敏捷性服务端道端平台规模以及云烟神等层面发挥构想持续探索银行业下大数据云烟神技术也会孵化更多的云烟神的产品贡献社区我们也将以银行业务为驱动自主研发创新产品助力开放银行起息建设以上就是我们的演讲内容谢谢大家聆听