今天给各位分享数据交易平台技术架构的知识，其中也会对罗毅:深化IT架构转型,助力业务创新发展进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录

1. 罗毅:深化IT架构转型,助力业务创新发展
2. 怎样选择数据平台的建设方案
3. CS架构指什么

一、罗毅:深化IT架构转型,助力业务创新发展

工商银行通过实施“1031”工程、信息化银行建设等工作，打造了同业领先的第四代核心银行系统，确立了信息科技领先优势。随着银行进入4.0时代，金融科技推动银行从生产资料、生产力和生产关系三方面打破传统、变更生产经营模式，顺势数字化、智能化、开放化的时代特征，银行不断丰富服务渠道、完善产品供给、提升服务体验和效率，同时对企业级架构建设和信息系统转型提出了新要求。

为应对内外部形势变化、满足业务创新转型发展要求，工商银行于2015年启动IT架构转型工作。充分利用分布式、云计算等新技术，基于开放平台与主机有机结合的基础架构，构建面向未来业务发展，以开放性、高容量、易扩展、成本可控、安全稳定、便捷研发为特征的全新技术体系。在技术变革的外部驱动和转型发展的内生需求互相作用下，工商银行于2017年启动智慧银行生态系统（ECOS）工程，围绕“客户服务智慧普惠、金融生态开放互联、业务运营共享联动、创新研发高效灵活、业务科技融合共建”的智慧银行建设目标，通过整合构建企业级业务架构，强化产品创新顶层设计与跨产品线整合，将业务架构由内部企业级延展至跨界生态，在业务架构指导下，进一步深化IT架构转型，持续优化应用架构、数据架构、技术架构、安全架构，建立金融与科技高度融合的全新生态体系。

1.构建服务化、松耦合应用架构。同步ECOS工程建设，工商银行引入了业界领先的持续价值提升方法论，通过分析全行发展战略、业务发展前瞻性规划和业务现状问题，体系化地开展业务领域顶层设计，从流程、产品、实体等三个维度开展业务建模，整合构建覆盖63个业务领域、100多个业务组件、近4000个任务组件的企业级业务架构，并指导推动IT系统建设。通过从业务领域、业务组件、业务对象到IT应用、IT服务、数据对象的对接落地，围绕业务对象，以数据为中心聚合服务，形成了覆盖业务产品服务、业务和数据基础服务、技术基础服务的企业级服务体系，打造了分层解耦的应用架构。建立组件化研发机制，实现业务模型的高效传导，促进统一架构语境下从业务到IT的一致性承接。在支付结算、信用卡等热点领域完成组件化落地，提炼了19000余个IT服务，日交易量逾40亿笔，提升了产品研发的市场响应速度。

2.打造主机+开放平台双核心系统。依托自主可控、体系完备的开放平台技术，逐步从传统的以主机为核心的应用布局向主机+开放平台双核心布局转型，初步建成具备承接主机业务下移能力的开放平台核心银行系统。在国内大型银行中，率先实现银行核心业务的完整闭环处理，截至2020年上半年，已有超过90%的应用部署在开放平台。在中资银行中，率先使用自主研发的开放平台境外核心业务系统，已在欧洲、亚太区域新设机构实际投产运营。随着双核心建设不断深化，工商银行在业务量快速增长态势下，整体保持主机资源零增长，2015~2020年累计实现主机资源压降65000MIPS以上。

3.形成双轮驱动的开放金融生态。工商银行建设以“嵌入场景、输出金融”为特征的API开放平台，与以“绿色部署、敏捷上线”为特征的金融生态云，组合形成全行互联网金融场景建设“双轮驱动”的体系化品牌。目前已对外开放9大类1800多项API服务，为8800多家合作方提供服务，成为银行同业中“合作伙伴最多、服务最全面”的开放平台。已推出教育云、物业云等17款金融生态云产品，累计推广G/B端客户超过3万个，C端客户929万。

1.打造多模式、高性能数据交换体系。工商银行综合运用流数据处理、数据复制、文件共享等技术，打造了多模式、高性能的企业级数据交换平台，面向全行提供实时、准实时、分钟级、小时级等多种时效的企业级数据交换服务，并在余额变动实时提醒、实时交易反欺诈、准实时存贷款偏离度计算等应用场景取得良好成效。

2.率先建成自主可控的大数据服务云。同业率先完成传统封闭式架构（TD、Extradata）向开放分布式架构(Hadoop、MPPDB)转型，建成金融行业集群规模最大、技术生态最全、供给能力最强的大数据服务云体系，软硬件投入仅为原有产品投入的30%。全数据整合后容量超过9.3PB，为171个总行应用、22个业务部门和52家境内外分行及子公司提供了高效、便捷、丰富的高质量数据服务。

3.着力打造企业级数据中台。按照ECOS工程总体布局，以共享、复用、创新为目标，通过数据资产沉淀、数据服务化、数据资产运营、数据产品输出等措施，打造高效、智慧、开放、共享的标准化数据服务。面向全行1万余名数据分析师提供一站式、全链路线上BI分析能力，支撑全面风险管理、信用卡风控、智慧大脑等重点场景建设，加快推进客服、运营、产品和风控等领域的智慧赋能，提升各专业数据应用创新能力。

1.打造一系列企业级新技术应用平台。工商银行依托金融科技研究院体系化布局新技术，建成了云计算、分布式、API平台、大数据、流数据、人工智能、物联网、区块链、生物识别、移动互联网十大技术平台，是工商银行技术领先优势的集中体现。人工智能机器学习平台集成业界主流机器学习算法，提供便捷高效、全流程建模、自学习的AI全栈平台，赋能数据智能化应用，构建工行智慧大脑。物联网金融服务平台通过智能感知万物，获取海量物联数据，扩展银行金融服务边界，创新金融服务模式，提供安全可靠的智慧物联解决方案。区块链技术平台在资金管理、供应链金融等七大业务领域构建服务实体经济的区块链应用生态，机构用户超千家，个人用户超100万，拥有近百项专利，荣获多项业界大奖。生物识别平台提供人脸、指纹等生物特征管理、安全管控、服务调度等功能，具备多生物特征统一管控、统一服务的能力。

2.建成自主可控、体系完备的云计算、分布式技术体系。云计算平台具有开放性、高容量、易扩展、智能运维等特点，从传统手工为主的虚拟化架构，转变为快速供给、稳定可靠、资源集约、运维智能的新型云计算体系架构。截至2020年8月，工商银行已实现60000+节点、34000+容器的入云规模，具备万级容器集群自动供给能力，同等业务量下服务器虚拟资源利用率平均提升2~3倍，业务高峰期系统扩容时间由几十分钟缩至秒级，2019年荣获人民银行科技发展奖一等奖。分布式技术平台涵盖9大类分布式技术组件，在快捷支付、纪念币预约等150余个应用广泛运用，为IT架构从单体集中式架构向分布式服务化架构转型提供了技术基础。截至2020年8月，日均交易量超过50亿笔，并发支撑能力超过10万笔/秒，重点交易平均响应时间小于10ms，有效应对“双十一”秒杀等高频、大并发交易对IT架构稳定性、业务连续性的冲击。

落实国家网络安全等级保护2.0要求，完善安全体系建设，加强新技术领域的安全防护，随云计算、大数据、人工智能、区块链、5G、物联网等金融科技发展同步规划、同步建设。研究完善以数据为中心的安全方法论和保护体系，加强个人信息和隐私的保护，“融e行”第一批完成在中国互联网金融协会的认证备案。围绕ECOS工程建设，建立多因子身份认证体系，发展手机盾、云证书、指纹、人脸、声纹、指静脉、虹膜等多种认证及生物识别技术。建设企业级反欺诈平台，通过终端、账户、行为等多维度展开智能风控，有效拦截欺诈交易，提升开放银行防御和风险处置能力。

在新一轮科技革命与我国转变发展方式的历史交汇期，工商银行将科技创新作为第一发展动力，积极创新和引入金融科技前沿技术，在全行战略、企业架构的指引下，强化IT与业务的融合。通过金融科技赋能经营转型，创新服务模式，拓展新生态，提高金融供给对实体经济的适配性和灵活性，为广大客户提供高价值服务，为建设具有全球竞争力的世界一流现代金融企业提供动能源泉。

二、怎样选择数据平台的建设方案

业务跑的好好的，各系统稳定运行，为何还要搭建企业的数据平台?

这样的问题，心里想想就可以了，不要大声问出来。我来直接回答一下，公司一般在什么情况下需要搭建数据平台，对各种数据进行重新架构。

1、业务系统过多，彼此的数据没有打通。这种情况下，涉及到数据分析就麻烦了，可能需要分析人员从多个系统中提取数据，再进行数据整合，之后才能分析。一次两次可以忍，天天干这个能忍吗?人为整合出错率高怎么控制?分析不及时效率低要不要处理?

2、业务系统压力大，而不巧，数据分析又是一项比较费资源的任务。那么自然会想到的，通过将数据抽取出来，独立服务器来处理数据查询、分析任务，来释放业务系统的压力。

3、性能问题，公司可以越做越大，同样的数据也会越来越大。可能是历史数据的积累，也可能是新数据内容的加入，当原始数据平台不能承受更大数据量的处理时，或者是效率已经十分低下时，重新构建一个大数据处理平台就是必须的了。

上面我列出了三种情况，但他们并非独立的，往往是其中两种甚至三种情况同时出现。一个数据平台的出现，不仅可以承担数据分析的压力，同样可以对业务数据进行整合，也会不同程度的提高数据处理的性能，基于数据平台实现更丰富的功能需求。

二、数据平台的建设有哪些方案可以选择

下文中的优缺点仅从企业选型的角度，并非方案本身的技术角度。

如果一句话回答的话，那就是：太多了(这是一句废话，我承认)，但确实有非常多的方案可供选择，我懂的少，肯定是无法一一介绍，所以就分成了下面几类，相信也一定程度上覆盖了大部分企业的需求了。

概念不说了，既然是做数据这一行的，相信你比我还要清楚，不清楚的可以百度。它的重点在于数据整合，同时也是对业务逻辑的一个梳理。虽然它也可以打包成ssas那种cube一类的东西来提升数据的读取性能，但是数据仓库的作用，更多的是为了解决公司的业务问题，而不仅仅是性能问题。这一点后面会详细介绍。

关于这一方案的优缺点，直接说重点:

方案成熟，关于数据仓库的架构，不管是Inmon架构还是Kimball架构，都有着非常广泛的应用，而且相信能将这两种架构落地的人也不少。

实施简单，涉及的技术层面主要是仓库的建模以及etl的处理，很多软件公司具备数据仓库的实施能力，实施难度的大小更多的取决于业务逻辑的复杂程度，而并非技术上的实现。

灵活性强，说这句话要有对应场景的，数据仓库的建设是透明的，如果需要，可以对仓库的模型、etl逻辑进行修改，来满足变更的需求(当然，最好设计之初考虑的周全一点)。同时对于上层的分析而言，通过sql或者mdx对仓库数据的分析处理具备极强的灵活性。

“实施周期长”，注意，我加了引号，对应下面的敏捷型数据集市，而且这点是相对的，实施周期的长与短要取决于业务逻辑的复杂性，时间是花在了业务逻辑的梳理，并非技术上的瓶颈。关于这点，后面会详细介绍。

数据的处理能力有限，这个有限，也是相对的，海量数据的处理它肯定不行，非关系型数据的处理它也不行，但是TB以下级别的数据，还是搞得定的(也取决于所采用的数据库系统)，这个量级的数据，而相当一部分企业的数据，还是很难超过这个级别的。

底层的数据产品与分析层绑定，使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。这一类产品的出现，其初衷是为了对业务数据进行简单的、快速的整合，实现敏捷建模，并且大幅提升数据的处理速度。目前来看，这些产品都达到了以上的目的。但它的优缺点也比较明显。

部署简单，敏捷开发，这也是这类产品最大的优点，和数据仓库相比，实施周期要短的多。实际上它也没什么严格的实施的概念，因为这类产品只是针对需要分析的数据，进行局部的关联，只考虑眼前要解决的问题就够了，迭代的能力更强些。

与上层的分析工具结合较好，上层的分析工具接入这类数据产品后，可直接实现数据的图形化展示和olap分析。对数据处理性能的提高，这类产品都对数据的分析性能做了处理，虽然方式不尽相同，有内存映射文件存储的，也有分布式架构、列数据存储的。但无疑都一定程度上提高了数据的处理性能。

无法处理复杂的业务逻辑，这只是一个工具，它无法解决业务问题。这类工具中自带简单的etl功能，实现简单的数据处理和整合，而如果考虑到历史数据，考虑到整体的数据之间的逻辑和关系，它一定是解决不了的。一个简单的例子，当某个表中，有两个字段，一个要保留历史数据，一个要更新历史数据，要怎样实现自动处理。有一个观念是需要清楚的，不能指望一款工具来解决业务问题。这种数据产品仅仅是对当前的业务数据进行简单的整合，第一，数据是局部的，第二，时间是当前的(其涵带的增量更新或者全量更新，是无法应对复杂的逻辑的，相信熟悉etl的人都知道这个过程有多复杂)。当然，对于一些公司来说，可能需求只是对当前业务数据进行整合分析，那么这类产品就够了。(说实话，很多公司真的是懒得更长远的考虑，有一天没一天的，谁说的准呢)

l灵活性低，这个也是没法避免的，越是操作简单的工具，他的灵活性肯定受限，因为封装住了，产品是不透明的，常规的需求用起来非常方便，但是遇到复杂的，发现对他内部不了解，你也没法修改，只有蛋疼的份。

从我的角度看，它是很难成为公司的数据中心的。

3、 MPP(大规模并行处理)架构的数据产品，以最近开源的greenplum为例

传统的主机计算模式在海量数据面前，显得弱鸡。造价非常昂贵，同时技术上也无法满足高性能的计算，smp架构难于扩展，在独立主机的cpu计算和io吞吐上，都没办法满足海量数据计算的需求。分布式存储和分布式计算正是解决这一问题的关键，不管是后面的MapReduce计算框架还是MPP计算框架，都是在这一背景下产生的。

greenplum的数据库引擎是基于postgresql的，并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。

同时，基于greenplum的数据平台建设，可以实现两个层面的处理，显而易见的一个是对数据处理性能的处理，greenplum的百科中宣称支持50PB级海量数据的处理，考虑它有吹牛的成分，对目前greenplum实际应用情况的了解，100tb级左右的数据，是非常轻松的。另一个是数据仓库可以搭建在greenplum中，这一层面上也是对业务逻辑的梳理，对公司业务数据的整合。

海量数据的支持，大量成熟的应用案例，所以我想这一点是不用怀疑的。

扩展性，据说可线性扩展到10000个节点，并且每增加一个节点，查询、加载性能都成线性增长。

易用性，不需要复杂的调优需求，并行处理由系统自动完成。依然是sql作为交语言，简单、灵活、强大。

高级功能，greenplum还研发了很多高级数据分析管理功能，例如人气很高的外部表，还有Primary/Mirror镜像保护机制，行/列混合存储等。

稳定性，greenplum原本作为一个纯商业数据产品，具有很长的历史，其稳定性相比于其他产品以及敏捷性数据集市是更加有保障的。 greenplum有非常多的应用案例，纳斯达克、纽约证券交易所、平安银行、建设银行、华为等都建立了基于greenplum的数据分析平台。其稳定性是可以从侧面验证的，在15年9月份开源后，各大互联网公司也是一片欢腾，现在也接触了几家在使用greenplum的客户，对其评价都很高。

本身来说，它的定位在olap领域，不擅长oltp交易系统。当然我们搭建公司的数据中心也不会是用来做交易系统的。

成本，两个方面的考虑，一是硬件成本，greenplum有其推荐的硬件规格，对内存、网卡都有要求。当然，在硬件选型上，需要达到一个平衡，要在性能、容量、成本等多方面考虑，毕竟不能一味的追求性能，把采购部门吓到吧。另一个是实施成本，这里主要是人了，基本的是greenplum的安装配置，再到greenplum中数据仓库的构建，都需要人和时间。(但是必须要说的是，人家软件都开源了，也省下了一笔钱啊)

技术门槛，这里是相对于上一个敏捷型数据集市的，greenplum的门槛肯定是要高一点了。

关于hadoop，已经火的要爆炸了，greenplum的开源跟它也是脱不了关系的。有着高可靠性、高扩展性、高效性、高容错性的口碑。在互联网领域有非常广泛的运用，雅虎、facebook、百度、淘宝等等等等。hadoop生态体系非常庞大，各公司基于hadoop所实现的也不仅限于数据分析，也包括机器学习、数据挖掘、实时系统等。

当企业数据规模达到一定的量级，我想hadoop是各大企业的首选方案，到达这样一个层次的时候，我想企业所要解决的也不仅是性能问题，还会包括时效问题、更复杂的分析挖掘功能的实现等。非常典型的实时计算体系也与hadoop这一生态体系有着紧密的联系。

近些年来hadoop的易用性也有了很大的提升，sql-on-hadoop技术大量涌现，包括hive、impala、spark-sql等。尽管其处理方式不同，但普遍相比于原始基于文件的Mapreduce，不管是性能还是易用性，都是有所提高的。也因此对mpp产品的市场产生了压力。

对于企业构建数据平台来说，hadoop的优势与劣势非常明显：它的大数据的处理能力、高可靠性、高容错性、开源性以及低成本(为什么说低成本，要处理同样规模的数据，换一个其他方案试试呢)。缺点也就是他的体系的复杂，技术门槛较高(能搞定hadoop的公司规模一般都不小了)。

关于hadoop的优缺点对于公司的数据平台选型来说，影响已经不大了。需要上hadoop的时候，也没什么其它的方案好选择(要么太贵，要么不行)，没到达这个数据量的时候，也没人愿意碰这东西。总之，不要为了大数据而大数据。

三、方案很多，企业要怎样选择呢?

环境太复杂，但是我想至少要从下面这几个方面去考虑吧。

什么样的目的?就是文中开始部分的三种情况呀(不好意思，自大了，肯定有其它情况，欢迎向“jiago王”补充)，或者是其中几个的组合。

做事方法都一样，哪怕是中午出去吃饭，也是要在心里有个目的，这顿饭是为了吃饱，还是吃爽，或者为了拍别人的马屁，然后才好选择去吃什么。

当然，要明确数据平台的建设目的，哪里是那么容易的，初衷与讨论后确认的目标或许是不一致的。

公司要搭建一个数据平台的初衷可能很简单，只是为了减轻业务系统的压力，将数据拉出来后再分析，如果目的真的就这么单纯，还真的没有必要大动干戈了。如果是独立系统的话，直接将业务系统的数据库复制出来一份就好了;如果是多系统，选类似finecube那种型敏捷型的商业数据产品也够了，快速建模，直接用finebi或者finereport接入进去就能实现数据的可视化与olap分析。

但是，既然已经决定要将数据平台独立出来了，就不再多考虑一点吗?多个系统的数据，不趁机梳理整合一下?当前只有分析业务数据的需求，以后会不会考虑到历史数据呢?这种敏捷的方案能够支撑明年、后年的需求吗?

任何公司要搭建数据平台，都不是一件小事，多花一两个月实施你可能觉得累，多花一周两周的时间，认真的思考一下总可以的吧。雷军不是说过这样一句话：不能以战术上的勤奋，掩盖战略上的懒惰。

根据公司的数据规模选择合适的方案，这里说多了都是废话。

包括时间成本和金钱，不必多说。但是这里有一个问题想提一下，发现很多公司，要么不上数据平台，一旦有了这样的计划，就恨不得马上把平台搭出来用起来，时间成本不肯花，这样的情况很容易考虑欠缺，也容易被数据实施方忽悠。

关于方案选择的建议，举以下3 1个场景

要实现对业务数据的快速提取和分析，多个业务系统，没有达到海量数据，不考虑历史数据，不需要依照业务逻辑对数据进行系统的梳理，这种情况下，可以考虑敏捷型的bi工具自带的数据底层。

简单来讲，这种场景仅仅是在技术层面上，完成对数据的整合与提速，并没有从业务层面上对数据进行建模。他可以满足一定的分析需求，但是不能成为公司的数据中心。

要搭建公司级的数据中心，打通各系统之间的数据。非常明显的，需要搭建一个数据仓库。这时就需要进一步考虑公司数据的量级了，如果是小数据量，TB级以下，那么在传统数据库中建这样一个数据仓库就可以了，如果数据量达到几十上百TB，或者可见的在未来几年内数据会达到这样一个规模，可以将仓库搭在 greenplum中。

这种场景应该是适用于大部分公司，对于大部分企业来说，数据量都不会PB级别，更多的是在TB级以下。

公司数据爆发式增长，原有的数据平台无法承担海量数据的处理，那么就建议考虑hadoop这种大数据平台了。它一定是公司的数据中心，这样一个角色，仓库是少不了的，可以将原来的仓库直接搬到hive中去。这种数据量比较大的情况要怎样呈现，因为hive的性能较差，它的即席查询可以接 impala，也可以接greenplum，因为impala的并发量不是那么高，而greenplum正好有它的外部表(也就是greenplum创建一张表，表的特性叫做外部表，读取的内容是hadoop的hive里的)，正好和hadoop完美的融合(当然也可以不用外部表)。

这个是后面补充的，当公司原本有一个数据仓库，但历史数据了堆积过多，分析性能下降，要怎么办?两个方案可以考虑，比较长远的，可以将仓库以及数据迁移到greenplum中，形成一个新的数据平台，一个独立的数据平台，可以产生更多的可能性;比较快速的，是可以将类似finecube那种敏捷型数据产品接入原来的仓库，这样来提升数据的处理性能，满足分析的要求。

四、关于方案选型时可能会出现的误区

(忽略业务的复杂性，要用工具来解决或者是绕开业务的逻辑。)

这个是我最近遇到过的，客户要做报表平台，有三个业务系统的数据需要整合。但是急于变现，不想搭建传统的数据仓库，所以从敏捷型的bi工具中选型。工具厂商对自己数据产品的描述，一般着重于他的快速实施、性能的优化、以及自带的基本etl功能。这样容易给客户造成误区，就是通过这一产品可快速搭建出一个公司级别的数据中心，满足于顶层对数据的需求。

然而在后期突然意识到，工具所解决的，仅仅是在技术层面上简化了工具的使用的复杂性，把etl和数据集市封装在一起，并且提高了数据的性能，但是并没有从业务层面上实现数据的建模，很多细节问题无法处理。

虽然敏捷开发非常诱人，如果业务系统简单，或者只需要分析当前状态的业务数据，不需要公司级的数据中心，那么确实是一个非常好的方案。然而这些问题还没有考虑清楚，对敏捷产品有了过高的期望，后面是会遇到些麻烦的。

除此之外，可能还会有为了大数据而大数据的，但是这些我在实际的工作中还没有遇到。

最后总结一下，企业选择数据平台的方案，有着不同的原因，要合理的选型，既要充分的考虑搭建数据平台的目的，也要对各种方案有着充分的认识。

仅从个人的角度，对于数据层面来说，还是倾向于一些灵活性很强的方案的，因为数据中心对于公司来说太重要了，我更希望它是透明的，是可以被自己完全掌控的，这样才有能力实现对数据中心更加充分的利用。因为，我不知道未来需要它去承担一个什么样的角色。

三、CS架构指什么

1、服务器-客户机，即Client-Server(C/S)结构。C/S结构通常采取两层结构。服务器负责数据的管理，客户机负责完成与用户的交互任务。

2、客户机通过局域网与服务器相连，接受用户的请求，并通过网络向服务器提出请求，对数据库进行操作。服务器接受客户机的请求，将数据提交给客户机，客户机将数据进行计算并将结果呈现给用户。

3、两层结构由两部分构成:前端是客户机，主要完成用户界面显示，接受数据输入，校验数据有效性，向后台数据库发请求，接受返回结果，处理应用逻辑;后端是服务器，运行DBMS，提供数据库的查询和管理。

4、两层结构存在一些不足:主要表现在:系统的可伸缩性差;难以和其它系统进行互操作;难以支持多个异构数据库;客户端程序和服务器端DBMS交互频繁，网络通讯量大;所有客户机都需要安装、配置数据库客户端软件，这是一件十分庞杂的工作，等。

5、基于二层结构的以上不足，三层结构伴随着中间件技术的成熟而兴起。其核心概念是利用中间件将应用分为表示层、业务逻辑层和数据存储层三个不同的处理层次。

关于本次数据交易平台技术架构和罗毅:深化IT架构转型,助力业务创新发展的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。