大家好，关于如何建设数据交易平台很多朋友都还不太明白，今天小编就来为大家分享关于如何创建一个大数据平台的知识，希望对各位有所帮助！

本文目录

1. 如何创建一个大数据平台
2. 运用区块链等技术,如何搭建数据流通交易平台
3. 如何搭建公司内部的数据平台

一、如何创建一个大数据平台

1、所谓的大数据平台不是独立存在的，比如百度是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

2、我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。

3、曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。

4、对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。

5、当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。

6、也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。

7、然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。

8、当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。

9、接下去你可能需要一些重量的组件帮你做一些事情。

10、比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。

11、你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。

12、数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。

13、你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。

14、至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。

15、比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。

16、你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。

17、又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。

18、再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。

19、当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？

20、你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。

21、上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

二、运用区块链等技术,如何搭建数据流通交易平台

1、搭建数据流通交易平台需要依赖于区块链技术以及其他相关技术，以下是一些建议的步骤和方法：

2、策划系统架构和技术方案：确立数据流通交易平台的系统架构和实现方式。需要根据不同的业务场景确定使用哪些技术，以及如何将这些技术有机结合。

3、建立区块链网络：在选择合适的区块链平台后，需要根据业务需求建立自己的区块链网络，确定网络中的节点和应用场景，以及定义合适的共识算法。

4、开发智能合约：智能合约是实现数据流通的核心技术之一，需要开发满足业务需求的智能合约。在合约设计时，需要考虑安全、效率和可靠性等方面，确保交易的顺畅执行。

5、建立合适的数据存储和共享机制：建立合适的数据存储和共享机制可以实现数据的高效流通。需要根据业务需求选择合适的存储解决方案和共享协议，确保数据的安全和隐私保护。

6、建立适当的加密算法：数据流通交易平台需要进行加密和解密，建立适当的加密算法可以保证数据的安全传输和存储，在保障数据安全的同时不影响效率和速度。

7、加强监管和合规：数据流通交易平台在运营时需要符合相关法规和政策要求，建立合适的监管和合规机制可以提高平台的可信度和公信力。

8、综上所述，在搭建数据流通交易平台时，需要综合考虑技术、业务、监管和合规等因素，确定合适的实施方案。

三、如何搭建公司内部的数据平台

公司的内部数据平台，主要作用是提供给公司内部所有部门人员使用，使公司内部的所有业务能够通过数据来驱动和决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。

1.数据产品经理本身就是一个合格的数据分析师，所以数据产品经理需要深刻的了解业务，需要知道业务部门想要看什么数据，这些数据现在是否能够获取到，业务方通过这些数据分析，是如何推进和改善业务的。

2.数据产品要根据使用方的特点设计出符合使用方需要的内容，产品要有层级和结构，如果设计的一张数据报表既要满足管理层又要满足一线业务人员的需要，那么这样的数据产品很大可能是体验比较差的，因为老板和一线人员看数据的视角不一样，老板们一般是把握业务的大方向，主要看一些关键性的指标，并希望知道这些关键指标出问题后背后的原因是什么。所以给老板设计的报表需要结构简单易懂，并能够基于这些关键指标的异常给予问题定位。一线人员主要是偏执行层面，他们看数据的粒度一般都很细。

3.数据产品一定要注意数据质量、规范、统一，因为公司的数据平台是面向所有部门的，怎么保证公司的所有部门人员对于数据的理解是一致的，这点特别难，首先公司的各个生产系统就是千差万别，由于各种客观因素，导致生产系统的数据质量和结构也会千差万别，这样数据仓库的数据建设就显得尤为重要，数据平台的数据质量依赖于数据仓库底层的数据模型，所以一个好的数据仓库很大程度上决定了数据平台的数据质量

下面就从实战的角度来加以阐述，A公司是一家电商公司，那么A公司的各个部门需要看哪些数据？他们平常看数据的场景主要是哪些呢？首先应该知道这些部门的KPI是什么，如果对负责支持的部门的KPI都不了解，怎么能设计出来好的数据报表。例如采购部门的kpi基本就是销售额用户数销售毛利采购成本，运营部门的kpi就是用户复购用户流失转化率，市场部门的kpi就是流量、新客。

那么知道各个部门的核心KPI后，主要从使用场景入手，拿采购部门来说，是怎么样看数据：

早上9：00来到公司，希望知道昨天我负责的业务这块做的怎么样了，这个时候应该设计一张基础数据报表，这张数据报表应该具有以下内容：

1.能够查看昨天的数据，而且能够选择时间段，这样如果昨天的数据有问题，希望拉取过去一段时间的数据，看看业务趋势上是不是出了问题。

2.指标越丰富越好，如果交易额下降了，需要看看订单数是不是下降了，如果订单数没下降了，那不是单均价出了什么问题，发现单均价降低了，那我要看看是商品结构的原因还是因为活动门槛调整导致的？

3.数据粒度要越细越好，比如数据粒度可以从全国下钻到省份，从省份下钻到城市，这样交易额下降了我就能知道是哪个省哪个城市出了问题，这样就能针对性的解决。

早上10：00-下午18：00，业绩高峰来临，这个时候需要提一张实时监控的数据报表，通过实时监控，能够尽早的发现业务的一些异常情况，这样就能够帮助业务人员尽快的做出调整。

部门内有周会/月会，老板可能会过工作业绩，所以我准备准备。

首先看下上周的绩效情况，这个时候需要一张关于绩效的报表数据，通过这张绩效报表：

能够知道我做的绩效完成的怎么样，排名是提升了还是下降了，了解哪些人排名高

其次对于上周出现的业务问题，通过一些分析报表定位和发现问题，比如发现用户的复购率下降了，是因为老用户的复购降低了还是最近新客的质量降低。

如果发现是老用户的复购降低了，那要进一步分析，是因为竞争对手产品活动力度大，还是因为商品的曝光不够亦或是产品本身对于用户失去了吸引力，这样就能够及时做出调整，如果是竞争对手产品活动力度大，那需要重点关注竞争对手的情况及时调整产品营销活动力度如果是商品的曝光度不够，可以从以下几个层面入手优化：

1.优化商品的主标题和副标题，增加用户的搜索触达率。

2.站内广告位多多增加产品的曝光或是和其他的品类商品做联合促销。

3.优化商品的导购属性信息，帮助用户跟精准的触达。如果是产品本身的问题那可能就需要引进新品（例如从国产到进口、从低端到高端）。

关于本次如何建设数据交易平台和如何创建一个大数据平台的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。