大家好，今天小编来为大家解答建立数据资源交易平台这个问题，如何创建一个大数据平台很多人还不知道，现在让我们一起来看看吧！

本文目录

1. 公共资源交易平台管理暂行办法
2. 什么是数据产品交易
3. 如何创建一个大数据平台

一、公共资源交易平台管理暂行办法

1、第一章总则第一条为规范公共资源交易平台运行，提高公共资源配置效率和效益，加强对权力运行的监督制约，维护国家利益、社会公共利益和交易当事人的合法权益，根据有关法律法规和《国务院办公厅关于印发整合建立统一的公共资源交易平台工作方案的通知》（国办发[2015]63号），制定本办法。第二条本办法适用于公共资源交易平台的运行、服务和监督管理。第三条本办法所称公共资源交易平台是指实施统一的制度和标准、具备开放共享的公共资源交易电子服务系统和规范透明的运行机制，为市场主体、社会公众、行政监督管理部门等提供公共资源交易综合服务的体系。

2、公共资源交易是指涉及公共利益、公众安全的具有公有性、公益性的资源交易活动。第四条公共资源交易平台应当立足公共服务职能定位，坚持电子化平台的发展方向，遵循开放透明、资源共享、高效便民、守法诚信的运行服务原则。第五条公共资源交易平台要利用信息网络推进交易电子化，实现全流程透明化管理。第六条国务院发展改革部门会同国务院有关部门统筹指导和协调全国公共资源交易平台相关工作。

3、设区的市级以上地方人民政府发展改革部门或政府指定的部门会同有关部门负责本行政区域的公共资源交易平台指导和协调等相关工作。

4、各级招标投标、财政、国土资源、国有资产等行政监督管理部门按照规定的职责分工，负责公共资源交易活动的监督管理。第二章平台运行第七条公共资源交易平台的运行应当遵循相关法律法规和国务院有关部门制定的各领域统一的交易规则，以及省级人民政府颁布的平台服务管理细则。第八条依法必须招标的工程建设项目招标投标、国有土地使用权和矿业权出让、国有产权交易、政府采购等应当纳入公共资源交易平台。

5、国务院有关部门和地方人民政府结合实际，推进其他各类公共资源交易纳入统一平台。纳入平台交易的公共资源项目，应当公开听取意见，并向社会公布。第九条公共资源交易平台应当按照国家统一的技术标准和数据规范，建立公共资源交易电子服务系统，开放对接各类主体依法建设的公共资源电子交易系统和政府有关部门的电子监管系统。第十条公共资源交易项目的实施主体根据交易标的专业特性，选择使用依法建设和运行的电子交易系统。第十一条公共资源交易项目依法需要评标、评审的，应当按照全国统一的专家专业分类标准，从依法建立的综合评标、政府采购评审等专家库中随机抽取专家，法律法规另有规定的除外。

6、有关行政监督管理部门按照规定的职责分工，对专家实施监督管理。

7、鼓励有条件的地方跨区域选择使用专家资源。第十二条公共资源交易平台应当按照省级人民政府规定的场所设施标准，充分利用已有的各类场所资源，为公共资源交易活动提供必要的现场服务设施。

8、市场主体依法建设的交易场所符合省级人民政府规定标准的，可以在现有场所办理业务。第十三条公共资源交易平台应当建立健全网络信息安全制度，落实安全保护技术措施，保障平台平稳运行。第三章平台服务第十四条公共资源交易平台的服务内容、服务流程、工作规范、收费标准和监督渠道应当按照法定要求确定，并通过公共资源交易电子服务系统向社会公布。第十五条公共资源交易平台应当推行网上预约和服务事项办理。确需在现场办理的，实行窗口集中，简化流程，限时办结。第十六条公共资源交易平台应当将公共资源交易公告、资格审查结果、交易过程信息、成交信息、履约信息等，通过公共资源交易电子服务系统依法及时向社会公开。涉及国家秘密、商业秘密、个人隐私以及其他依法应当保密的信息除外。

9、公共资源交易平台应当无偿提供依法必须公开的信息。第十七条交易服务过程中产生的电子文档、纸质资料以及音视频等，应当按照规定的期限归档保存。第十八条公共资源交易平台运行服务机构及其工作人员不得从事以下活动：

10、（一）行使任何审批、备案、监管、处罚等行政监督管理职能；

11、（二）违法从事或强制指定招标、拍卖、政府采购代理、工程造价等中介服务；

12、（三）强制非公共资源交易项目进入平台交易；

13、（四）干涉市场主体选择依法建设和运行的公共资源电子交易系统；

14、（五）非法扣押企业和人员的相关证照资料；

15、（六）通过设置注册登记、设立分支机构、资质验证、投标（竞买）许可、强制担保等限制性条件阻碍或者排斥其他地区市场主体进入本地区公共资源交易市场；

16、（七）违法要求企业法定代表人到场办理相关手续；

17、（八）其他违反法律法规规定的情形。

二、什么是数据产品交易

1、数据产品交易是指将数据作为商品进行买卖和交换的过程。随着数字化和信息化的快速发展，大量的数据被广泛地生成、收集和存储，这些数据蕴含着重要的商业价值。全球钟表数据交易中心中表云科就是数据产品交易通过合法合规的方式，将数据作为一种商业资源进行流通和交易。

2、数据产品交易可以包括以下几个方面：

3、数据购买与销售：企业或个人可以按照需求购买具有商业价值的数据，以支持市场调研、决策分析、产品开发等活动。数据提供方可以通过出售所拥有的数据来获取经济利益。

4、数据许可与授权：数据拥有者可以选择授权给其他机构或个人使用其数据，以获得相应的经济回报。数据许可和授权可以采用多种形式，如独家授权、非独家授权、时间限制等，以确保数据的合法使用和保护。

5、数据交换与共享：不同机构之间可以进行数据交换和共享，实现互利共赢。数据交换和共享可以建立在合作协议、数据共享平台或区块链技术等基础上，确保数据的安全性和可信度。

6、数据衍生产品开发：基于原始数据，可以开发出更具价值的数据衍生产品，如数据分析报告、数据洞察服务、数据挖掘模型等，通过销售这些产品来获取商业利润。

7、在数据产品交易中，数据的价值和合法性是核心关注点。数据提供方需要确保数据的质量、准确性和合法性，同时保护数据的安全和隐私。数据购买方需要评估数据的真实性和可用性，了解数据使用的限制和风险，并确保符合相关的法律法规和隐私保护要求。

8、总的来说，数据产品交易是一种基于数据资源的商业活动，通过数据的买卖、许可、交换和衍生产品开发等方式，实现数据价值的最大化和商业利益的实现。随着数据经济的不断发展，数据产品交易将成为一个重要的商业模式和经济增长点。

三、如何创建一个大数据平台

1、所谓的大数据平台不是独立存在的，比如百度是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

2、我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。

3、曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。

4、对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。

5、当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。

6、也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。

7、然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。

8、当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。

9、接下去你可能需要一些重量的组件帮你做一些事情。

10、比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。

11、你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。

12、数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。

13、你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。

14、至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。

15、比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。

16、你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。

17、又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。

18、再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。

19、当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？

20、你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。

21、上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

好了，文章到此结束，希望可以帮助到大家。