生态产品交易平台建设方案

大家好,今天小编来为大家解答以下的问题,关于生态产品交易平台建设方案,怎样选择数据平台的建设方案这个很多人还不知道,现在让我们一起来看看吧!

本文目录

  1. 加强农业什么建设严守生态保护红线
  2. 如何推进生态文明建设
  3. 怎样选择数据平台的建设方案

一、加强农业什么建设严守生态保护红线

【二十大·二十题之“建设美丽中国”】严守三条生态“红线”持续破解民族地区高质量发展难题

2022年06月30日 20:12来源:中国社会科学网作者:张明善胡运禄

良好的生态环境是影响高质量发展的重要要素和内生变量,处理好绿水青山和金山银山的关系是实现高质量发展的重要基础。习近平总书记指出,“要加快划定并严守生态保护红线、环境质量底线、资源利用上线三条红线。对突破三条红线、仍然沿用粗放增长模式、吃祖宗饭砸子孙碗的事,绝对不能再干,绝对不允许再干”。民族地区作为我国的资源富集区、水系源头区、生态屏障区,也是边疆地区、贫困地区,其生态经济发展的状况直接关系到我国经济发展的水平和生态安全及社会稳定。因此,民族地区怎样立足资源禀赋、发展条件、比较优势等实际,把生态立区、生态富区、生态强区作为实现共同富裕的发展战略,将绿色发展理念贯穿于各项工作之中,严守三条生态“红线”,在保护生态环境和推动经济高质量发展中彰显责任担当,让绿水青山切实转变成为人民可用可享的金山银山,是我们需要持续破解的发展难题。

一、护好生态保护红线,是全力筑牢生态安全屏障的根本

生态保护红线是保障和维护国家生态安全的底线,是国土空间规划的重要组成部分,对于国土空间开发具有重要作用。习近平总书记强调,“要加强生态文明建设,划定生态保护红线,为可持续发展留足空间,为子孙后代留下天蓝地绿水清的家园”。2011年,国务院《关于加强环境保护重点工作的意见》中提出,“国家编制环境功能区划,在重要生态功能区、陆地和海洋生态环境敏感区、脆弱区等区域划定生态红线”,这是我国首次提出“划定生态红线”。党的十八大以来,党中央、国务院先后出台了一系列重要文件推进生态文明建设,其中“生态保护红线”作为我国特有的概念以及改革生态环境管理体制、推进生态文明制度建设的重要举措之一,正式上升为国家战略并写入我国生态文明建设的纲领性文件和实施方案。为加快推进划定并严守生态保护红线工作,中共中央办公厅、国务院办公厅联合印发《关于在国土空间规划中统筹划定落实三条控制线的指导意见》,要求“优先将具有重要水源涵养、生物多样性维护、水土保持、防风固沙、海岸防护等功能的生态功能极重要区域,以及生态极敏感脆弱的水土流失、沙漠化、石漠化、海岸侵蚀等区域划入生态保护红线”。

民族地区作为国家“两屏三带”生态安全格局的重要组成部分,具有资源富集区、生态屏障区、自然灾害易发区高度重合的特点。据统计,我国民族自治地区有328个县(旗)位于22个国家重点生态功能区,涵盖水土保持、防风固沙、水源涵养和生物多样性四种类型,占民族自治地区总面积的48.5%。青藏高原被誉为“地球第三极”“亚洲水塔”,是我国乃至亚洲重要的生态安全屏障。雅鲁藏布江、澜沧江、金沙江等大江大河都发源于西藏,西藏也把保护好高原生态作为头等大事,将全区一半的区域都列入了最严格的保护范围,生态保护红线面积达到60.8万平方公里。保护生态就是保护生产力,改善生态就是发展生产力。我国民族地区拥有全国94%的草原、53%的水能、51%的森林、50%的湿地等,其生态地位特殊而重要,最大的价值在生态、最大的责任在生态、最大的潜力也在生态。因此,民族地区在生态保护红线划定工作中,要将具有涵养水源、大气调节、防风固沙、生物多样性等重要生态功能的江河源头、水源涵养区、冰川雪山和动植物栖息地整体划入红线范围,体现出森林、湿地、草原、水域等自然生态系统的原真性和完整性;要紧扣碳达峰碳中和目标需要,探索完善生态产品价值转化机制,建立覆盖各级行政区域的生态资源价值统计参数,开展高等植物、哺乳动物、两栖动物等调查与生物完整性评估,推动打通“绿水青山”与“金山银山”的转换通道;要积极打造森林银行、湿地银行、水银行等金融产品和服务体系,大力发展生态资源产权交易平台,主动融入并加快构建生态产品消费大市场,让更多生态资源价值“看得见”“摸得着”,让更多人参与到生态资源的生产与消费当中,从而促进人与自然的和谐发展。

二、守好环境质量底线,是持续改善生态环境质量的基础

良好的生态环境是最公平的公共产品,是最普惠的民生福祉,也是实现共同富裕的基础。习近平总书记指出,“在环境质量底线方面,将生态环境质量只能更好、不能变坏作为底线,并在此基础上不断改善,对生态破坏严重、环境质量恶化的区域必须严肃问责”。“十三五”期间,我国协调安排中央财政环保专项资金,推动19个援疆省(市)、23个援藏省(市)累计投入15.32亿元,支持并推动解决新疆、西藏及四省涉藏地区大气、水、土壤等领域的突出生态问题。在国家命名的362个国家生态文明建设示范区、136个“绿水青山就是金山银山”实践创新基地中,我国民族地区的示范区和实践创新基地分别占到总数的23.2%、31.6%,有效促进了民族地区的生态文明建设水平和生态环境质量的提升,进一步增强了人民群众生态获得感和幸福感,绿水青山就是金山银山的理念更加深入人心。

当前,我国生态文明建设进入以降碳为重点战略方向、推动减污降碳协同增效、促进经济社会发展全面绿色转型、实现生态环境质量改善由量变到质变的关键时期。“十四五”规划要求我国民族地区把“实现减污降碳协同效应”作为总目标,统筹推进绿色低碳发展,这对民族地区改善生态环境质量提出了更高要求。生态环境的状况和质量,直接影响着人民群众的生存状态,也影响着经济社会的发展水平。我国民族地区必须坚持在发展中保护、在保护中发展,遵循尊重自然、顺应自然、保护自然的原则,以长江经济带、黄河流域生态保护和高质量发展为引领,从生态系统整体性和流域系统性出发,注重综合治理、系统治理、源头治理,强化森林、湿地、草原、水域等自然生态资源一体化保护和系统治理,持续实施生态公益林保护和建设、河湖和湿地保护修复以及生物多样性保护等生态保护和修复工程;以黄河、长江、澜沧江、怒江等大江大河为重点,全面开展水环境污染防治、水生态空间管控、水资源高效利用和水利保障水平提升等工程,不断强化重要涵养区、重要江河源头区等水源地环境保护;在长江经济带、黄河流域等开展“清废”行动,严厉打击固体废物非法转移和倾倒行为,持续开展化学物质环境风险评估,加大对新污染物环境风险管控力度;加强环境基础设施建设,推动农村生活垃圾、污水处理设施等向基层有序有效延伸,完善污染治理与环境保护市场化机制,提高优质生态产品供给能力;将生态环境质量改善纳入绿色发展绩效考核的重要内容,完善领导干部生态资源离任审计、生态环境损害责任终身追究等制度,构建源头预防、过程控制、损害赔偿、责任追究的生态环境保护体系,不断提升生态环境治理体系和治理能力现代化水平。

三、控好资源利用上线,是着力构建绿色发展体系的保障

人类的需求是无限的,而自然资源却是稀缺的,甚至是不可再生的。习近平总书记指出,“坚决摒弃损害甚至破坏生态环境的发展模式,坚决摒弃以牺牲生态环境换取一时一地经济增长的做法,让良好生态环境成为人民生活的增长点、成为经济社会持续健康发展的支撑点、成为展现我国良好形象的发力点,让中华大地天更蓝、山更绿、水更清、环境更优美”。黄河是中华民族的母亲河。黄河生态安全是黄河流域经济社会可持续发展的重大前提,既事关我国东西部区域、南北区域的协调发展,也事关促进共同富裕。习近平总书记高度重视黄河流域生态保护和高质量发展,在青海、河南、宁夏、山东等地视察时,多次强调要保护好利用好黄河水资源,提出了“以水定城、以水定地、以水定人、以水定产”的明确要求。水域、湿地、森林、草原等自然资源作为人类赖以生存发展的物质基础,担负着服务发展、保障民生、改善生态等重要职能,自然资源高质量开发利用是实现高质量发展的重要基础。

山林虽广,草木虽美,禁伐必有时、有度。高质量开发利用自然资源,要把握好开发利用的度,既要考虑人类和当代的需要,又要考虑大自然和后人的需要,不能突破自然资源承载能力,要为子孙后代留足永续发展的自然资源。我国民族地区应着眼于长远考虑,坚持高质量发展理念,依据资源环境承载能力,立足特色优势资源,坚定走生产发展、生活富裕、生态良好的文明发展道路,持续深化产业结构、能源结构、城乡结构调整等,重点加快生态旅游、民族医药、数字经济、现代高原农牧业等产业现代化步伐,依托互联网+、大数据、5G等现代信息技术,挖掘新功能新价值,促进产业融合发展;充分发挥风能、太阳能、水能等新能源资源丰富、开发利用潜力大的比较优势,积极开展国家现代能源经济示范区、能源革命综合改革试点等建设;深挖民族文化内涵与品牌价值,推动“民族文化+旅游业”“民族文化+传统手工业”等现代化改造,积极创作民族曲艺、舞蹈等文艺作品及“非遗”文化产业,提升民族文化特色产品的附加值,促进传统民族文化产业转型升级;全面推进生态城镇、生态乡村建设,充分挖掘自然人文生态资源,大力发展乡村休闲生态旅游,积极建设一批世界级旅游景区、度假区和国家级休闲城市、街区,把生态文化建设与人居环境建设结合起来,倡导绿色生产生活方式,真正建立起人与自然和谐相处、适应高质量发展要求的良性绿色发展体系,做到绿水、青山、蓝天、净气。

生态文明建设功在当代、利在千秋。围绕推动生态环境高水平保护和经济高质量发展,民族地区要深入学习贯彻落实习近平生态文明思想,牢固树立绿水青山就是金山银山、冰天雪地也是金山银山的理念,坚决扛起生态文明建设和生态环境保护的政治责任,立足新发展阶段、贯彻新发展理念、构建新发展格局,坚持生态优先、绿色发展,完整准确把握生态保护和经济发展的辩证关系,充分发挥资源优势、生态优势、区位优势、政策优势,严格坚守生态保护红线、环境质量底线、资源利用上线三条生态“红线”,有力推动民族地区创新发展、协调发展、绿色发展、开放发展和共享发展,让民族地区天更蓝、山更绿、水更清、环境更优美,助力实现中华民族永续发展的千年大计。

二、如何推进生态文明建设

1、坚持节约资源和保护环境的基本国策,坚持节约优先、保护优先、自然恢复为主的方针,着力推进绿色发展、循环发展、低碳发展,形成节约资源和保护环境的空间格局、产业结构、生产方式及生活方式,从源头上扭转生态环境恶化趋势,为人民创造良好生产生活环境,为全球生态安全做出贡献。

2、(一)优化国土空间开发格局。国土是生态文明建设的空间载体,必须珍惜每一寸国土。发展海洋经济,保护海洋生态环境,坚决维护国家海洋权益,建设海洋强国。

3、(二)全面促进资源节约。节约资源是保护生态环境的根本之策。要节约集约利用资源,控制能源消费总量,加强节能降耗,推进水循环利用。

4、(三)加大自然生态系统和环境保护力度。良好生态环境是人和社会持续发展的根本基础。扩大森林、湖泊、湿地面积,保护生物多样性。加快水利建设,增强城乡防洪抗旱排涝能力。

5、(四)加强生态文明制度建设。保护生态环境必须依靠制度。积极开展节能量、碳排放权、排污权、水权交易试点。

6、关于生态文明建设的本质特征,十八大报告强调:“把生态文明建设放在突出地位,融入经济建设、政治建设、文化建设、社会建设各方面和全过程”,由此,生态文明建设不但要做好其本身的生态建设、环境保护、资源节约等,更重要的是要放在突出地位。

7、融入经济建设、政治建设、文化建设、社会建设各方面和全过程,这就意味着生态文明建设既与经济建设、政治建设、文化建设、社会建设相并列从而形成五大建设,又要在经济建设、政治建设、文化建设、社会建设过程中融入生态文明理念、观点、方法。

8、参考资料来源:百度百科-生态文明建设

三、怎样选择数据平台的建设方案

业务跑的好好的,各系统稳定运行,为何还要搭建企业的数据平台?

这样的问题,心里想想就可以了,不要大声问出来。我来直接回答一下,公司一般在什么情况下需要搭建数据平台,对各种数据进行重新架构。

1、业务系统过多,彼此的数据没有打通。这种情况下,涉及到数据分析就麻烦了,可能需要分析人员从多个系统中提取数据,再进行数据整合,之后才能分析。一次两次可以忍,天天干这个能忍吗?人为整合出错率高怎么控制?分析不及时效率低要不要处理?

2、业务系统压力大,而不巧,数据分析又是一项比较费资源的任务。那么自然会想到的,通过将数据抽取出来,独立服务器来处理数据查询、分析任务,来释放业务系统的压力。

3、性能问题,公司可以越做越大,同样的数据也会越来越大。可能是历史数据的积累,也可能是新数据内容的加入,当原始数据平台不能承受更大数据量的处理时,或者是效率已经十分低下时,重新构建一个大数据处理平台就是必须的了。

上面我列出了三种情况,但他们并非独立的,往往是其中两种甚至三种情况同时出现。一个数据平台的出现,不仅可以承担数据分析的压力,同样可以对业务数据进行整合,也会不同程度的提高数据处理的性能,基于数据平台实现更丰富的功能需求。

二、数据平台的建设有哪些方案可以选择

下文中的优缺点仅从企业选型的角度,并非方案本身的技术角度。

如果一句话回答的话,那就是:太多了(这是一句废话,我承认),但确实有非常多的方案可供选择,我懂的少,肯定是无法一一介绍,所以就分成了下面几类,相信也一定程度上覆盖了大部分企业的需求了。

概念不说了,既然是做数据这一行的,相信你比我还要清楚,不清楚的可以百度。它的重点在于数据整合,同时也是对业务逻辑的一个梳理。虽然它也可以打包成ssas那种cube一类的东西来提升数据的读取性能,但是数据仓库的作用,更多的是为了解决公司的业务问题,而不仅仅是性能问题。这一点后面会详细介绍。

关于这一方案的优缺点,直接说重点:

方案成熟,关于数据仓库的架构,不管是Inmon架构还是Kimball架构,都有着非常广泛的应用,而且相信能将这两种架构落地的人也不少。

实施简单,涉及的技术层面主要是仓库的建模以及etl的处理,很多软件公司具备数据仓库的实施能力,实施难度的大小更多的取决于业务逻辑的复杂程度,而并非技术上的实现。

灵活性强,说这句话要有对应场景的,数据仓库的建设是透明的,如果需要,可以对仓库的模型、etl逻辑进行修改,来满足变更的需求(当然,最好设计之初考虑的周全一点)。同时对于上层的分析而言,通过sql或者mdx对仓库数据的分析处理具备极强的灵活性。

“实施周期长”,注意,我加了引号,对应下面的敏捷型数据集市,而且这点是相对的,实施周期的长与短要取决于业务逻辑的复杂性,时间是花在了业务逻辑的梳理,并非技术上的瓶颈。关于这点,后面会详细介绍。

数据的处理能力有限,这个有限,也是相对的,海量数据的处理它肯定不行,非关系型数据的处理它也不行,但是TB以下级别的数据,还是搞得定的(也取决于所采用的数据库系统),这个量级的数据,而相当一部分企业的数据,还是很难超过这个级别的。

底层的数据产品与分析层绑定,使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。这一类产品的出现,其初衷是为了对业务数据进行简单的、快速的整合,实现敏捷建模,并且大幅提升数据的处理速度。目前来看,这些产品都达到了以上的目的。但它的优缺点也比较明显。

部署简单,敏捷开发,这也是这类产品最大的优点,和数据仓库相比,实施周期要短的多。实际上它也没什么严格的实施的概念,因为这类产品只是针对需要分析的数据,进行局部的关联,只考虑眼前要解决的问题就够了,迭代的能力更强些。

与上层的分析工具结合较好,上层的分析工具接入这类数据产品后,可直接实现数据的图形化展示和olap分析。对数据处理性能的提高,这类产品都对数据的分析性能做了处理,虽然方式不尽相同,有内存映射文件存储的,也有分布式架构、列数据存储的。但无疑都一定程度上提高了数据的处理性能。

无法处理复杂的业务逻辑,这只是一个工具,它无法解决业务问题。这类工具中自带简单的etl功能,实现简单的数据处理和整合,而如果考虑到历史数据,考虑到整体的数据之间的逻辑和关系,它一定是解决不了的。一个简单的例子,当某个表中,有两个字段,一个要保留历史数据,一个要更新历史数据,要怎样实现自动处理。有一个观念是需要清楚的,不能指望一款工具来解决业务问题。这种数据产品仅仅是对当前的业务数据进行简单的整合,第一,数据是局部的,第二,时间是当前的(其涵带的增量更新或者全量更新,是无法应对复杂的逻辑的,相信熟悉etl的人都知道这个过程有多复杂)。当然,对于一些公司来说,可能需求只是对当前业务数据进行整合分析,那么这类产品就够了。(说实话,很多公司真的是懒得更长远的考虑,有一天没一天的,谁说的准呢)

l灵活性低,这个也是没法避免的,越是操作简单的工具,他的灵活性肯定受限,因为封装住了,产品是不透明的,常规的需求用起来非常方便,但是遇到复杂的,发现对他内部不了解,你也没法修改,只有蛋疼的份。

从我的角度看,它是很难成为公司的数据中心的。

3、 MPP(大规模并行处理)架构的数据产品,以最近开源的greenplum为例

传统的主机计算模式在海量数据面前,显得弱鸡。造价非常昂贵,同时技术上也无法满足高性能的计算,smp架构难于扩展,在独立主机的cpu计算和io吞吐上,都没办法满足海量数据计算的需求。分布式存储和分布式计算正是解决这一问题的关键,不管是后面的MapReduce计算框架还是MPP计算框架,都是在这一背景下产生的。

greenplum的数据库引擎是基于postgresql的,并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。

同时,基于greenplum的数据平台建设,可以实现两个层面的处理,显而易见的一个是对数据处理性能的处理,greenplum的百科中宣称支持50PB级海量数据的处理,考虑它有吹牛的成分,对目前greenplum实际应用情况的了解,100tb级左右的数据,是非常轻松的。另一个是数据仓库可以搭建在greenplum中,这一层面上也是对业务逻辑的梳理,对公司业务数据的整合。

海量数据的支持,大量成熟的应用案例,所以我想这一点是不用怀疑的。

扩展性,据说可线性扩展到10000个节点,并且每增加一个节点,查询、加载性能都成线性增长。

易用性,不需要复杂的调优需求,并行处理由系统自动完成。依然是sql作为交语言,简单、灵活、强大。

高级功能,greenplum还研发了很多高级数据分析管理功能,例如人气很高的外部表,还有Primary/Mirror镜像保护机制,行/列混合存储等。

稳定性,greenplum原本作为一个纯商业数据产品,具有很长的历史,其稳定性相比于其他产品以及敏捷性数据集市是更加有保障的。 greenplum有非常多的应用案例,纳斯达克、纽约证券交易所、平安银行、建设银行、华为等都建立了基于greenplum的数据分析平台。其稳定性是可以从侧面验证的,在15年9月份开源后,各大互联网公司也是一片欢腾,现在也接触了几家在使用greenplum的客户,对其评价都很高。

本身来说,它的定位在olap领域,不擅长oltp交易系统。当然我们搭建公司的数据中心也不会是用来做交易系统的。

成本,两个方面的考虑,一是硬件成本,greenplum有其推荐的硬件规格,对内存、网卡都有要求。当然,在硬件选型上,需要达到一个平衡,要在性能、容量、成本等多方面考虑,毕竟不能一味的追求性能,把采购部门吓到吧。另一个是实施成本,这里主要是人了,基本的是greenplum的安装配置,再到greenplum中数据仓库的构建,都需要人和时间。(但是必须要说的是,人家软件都开源了,也省下了一笔钱啊)

技术门槛,这里是相对于上一个敏捷型数据集市的,greenplum的门槛肯定是要高一点了。

关于hadoop,已经火的要爆炸了,greenplum的开源跟它也是脱不了关系的。有着高可靠性、高扩展性、高效性、高容错性的口碑。在互联网领域有非常广泛的运用,雅虎、facebook、百度、淘宝等等等等。hadoop生态体系非常庞大,各公司基于hadoop所实现的也不仅限于数据分析,也包括机器学习、数据挖掘、实时系统等。

当企业数据规模达到一定的量级,我想hadoop是各大企业的首选方案,到达这样一个层次的时候,我想企业所要解决的也不仅是性能问题,还会包括时效问题、更复杂的分析挖掘功能的实现等。非常典型的实时计算体系也与hadoop这一生态体系有着紧密的联系。

近些年来hadoop的易用性也有了很大的提升,sql-on-hadoop技术大量涌现,包括hive、impala、spark-sql等。尽管其处理方式不同,但普遍相比于原始基于文件的Mapreduce,不管是性能还是易用性,都是有所提高的。也因此对mpp产品的市场产生了压力。

对于企业构建数据平台来说,hadoop的优势与劣势非常明显:它的大数据的处理能力、高可靠性、高容错性、开源性以及低成本(为什么说低成本,要处理同样规模的数据,换一个其他方案试试呢)。缺点也就是他的体系的复杂,技术门槛较高(能搞定hadoop的公司规模一般都不小了)。

关于hadoop的优缺点对于公司的数据平台选型来说,影响已经不大了。需要上hadoop的时候,也没什么其它的方案好选择(要么太贵,要么不行),没到达这个数据量的时候,也没人愿意碰这东西。总之,不要为了大数据而大数据。

三、方案很多,企业要怎样选择呢?

环境太复杂,但是我想至少要从下面这几个方面去考虑吧。

什么样的目的?就是文中开始部分的三种情况呀(不好意思,自大了,肯定有其它情况,欢迎向“jiago王”补充),或者是其中几个的组合。

做事方法都一样,哪怕是中午出去吃饭,也是要在心里有个目的,这顿饭是为了吃饱,还是吃爽,或者为了拍别人的马屁,然后才好选择去吃什么。

当然,要明确数据平台的建设目的,哪里是那么容易的,初衷与讨论后确认的目标或许是不一致的。

公司要搭建一个数据平台的初衷可能很简单,只是为了减轻业务系统的压力,将数据拉出来后再分析,如果目的真的就这么单纯,还真的没有必要大动干戈了。如果是独立系统的话,直接将业务系统的数据库复制出来一份就好了;如果是多系统,选类似finecube那种型敏捷型的商业数据产品也够了,快速建模,直接用finebi或者finereport接入进去就能实现数据的可视化与olap分析。

但是,既然已经决定要将数据平台独立出来了,就不再多考虑一点吗?多个系统的数据,不趁机梳理整合一下?当前只有分析业务数据的需求,以后会不会考虑到历史数据呢?这种敏捷的方案能够支撑明年、后年的需求吗?

任何公司要搭建数据平台,都不是一件小事,多花一两个月实施你可能觉得累,多花一周两周的时间,认真的思考一下总可以的吧。雷军不是说过这样一句话:不能以战术上的勤奋,掩盖战略上的懒惰。

根据公司的数据规模选择合适的方案,这里说多了都是废话。

包括时间成本和金钱,不必多说。但是这里有一个问题想提一下,发现很多公司,要么不上数据平台,一旦有了这样的计划,就恨不得马上把平台搭出来用起来,时间成本不肯花,这样的情况很容易考虑欠缺,也容易被数据实施方忽悠。

关于方案选择的建议,举以下3 1个场景

要实现对业务数据的快速提取和分析,多个业务系统,没有达到海量数据,不考虑历史数据,不需要依照业务逻辑对数据进行系统的梳理,这种情况下,可以考虑敏捷型的bi工具自带的数据底层。

简单来讲,这种场景仅仅是在技术层面上,完成对数据的整合与提速,并没有从业务层面上对数据进行建模。他可以满足一定的分析需求,但是不能成为公司的数据中心。

要搭建公司级的数据中心,打通各系统之间的数据。非常明显的,需要搭建一个数据仓库。这时就需要进一步考虑公司数据的量级了,如果是小数据量,TB级以下,那么在传统数据库中建这样一个数据仓库就可以了,如果数据量达到几十上百TB,或者可见的在未来几年内数据会达到这样一个规模,可以将仓库搭在 greenplum中。

这种场景应该是适用于大部分公司,对于大部分企业来说,数据量都不会PB级别,更多的是在TB级以下。

公司数据爆发式增长,原有的数据平台无法承担海量数据的处理,那么就建议考虑hadoop这种大数据平台了。它一定是公司的数据中心,这样一个角色,仓库是少不了的,可以将原来的仓库直接搬到hive中去。这种数据量比较大的情况要怎样呈现,因为hive的性能较差,它的即席查询可以接 impala,也可以接greenplum,因为impala的并发量不是那么高,而greenplum正好有它的外部表(也就是greenplum创建一张表,表的特性叫做外部表,读取的内容是hadoop的hive里的),正好和hadoop完美的融合(当然也可以不用外部表)。

这个是后面补充的,当公司原本有一个数据仓库,但历史数据了堆积过多,分析性能下降,要怎么办?两个方案可以考虑,比较长远的,可以将仓库以及数据迁移到greenplum中,形成一个新的数据平台,一个独立的数据平台,可以产生更多的可能性;比较快速的,是可以将类似finecube那种敏捷型数据产品接入原来的仓库,这样来提升数据的处理性能,满足分析的要求。

四、关于方案选型时可能会出现的误区

(忽略业务的复杂性,要用工具来解决或者是绕开业务的逻辑。)

这个是我最近遇到过的,客户要做报表平台,有三个业务系统的数据需要整合。但是急于变现,不想搭建传统的数据仓库,所以从敏捷型的bi工具中选型。工具厂商对自己数据产品的描述,一般着重于他的快速实施、性能的优化、以及自带的基本etl功能。这样容易给客户造成误区,就是通过这一产品可快速搭建出一个公司级别的数据中心,满足于顶层对数据的需求。

然而在后期突然意识到,工具所解决的,仅仅是在技术层面上简化了工具的使用的复杂性,把etl和数据集市封装在一起,并且提高了数据的性能,但是并没有从业务层面上实现数据的建模,很多细节问题无法处理。

虽然敏捷开发非常诱人,如果业务系统简单,或者只需要分析当前状态的业务数据,不需要公司级的数据中心,那么确实是一个非常好的方案。然而这些问题还没有考虑清楚,对敏捷产品有了过高的期望,后面是会遇到些麻烦的。

除此之外,可能还会有为了大数据而大数据的,但是这些我在实际的工作中还没有遇到。

最后总结一下,企业选择数据平台的方案,有着不同的原因,要合理的选型,既要充分的考虑搭建数据平台的目的,也要对各种方案有着充分的认识。

仅从个人的角度,对于数据层面来说,还是倾向于一些灵活性很强的方案的,因为数据中心对于公司来说太重要了,我更希望它是透明的,是可以被自己完全掌控的,这样才有能力实现对数据中心更加充分的利用。因为,我不知道未来需要它去承担一个什么样的角色。

好了,本文到此结束,如果可以帮助到大家,还望关注本站哦!

声明:本文内容来自互联网不代表本站观点,转载请注明出处:https://www.41639.com/15_454379.html

相关推荐