技术交易平台 建设方案

大家好,关于技术交易平台 建设方案很多朋友都还不太明白,不过没关系,因为今天小编就来为大家分享关于怎样选择数据平台的建设方案的知识点,相信应该可以解决大家的一些困惑和问题,如果碰巧可以解决您的问题,还望关注下本站哦,希望对各位有所帮助!

本文目录

  1. 一个软件开发团队 需要哪些技术人员
  2. 信息化建设方案
  3. 怎样选择数据平台的建设方案

一、一个软件开发团队 需要哪些技术人员

1、不同规模的软件开发团队,需要的人员组成结构是不同的。

2、软件开发人员、软件设计人员。其中具体包括编程人员、美工人员、创意人员等;

3、软件开发人员、软件设计人员、市场研究人员、客服人员、推广人员等。其中技术人员具体包括编程人员、美工、创意人员等。

二、信息化建设方案

为加快“湖南香稻第一村”信息化建设步伐,利用现代信息技术服务“三农”,切实解决农民获取信息难问题,促进村域经济和社会和谐,根据市、区建设社会主义新农村的总体要求和部署,结合实际,制定此方案。

以科学发展观为统领,本着“科技兴农、信息先行、以点带面、循序渐进”的原则,紧扣我村信息化的发展现状及经济社会发展的现实要求,依靠科技创新,以信息化促进农业产业化;融合各类技术手段和信息资源,加强农村信息资源开发利用,全面提高农村信息化综合水平;立足信息化平台,提高农民科技素质,推进农民融入市场经济,为实现农业大村向农业强村跨越提供信息技术支撑。

1、坚持立足实际的原则。充分利用农村现有信息网络资源,充分发挥农村远教系统、互联网、移动通讯网的作用,达到“互联互通”的目标。

2、坚持资源统筹的原则。有效统筹市、区、镇投入到香稻村的科技、农业、文化、计生、民政等信息资源,加强横向联动,最终实现“工作融合、投入集合、信息聚合”。

3、坚持服务创新的原则。在完善现有信息服务体制的基础上,按照“村委主导、多方参与、信息兴农、农民受益”的思路,逐步建立农村信息服务实体的长效运行机制。

4、坚持循序渐进的原则。根据我村信息基础设施建设、经济发展和农民需求的区域特点,采用多种模式,先行试点,逐步推开。

5、坚持方便适用原则。利用语音、文字、图像和视频等多维化的信息形式,传播群众急需适用的信息;通过平台实现信息的双向互动,快捷、有效地帮助农民实现产销对接、政策咨询和技术指导服务。

利用三年时间基本建成覆盖全村的综合信息服务平台;建立“六大”农村信息化实用型机制;实现农村信息化设备拥有率和信息技术应用水平普遍提高;构建村庄信息员队伍,完善信息技术培训机制。

(一)建立香稻村综合信息服务平台

以农村远程教育系统为基础,通过博客“香稻坊”淘宝店、微博、移动“飞信”群等载体,建立香稻村综合信息服务平台,建设集采集、分析、发布于一体的农村信息服务网络体系。平台将提供三类服务(村务公开、信息公示、农技服务),实现四流交互(信息流、物流、资金流、人脉流),依托五种手段(村务博客、手机通讯、乡村广播),让农民足不出村就能获取和发布信息。

(二)建立“六大”农村信息化实用型机制

根据我村农作物病虫害诊治的具体应用需求,结合省农科院的科研资源和区农技站所的技术力量,以村“科技兴农”QQ群为载体,建立农业病虫害自动诊断与服务系统,适时为我村种植大户、农民合作社提供病虫害防治方案和无公害防治措施,提高农产品生产的安全性。

依托“易村网”,建立村庄农产品信息集成服务系统,实现与国内主要农贸交易市场和电子商务网站的相互通联,为拓展农产品和农业生产资料销路提供指导,解决买难、卖难问题,实现农民增收、增效。

将村务综合管理、电子办公系统、农业生产系统融为一体,为农民提供计划生育、民主管理、政务公开、合作医疗、便民服务等住处化服务。

充分利用广播、电话、手机短信等手段,对农业病虫害、气象灾害、地震、突发传染病等预警信息进行信息快速发布,建立应急信息发布预警系统。

结合“红星视频”现代远程教育精品资源库,为农村党员、农民、农村青少年提供多媒体培训服务,使农村远程教育培训能够成为农民家门口的图书馆、电影院和培训课堂。

充分发挥乡村广播方便、迅捷、实用的优势,及时发布将农业政策信息、科技信息、市场信息、气象信息,为农业生产提供快捷服务。

(三)实施信息用户终端“户户通”工程

整合本村现有硬件资源,结合香稻村综合信息服务平台,在全村建立1000个电脑、电视、广播、电话、手机等服务终端,为农民提供语音、图像、文字等立体服务。利用省、市信息化建设项目资金,加快信息网络终端向个体经营户、专业大户和新生代农村居民等延伸。三年内基本实现全村入网,互联互通,资源共享。

(四)实施农村信息化人员培训工程

采取集中培训和远程教育等方式,对村委骨干、种养大户、新生代青少年进行有针对性培养,实现培训和服务100名农民信息员的计划目标。着力建设一支过硬的信息员队伍,保证我村上传信息、发布信息在数量和质量不断提高。

按照先试点、后推广的`原则,落实工作任务,实施期为3年。

(一)试点阶段。从2011年1月开始,在先行试点。至201年底结束。

1、依托湖南农村远教设备,加快村级综合信息服务平台建设。

2、聚合部门信息资源,建设农村综合资源应用六大信息服务系统。

3、加强通讯网络、计算机网络设施建设,改进信息服务手段,提高信息服务能力。

4、配齐配强信息员队伍。对信息员和示范户进行技术和应用培训,提高应用示范效果和辐射示范效应。

(二)推广阶段。从**年开始,在总结试点经验基础上,逐步推广至全村,**年底,基本实现农户的全覆盖。

(一)提高认识,精心组织。村两委提高认识,加强领导,明确责任,落实任务。村骨干要相互协调,相互配合,形成工作合力,采取有效措施,做到资金投入、技术指导、监督管理“三到位”。

(二)强化培训,配齐队伍。不断提高和增强农业信息人员的业务素质和信息服务能力,普及信息采集、传播方法和农业科技、经营管理知识以及计算机、网络应用基础常识。

(三)筹集资金,加大投入。鼓励和支持有实力的企业、个人等各类主体介入。发挥各方面积极性,利用多条渠道、采取多种方式,共同筹措信息化所需资金,逐步形成共同支撑农村信息化的投入机制。

(四)健全制度,保障安全。为保障农村信息网络正常运转,建立健全各类规章制度,作好网络的安全、运行、维护管理和文件的上传下达工作,确保信息传播渠道畅通无阻。

华容县北景港中学现有教学班15个,教职工96人,学生739人,学校占地面积30亩,建筑面积32000平方米,各种功能教室一应俱全。

信息化建设基础方面,20兆宽带网络进了校园,每个办公室和教室都有网络接口,并且都能够上网;每个教室都装有一体机,实现了“班班通”,教师在每个教室都能进行多媒体教学;学校建立了拥有一整套设备的多媒体教室,有1个学生计算机室,台式电脑50台,本期为教师购置手提电脑78台。

学校现有教师75人,98%的教师具有信息高级技术证,教师学历达标率为100%,其中本科学历教师55人,占教师总人数的74%;中学高级、中学一级职称教师45人,占60%,57%以上的教师能够独立制作课件,应用多媒体教学。

认真落实《湖南省教育信息化“十二五”建设规划》,把教育信息化建设放在学校教育中的重要地位,把“提高师生信息素养、提高信息技术在学校教育和管理中的应用水平”作为实施素质教育的重要举措,确保信息技术在教育教学中的运用凸现出巨大优势。

实现学校管理数字化,校园教育信息化,确保计算机及其网络成为全体教职员工和学生工作和学习的基本工具,发挥教师利用信息化应用技能在教育教学工作中的作用,提升我校教育信息化应用水平。为在网络环境下开展教学和管理创造必要而充分的条件。

(一)教育信息化应用创新工作领导小组。

成员:戴昱、施湘平、夏勇、蔡君发、唐创、钟磊彬

向阳、王大伟、肖必星、姚建民、薛为宏、张梦阳。

专家指导小组:县技术中心技术员

施湘平:负责全面工作的协调、指导和督查。

唐创:负责“学校教育信息化平台”、“领信教育业务管理平台和学校管理平台”等电子OA管理系统的建设。协助人员:张梦阳

①平台模块数据的上报,平台新增模块及更新学校各类基本数据

②教师个人空间的建设管理。含教师日常的教育教学活动、学习培训及心得体会、工作成绩、教学经验、教学设计、教学课件等教育资源。

③各项制度的收集整理(制定《北景港中学教师信息化应用考核细则》),教师教学过程中的电子化管理和质量监控(电子备课的指导)。

⑤加强教师培训。在“领信教育”平台上开通教师技术培训专栏,分层次对教师进行操作系统、常用软件使用、多媒体辅助教学软件使用等培训,内容以信息化理念、教师岗位技能、资源利用、教学平台应用等方面为主。

肖必星:负责教师信息技术培训、网站教学教研资源的收集。协助人员:张梦阳、洪权遇

①由学校优秀教师建立名师工作室。

②有效利用“同步课堂、专题课堂、名师课堂”开展网络教学教研活动。

③开辟“同步课堂”加强校本培训。建立各学科教研组空间,负责收集、整理、审核、上传学科资源。

钟垒彬:负责班级管理、学生教育资源的收集。

①加强网络化校园文化建设,定期开展各种网络校园文化活动。例如:网上主题征文活动、网上主题征画比赛、学生网上论坛、网上板报、班标等各类班级评比活动。

②利用教育信息化平台实施“家校沟通”服务,使学校为学生家长提供更全面、更便捷、更顺畅的服务。同时设立“亲情电话”“绿色电话”为留守学生与父母沟通服务。

夏勇:负责硬件建设和经费筹措、后勤管理资源的收集。协助人员:姚建明

王大伟:负责学校网站的建设维护。协助人员:薛为宏

向阳:负责学校信息技术设备的维护,保证系统的正常运行。

1、通过市县级信息技术培训考核的教师占总数的95%以上、通过送培和校本培训实现。

2、通过送培方式使网络管理员和信息技术专兼职教师均须通过教育局的专业培训后上岗。

3、高起点建设校园网络,使校内主干速率达到20Mbps,桌面终端连接速率不低于独享2M。

5、建设具备以下功能的校园网,连接校园内所有计算机,并在每个教室和办公地点,以及校内其他公共场所均设有网络终端。

(1)能够提供各类信息服务,如:

Internet连接访问代理文件传输Web浏览

通过上级教育信息网中心网站建立电子邮件系统

校内BBS和CHAT在市或县教育信息网上设立主页和虚拟空间(或主机托管),并保持更新维护。

(2)能够通过网络实现校务管理信息系统的应用。

行政管理:包括会议管理、单位日程管理、公共信息发布、政务信息发布、政策法规查询等;

人事管理:管理和维护单位的人事信息等。

学籍管理:包括班级管理、学籍注册、奖惩管理、分班管理、升级管理、统计查询、报表打印等功能模块;

招生管理:招生计划、入学报到等;

教学管理:教师管理、教学计划、课表安排、补课调课等;

考试管理:考试安排、补考安排、成绩管理与分析等。

图书管理系统:图书/期刊的采购、编目、流通和查询、检索实现计算机自动化管理;

电子阅览室:使读者可以通过网络查询图书馆购置的各种光盘数据库和电子出版物,同时可以上网浏览;

网络备课与授课系统:建立以学校教学软件和课件素材等构成的本地化特色资源库,为教师通过网络进行备课提供便利条件,并实现教学资源的共建共享;

在学校资源库的基础上,建立科学、合理的资源积累、优化机制,为学科整合提供平台基础;

(5)建有多媒体教学资源制作系统

多媒体课件制作系统:提供网络化平台,让教师能利用网络的优势,在网络上制作多媒体课件;

多媒体教学资源开发系统:包括开发工具和设备,可进行多媒体信息的加工制作。

(6)与学生、家长、社区沟通的平台建设

采用“领信教育平台”方式,实现与学生、家长和社区的信息沟通。

(7)以“湖南省基础教育资源网”为平台,建立教师个人空间站。

须安排专职工作人员,负责网络日常运行维护和管理工作,并制订一系列保障本校信息基础设施安全使用的管理条例。

六、经费保障:争取上级支持为主,自筹为辅。

三、怎样选择数据平台的建设方案

业务跑的好好的,各系统稳定运行,为何还要搭建企业的数据平台?

这样的问题,心里想想就可以了,不要大声问出来。我来直接回答一下,公司一般在什么情况下需要搭建数据平台,对各种数据进行重新架构。

1、业务系统过多,彼此的数据没有打通。这种情况下,涉及到数据分析就麻烦了,可能需要分析人员从多个系统中提取数据,再进行数据整合,之后才能分析。一次两次可以忍,天天干这个能忍吗?人为整合出错率高怎么控制?分析不及时效率低要不要处理?

2、业务系统压力大,而不巧,数据分析又是一项比较费资源的任务。那么自然会想到的,通过将数据抽取出来,独立服务器来处理数据查询、分析任务,来释放业务系统的压力。

3、性能问题,公司可以越做越大,同样的数据也会越来越大。可能是历史数据的积累,也可能是新数据内容的加入,当原始数据平台不能承受更大数据量的处理时,或者是效率已经十分低下时,重新构建一个大数据处理平台就是必须的了。

上面我列出了三种情况,但他们并非独立的,往往是其中两种甚至三种情况同时出现。一个数据平台的出现,不仅可以承担数据分析的压力,同样可以对业务数据进行整合,也会不同程度的提高数据处理的性能,基于数据平台实现更丰富的功能需求。

二、数据平台的建设有哪些方案可以选择

下文中的优缺点仅从企业选型的角度,并非方案本身的技术角度。

如果一句话回答的话,那就是:太多了(这是一句废话,我承认),但确实有非常多的方案可供选择,我懂的少,肯定是无法一一介绍,所以就分成了下面几类,相信也一定程度上覆盖了大部分企业的需求了。

概念不说了,既然是做数据这一行的,相信你比我还要清楚,不清楚的可以百度。它的重点在于数据整合,同时也是对业务逻辑的一个梳理。虽然它也可以打包成ssas那种cube一类的东西来提升数据的读取性能,但是数据仓库的作用,更多的是为了解决公司的业务问题,而不仅仅是性能问题。这一点后面会详细介绍。

关于这一方案的优缺点,直接说重点:

方案成熟,关于数据仓库的架构,不管是Inmon架构还是Kimball架构,都有着非常广泛的应用,而且相信能将这两种架构落地的人也不少。

实施简单,涉及的技术层面主要是仓库的建模以及etl的处理,很多软件公司具备数据仓库的实施能力,实施难度的大小更多的取决于业务逻辑的复杂程度,而并非技术上的实现。

灵活性强,说这句话要有对应场景的,数据仓库的建设是透明的,如果需要,可以对仓库的模型、etl逻辑进行修改,来满足变更的需求(当然,最好设计之初考虑的周全一点)。同时对于上层的分析而言,通过sql或者mdx对仓库数据的分析处理具备极强的灵活性。

“实施周期长”,注意,我加了引号,对应下面的敏捷型数据集市,而且这点是相对的,实施周期的长与短要取决于业务逻辑的复杂性,时间是花在了业务逻辑的梳理,并非技术上的瓶颈。关于这点,后面会详细介绍。

数据的处理能力有限,这个有限,也是相对的,海量数据的处理它肯定不行,非关系型数据的处理它也不行,但是TB以下级别的数据,还是搞得定的(也取决于所采用的数据库系统),这个量级的数据,而相当一部分企业的数据,还是很难超过这个级别的。

底层的数据产品与分析层绑定,使得应用层可以直接对底层数据产品中的数据进行拖拽式分析。这一类产品的出现,其初衷是为了对业务数据进行简单的、快速的整合,实现敏捷建模,并且大幅提升数据的处理速度。目前来看,这些产品都达到了以上的目的。但它的优缺点也比较明显。

部署简单,敏捷开发,这也是这类产品最大的优点,和数据仓库相比,实施周期要短的多。实际上它也没什么严格的实施的概念,因为这类产品只是针对需要分析的数据,进行局部的关联,只考虑眼前要解决的问题就够了,迭代的能力更强些。

与上层的分析工具结合较好,上层的分析工具接入这类数据产品后,可直接实现数据的图形化展示和olap分析。对数据处理性能的提高,这类产品都对数据的分析性能做了处理,虽然方式不尽相同,有内存映射文件存储的,也有分布式架构、列数据存储的。但无疑都一定程度上提高了数据的处理性能。

无法处理复杂的业务逻辑,这只是一个工具,它无法解决业务问题。这类工具中自带简单的etl功能,实现简单的数据处理和整合,而如果考虑到历史数据,考虑到整体的数据之间的逻辑和关系,它一定是解决不了的。一个简单的例子,当某个表中,有两个字段,一个要保留历史数据,一个要更新历史数据,要怎样实现自动处理。有一个观念是需要清楚的,不能指望一款工具来解决业务问题。这种数据产品仅仅是对当前的业务数据进行简单的整合,第一,数据是局部的,第二,时间是当前的(其涵带的增量更新或者全量更新,是无法应对复杂的逻辑的,相信熟悉etl的人都知道这个过程有多复杂)。当然,对于一些公司来说,可能需求只是对当前业务数据进行整合分析,那么这类产品就够了。(说实话,很多公司真的是懒得更长远的考虑,有一天没一天的,谁说的准呢)

l灵活性低,这个也是没法避免的,越是操作简单的工具,他的灵活性肯定受限,因为封装住了,产品是不透明的,常规的需求用起来非常方便,但是遇到复杂的,发现对他内部不了解,你也没法修改,只有蛋疼的份。

从我的角度看,它是很难成为公司的数据中心的。

3、 MPP(大规模并行处理)架构的数据产品,以最近开源的greenplum为例

传统的主机计算模式在海量数据面前,显得弱鸡。造价非常昂贵,同时技术上也无法满足高性能的计算,smp架构难于扩展,在独立主机的cpu计算和io吞吐上,都没办法满足海量数据计算的需求。分布式存储和分布式计算正是解决这一问题的关键,不管是后面的MapReduce计算框架还是MPP计算框架,都是在这一背景下产生的。

greenplum的数据库引擎是基于postgresql的,并且通过Interconnnect神器实现了对同一个集群中多个Postgresql实例的高效协同和并行计算。

同时,基于greenplum的数据平台建设,可以实现两个层面的处理,显而易见的一个是对数据处理性能的处理,greenplum的百科中宣称支持50PB级海量数据的处理,考虑它有吹牛的成分,对目前greenplum实际应用情况的了解,100tb级左右的数据,是非常轻松的。另一个是数据仓库可以搭建在greenplum中,这一层面上也是对业务逻辑的梳理,对公司业务数据的整合。

海量数据的支持,大量成熟的应用案例,所以我想这一点是不用怀疑的。

扩展性,据说可线性扩展到10000个节点,并且每增加一个节点,查询、加载性能都成线性增长。

易用性,不需要复杂的调优需求,并行处理由系统自动完成。依然是sql作为交语言,简单、灵活、强大。

高级功能,greenplum还研发了很多高级数据分析管理功能,例如人气很高的外部表,还有Primary/Mirror镜像保护机制,行/列混合存储等。

稳定性,greenplum原本作为一个纯商业数据产品,具有很长的历史,其稳定性相比于其他产品以及敏捷性数据集市是更加有保障的。 greenplum有非常多的应用案例,纳斯达克、纽约证券交易所、平安银行、建设银行、华为等都建立了基于greenplum的数据分析平台。其稳定性是可以从侧面验证的,在15年9月份开源后,各大互联网公司也是一片欢腾,现在也接触了几家在使用greenplum的客户,对其评价都很高。

本身来说,它的定位在olap领域,不擅长oltp交易系统。当然我们搭建公司的数据中心也不会是用来做交易系统的。

成本,两个方面的考虑,一是硬件成本,greenplum有其推荐的硬件规格,对内存、网卡都有要求。当然,在硬件选型上,需要达到一个平衡,要在性能、容量、成本等多方面考虑,毕竟不能一味的追求性能,把采购部门吓到吧。另一个是实施成本,这里主要是人了,基本的是greenplum的安装配置,再到greenplum中数据仓库的构建,都需要人和时间。(但是必须要说的是,人家软件都开源了,也省下了一笔钱啊)

技术门槛,这里是相对于上一个敏捷型数据集市的,greenplum的门槛肯定是要高一点了。

关于hadoop,已经火的要爆炸了,greenplum的开源跟它也是脱不了关系的。有着高可靠性、高扩展性、高效性、高容错性的口碑。在互联网领域有非常广泛的运用,雅虎、facebook、百度、淘宝等等等等。hadoop生态体系非常庞大,各公司基于hadoop所实现的也不仅限于数据分析,也包括机器学习、数据挖掘、实时系统等。

当企业数据规模达到一定的量级,我想hadoop是各大企业的首选方案,到达这样一个层次的时候,我想企业所要解决的也不仅是性能问题,还会包括时效问题、更复杂的分析挖掘功能的实现等。非常典型的实时计算体系也与hadoop这一生态体系有着紧密的联系。

近些年来hadoop的易用性也有了很大的提升,sql-on-hadoop技术大量涌现,包括hive、impala、spark-sql等。尽管其处理方式不同,但普遍相比于原始基于文件的Mapreduce,不管是性能还是易用性,都是有所提高的。也因此对mpp产品的市场产生了压力。

对于企业构建数据平台来说,hadoop的优势与劣势非常明显:它的大数据的处理能力、高可靠性、高容错性、开源性以及低成本(为什么说低成本,要处理同样规模的数据,换一个其他方案试试呢)。缺点也就是他的体系的复杂,技术门槛较高(能搞定hadoop的公司规模一般都不小了)。

关于hadoop的优缺点对于公司的数据平台选型来说,影响已经不大了。需要上hadoop的时候,也没什么其它的方案好选择(要么太贵,要么不行),没到达这个数据量的时候,也没人愿意碰这东西。总之,不要为了大数据而大数据。

三、方案很多,企业要怎样选择呢?

环境太复杂,但是我想至少要从下面这几个方面去考虑吧。

什么样的目的?就是文中开始部分的三种情况呀(不好意思,自大了,肯定有其它情况,欢迎向“jiago王”补充),或者是其中几个的组合。

做事方法都一样,哪怕是中午出去吃饭,也是要在心里有个目的,这顿饭是为了吃饱,还是吃爽,或者为了拍别人的马屁,然后才好选择去吃什么。

当然,要明确数据平台的建设目的,哪里是那么容易的,初衷与讨论后确认的目标或许是不一致的。

公司要搭建一个数据平台的初衷可能很简单,只是为了减轻业务系统的压力,将数据拉出来后再分析,如果目的真的就这么单纯,还真的没有必要大动干戈了。如果是独立系统的话,直接将业务系统的数据库复制出来一份就好了;如果是多系统,选类似finecube那种型敏捷型的商业数据产品也够了,快速建模,直接用finebi或者finereport接入进去就能实现数据的可视化与olap分析。

但是,既然已经决定要将数据平台独立出来了,就不再多考虑一点吗?多个系统的数据,不趁机梳理整合一下?当前只有分析业务数据的需求,以后会不会考虑到历史数据呢?这种敏捷的方案能够支撑明年、后年的需求吗?

任何公司要搭建数据平台,都不是一件小事,多花一两个月实施你可能觉得累,多花一周两周的时间,认真的思考一下总可以的吧。雷军不是说过这样一句话:不能以战术上的勤奋,掩盖战略上的懒惰。

根据公司的数据规模选择合适的方案,这里说多了都是废话。

包括时间成本和金钱,不必多说。但是这里有一个问题想提一下,发现很多公司,要么不上数据平台,一旦有了这样的计划,就恨不得马上把平台搭出来用起来,时间成本不肯花,这样的情况很容易考虑欠缺,也容易被数据实施方忽悠。

关于方案选择的建议,举以下3 1个场景

要实现对业务数据的快速提取和分析,多个业务系统,没有达到海量数据,不考虑历史数据,不需要依照业务逻辑对数据进行系统的梳理,这种情况下,可以考虑敏捷型的bi工具自带的数据底层。

简单来讲,这种场景仅仅是在技术层面上,完成对数据的整合与提速,并没有从业务层面上对数据进行建模。他可以满足一定的分析需求,但是不能成为公司的数据中心。

要搭建公司级的数据中心,打通各系统之间的数据。非常明显的,需要搭建一个数据仓库。这时就需要进一步考虑公司数据的量级了,如果是小数据量,TB级以下,那么在传统数据库中建这样一个数据仓库就可以了,如果数据量达到几十上百TB,或者可见的在未来几年内数据会达到这样一个规模,可以将仓库搭在 greenplum中。

这种场景应该是适用于大部分公司,对于大部分企业来说,数据量都不会PB级别,更多的是在TB级以下。

公司数据爆发式增长,原有的数据平台无法承担海量数据的处理,那么就建议考虑hadoop这种大数据平台了。它一定是公司的数据中心,这样一个角色,仓库是少不了的,可以将原来的仓库直接搬到hive中去。这种数据量比较大的情况要怎样呈现,因为hive的性能较差,它的即席查询可以接 impala,也可以接greenplum,因为impala的并发量不是那么高,而greenplum正好有它的外部表(也就是greenplum创建一张表,表的特性叫做外部表,读取的内容是hadoop的hive里的),正好和hadoop完美的融合(当然也可以不用外部表)。

这个是后面补充的,当公司原本有一个数据仓库,但历史数据了堆积过多,分析性能下降,要怎么办?两个方案可以考虑,比较长远的,可以将仓库以及数据迁移到greenplum中,形成一个新的数据平台,一个独立的数据平台,可以产生更多的可能性;比较快速的,是可以将类似finecube那种敏捷型数据产品接入原来的仓库,这样来提升数据的处理性能,满足分析的要求。

四、关于方案选型时可能会出现的误区

(忽略业务的复杂性,要用工具来解决或者是绕开业务的逻辑。)

这个是我最近遇到过的,客户要做报表平台,有三个业务系统的数据需要整合。但是急于变现,不想搭建传统的数据仓库,所以从敏捷型的bi工具中选型。工具厂商对自己数据产品的描述,一般着重于他的快速实施、性能的优化、以及自带的基本etl功能。这样容易给客户造成误区,就是通过这一产品可快速搭建出一个公司级别的数据中心,满足于顶层对数据的需求。

然而在后期突然意识到,工具所解决的,仅仅是在技术层面上简化了工具的使用的复杂性,把etl和数据集市封装在一起,并且提高了数据的性能,但是并没有从业务层面上实现数据的建模,很多细节问题无法处理。

虽然敏捷开发非常诱人,如果业务系统简单,或者只需要分析当前状态的业务数据,不需要公司级的数据中心,那么确实是一个非常好的方案。然而这些问题还没有考虑清楚,对敏捷产品有了过高的期望,后面是会遇到些麻烦的。

除此之外,可能还会有为了大数据而大数据的,但是这些我在实际的工作中还没有遇到。

最后总结一下,企业选择数据平台的方案,有着不同的原因,要合理的选型,既要充分的考虑搭建数据平台的目的,也要对各种方案有着充分的认识。

仅从个人的角度,对于数据层面来说,还是倾向于一些灵活性很强的方案的,因为数据中心对于公司来说太重要了,我更希望它是透明的,是可以被自己完全掌控的,这样才有能力实现对数据中心更加充分的利用。因为,我不知道未来需要它去承担一个什么样的角色。

文章到此结束,如果本次分享的技术交易平台 建设方案和怎样选择数据平台的建设方案的问题解决了您的问题,那么我们由衷的感到高兴!

声明:本文内容来自互联网不代表本站观点,转载请注明出处:https://www.41639.com/15_405953.html

相关推荐