大家好,关于交易平台项目把数据汇总很多朋友都还不太明白,今天小编就来为大家分享关于数据库与数据仓库的区别的知识,希望对各位有所帮助!
本文目录
一、想要金融类数据,应该如何收集
金融大数据平台的搭建和应用是两个部分,对于金融大数据平台来说,这两个部分都很重要。
所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。
大数据平台的整体架构可以由以下几个部分组成:
从底层逐步往上,如图所示表示这么几个环节:
一、业务应用:其实指的是数据采集,你通过什么样的方式收集到数据。互联网收集数据相对简单,通过网页、App就可以收集到数据,比如很多银行现在都有自己的App。
更深层次的还能收集到用户的行为数据,可以切分出来很多维度,做很细的分析。但是对于涉及到线下的行业,数据采集就需要借助各类的业务系统去完成。
二、数据集成:指的其实是ETL,指的是用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。而这里的Kettle只是ETL的其中一种。
三、数据存储:指的就是数据仓库的建设了,简单来说可以分为业务数据层(DW)、指标层、维度层、汇总层(DWA)。
四、数据共享层:表示在数据仓库与业务系统间提供数据共享服务。Web Service和Web API,代表的是一种数据间的连接方式,还有一些其他连接方式,可以按照自己的情况来确定。
五、数据分析层:分析函数就相对比较容易理解了,就是各种数学函数,比如K均值分析、聚类、RMF模型等等。
列存储让磁盘中的各个Page仅存储单列的值,并非整行的值。这样压缩算法会更加高效。进一步说,这样能够减少磁盘的I/O、提升缓存利用率,因此,磁盘存储会被更加高效的利用。
而分布式计算能够把一个需要非常大的算力才能解决的问题分成很多小部分,接着把这些部分给到许多计算机同时处理,然后把这些计算结果综合起来,得到最终的结果。
综合这两种技术,就能够大幅度提高分析环节的效率。Yonghong MPP可以说是目前在这两方面做的最出色的了。
六、数据展现:结果以什么样的形式呈现,其实就是数据可视化。这里建议用敏捷BI,和传统BI不同的是,它能通过简单的拖拽就生成报表,学习成本较低。国内的敏捷BI中,个人用户推荐Tableau,像银行这类的企业级需求推荐Yonghong BI。
七、数据访问:这个就比较简单了,看你是通过什么样的方式去查看这些数据,图中示例的是因为B/S架构,最终的可视化结果是通过浏览器访问的。
二、银行数据分析体系如何搭建?
搭建一个数据平台可能是项目制的工作,在一段时间内会完成,但是搭建数据分析体系这件事却任重而道远。但是如果有人能在做产品的同时,将金融行业同类的数据应用经验也分享给你,帮助你去搭建数据分析体系,那就是真正的“良药”了。
下面分享一个YonghongTech帮助某大型银行数据服务平台建设的案例。
以客户在银行办理业务的行为路径,可以有这样几个主题,不同主题有对应的场景及其指标。
客户主题:客户属性(客户编号、客户类别)、指标(资产总额、持有产品、交易笔数、交易金额、RFM)、签约(渠道签约、业务签约)组成宽表
交易主题:交易金融属性、业务类别、支付通道组成宽表。
账户主题:账户属性(所属客户、开户日期、所属分行、产品、利率、成本)组成宽表
渠道主题:渠道属性、维度、限额组成宽表
产品主题:产品属性、维度、指标组成宽表
二、怎么填写资产负债表及需要哪些科目数据
企业应以日常会计核算记录的数据为基础进行归类、整理和汇总,加工成报表项目,形成资产负债表。
资产负债表中的“年初余额”栏通常根据上年末有关项目的期末余额填列,且与上年末资产负债表“期末余额”栏相一致。
“以公允价值计量且其变动计入当期损益的金融资产”、“工程物资”、“固定资产清理”、“递延所得税资产”、“短期借款”、“以公允价值计量且其变动计入当期损益的金融负债”、“应付票据”、“应交税费”、“专项应付款”、“预计负债”、“递延收益”、“递延所得税负债”、“实收资本(或股本)”、“库存股”、“资本公积”、“其他综合收益”、“专项储备”、“盈余公积”等项目,应根据有关总账科目的余额填列。
(2)根据几个总账科目的期末余额计算填列
货币资金=库存现金+银行存款+其他货币资金
(1)应付账款=应付账款所属明细科目贷方余额+预付账款所属明细科目贷方余额
(2)预付款项=应付账款所属明细科目借方余额+预付账款所属明细科目借方余额
(3)应收账款=应收账款所属明细科目借方余额+预收账款所属明细科目借方余额-与应收账款有关的坏账准备贷方余额
(4)预收款项=应收账款所属明细科目贷方余额+预收账款所属明细科目贷方余额
(5)“应付职工薪酬”项目,应根据“应付职工薪酬”科目的明细科目期末余额分析填列;
3.根据总账科目和明细科目的余额分析计算填列
(1)“长期借款”项目,应根据“长期借款”总账科目余额扣除“长期借款”科目所属的明细科目中将在资产负债表日起一年内到期且企业不能自主地将清偿义务展期的长期借款后的金额填列。
(2)“长期应收款”项目,应当根据“长期应收款”总账科目余额,减去“未实现融资收益”总账科目余额,再减去所属相关明细科目中将于一年内到期的部分填列。
(3)“长期应付款”项目,应当根据“长期应付款”总账科目余额,减去“未确认融资费用”总账科目余额,再减去所属相关明细科目中将于一年内到期的部分填列。
4.根据有关科目余额减去其备抵科目余额后的净额填列
如资产负债表中的“持有至到期投资”、“长期股权投资”等项目,应根据“持有至到期投资”、“长期股权投资”等科目的期末余额减去“持有至到期投资减值准备”、“长期股权投资减值准备”等科目余额后的净额填列;“固定资产”项目,应根据“固定资产”科目期末余额减去“累计折旧”、“固定资产减值准备”科目余额后的净额填列;“无形资产”项目,应根据“无形资产”科目期末余额减去“累计摊销”、“无形资产减值准备”科目余额后的净额填列。
5.综合运用上述填列方法分析填列
被划分为持有待售的非流动资产应当归类为流动资产,被划分为持有待售的非流动负债应当归类为流动负债。
三、数据库与数据仓库的区别
1、数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。
2、“与时间相关”:数据库保存信息的时候,并不强调一定有时间信息。数据仓库则不同,出于决策的需要,数据仓库中的数据都要标明时间属性。决策中,时间属性很重要。同样都是累计购买过九车产品的顾客,一位是最近三个月购买九车,一位是最近一年从未买过,这对于决策者意义是不同的。
3、“不可修改”:数据仓库中的数据并不是最新的,而是来源于其它数据源。数据仓库反映的是历史信息,并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此,数据仓库中的数据是极少或根本不修改的;当然,向数据仓库添加数据是允许的。
4、数据仓库的出现,并不是要取代数据库。数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。
5、目前,大部分数据仓库还是用关系数据库管理系统来管理的。可以说,数据库、数据仓库相辅相成、各有千秋。
好了,关于交易平台项目把数据汇总和数据库与数据仓库的区别的问题到这里结束啦,希望可以解决您的问题哈!
声明:本文内容来自互联网不代表本站观点,转载请注明出处:https://www.41639.com/15_336887.html
