大家好，感谢邀请，今天来为大家分享一下spotify交易平台的问题，以及和华纳为什么抛售Spotify的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！

本文目录

1. 如何创建一个大数据平台
2. 华纳为什么抛售Spotify
3. 数据交易的几个问题(二)

一、如何创建一个大数据平台

1、所谓的大数据平台不是独立存在的，比如百度是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

2、我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。

3、曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。

4、对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。

5、当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。

6、也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。

7、然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。

8、当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。

9、接下去你可能需要一些重量的组件帮你做一些事情。

10、比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。

11、你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。

12、数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。

13、你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。

14、至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。

15、比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。

16、你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。

17、又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。

18、再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。

19、当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？

20、你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。

21、上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

二、华纳为什么抛售Spotify

8月8日讯，华纳音乐集团在周二早上的财报电话会议上宣布，它现已出售其在Spotify的全部股权，套现5.04亿美元。

华纳音乐首席执行官史蒂夫·库珀表示，此次出售中约有1.26亿美元打入了在华纳音乐8月和9月发行专辑的艺术家账户。一位代表也对此事进行了确认。

“在2016年2月，我们是第一个宣布与艺术家分享流媒体服务股权收益的政策，”他指出。然而，有媒体称，与同样也出售其Spotify股权的索尼音乐不同，华纳不会忽视艺术家和唱片公司的收益，这意味着收益不能直接归于艺术家，而是华纳作为艺术家推广机构和其他唱片费用的补偿的一部分。华纳代表没有立即回复有关该事项的评论。

索尼音乐在5月的一份公开文件中透露，该公司以约7.5亿美元的价格出售了约50%的股份，而独立唱片集团Merlin以高达1.25亿美元的价格出售了其100%的股份并立即对其成员分配此项收益。环球音乐集团尚未出售其股票，可能是因为预计母公司Vivendi计划出售该部门业务的50%。

“虽然Apple和Spotify的全球用户数量持续增长，但亚马逊和YouTube在其优质服务方面都取得了良好的开端，”库珀继续说道。“这种竞争加剧对我们的业务来说是个好消息，我们很高兴看到其他大型科技公司，如Facebook，开始认识到音乐带给他们平台的真正价值。”

“我们相信，在当今世界，艺术家和词曲作者有更多的选择，以及对他们职业生涯的更多的帮助，这是非常积极的。在当今世界中，我们的自身定位是帮助创意人才驾驭日益复杂的生态系统，以为其提供最大机遇。我们是能够为艺术家和词曲作者提供具有全球影响力的平台、服务和配置的少数几家公司之一。

在最初宣布该公司出售其75%的Spotify股权时，库珀很快注意到该公司的这项决定并未反映出对Spotify的未来缺乏信心。“我们不希望对我们决定出售的理由存在任何误解，让我说清楚一点：就我们的性质而言，我们是一家音乐公司，而不是公开交易股权的长期持有者，”他说。“此次抛售与我们对Spotify未来的看法无关。我们对其用户订阅数量的增长非常乐观，我们知道它刚刚开始发挥出其对全球影响力的潜力。我们衷心希望Spotify继续在未来发挥其重要作用。”

在电话中被问及到此次抛售时，库珀补充道，“我认为目前我们的估值反映了我们认为的公平情况。关于华纳音乐集团是否会出售其他股权仍然是未知数。Spotify收到的估值符合预期，对他们来说是有利的局面。”

三、数据交易的几个问题(二)

1、之前写过一篇关于数据交易的文章《数据交易的几个问题》，写了关于数据交易的一些观点，今天就一些具体的问题再做讨论。

2、与很多人认识不同，除了极少情况（数据公司被收购等），数据交易显然更多是所有权，在获得数据的时候大多数都会加上数据使用范围限制（时间、次数、转卖等等），这点与传统商品交易使用权是一致的。但由于数据自身属性，作为虚拟物品又有很多不同的地方：

3、我们平常接触到的电子书、音乐、电影都是数据商品，由于这些特性就产生了比较尴尬的现实：你虽然想卖的是使用权，但实际上把所有权一起卖了。从生产力和生产关系上也可以解释：

4、今年大热的一个题材是区块链，貌似区块链出来了好多世界性问题都解决了，但本质上区块链搭建的是一个公共账本的互信任机制，跟实际的商品没半毛钱关系，至于有平台宣称的解决了这个问题，需格外警惕，免交智商税。那么有没有一种方式能够解决这种数据商品的溯源和再交易问题吗？答案是未来几十年，没有！自有人类历史以来，至今没有哪种方式彻底解决了信息（数据）传播控制问题，如果有这种方式，我们还会看到一堆人为了音乐、电影版权问题来打去？第一个解决的就是这些地方，产业太大。

5、那数据交易该如何保障？也并不是完全无解。

6、首先需要一个良好的运行环境，例如在经历歌曲下架、法院诉讼、公关战之后，9月12日，腾讯音乐与网易云音乐之间的版权纷争终于有了个情理之中，意料之外的结局——腾讯音乐和阿里音乐达成版权转授权合作。过程中国家也没闲着，做了大量工作：

7、 2017年6月1日《网络安全法》正式实施，国家也进一步规范市场，整治数据黑市，整个交易市场逐步规范。

8、每个做数据生意的公司都会基于自身业务形态产生阶段性适合的业务模式，例如苹果的Spotify，亚马逊的Kindle，万德资讯的金融终端，各自形成一个体系，促进数据的流通。

OK，本文到此结束，希望对大家有所帮助。