极客时间:《从0开始学大数据》

阅读感想

知乎上有个同学咨询我极客时间上的一个专栏:《从0开始学大数据》是否值得一读,本着负责任的态度,早上花了两小时过了一遍。整体感受如下:

  1. 专栏内容非常基础,适合0基础的工程师看;
  2. 对大数据开发有一定经验的读者不建议细看;
  3. 文章里会穿插有一些感悟,可以细细品味。

李智慧老师在文中写了一些自己在研发效率、工程管理、个人成长上的经验,这部分内容,我觉的很不错,写的很用心,字里行间里还是能看到诚意的。虽然这些话从部分订阅者看来,是一些「鸡汤」,但对于我这种有几年开发经验的工程师,是非常有感触的。

阅读更多

Flink:新一代流式计算引擎概述

注:本文会持续补充。

背景介绍

Apache Flink 是德国柏林工业大学的几个博士生和研究生从学校开始做起来的项目,早期叫做 Stratosphere。刚开始,Flink 是做 Batch 计算的,但是在2014年,StratoSphere 里面的核心成员孵化出 Flink,同年将Flink 捐赠 Apache 基金会,并在后来成为 Apache 的顶级大数据项目,同时Flink计算的主流方向被定位为 Streaming,即用流式计算来做所有大数据的计算,这就是Flink技术诞生的背景。

Flink 是什么?一句话介绍就是:Flink 是一个低延迟、高吞吐、统一的大数据计算引擎。

阅读更多

《大数据日知录:架构与算法》读书笔记

这本书写的还是很有诚意的,读完后非常惊叹于作者知识的广博,这本书也不仅仅是综述,作者在某些章节也提出了一些一些自己的观点。总之,值得推荐一读。

从社会发展的角度,很明显大数据会是目前肉眼可及的范围里能看到的最大的趋势之一。我们不能盲目跟风不断追逐切换热点,但是忽视趋势的力量同样也不是一个理性选择。多年以后,当大数据应用已经无处不在地影响我们的生活的时候,我们准会想起那个面红耳赤讨论大数据泡沫合适破灭的下午。

海量的数据可广泛获得,所稀缺的是如何从中挖掘出智慧观点。

数据分片与路由

数据分片与数据路由是密不可分的两个概念,对于海量数据,通过数据分片实现系统的水平拓展,而通过数据复制来保证数据的高可用性。

阅读更多

:D 一言句子获取中...