Google MapReduce

Execution Overview Map调用将输入数据划分成了M splits,可以并行处理;Reduce调用将中间结果分区成了R pieces,分区函数类似于hash(key) mod R。分区个数R和分区函数可以由用户指定。 如上图所示,整体执行流程如下: 用户程序里的MapReduce库首先将输入文件划分成M个(16MB-64MB),然后在一个集群里启动其他进程。 其中有一个进程是特殊的角色:master;其他的worker由master指定工作, »


Google Borgmon

监控是生产环境必需的一部分,是稳定服务的基础。Borg出现于2003年,是Google的调度服务;而Borgmon是Google的监控服务,是对Borg的补充。 监控的挑战和需求: Google体量下,要分析大量系统组件 需要合理的维护成本 既要对单个组件,也要对整体区域等多个维度的测量、分析和报警 在过去的十年里,Google的监控系统从自定义的脚本进化到了Borgmon,提供了新的基于时间序列(time-series)的监控系统。 应用与接口 Google使用varz方法展示内部状态, »


Google File System Note

GFS是一个可扩展的分布式文件系统,可以运行在普通的商用硬件上,提供高性能和容错能力;GFS在Google内部广泛使用,用于满足各种服务产生和处理数据的需求。 这篇笔记基于Google的 GFS 论文 1. Introduction GFS的 设计目标 和以前的分布式系统类似 Performance Scalability Reliability Availability 不过还基于一些别的观察: 普通商用机器产生 故障 »