MapReduce设计模式

〔美〕Donald Miner 〔美〕Adam Shook
内容提要 MapReduce作为一种分布式海量数据处理的编程框架,已经得到业界的广泛关注。随着Hadoop的普及, MapReduce目前已经成为海量数据处理的最基础但也是最重要的方法之一。 这是一本关于设计模式的书,为读者提供解决问题的模板或通用指南。书中主要介绍编程模式,即如何利用MapReduce框架解决一类问题,重在提供解决问题的方法和思路。作者花大量篇幅介绍各种模式的原理及实现机制,并给出相应的应用实例,让读者对每种模式能有更直观的理解。 由于本书不会过多涉及底层框架及MapReduce API,所以希望读者阅读本书之前,能够对Hadoop 系统有所了解,知道如何编写MapReduce程序,并了解MapReduce程序框架的工作原理。本书面向中高级MapReduce开发者,涵盖了绝大部分MapReduce编程可能面对的场景,相信初学者和专家同样可以在本书中得到一些启示。 作者简介 Donald Miner 目前是EMC Greenplum 的解决方案架构师,为实现与使用基于Greenplum 的大数据系统的用户提供咨询和帮助。在加入Greenplum之前,Miner博士作为承包商为美国政府部署和构建了多个规模巨大且涉及关键任务的Hadoop集群。他还参与了教学,在马里兰大学巴尔的摩分校(UMBC)讲授Hadoop方面的业界前沿相关的课程以及各种人工智能课程。Miner博士在UMBC获得了计算机科学的博士学位,读博士期间他的研究主题为机器学习,博士论文的主题是多智能体系统。 Adam Shook是ClearEdge IT Solutions 公司的软件工程师,从事一些大数据技术工作,如Hadoop、Accumulo、Pig以及ZooKeeper。Shook在马里兰大学巴尔的摩分校(UMBC)获得了计算机科学的学士学位,并得到了一份为游戏工作室构建一个全新的高性…