Hadoop技术内幕:深入解析MapReduce架构设计与实现原理

Hadoop技术内幕:深入解析MapReduce架构设计与实现原理

大数据技术丛书

暂无评价综合评分的显示会考虑用户真实性等多项因素,每部作品出现综合评分的时间不定。
8.4142 评价豆瓣读书
免费试读
¥25.00¥10.99
今日特价截止至:2019-06-21 02:00:00了解详情

作品简介

“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔,首先介绍了MapReduce的设计理念和编程模型,然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理,最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。

本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

董西成:资深Hadoop技术实践者和研究者,对Hadoop技术有非常深刻的认识和理解,有着丰富的实践经验。曾经参与了商用Hadoop原型的研发,以及人民搜索的分布式日志系统、全网图片搜索引擎、Hadoop调度器等多个项目的设计与研发,实践经验非常丰富。对Hadoop的源代码有深入的研究,能通过修改Hadoop的源代码来完成二次开发和解决各种复杂的问题。热衷于分享,撰写了大量关于Hadoop的技术文章并分享在自己的博客上,由于文章技术含量高,所以非常受欢迎,这使得他在Hadoop技术圈内颇具知名度和影响力。

作品目录

  1. 前言
  2. 为什么要写这本书
  3. 读者对象
  4. 如何阅读本书
  5. 勘误和支持
  6. 致谢
  7. 第一部分 基础篇
  8. 第1章 阅读源代码前的准备
  9. 1.1 准备源代码学习环境
  10. 1.2 获取Hadoop源代码
  11. 1.3 搭建Hadoop源代码阅读环境
  12. 1.4 Hadoop源代码组织结构
  13. 1.5 Hadoop初体验
  14. 1.6 编译及调试Hadoop源代码
  15. 1.7 小结
  16. 第2章 MapReduce设计理念与基本架构
  17. 2.1 Hadoop发展史
  18. 2.2 Hadoop MapReduce设计目标
  19. 2.3 MapReduce编程模型概述
  20. 2.4 Hadoop基本架构
  21. 2.5 Hadoop MapReduce作业的生命周期
  22. 2.6 小结
  23. 第二部分 MapReduce编程模型篇
  24. 第3章 MapReduce编程模型
  25. 3.1 MapReduce编程模型概述
  26. 3.2 MapReduce API基本概念
  27. 3.3 Java API解析
  28. 3.4 非Java API解析
  29. 3.5 Hadoop工作流
  30. 3.6 小结
  31. 第三部分 MapReduce核心设计篇
  32. 第4章 Hadoop RPC框架解析
  33. 4.1 Hadoop RPC框架概述
  34. 4.2 Java基础知识
  35. 4.3 Hadoop RPC基本框架分析
  36. 4.4 MapReduce通信协议分析
  37. 4.5 小结
  38. 第5章 作业提交与初始化过程分析
  39. 5.1 作业提交与初始化概述
  40. 5.2 作业提交过程详解
  41. 5.3 作业初始化过程详解
  42. 5.4 Hadoop DistributedCache原理分析
  43. 5.5 小结
  44. 第6章 JobTracker内部实现剖析
  45. 6.1 JobTracker概述
  46. 6.2 JobTracker启动过程分析
  47. 6.3 心跳接收与应答
  48. 6.4 Job和Task运行时信息维护
  49. 6.5 容错机制
  50. 6.6 任务推测执行原理
  51. 6.7 Hadoop资源管理
  52. 6.8 小结
  53. 第7章 TaskTracker内部实现剖析
  54. 7.1 TaskTracker概述
  55. 7.2 TaskTracker启动过程分析
  56. 7.3 心跳机制
  57. 7.4 TaskTracker行为分析
  58. 7.5 作业目录管理
  59. 7.6 启动新任务
  60. 7.7 小结
  61. 第8章 Task运行过程分析
  62. 8.1 Task运行过程概述
  63. 8.2 基本数据结构和算法
  64. 8.3 Map Task内部实现
  65. 8.4 Reduce Task内部实现
  66. 8.5 Map/Reduce Task优化
  67. 8.6 小结
  68. 第四部分 MapReduce高级篇
  69. 第9章 Hadoop性能调优
  70. 9.1 概述
  71. 9.2 从管理员角度进行调优
  72. 9.3 从用户角度进行调优
  73. 9.4 小结
  74. 第10章 Hadoop多用户作业调度器
  75. 10.1 多用户调度器产生背景
  76. 10.2 HOD
  77. 10.3 Hadoop队列管理机制
  78. 10.4 Capacity Scheduler实现
  79. 10.5 Fair Scheduler实现
  80. 10.6 其他Hadoop调度器介绍
  81. 10.7 小结
  82. 第11章 Hadoop安全机制
  83. 11.1 Hadoop安全机制概述
  84. 11.2 基础知识
  85. 11.3 Hadoop安全机制实现
  86. 11.4 应用场景总结
  87. 11.5 小结
  88. 第12章 下一代MapReduce框架
  89. 12.1 第一代MapReduce框架的局限性
  90. 12.2 下一代MapReduce框架概述
  91. 12.3 Apache YARN
  92. 12.4 Facebook Corona
  93. 12.5 Apache Mesos
  94. 12.6 小结
  95. 附录A 安装Hadoop过程中可能存在的问题及解决方案
  96. 附录B Hadoop默认HTTP端口号以及HTTP地址
  97. 参考资料
载入中

热门划线

喜欢这本书的人也喜欢