Storm企业级应用:实战、运维和调优

Storm企业级应用:实战、运维和调优

暂无评价综合评分的显示会考虑用户真实性等多项因素,每部作品出现综合评分的时间不定。
春暖花开季 恰是读书时满500减300、满200减120、满100减60活动详情

作品简介

这是一本真正能让读者通过真实的企业应用实践掌握如何应用Storm处理各种大数据业务的著作。作者是国内顶尖的大数据专家,深谙初学者的难处和企业的实际需求,在此基础上巧妙地安排和组织了本书的内容,旨在让读者能达到事半功倍的效果。

本书没有过于繁琐和高深的理论,先系统介绍了Storm的设计思想、核心组件和适用场景,生产环境的搭建和部署,以及核心概念和数据模型;然后通过实时语音处理、网络流量分析、实时路况分析、数据质量实时监控、交通路况监控、广告实时流量统计等6典型的企业级案例讲解了如何应用Storm处理各种类型的大数据业务,每个案例都包括背景介绍、系统架构、模块设计和逻辑实现等组成部分,讲解十分详尽;最后从运维角度总结了Storm在安装部署、启动、运行等环节可能会出现的各种故障并给出了解决方案,以及Storm的各种技巧和最佳实践。

马延辉 资深Hadoop技术专家,曾就职于淘宝、Answers.com、暴风等互联网公司,从事Hadoop相关的研发和运维工作,对大数据技术的企业级落地、研发、运维和管理方面有着深刻理解和丰富的实战经验。开源HBase监控工具Ella作者。在国内Hadoop社区内非常活跃,经常在各种会议和沙龙上做技术分享,深受欢迎。现在致力于大数据技术在传统行业的落地,以及大数据技术的普及和推广。著有畅销书《HBase企业应用开发实战》,HBase领域公认最有价值的著作之一。

陈书美 高级数据分析工程师,对Storm实时数据计算、Kafka消息系统析有深入的研究和丰富的实践经验,并对HDFS、MapReduce、Hive、HBase等Hadoop生态系统内的技术有系统且深刻的了解。曾就职于暴风影音,负责大数据应用等开发工作;目前就职于百度,从事数据分析工作。

雷葆华 武汉绿色网络信息服务有限公司副总经理,负责公司大数据、SDN/NFV等新产品的研发工作。是业界知名的云计算专家,中国电子学会云计算专委会委员。创业之前曾任中国电信北京研究院云计算产品线总监,是中国电信云计算工作主要发起者和推动者之一,在CDN、P2P、IDC等方面都有深入研究。提交专利28项,已授权专利8项,发表多篇有影响力的论文和文章,多次获得部级科技进步奖励。

著有《云计算解码》、《CDN技术详解》、《SDN核心技术剖析和实战指南》等多部畅销著作并获得多个奖项。

作品目录

  1. Storm企业级应用:实战、运维和调优
  2. 前言
  3. 为什么写作本书
  4. 读者对象
  5. 如何阅读本书
  6. 勘误和支持
  7. 致谢
  8. 基础篇
  9. 第1章 认识Storm
  10. 1.1 什么是实时流计算
  11. 1.1.1 实时流计算背景
  12. 1.1.2 实时计算应用场景
  13. 1.1.3 实时计算处理流程
  14. 1.1.4 实时计算框架
  15. 1.2 Storm是什么
  16. 1.2.1 Storm出现的背景
  17. 1.2.2 Storm简介
  18. 1.2.3 Storm的设计思想
  19. 1.2.4 Storm与Hadoop的角色和组件比较
  20. 1.3 Storm核心组件
  21. 1.3.1 主节点Nimbus
  22. 1.3.2 工作节点Supervisor
  23. 1.3.3 协调服务组件ZooKeeper
  24. 1.3.4 其他核心组件
  25. 1.4 Storm的特性
  26. 1.5 Storm的功能
  27. 1.6 本章小结
  28. 第2章 开始使用Storm
  29. 2.1 环境准备
  30. 2.1.1 系统配置
  31. 2.1.2 安装ZooKeeper集群
  32. 2.2 启动模式
  33. 2.2.1 本地模式
  34. 2.2.2 分布式模式
  35. 2.3 安装部署Storm集群
  36. 2.3.1 安装Storm依赖库
  37. 2.3.2 安装Storm集群
  38. 2.3.3 启动Storm集群
  39. 2.3.4 停止Storm集群
  40. 2.4 创建Topology并向集群提交任务
  41. 2.4.1 创建Topology
  42. 2.4.2 向集群提交任务
  43. 2.5 本章小结
  44. 第3章 核心概念和数据流模型
  45. 3.1 Tuple元组
  46. 3.1.1 Tuple描述
  47. 3.1.2 Tuple的生命周期
  48. 3.2 Spout数据源
  49. 3.2.1 Spout介绍
  50. 3.2.2 Spout实例
  51. 3.3 Bolt消息处理者
  52. 3.3.1 Bolt介绍
  53. 3.3.2 Bolt实例
  54. 3.4 Topology拓扑
  55. 3.4.1 Topology实例
  56. 3.4.2 Topology运行
  57. 3.5 Stream消息流和Stream Grouping消息流组
  58. 3.5.1 Stream消息流
  59. 3.5.2 Stream Grouping消息流组
  60. 3.6 Task任务
  61. 3.7 Worker工作者进程
  62. 3.8 Worker、Task、Executor三者之间的关系
  63. 3.9 事务
  64. 3.10 数据流模型
  65. 3.10.1 数据流模型简介
  66. 3.10.2 Storm数据流模型
  67. 3.11 本章小结
  68. 实战篇
  69. 第4章 实例1:移动互联——语音“实时墙”
  70. 4.1 业务背景
  71. 4.1.1 案例背景
  72. 4.1.2 设计目标
  73. 4.1.3 数据格式
  74. 4.1.4 硬件配置
  75. 4.2 系统架构与模块设计
  76. 4.2.1 整体架构
  77. 4.2.2 数据采集
  78. 4.2.3 数据实时处理
  79. 4.2.4 存储设计
  80. 4.2.5 Web实时展示
  81. 4.2.6 硬件部署图
  82. 4.3 核心模块实现
  83. 4.3.1 实时处理业务逻辑实现
  84. 4.3.2 Web展示实现
  85. 4.3.3 最终效果呈现
  86. 4.4 本章小结
  87. 第5章 实例2:运营商——网络流量流向实时分析
  88. 5.1 业务背景
  89. 5.1.1 案例背景
  90. 5.1.2 设计目标
  91. 5.1.3 数据规模预估
  92. 5.1.4 数据格式
  93. 5.1.5 统计分析需求
  94. 5.2 系统架构与模块设计
  95. 5.2.1 整体架构
  96. 5.2.2 数据源
  97. 5.2.3 日志采集
  98. 5.2.4 数据存储
  99. 5.2.5 数据处理
  100. 5.2.6 目标存储和扩展服务
  101. 5.2.7 结果Web展示
  102. 5.3 核心模块实现
  103. 5.3.1 模拟数据实现
  104. 5.3.2 日志采集和存储实现
  105. 5.3.3 数据处理实现
  106. 5.3.4 Web展示实现
  107. 5.4 本章小结
  108. 第6章 实例3:交通——基于GPS的实时路况分析
  109. 6.1 业务背景
  110. 6.1.1 案例背景
  111. 6.1.2 设计目标
  112. 6.1.3 数据格式
  113. 6.1.4 实时路况分析方法
  114. 6.2 系统架构和模块设计
  115. 6.3 核心模块的实现
  116. 6.3.1 安装Kafka集群
  117. 6.3.2 Flume整合Kafka
  118. 6.3.3 实时处理数据
  119. 6.3.4 Web页面展示
  120. 6.4 本章小结
  121. 第7章 实例4:互联网——数据质量实时监控
  122. 7.1 业务背景
  123. 7.1.1 案例背景
  124. 7.1.2 设计目标
  125. 7.1.3 数据格式
  126. 7.2 系统架构与模块设计
  127. 7.2.1 整体架构
  128. 7.2.2 结果Web展示
  129. 7.3 核心模块实现
  130. 7.3.1 模拟数据
  131. 7.3.2 实时处理业务逻辑的实现
  132. 7.3.3 Web界面实现
  133. 7.3.4 最终效果图
  134. 7.4 本章小结
  135. 第8章 实例5:交通——超速频发路段监控
  136. 8.1 业务背景
  137. 8.1.1 案例背景
  138. 8.1.2 数据类型
  139. 8.2 系统架构和模块设计
  140. 8.3 核心模块实现
  141. 8.3.1 实现入口类Main
  142. 8.3.2 数据源SocketSpout的实现
  143. 8.3.3 实时处理MapSearchBolt和SpeedProcessBolt的实现
  144. 8.3.4 目标存储DataBaseLoadBolt的实现
  145. 8.4 本章小结
  146. 第9章 实例6:互联网——广告实时流量统计
  147. 9.1 广告实时流量统计系统架构
  148. 9.1.1 广告数据
  149. 9.1.2 详细需求描述
  150. 9.1.3 系统架构
  151. 9.2 表结构与模块设计
  152. 9.2.1 表结构设计
  153. 9.2.2 功能模块设计
  154. 9.3 核心模块实现
  155. 9.3.1 部署物理集群环境
  156. 9.3.2 Kafka生产者逻辑的实现
  157. 9.3.3 使用Storm-kafka实现业务逻辑
  158. 9.3.4 使用HBase存储并实现统计
  159. 9.4 本章小结
  160. 技巧篇
  161. 第10章 Storm常见故障及解决方法
  162. 10.1 安装部署故障
  163. 10.1.1 “no jzmq in java.library.path”异常
  164. 10.1.2 “No rule to make target”异常
  165. 10.1.3 “cannot access org.zeromq.ZMQ”异常
  166. 10.1.4 缺少pkg-config异常
  167. 10.1.5 “java.lang.UnsatisfiedLinkError”异常
  168. 10.1.6 “java.lang.NoClassDefFoundError:clojure.core.protocols$”异常
  169. 10.1.7 “Error:cannot link with-luuid,install uuid-dev”异常
  170. 10.1.8 “bad interpreter:No such file or directory”异常
  171. 10.1.9 “org.zeromq.ZMQException:Invalid argument”异常
  172. 10.2 启动故障
  173. 10.2.1 “java.io.FileNotFoundException”异常
  174. 10.2.2 “java.io.EOFException”异常
  175. 10.3 运行时故障
  176. 10.3.1 “Nimbus host is not set”异常
  177. 10.3.2 “AlreadyAliveException(msg:xxx is alreadyactive)”异常
  178. 10.3.3 无法序列化log4j.Logger异常
  179. 10.3.4 “Failing message”异常
  180. 10.3.5 “java.io.NotSerializableException”异常
  181. 10.3.6 “java.lang.NoClassDefFoundError”异常
  182. 10.3.7 “java.net.NoRouteToHostException”异常
  183. 10.3.8 “java.net.UnknownHostException”异常
  184. 10.3.9 重复defaults.yaml资源文件异常
  185. 10.3.10 “KeeperException$NoNodeException”异常
  186. 10.3.11 “A fatal error has been detected by the Java Runtime Environment”错误
  187. 10.3.12 “java.lang.ArrayIndexOutOfBoundsException”异常
  188. 10.3.13 DRPC空指针异常
  189. 10.3.14 Storm Thrift读取数据报错
  190. 10.4 本章小结
  191. 第11章 Storm使用技巧和最佳实践
  192. 11.1 核心组件使用要点
  193. 11.1.1 Spout和Bolt
  194. 11.1.2 ZooKeeper集群尽量独立
  195. 11.1.3 Thrift服务的应用场景
  196. 11.1.4 序列化机制的使用场景
  197. 11.2 集群配置技巧
  198. 11.2.1 默认参数配置
  199. 11.2.2 日志信息
  200. 11.2.3 合理配置JVM参数
  201. 11.3 集群运维技巧
  202. 11.3.1 Storm计算结果的存储位置
  203. 11.3.2 Storm集群动态增删节点
  204. 11.3.3 关闭Storm相关进程
  205. 11.3.4 Storm UI显示内容的问题
  206. 11.4 项目开发技巧
  207. 11.4.1 使用assembly插件打包
  208. 11.4.2 依赖JAR冲突
  209. 11.5 保证消息的可靠处理
  210. 11.5.1 消息失败后的处理
  211. 11.5.2 主动干预可靠性
  212. 11.5.3 处理重复的Tuple
  213. 11.6 理解DRPC原语
  214. 11.6.1 DRPC工作流
  215. 11.6.2 LinearDRPCTopologyBuilder实现类
  216. 11.6.3 DRPC的两种模式
  217. 11.7 快速理解一致性事务
  218. 11.7.1 Trident框架的使用
  219. 11.7.2 Trident框架的细节
  220. 11.7.3 事务性Spout
  221. 11.7.4 状态State
  222. 11.8 本章小结
载入中

热门划线

大家都喜欢