admin 发表于 2024-11-21 07:30:01

大数据运维实战，给大数据工程师的运维修炼手册

<p><img src="/wp-xxx/uploads/images/20224231704629147.jpg"></p><p>&nbsp;大数据在这个互联网时代的重要意义，已经无需再多赘述。阿里、腾讯、美团等几乎你听过名字的公司，都有自己的大数据平台。</p>
<p>过去我们都关注大数据开发，随着大数据平台的逐渐完善，如何保障数据的安全、高效，如何保证系统架构的平稳运行，都成为各数据平台的&ldquo;心病&rdquo;。</p>
<p>于是，大数据运维这个岗位一跃成为大数据领域的热词。很多公司会让开发来兼大数据运维的工作，这对开发人员来说也是不小的挑战。</p>
<p>相比大数据开发，大数据运维方向需要更多的经验积累，比如什么架构才能支撑这个数据量、什么资源配置才能满足分析需求，这需要你实际接触过、操作过才能给出答案，而不是靠理论或者猜测。</p>
<p>专栏共七大模块， 26 个课时，引用大量大数据运维的实战案例，来讲述大数据平台的架构设计与部署、大数据平台的监控告警、性能调优，涵盖了大数据运维工作的全方位技能点。</p>
<p>课程目录</p>
<p> 开篇词：掌握大数据，把握未来.md</p>
<p> 第01讲：大话 Hadoop 生态圈.md</p>
<p> 第02讲：Hadoop 发行版选型和伪分布式平台的构建.md</p>
<p> 第03讲：自动化运维工具 Anible 在部署大数据平台下的应用（上）.md</p>
<p> 第05讲：手动模式构建双 Namenode+Yarn 的 Hadoop 集群（上）.md</p>
<p> 第07讲：通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用（上）.md</p>
<p> 第09讲：如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发（上）.md</p>
<p> 第11讲：HDFS 组件运行机制剖析及 HDFS Shell 的使用.md</p>
<p> 第12讲：Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析.md</p>
<p> 第13讲：Spark Standalone 模式的构建以及 Spark 与 Yarn 的整合.md</p>
<p> 第14讲：HBae 与 Hadoop 的整合应用实践.md</p>
<p> 第15讲：Flink Standalone、Flink on Yarn 集群构建与应用场景.md</p>
<p> 第16讲：轻量级日志收集工具 Filebeat 应用案例.md</p>
<p> 第17讲：日志收集、分析过滤工具 Logtah 应用实战.md</p>
<p> 第18讲：Elaticearch 应用架构的实现与调优.md</p>
<p> 第19讲：Kafka 应用场景、集群容量规划、架构设计应用案例.md</p>
<p> 第20讲：日均数据量 30 亿的 Filebeat+Kafka+Mirrormaker 跨机房实时日志传送案例.md</p>
<p> 第21讲：Filebeat+Kafka+Logtah+Elaticearch 构建可视化日志分析系统.md</p>
<p> 第22讲：通过 Ganglia 实现对 HDFS、Yarn、Spark 运行状态监控.md</p>
<p> 第23讲：Namenode、Datanode、Nodemanager 等服务状态监控策略.md</p>
<p> 第24讲：通过 Kafka Eagle 实现对 Kafka 消息队列的监控.md</p>
<p> 第25讲：Yarn 资源调度 Fair Schedule 与 Capacity Scheduler 配置选型.md</p>
<p> 第26讲：HDFS 存储权限 ACL 控制策略以及与系统权限整合应用.md</p>
<p> 第27讲：Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈.md</p>
<p> 第28讲：Hadoop 平台常见故障汇总以及操作系统性能调优.md</p>
<p> 第29讲：大数据平台的硬件规划、网络调优、架构设计、节点规划.md</p>
<p> 第30讲：Hadoop 跨集群数据迁移应用实践.md</p>
<p> 第04讲：自动化运维工具 Anible 在部署大数据平台下的应用（下）.md</p>
<p> 第06讲：手动模式构建双 Namenode+Yarn 的 Hadoop 集群（下）.md</p>
<p> 第08讲：通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用（下）.md</p>
<p> 第10讲：如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发（下）.md</p>
<p> 结语：大数据运维，大有作为.md</p>
<p>文档</p>
<p> 开篇词：掌握大数据，把握未来.mp4</p>
<p> 第01讲：大话 Hadoop 生态圈.mp4</p>
<p> 第02讲：Hadoop 发行版选型和伪分布式平台的构建.mp4</p>
<p> 第03讲：自动化运维工具 Anible 在部署大数据平台下的应用（上）.mp4</p>
<p> 第05讲：手动模式构建双 Namenode+Yarn 的 Hadoop 集群（上）.mp4</p>
<p> 第07讲：通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用（上）.mp4</p>
<p> 第09讲：如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发（上）.mp4</p>
<p> 第11讲：HDFS 组件运行机制剖析及 HDFS Shell 的使用.mp4</p>
<p> 第12讲：Hadoop 分布式资源管理器 Yarn、MR 运行机制剖析.mp4</p>
<p> 第13讲：Spark Standalone 模式的构建以及 Spark 与 Yarn 的整合.mp4</p>
<p> 第14讲：HBae 与 Hadoop 的整合应用实践.mp4</p>
<p> 第15讲：Flink Standalone、Flink on Yarn 集群构建与应用场景.mp4</p>
<p> 第16讲：轻量级日志收集工具 Filebeat 应用案例.mp4</p>
<p> 第17讲：日志收集、分析过滤工具 Logtah 应用实战.mp4</p>
<p> 第18讲：Elaticearch 应用架构的实现与调优.mp4</p>
<p> 第19讲：Kafka 应用场景、集群容量规划、架构设计应用案例.mp4</p>
<p> 第20讲：日均数据量 30 亿的 Filebeat+Kafka+Mirrormaker 跨机房实时日志传送案例.mp4</p>
<p> 第21讲：Filebeat+Kafka+Logtah+Elaticearch 构建可视化日志分析系统.mp4</p>
<p> 第22讲：通过 Ganglia 实现对 HDFS、Yarn、Spark 运行状态监控.mp4</p>
<p> 第23讲：Namenode、Datanode、Nodemanager 等服务状态监控策略.mp4</p>
<p> 第24讲：通过 Kafka Eagle 实现对 Kafka 消息队列的监控.mp4</p>
<p> 第25讲：Yarn 资源调度 Fair Schedule 与 Capacity Scheduler 配置选型.mp4</p>
<p> 第26讲：HDFS 存储权限 ACL 控制策略以及与系统权限整合应用.mp4</p>
<p> 第27讲：Yarn、HDFS、Kafka 内存调优策略以及性能瓶颈.mp4</p>
<p> 第28讲：Hadoop 平台常见故障汇总以及操作系统性能调优.mp4</p>
<p> 第29讲：大数据平台的硬件规划、网络调优、架构设计、节点规划.mp4</p>
<p> 第30讲：Hadoop 跨集群数据迁移应用实践.mp4</p>
<p> 第04讲：自动化运维工具 Anible 在部署大数据平台下的应用（下）.mp4</p>
<p> 第06讲：手动模式构建双 Namenode+Yarn 的 Hadoop 集群（下）.mp4</p>
<p> 第08讲：通过 Ambari 工具自动化构建 Hadoop 大数据平台和外围应用（下）.mp4</p>
<p> 第10讲：如何通过 Hivetez 与 Hadoop 的整合快速实现大数据开发（下）.mp4</p>
<p> 结语：大数据运维，大有作为.mp4</p>
<div>&nbsp;</div><p style="border-top: 1px dotted #d9d9d9;margin: 25px 0"></p>
页: [1]
查看完整版本: 大数据运维实战，给大数据工程师的运维修炼手册