news 2026/4/16 15:05:57

yarn的jobHistory日志介绍

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
yarn的jobHistory日志介绍

好的,我们来详细介绍一下 YARN 中的 JobHistory 日志。

我们在YARN运行MapReduce的程序的时候,任务会被分发到不同的节点,在不同的Container内去执行。如果一个程序执行结束后,我们想去查看这个程序的运行状态呢?每一个MapTask的执行细节?每一个ReduceTask的执行细节?这个时候我们是查看不到的,因此我们需要开启记录历史日志的服务。

1.JobHistory Server 的作用

JobHistory Server (JHS) 是 YARN 的一个关键服务组件,主要负责:

  • 存储已完成作业的历史信息:当应用程序(如 MapReduce 作业)在 YARN 上运行完成后,其运行相关的元数据和日志并不会立即消失。JobHistory Server 负责收集、存储和管理这些信息。
  • 提供历史作业查询接口:用户或管理员可以通过 Web UI 或 REST API 查询已经完成的应用程序的详细信息,包括:
    • 应用程序的配置信息
    • 运行时间线(开始、结束时间)
    • 各个容器(Container)的运行状态和日志
    • 计数器(Counters)信息
    • 任务(Map Task, Reduce Task)的尝试次数、失败原因等

2.日志的生成与聚合

  • 日志产生:在应用程序运行期间,每个运行的容器(通常在每个 NodeManager 节点上)都会产生标准输出(stdout)、标准错误(stderr)以及特定于框架(如 MapReduce)的日志文件(例如syslog)。
  • 日志聚合:YARN 的一个重要特性是日志聚合
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/16 12:13:11

PhpSpreadsheet内存优化终极指南:告别Excel处理内存不足问题

PhpSpreadsheet内存优化终极指南:告别Excel处理内存不足问题 【免费下载链接】PhpSpreadsheet A pure PHP library for reading and writing spreadsheet files 项目地址: https://gitcode.com/gh_mirrors/ph/PhpSpreadsheet PHPOffice/PhpSpreadsheet是PHP开…

作者头像 李华
网站建设 2026/4/16 10:13:41

数据备份策略与自动化方案保护你的重要数据

本文详解数据备份的3-2-1原则、常用工具对比、自动化脚本编写,以及异地备份方案。 前言 硬盘会坏,服务器会挂,勒索病毒会加密你的文件。 没有备份的数据,等于不存在。 今天聊聊如何建立可靠的备份体系。 一、备份基础知识 1.1 3-2-1备份原则 3 2 …

作者头像 李华
网站建设 2026/4/16 13:32:17

ComfyUI在服装款式概念设计中的快速迭代应用

ComfyUI在服装款式概念设计中的快速迭代应用从一张草图到百款变体:当AI开始理解“垂坠感” 想象这样一个场景:设计师在纸上勾勒出一条连衣裙的轮廓,重点标注了“高开衩”、“露背”和“飘逸裙摆”。过去,这需要交给资深插画师反复…

作者头像 李华
网站建设 2026/4/16 0:46:42

PHP Warning 与 Notice 大全:最容易踩的 20 个坑

“代码明明能跑,怎么满屏 Warning / Notice?” “是不是我 PHP 学得不行?” “这些报错不管行不行?”说句大实话: 👉 90% 的 PHP 新手,都是被 Warning 和 Notice 搞到怀疑人生的。 而且最气的是…

作者头像 李华
网站建设 2026/4/15 21:46:50

C语言函数

函数 概念 函数也叫子程序,就是完成某项特定任务的一小段代码,这段代码有特殊的写法和调用方法c语言中 一般会有俩类函数库函数、自定义函数 库函数 标准库和头文件 C语⾔并不提供库函数;C语⾔的国际标准ANSI C规定常⽤函数的标准&#xff0c…

作者头像 李华