Gke Ai Troubleshooting Tpu Mxla Hang
google/skills/skills/cloud/gke-ai-troubleshooting-tpu-mxla-hang作者 googlec6c7e67107f02e3423df8481272f296bbe61902a无许可证21K 个星标收录于 2026年10月9日更新于 2026年10月9日仓库今天更新
Diagnose GKE Cloud TPU multi-slice training hangs (Megascale `HANG_DETECTED` logs and hang monitored events) using the ML Diagnostics `Megascale XLA (MXLA) Hang Analyzer` (`gcloud alpha mldiagnostics monitored-events`) and 1-minute Cloud Monitoring multi-slice latency metrics (`kubernetes.io/container/multislice/*`). Distinguishes XLA compiler/HLO launch divergence and host data-input stalls from TPU chip, SparseCore, ICI, or network fabric faults. Use when multi-slice TPU training jobs freeze without progressing steps, emit `HANG_DETECTED`, or stall in collective operations. Don't use for gradual step-time throughput drops without hangs (use gke-ai-troubleshooting-tpu-performance-degradation) or pod preemption/eviction restarts (use gke-ai-troubleshooting-jobset-interruption).
- c6c7e67107f02e3423df8481272f296bbe61902a当前提交 c6c7e67发布于 2026年10月9日
来源与署名
来源：google/skills位于skills/cloud/gke-ai-troubleshooting-tpu-mxla-hang提交c6c7e67
许可证： 无许可证
内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。
更多来自 google/skills 的技能
Sign In With Google Web
为各类 Web 架构提供 Sign In With Google（GIS）集成与安全实现的指导。
Gke Ai Troubleshooting Tpu Performance Degradation
使用 ML Diagnostics 事件和 Cloud Monitoring 指标诊断 GKE Cloud TPU 训练吞吐量下降。
Google Cloud Scc Remediation
指导修复 Google Cloud Security Command Center 发现项，提供需用户批准的方案与参考手册。
Google Cloud Recipe Onboarding
引导开发者完成首次 Google Cloud 上手：身份验证、项目设置、结算关联与验证。
Google Cloud Recipe Auth
指导用户、服务账号和工作负载如何对 Google Cloud 服务与 API 进行身份验证和授权。
Gcloud
为在 Google Cloud 上执行 gcloud CLI 命令提供安全护栏、语法校验和数据精简规则。
更多DevOps & Cloud技能
Update Screenshots
microsoft
在 Screenshots & Tests 检查失败后，更新已提交的 CI 截图哈希基线。
Playwright Devops
microsoft
面向 Playwright 的 DevOps 工作流：分析 main 分支最新提交的 GitHub Actions 失败并下载失败作业日志。
M5 Onboard
anthropics
通过 USB 检测 M5Stack ESP32 开发板，刷写 UIFlow 2.0 固件并安装 MicroPython 应用包。
Runbook
anthropics
为重复性任务创建或更新分步运维手册，包含故障排查、回滚和升级流程。
Incident Response
anthropics
指导事故响应流程：严重级别判定、状态更新、缓解跟踪以及无责事后复盘。
Deploy Checklist
anthropics
生成部署前就绪检查清单，涵盖部署前、部署、部署后和回滚触发条件。