Aidp Spark Optimization

作者 oracle-samples90b42d6c24d4无许可证收录于 2026年10月8日更新于 2026年10月8日

Use when a Spark job/notebook is slow, missing an SLA, spilling, OOMing, generating too many small files, or shuffling/skewing heavily; when reviewing Spark/PySpark code or a Spark UI for performance; or before running a large Spark workload. Covers open-source Apache Spark 3.5.0 (+ Delta Lake) tuning -- partitions, shuffle, joins, skew, file layout, memory, codegen, caching, AQE, compression, and configuration.

仅含说明Data & AnalyticsSoftware Development
  1. 90b42d6c24d4当前提交 90b42d6发布于 2026年10月8日

来源与署名

来源：oracle-samples/oracle-aidp-samples位于ai/claude-code-plugins/oracle-ai-data-platform-workbench-engineer-agent/skills/aidp-spark-optimization提交90b42d6

许可证： 无许可证

内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。

举报或申请下架

更多来自 oracle-samples/oracle-aidp-samples 的技能

Aidp Workspace Admin

oracle-samples

Provision and inspect AIDP DataLake instances and workspaces, including private-network workspaces attached to a customer VCN/subnet. Use when the user wants to create/list/get a workspace or DataLake instance, set up a new (e.g. private) AIDP environment, or replicate a customer setup. Create/delete are guarded — confirm before any provisioning.

待分类2026年10月8日

Aidp Volumes

oracle-samples

Work with AIDP volumes — list volumes, browse files inside a volume, upload/download via the PAR flow, and create directories. Use when the user mentions volumes, needs to stage large/binary files, or move data in/out of a volume (distinct from the workspace filesystem). Control-plane via the official `aidp` CLI.

待分类2026年10月8日

Aidp Verified Queries

oracle-samples

维护经过验证的问题到 Spark SQL 配对库，让智能体在生成新 SQL 前优先复用可信查询。

Data & Analytics2026年10月8日

Aidp User Settings

oracle-samples

通过 aidp CLI 或 oci raw-request 备用方式管理 AIDP DataLake 用户设置与偏好。

Productivity & Workflow2026年10月8日

Aidp Semantic Model

oracle-samples

维护 .aidp/semantic.md 业务语义层，定义指标、连接、同义词和值字典，为自然语言转 SQL 提供依据。

Data & Analytics2026年10月8日

Aidp Roles Access

oracle-samples

管理 AIDP 角色与访问权限：列出角色、增删成员，以及授予或撤销各资源的权限。

Security2026年10月8日

更多Data & Analytics技能

Spanner Basics

google

精选

指导 Google Cloud Spanner 的实例与数据库管理、架构设计、查询和性能诊断。

Data & Analytics21K今天更新

Gke Cost Analysis

google

精选

使用 BigQuery 账单导出数据和实时集群指标，回答关于 GKE 集群与工作负载成本的自然语言问题。

Data & Analytics21K今天更新

Datalineage Bigquery Asset Impact Analysis

google

精选

指导智能体使用数据血缘对 BigQuery 表或视图进行下游影响（爆炸半径）分析。

Data & Analytics21K今天更新

Bigquery Troubleshooting

google

精选

通过结构化根因工作流诊断失败、缓慢或费用异常的 BigQuery 作业。

Data & Analytics21K今天更新

Bigquery Optimization

google

精选

指导 BigQuery 在容量版本、存储布局和 SQL 查询方面的成本与性能优化。

Data & Analytics21K今天更新

Bigquery Bigframes

google

精选

指导使用 BigQuery DataFrames（BigFrames）编写 Python 代码，用于数据处理、分析和机器学习。

Data & Analytics21K今天更新