Skip to content

HiveGPT AI 学习

Main Navigation 学习首页

A · AI 应用开发入门

场景玩法生图提示词接入教程 Codex 教程大数据学员作品校园延伸阅读公众号排版

Sidebar Navigation

大数据

概览

Apache Spark

路线介绍

知识图谱

1. 从零编译 Spark 4.2.0 源码

2. Job、Stage、Task 是什么关系

3. 宽窄依赖：Stage 在哪里切开

4. L1 练习：跟踪 SparkPi 一个 Job 的一生

5. 第 2 讲：调度体系

6. 第 3 讲：Shuffle

7. 第 4 讲：内存管理

8. 第 5 讲：存储体系

9. 第 6 讲：RPC 与部署

10. 第 7 讲：容错机制

11. 第 8 讲：Spark SQL 与 Catalyst

12. 第 9 讲：代码生成与 Tungsten

13. 第 10 讲：AQE、DSv2 与 Spark Connect

配套：学习路线：从入门到 Committer

Apache Flink

路线介绍

知识图谱

1. 作业执行全链路

2. Checkpoint 全流程

3. State Backend：状态存储与扩缩容

4. 网络栈与背压

5. Table/SQL：从 SQL 到 Transformation

6. 调度与容错

7. 从读者到贡献者

8. 时间、Watermark 与窗口

9. Source / Sink 新架构

Flink · 图文版：Flink 2.x 源码精读

零：从哪里开始读

一·上：作业图怎么生成

一·下：算子为什么不用加锁

二·上：背压下的 Checkpoint

二·下：非对齐 Checkpoint

三·上：读懂 KeyGroup

三·下：换成 RocksDB 之后

四：一个下游慢，另一个也停

五·上：SQL 到 Transformation

五·下：Changelog 为什么输出两条

六：Task 失败之后

七·上：Watermark 从哪来

七·下：窗口从分配到触发

八·上：Source 分片

八·下：Sink 与 exactly-once

九：从读者到贡献者

Flink · 踩坑实验室

#01 窗口不出结果

#02 窗口输出两次

#03 Watermark 差 1 毫秒

#04 一天的窗口早上 8 点才关

#05 背压时窗口迟迟不出结果

#06 exactly-once 还重复

#07 不开 Checkpoint 不提交

#08 retryLater 不会稍后

#09 只重启了一部分

#10 不开 Checkpoint 不重启

#11 FileSink 数据等了 120 秒

#12 最大并行度改了恢复不了

#13 扩缩容时状态怎么切

#14 非对齐 Checkpoint 快在哪

#15 背压一级一级传上去

#16 两阶段聚合没生效

#17 print 出来的 -U 和 +U

#18 算子为什么没链在一起

#19 单线程的两个坑

#20 分区会不会读两次

#21 配置项已删除不报错

Apache Paimon

路线介绍

知识图谱

1. 环境搭建与源码编译

2. paimon-core 整体架构

3. UniversalCompaction 选文件策略

4. MergeTreeCompactTask 合并执行

5. 提交：冲突检测与重试

6. 读路径与删除向量

7. Lookup Changelog

8. FlinkSink 与 Checkpoint 提交

9. FlinkSource 流式读取

10. Spark MERGE INTO

11. REST Catalog

配套：学习计划

配套：附录：配置速查与调试技巧

配套：勘误与版本说明

Paimon · S1 · 30 分钟玩转 Paimon

第 1 期：一个 Java 程序跑通 Paimon

第 2 期：表目录里都是什么

第 3 期：主键表 vs Append 表

第 4 期：删一行为什么多了文件

第 5 期：3 行变 2 行

第 6 期：时间旅行

第 7 期：快照删了文件还在

第 8 期：Tag

Paimon · S2 · 源码精读图文版

第 1 讲：全景图

第 2 讲：一条数据的写入之旅

第 3 讲：合并怎么选文件

第 4 讲：合并怎么执行

第 5 讲：并发提交

第 6 讲：读路径

第 7 讲：删除向量

第 8 讲：Lookup Changelog

第 9 讲：Flink 写入两阶段提交

第 10 讲：Flink 流读与 consumer-id

第 11 讲：Spark MERGE INTO

面试题与模拟面试

Spark 面试题

Flink 面试题

Paimon 面试题

本页目录

Paimon 知识图谱

正在加载知识图谱……

觉得有用？生成一张卡片发给朋友，选中正文里的段落也能生成摘录卡。

Pager

上一篇路线介绍

下一篇1. 环境搭建与源码编译

代码示例在页面里运行时使用 HiveGPT 的模型接口。延伸阅读来自 JavaGuide（Apache-2.0），版权归原作者。

Paimon 知识图谱 ​

Paimon 知识图谱