信息论

熵、互信息与 KL 散度：损失函数背后的度量.

章节

#	章节	状态
01	熵：不确定性的度量	待撰写
02	联合熵、条件熵与互信息	待撰写
03	KL 散度与交叉熵	待撰写
04	最大熵原理	待撰写
05	信源编码与信道容量	待撰写
06	信息论与机器学习	待撰写

依赖

• 前置：概率论
• 交叉：多层感知机
• 交叉：Diffusion

章节随写作进度开放；状态由 scripts/gen-units.mjs 从 curriculum.ts 生成.