深度学习(11 篇)

📖 深度学习笔记：前言与历史

从 1940 年代的 M-P 神经元到 2012 年 AlexNet 的爆发——深度学习七十年发展史的系统梳理

深度学习领域的 18 个核心术语速览：从感知机、神经网络、激活函数到 Transformer、残差连接、Embedding，建立完整的概念地图。

VAE / GAN / Diffusion 三大生成范式对比，以及超越 accuracy 的模型评估指标：Precision/Recall/F1、ROC-AUC、训练曲线判读。

神经网络如何从数据自动获取最优权重：损失函数、数值微分、梯度法、SGD 与完整的 TwoLayerNet 实现。

让深层网络真正训练得动、训练得好的关键技巧：从 SGD 到 AdamW 的优化器演进、He/Xavier 初始化、BN/LN、Dropout、超参数搜索。

深入讲解三大核心架构：CNN（卷积神经网络）、RNN/LSTM/GRU（循环神经网络）与 Transformer（注意力机制），包含直觉类比、数学推导和架构对比。

用计算图直观理解链式法则：从加法、乘法节点到 ReLU/Sigmoid/Affine/Softmax-with-Loss 层的完整反向传播实现。

从张量、自动求导到完整的 MNIST 训练流程：用 PyTorch 实现前序章节的所有手写网络逻辑，理解工业级框架的设计哲学。

从感知机到神经网络：网络结构、激活函数（阶跃/Sigmoid/ReLU/恒等/Softmax）对比与神经网络推理代码实现。

感知机：从权重、偏置、激活函数三要素出发，到与/或/异或门的实现，再到多层感知机突破线性可分性的过程。

深度学习领域常见英文术语与中文对照表：网络结构、训练技术、CV/NLP 任务、强化学习等核心概念。