搜索

📚 MiniMind 笔记：大模型从零实现的完整路径

MiniMind 系列笔记目录——从 Tokenizer、Embedding 等基石，到 Transformer 架构、MoE、KV Cache，再到 SFT、DPO、PPO 算法的完整学习路径

🖥️ 基石：关于 Tokenizer 你所需要知道的一切

从 BPE、WordPiece、Unigram 的算法对比，到 GPT-2 / GPT-4 分词器的工程演进，再到 Tokenizer 对大模型能力边界的深远影响

第一章 NLP 基础概念

NLP 基础入门：从自然语言处理的定义与发展历程，到中文分词、实体识别、机器翻译等核心任务，再到词向量（VSM、N-gram、Word2Vec、ELMo）的发展历程。

📖 深度学习笔记：前言与历史

从 1940 年代的 M-P 神经元到 2012 年 AlexNet 的爆发——深度学习七十年发展史的系统梳理

🥋 从零理解 AI Infra

从零建立对 AI Infra 领域的全景认知：硬件层、系统软件层、训练系统、推理系统与性能工程。

AI Infra 学习路线

从前置基础到推理部署，系统梳理 AI Infra 的完整学习路线——每个模块含知识点、推荐资料与可量化检验标准。

⚔️ 0. 深度学习的核心概念

深度学习领域的 18 个核心术语速览：从感知机、神经网络、激活函数到 Transformer、残差连接、Embedding，建立完整的概念地图。

🎨 7. 生成模型与模型评估

VAE / GAN / Diffusion 三大生成范式对比，以及超越 accuracy 的模型评估指标：Precision/Recall/F1、ROC-AUC、训练曲线判读。

🌞 3. 神经网络的自学习

神经网络如何从数据自动获取最优权重：损失函数、数值微分、梯度法、SGD 与完整的 TwoLayerNet 实现。

🛠️ 4.5 训练技巧：优化器、初始化、正则化与超参数

让深层网络真正训练得动、训练得好的关键技巧：从 SGD 到 AdamW 的优化器演进、He/Xavier 初始化、BN/LN、Dropout、超参数搜索。

👻 5. 深度学习的主要架构

深入讲解三大核心架构：CNN（卷积神经网络）、RNN/LSTM/GRU（循环神经网络）与 Transformer（注意力机制），包含直觉类比、数学推导和架构对比。

🦼 4. 误差反向传播法

用计算图直观理解链式法则：从加法、乘法节点到 ReLU/Sigmoid/Affine/Softmax-with-Loss 层的完整反向传播实现。

👘 PyTorch 深度学习快速入门

从张量、自动求导到完整的 MNIST 训练流程：用 PyTorch 实现前序章节的所有手写网络逻辑，理解工业级框架的设计哲学。

⌨️ 2. 神经网络的引入

从感知机到神经网络：网络结构、激活函数（阶跃/Sigmoid/ReLU/恒等/Softmax）对比与神经网络推理代码实现。

📉 1. 感知机

感知机：从权重、偏置、激活函数三要素出发，到与/或/异或门的实现，再到多层感知机突破线性可分性的过程。

n8n 新手使用手册（Docker Desktop 本地环境）

n8n 维护运维手册（Docker Compose 方案）

🚞 6. 深度学习专业术语表

深度学习领域常见英文术语与中文对照表：网络结构、训练技术、CV/NLP 任务、强化学习等核心概念。

Steam, Steel, and Infinite Minds——Ivan Zhao

蒸汽、钢铁、还有无限头脑——AI 时代的材料与历史

408|操作系统笔记：第一章 操作系统概述

操作系统核心概念和发展

LaTeX 基本语法

可能用的到的 LaTeX 代码，美观论文和笔记