MiniMind是一个从零开始训练超小型GPT模型的开源项目，最小版本仅25.8M参数，相当于GPT-3的1/7000，只需2小时和3元GPU成本即可完成训练。项目基于PyTorch原生实现，覆盖数据预处理、预训练、微调（SFT/LoRA/DPO）、蒸馏、推理全流程，并兼容主流工具链与多模态扩展，适合个人GPU和LLM入门教程。
官网：https://github.com/jingyaogong/minimind
项目包含
- MiniMind-LLM结构的全部代码（Dense+MoE模型）。
- 包含Tokenizer分词器详细训练代码。
- 包含Pretrain、SFT、LoRA、RLHF-DPO、模型蒸馏的全过程训练代码。
- 收集、蒸馏、整理并清洗去重所有阶段的高质量数据集，且全部开源。
- 从0实现预训练、指令微调、LoRA、DPO强化学习，白盒模型蒸馏。关键算法几乎不依赖第三方封装的框架，且全部开源。
- 同时兼容
transformers、trl、peft等第三方主流框架。 - 训练支持单机单卡、单机多卡(DDP、DeepSpeed)训练，支持wandb可视化训练流程。支持动态启停训练。
- 在第三方测评榜（C-Eval、C-MMLU、OpenBookQA等）进行模型测试。
- 实现Openai-Api协议的极简服务端，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。
- 基于streamlit实现最简聊天WebUI前端。
- 全面兼容社区热门
llama.cpp、vllm、ollama推理引擎或Llama-Factory训练框架。 - 复现(蒸馏/RL)大型推理模型DeepSeek-R1的MiniMind-Reason模型，数据+模型全部开源！
Libre Depot（自由仓库）原创文章、发布者：Libre Depot = 转载请注明出处：https://www.libredepot.top/zh/5521.html
