MiniMind是一个极简化开源项目，旨在用个人GPU在2小时内以仅3元成本从零训练出25.8M参数级别的超小型GPT模型（约为GPT-3的1/7000）。项目完整开源了从数据清洗、预训练、监督微调（SFT）、LoRA微调、直接偏好优化（DPO）到模型蒸馏等全流程代码，且利用PyTorch原生实现，无需依赖第三方框架。同时兼容transformers、trl、peft等主流生态，支持单机单卡、多卡训练及推理服务端部署，堪称LLM入门与轻量化训练的优质教程与示例。
源码：https://github.com/jingyaogong/minimind
项目包含
- MiniMind-LLM结构的全部代码（Dense+MoE模型）。
- 包含Tokenizer分词器详细训练代码。
- 包含Pretrain、SFT、LoRA、RLHF-DPO、模型蒸馏的全过程训练代码。
- 收集、蒸馏、整理并清洗去重所有阶段的高质量数据集，且全部开源。
- 从0实现预训练、指令微调、LoRA、DPO强化学习，白盒模型蒸馏。关键算法几乎不依赖第三方封装的框架，且全部开源。
- 同时兼容
transformers、trl、peft等第三方主流框架。 - 训练支持单机单卡、单机多卡(DDP、DeepSpeed)训练，支持wandb可视化训练流程。支持动态启停训练。
- 在第三方测评榜（C-Eval、C-MMLU、OpenBookQA等）进行模型测试。
- 实现Openai-Api协议的极简服务端，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。
- 基于streamlit实现最简聊天WebUI前端。
- 全面兼容社区热门
llama.cpp、vllm、ollama推理引擎或Llama-Factory训练框架。 - 复现(蒸馏/RL)大型推理模型DeepSeek-R1的MiniMind-Reason模型，数据+模型全部开源！
希望此开源项目可以帮助LLM初学者快速入门！
Libre Depot（自由仓库）原创文章、发布者：Libre Depot = 转载请注明出处：https://www.libredepot.top/zh/5480.html
