公众号：AI Freedom
深入剖析大模型原理 — Qwen Blog。主要包 Qwen2Config、Qwen2Model、Qwen2DecoderLayer、Qwen2Attention、Qwen2MLP、Qwen2RMSNorm等模块的详细介绍。
Llama3部署和微调，实践教程（InternStudio 版），主要包括：1. Llama 3 Web Demo 部署，2. XTuner 小助手认知微调，3. LMDeploy 部署 Llama3 模型、推理速度、使用LMDeploy运行视觉多模态大模型Llava-Llama-3等内容。
文本生成视频，个性化声音，技术栈 Latte + Sambert + Moviepy。这是一个文本转视频的项目，通过输入文本，生成对应的视频。 1. 文字生成动态视频 Latte 2. 文字生成个性化语音 Sambert 3. 视频和语音合成，带有字幕。
解读 文生图技术栈，根据文生图的发展路线，我们把文生图的发展历程发展成如下4个阶段： 1. 基于生成对抗网络的（GAN）模型 2. 基于自回归(Autoregressive)模型 3. 基于扩散(diffusion)模型 4. 基于Transformers的扩散（diffusion）模型。
flash attention V1 V2 V3 V4 如何加速 attention，主要包括 flash attention V1 V2 V3 V4 的原理和实现，以及如何加速 attention 的方法。
一键文本生成视频，非sora，技术栈 TTS + DALL·E + moviepy。这是一个文本转视频的项目，通过输入文本，一键直接生成对应的视频。
Gradio 教程，主要包括 1. Gradio简介 2. 环境搭建 3. 创建第一个Gradio界面 4. Gradio高级应用 5. 实战案例 6. 部署与分享 7. 常见问题与解决方案。
解读 NLP经典之作 — Bert：BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，由Google在2018年提出。它是一种基于Transformer的模型，可以用于自然语言处理（NLP）任务，如文本分类、命名实体识别、问答系统等。主要包括 1. Language Model Embedding，2. Bert 模型解读，3. Bert fine-tuning，4. Bert 代码实现等方面。
Andrej Karpathy 的 Let’s build the GPT Tokenizer。 手把手构建一个GPT Tokenizer（分词器）。关于Tokenizer的Why和How，详见下文。
This nanoGPT-lecture code git, including Andrej Karpathy's nanoGPT, ng-vedio-lecture, gpt_dev.ipynb and my learning notes. Welcome to like and follow
[ICLR 2024] SWE-Bench: Can Language Models Resolve Real-world Github Issues?
Paper