公众号：AI Freedom
AI智能体深度解析，主要包括Manus、OpenManus、OWL以及Agent发展史。涉及Manus的核心架构解析、工作流程、技术创新等，OpenManus的设计思路、工作流程、技术架构等，以及OWL的核心架构、核心功能、核心工作流等方面。还有Agent的发展史，从裸大模型调用到长短任务智能体的变化。
金融领域算法应用场景，主要包括：1. 风险管理（风险预测、欺诈识别、贷中监控、智能催收）2. 数据/AI产品（智能客服、信用分、画像产品）3. 智能分析（智能投顾、量化投资、价值预测）4. 智能用户增长（个性化营销推荐、用户拉新与留存）。
谢赛宁认为”对于Sora这样的复杂系统，人才第一，数据第二，算力第三，其他都没有什么是不可替代的。” 所以数据的重要性不言而喻，而模型排在第三之后。sora 技术栈 from zero to hero：GAN、AE、DAE、VAE、VQVAE、CLIP、DALL·E、Diffusion Model、LDM、DDPM、Classifier Guided Diffusion、Classifier-Free Guidance、DALL·E 2、Vit、ViViT、MAE、NaViT、Dit 等方面。
大模型的微调技术，从不同的方面，有不同的分类。高效微调技术可以粗略分为以下三大类：增加额外参数（Addition-Based）、选取一部分参数更新（Selection-Based）、引入重参数化（Reparametrization-Based）。而在增加额外参数这类方法中，又主要分为类适配器（Adapter-like）方法和软提示（Soft prompts）两个小类。
LLM的Post-training: 分为两个阶段。1. SFT，首先使用监督学习，在少量高质量的专家推理数据上微调 LLM; 2. RLHF，因没有足够的human expert reasoning data，需要 RL。GRPO 对 PPO 的改进，其动机是 PPO 需要 4 个大模型，即策略、价值函数、奖励模型和参考模型。GRPO 消除了对价值模型的需求。
本文翻译自 DeepSeek-R1 官方技术报告，主要包括的内容如下：引言、方法、实验、讨论、结论、局限性和未来工作。其中方法包括DeepSeek-R1-Zero：基础模型上的强化学习、DeepSeek-R1： 使用冷启动进行强化学习、蒸馏：赋予小模型推理能力。实验包括DeepSeek-R1 评估基准、蒸馏模型评估模型等。
互金项目贷前贷中贷后的运营，主要分为三个阶段：贷前、贷中、贷后。其中，贷前主要是获客、进件两个阶段，贷中主要是授信、请款放款两个阶段，贷后主要是还款、复贷、逾期催收三个阶段。每个阶段将从业务特点、关注指标、行业案例、运营场景等方面来详细介绍。
本文主要讲述 Llama1 、 Llama2 、 Llama3 、 Llama3.1 、 Llama3.2 系列模型的发展。主要包括发布时间、模型大小、模型迭代、模型架构、训练数据、训练方法、训练优化等方面。
对比 Batch Norm 和 Layer Norm，两者都是常用的归一化方法。其中 Batch Norm 对每个 mini-batch 的输入进行归一化，而 Layer Norm 对每个样本的输入进行归一化。Batch Norm 适用于 CNN、DNN 等，需要较大的 mini-batch 的场景，而 Layer Norm 适用于 RNN、LSTM、Transformer 等，尤其是小批量或单样本训练的场景。
本文 Decoder Only 模型的参数量和计算量，主要包括 Transformer结构、参数量方面、显存占用、计算量方面、参数量和计算量的关系、训练时间预估等等。
不同用户群体（如新老用户）、APP不同频道模块、不同客户端等，可以看作不同场景。多场景建模是解决不同场景/分布下的相同任务，如对不同场景样本预估相同的 CTR 目标。主要内容有：PEPNet, STAR, M2M, APG, AdaSparse, HC^2, MARIA。
一文理解Attention:从起源到MHA,MQA和GQA。Attention模块是现在几乎所有大模型的核心模块，因此也有很多工作致力于提升注意力计算的性能和效果。主要内容有：关于Attention、从RNN到Attention、Transformer的attention、MHA、MQA、GQA、KV Cache等。
This nanoGPT-lecture code git, including Andrej Karpathy's nanoGPT, ng-vedio-lecture, gpt_dev.ipynb and my learning notes. Welcome to like and follow
[ICLR 2024] SWE-Bench: Can Language Models Resolve Real-world Github Issues?
Paper