LLM Post-training
总结大模型后训练阶段的目标、范式与常见优化路径。
LLM 四个阶段
梳理大语言模型从预训练到推理微调的四个关键阶段及其目标。
时间序列概率预测
介绍时间序列概率预测的建模目标、评价方式与常见方法。
RLHF
解释 RLHF 的训练流程、奖励模型设计以及对齐阶段的关键步骤。
模型微调
系统梳理大模型微调、迁移学习、PEFT 与适配方法的核心思路。
强化学习
概览强化学习的基本框架，并串联 RLHF、PPO 与 GRPO 等方法。
MCP
介绍 MCP 的核心概念、协议作用以及 AI 应用中的典型接入方式。
PyTorch Automatic Mixed Precision
介绍 PyTorch 自动混合精度训练的原理、接口与实践注意事项。
What Is Statistics?
从模型、判断与不确定性的角度讨论统计学究竟研究什么。
模型分布式训练
总结深度学习模型分布式训练中的并行策略、通信开销与实现要点。
PPT 写作方法
PPT 写作的难点 咨询 PPT 最大的难点是讲述的逻辑和内容——如何把几个月的研究成果浓缩到一起， 整理成一份很有说服力的报告，并让客户看完以后就可以执行。 原始的数据、研究材料、结论通常是杂乱、冗长、冰冷冷的。 如果堆砌一堆没有逻辑关系的数据和事实，叙述方式也平淡无奇，只会让客户一头雾水。 麦肯锡的商务演示高级指南 …
蒙特卡洛模拟
蒙特卡洛方法 蒙特卡洛方法的起源和发展 蒙特卡洛方法（Monte Carlo method），也称统计模拟方法，利用随机数进行数值模拟的方法。 是 1940 年代中期由于科学技术的发展和电脑的发明，而提出的一种以概率统计理论为指导的数值计算方法。 是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。 20 世 …
SMART 原则
SMART 原则是目标管理中的一种方法。目标管理的任务是有效地进行成员的组织与目标的制定和控制以达到更好的工作绩效， 由管理学大师彼得·杜拉克于 1954 年首先提出。SMART原则便是为了达到这一目的而提出的一种方法， 目前在企业界有广泛的应用。 它的首次出现被认为是在 1981 年 12 月发行的《管理评 …
Linux 后台执行命令
查看当前 Linux 后台运行的程序 jobs 命令可以查看当前有多少任务在后台运行 jobs -l 可以查看到当前所有在后台运行任务的 PID，任务状态等信息 jobs jobs -l 命令 & 在程序的后面加上一个 & 命令后，程序就可以在后台运行了。 # test.py 在后台运行， …
如何读论文？
论文的基本结构 一般来说，一篇论文的基本结构： 标题(title) 作者(author) 摘要(abstract) 导言(introduct) 算法/方法(method) 实验(exp) 结论(conclusion) 绝大多数的论文是这样一个八股文的形式，如果要从头读到尾，当然是可以的。 但是这个世界上论文有很多，如果 …
《关于政治解决乌克兰危机的中国立场》学习
新华社北京 2 月 24 日电 2 月 24 日，中国外交部发布《关于政治解决乌克兰危机的中国立场》文件。全文如下： 一、尊重各国主权。公认的国际法，包括联合国宪章宗旨和原则应该得到严格遵守， 各国主权、独立和领土完整都应该得到切实保障。 国家不分大小、强弱、贫富一律平等，各方要共同维护国际关系基本准则，捍卫国际公平正 …
Latex 常用命令
数学符号 数学模式重音符 符号 code $\hat{a}$ \hat{a} $\check{a}$ \check{a} $\tilde{a}$ \tilde{a} $\acute{a}$ \acute{a} $\grave{a}$ \grave{a} $\dot{a}$ \dot{a} $\ddot{a}$ …
优秀数据科学家的五个特征
最优秀的数据科学家不是哪些会用各种新奇模型或者代码写得很好的， 事实上，真正优秀的数据科学家是掌握了丰富理论知识的同时还拥有各种 “软知识” 的人 人们通常把人才分为两种：战略性人才和分析性人才，这样的分法就好像在暗示一个人无法同时拥有这两种能力。 但是事实上，一般最好的分析性人才恰恰是那些能理解公司战略性政策和想法， …
To Things Not To People
对事不对人 讨论问题时，应该聚焦于具体行为和具体决策，而不是直接否定一个人。 你做的这件事有问题，不等于你这个人没有价值。 批评一件事，目的是推动改进，而不是制造对立。 把“人”和“事”分开，沟通才更容易回到解决问题本身。
《台湾问题与新时代中国统一事业-白皮书》学习
新华社北京8月10日电 国务院台湾事务办公室、国务院新闻办公室10日发表《台湾问题与新时代中国统一事业》白皮书。全文如下： 台湾问题与新时代中国统一事业 （2022年8月） 中华人民共和国 国务院台湾事务办公室 国务院新闻办公室 前言 解决台湾问题、实现祖国完全统一，是全体中华儿女的共同愿望，是实现中华民族伟大复兴的必 …
关于学习
学习的原则和本质 学习时，我们可能会感到茫然，或者无从下手，也可能不知道这个知识到底有什么用； 甚至在学习过程中，不知道自己已经学到了哪里、离真正掌握还有多远。 学习知识时，可以先问自己三个问题： 它的本质是什么？ 它的第一原则是什么？ 它的知识结构是怎样的？ 本质是什么 很多知识背后都有更底层、更稳定的规律。越接近本 …
读《漫谈现代统计"四大天王"》
摘要 《漫谈现代统计"四大天王"》是勤学派公众号中的一系列的随笔, 这个系列随笔主要记述波澜壮阔、精彩纷呈的统计世界里那些令笔者印象深刻的故事与传奇; 试图去理解和还原现代统计的逻辑与思想s 卡尔·皮尔逊(1857~1936) 罗纳德.费舍尔爵士(Sir Ronald Fisher …
贝叶斯统计分析
贝叶斯统计 在统计学中有两个大的学派: 频率学派 (也称经典学派) 和 贝叶斯学派 贝叶斯公式 条件概率 将坚持概率的贝叶斯解释（Bayes interpretation），即根据概率描述对事件的信念程度， 并使用数据来增强、更新或削弱这些信念程度。在这种形式化中，信念程度被赋予某种语言的命题（能判断真或假的句子）。 …
哲学的故事
导言：哲学的作用 哲学使人愉悦，即使是形而上学的幻景也蕴含诱惑，每个学习者都能体会得到， 的直到粗粝的生存需求将我们从思想的高峰拽下，拋入生活的撕扯琐碎中。 哲学的内容 哲学包含以下五门学科：逻辑学、美学、伦理学、政治学和形而上学 逻辑学: 逻辑学探究的是思考与研究的理想方法：观察和内省、推理和归纳、假设和实验、 分析 …
Hugo 边用边学
Hugo 简介 一张图介绍 Hugo 可爱的图标(老外就喜欢搞这种可爱的东西) Hugo 安装 Hugo 可以运行在多种环境中，比如 macOS、Windowss、Linux、FreeBSD等等。 同样可以托管在喜欢的服务器或者 CDN 上。 macOS $ brew install hugo Windows $ …
LIFE Value
LIFE Value 是我的一个前领导在一家德国公司工作时的祖传个人价值观，是的，他传给了我。 我现在还记得他当时对我的教导，并且给我打印了一份，我回家就粘在办公桌边上的墙上吃灰了。 最近突然想回忆一下，所以稍作整理，希望有空的时候可以读一读，对照一下自己，帮助自己进步。 师父领进门，修行在个人 LIFE 价值观 目 …
给父亲
纪念 2022 年 1 月 10 日那个寒冷的早晨，纪念我最在乎的那个人，内心对他充满愧疚 给父亲 [北岛] 在二月寒冷的早晨 橡树终有悲哀的尺寸 父亲，在你照片前 八面风保持圆桌的平静 我从童年的方向 看到的永远是你的背影 沿着通向君主的道路 你放牧乌云和羊群 雄辩的风带来洪水 胡同的逻辑深入人心 你召唤我成为儿子 …
本站构建之路
早在 2016 年左右，我就一直在研究 R 相关的包构建 Blog。 之前使用过 Hexo，部署在 GitHub Pages 上，但之后断断续续删了重建。 后来就没有投入太多的精力搞这个，把各种内容写在了本地， 有些存储在 GitHub 代码仓库中. 后来慢慢发现了 R 包 blogdown，重新激起我建站的动力， 经 …
逻辑思维，只要五步
干事没逻辑，再累也是白忙活。 作者 下地宽也 [🇯🇵] 出版社 北京联合出版社 购买日期 2020-06-01 主要内容 理清思路，表达自己的技巧 Step 1 金字塔图: 组织语言，快速表达 Step 2 “并列型”还是“串联型”: 把理由连接起来 Step 3 MECE 分析法——消除遗漏、避免重复 思考问题的解决 …
中国通史
这是一片神奇的土地，雄伟壮观的锦绣山河，孕育着无限生机，诞生了一个伟大的国家 – 中国。 这是一片广袤的土地，悠久辉煌的古老文明，承载着丰厚的历史文化，塑造出一个伟大的民族 – 中华民族。 在这片神奇而广袤的土地上，一场场历史大剧不断上演，无数的曲折与坎坷，考验着这片土地上的民族与众生。 自强不 …
互联网协议
互联网的核心是一些列协议, 总称为"互联网协议(Internet Protocol Suite)". 它们对计算机如何连接和组网, 做出了详尽地规定. 理解了这些协议, 就理解了互联网的原理. 互联网的五层模型 互联网的实现, 分成好几层. 每一层都有自己的功能, 就像建筑物一样, 每一层都靠下一层 …
端口
端口简介 端口是英文 “Port” 的意译, 可以认为是设备与外界通讯交流的出口. 端口可分为虚拟端口和物理端口, 其中: 虚拟端口指计算机内部或交换机路由器内的端口, 不可见. 例如, 计算机中的 80 端口、21 端口、23端口等. 物理端口又称为接口, 是可见端口, 计算机背板的 RJ45 …
书到用时方恨少，上厕所时不好找
读书方法 TODO 书单 ID 书名 作者 购买年份 分类标签 内容简介 阅读进度 1 《棋王 树王 孩子王》 阿城 2 《机器学习》 周志华 2017 方法论 40% 3 《深度学习》 2017 方法论 20% 4 《计算广告》 5 《推荐系统实战》 6 《统计学的世界 上、下》 7 《Scala编程》 2018 技 …
RMarkdown、Rmd、Markdown
Markdown Markdown 的维基百科1介绍是这样的： Markdown是一种轻量级标记语言，创始人为约翰·格鲁伯。 它允许人们使用易读易写的纯文本格式编写文档， 然后转换成有效的XHTML（或者HTML）文档。 这种语言吸收了很多在电子邮件中已有的纯文本标记的特性。 由于Markdown的轻量化、易读易写特 …
那些年我们搞的热电联产
前言 在之前的热电联产产品、项目的开发过程中，我总共经历了四任产品经理、三任直属领导、四个前端开发、 两个测试，三个锅炉、汽机专家，极其惨烈！以至于在项目后期我需要给热电产品经理介绍完产品后， 热电产品经理才能开始继续设计热电产品，然后我才能在产品经理的指导下搞热电产品。 热电联产小科普 热电厂 热电联产的维基百科介绍 …