如何深入理解ChatGPT等大语言模型-笔记 根据Andrej Kaparthy分享的Deep Dive into LLMs like ChatGPT视频，以下是我在学习过程中的一些笔记： 预训练阶段 数据收集阶段 收集数据,通过爬虫技术收集大量文本数据 对数据进行清洗,去除无用信息 压缩数据,形成词表(token) 构建神经网络模型 根据词表预测下一个词的概率 对概率进行调整,使其...

《架构思考》-前言 互联网架构演变历史 1. 业务架构 1.1 单体架构 在互联网早期发展中,主要以单体架构为主,按照业务->应用层->数据层进行简单划分; 每一个业务系统就是一个单独的业务团队,数据和人员(组织关系)都是独立的,造成数据隔离和组织单体化的问题; 1.2 中台战略 由阿里提出来的,理念是共享,共享业务、系统、组织架构上的一种落地方式和实施办法; 关键字:共享、节约成本、...

深入分析JavaParser原理之基础用法(一) 前言 JavaParser是一个基于JavaCC的开源项目，它是一个解析器生成器和抽象语法树(AST)处理工具 使用示例 总结 ...

JDK21对比JDK8语法升级指南 JDK8经过JDK11(LTS)、JDK17(LTS)、JDK21(LTS)等多个长期支持JDK版本,目前最新版本已经到了JDK22(non lts),下一个长期支持版本为JDK25,因此长时间内JDK21都会是一个生产版本,下面从三个三个方面了解JDK8升级到JDK21中语法层面的内容:新语法特性、新API、并发; 新语法特性 Record RecordK...

高并发系统实战-如何解决缓存不同步 使用缓存需要注意的地方: 使用缓存需要考虑性价比 防止穿透缓存直接查询数据库场景 设置TTL 缓存数据刷新场景: 单条数据更新场景 常见的方法是通过’先更新数据库在删除缓存’的方式来进行出来,更严格的场景是通过延迟双删或者MQ的方式通知删除 避免大量临时缓存同时到期失效 对于高并发更新缓存的场景可以采用’singleflight(请求合并)'来进...

数据结构与算法之美 链表 链表的主要比较对象是数组,最大的差别在于内存空间是否连续不连续上,对于不连续的内存空间就需要索引或下标方式来标识; 回文串问题如何解决? 链表解决技巧: 理解指针或引用的含义 警惕指针丢失和内存泄漏 哨兵概念,利用哨兵节点简化编程难度,用哨兵节点来屏蔽首尾节点的特殊处理逻辑 重点留意边界条件处理 如果链表为空时，代码是否能正常工作？ 如果链表只包含一个结点时，代码是否...