通过 https://kernel.dk/io_uring.pdf 简单学习下 io_uring。
LLM 基础概念和核心问题整理
发表于
- 训练基础设施
分布式训练、参数同步、checkpoint、通信优化
DeepSpeed, Megatron-LM, FSDP, NCCL, ZeRO - 推理基础设施(Serving)
模型加载、KV Cache 管理、动态批处理、并发调度
vLLM, TensorRT-LLM, TGI, Ray Serve - 模型存储与加载
权重分片、lazy loading、权重格式
Safetensors, GGUF, Tensor Parallel - 特征与索引Embedding/向量检索
向量数据库、索引结构、量化 FAISS, Milvus, ScaNN, HNSW, IVF - 资源编排与调度 GPU 调度、混部、弹性伸缩
Kubernetes, Ray, RunPod, vGPU - 数据管线与特征存储
数据清洗、分片、版本控制
Petastorm, Delta Lake, Feature Store - Infra 优化方向
I/O pipeline、KV cache 复用、张量压缩、显存分配
CUDA、Paged Attention、Paged KV
Persistent data structures
发表于
在 rust 中,不可变数据结构的性质是非常好的。
如果要在不可变数据结构上进行修改,就需要 clone 一份出来。因此:
- 对于一些较大的结构,希望能够尽量复用
- 如果此时只有一份引用,则可以直接获取 mut 引用就地修改
Zero-Copy 技术
发表于
Our Experience Building a Hybrid Rust - C++ Project
发表于
For the past four months, I’ve been actively contributing to a new Rust-C++ project. Through this process, I’ve gained valuable insights and lessons. While I can’t disclose many project details, there are numerous technical challenges worth elaborating.
乒乓球训练纪实
发表于
因为五一节打羽毛球把膝盖打出问题了,现在主要学习乒乓球了
关西2
发表于
趁着清明节又去了一趟关西。本以为是度假,但实际上累得要死。
Database paper part 7
发表于
包含:
- We Ain’t Afraid of No File Fragmentation: Causes and Prevention of Its Performance Impact on Modern Flash SSDs
法语学习纪要
发表于
在小绿鸟上学法语。
Fuse 学习
发表于