Calvin's Marbles


  • 首页

  • 关于

  • 归档

  • 标签

  • 搜索

Efficient IO with io_uring 学习

发表于 2025-10-30

通过 https://kernel.dk/io_uring.pdf 简单学习下 io_uring。

阅读全文 »

LLM 基础概念和核心问题整理

发表于 2025-10-25
  • 训练基础设施
    分布式训练、参数同步、checkpoint、通信优化
    DeepSpeed, Megatron-LM, FSDP, NCCL, ZeRO
  • 推理基础设施(Serving)
    模型加载、KV Cache 管理、动态批处理、并发调度
    vLLM, TensorRT-LLM, TGI, Ray Serve
  • 模型存储与加载
    权重分片、lazy loading、权重格式
    Safetensors, GGUF, Tensor Parallel
  • 特征与索引Embedding/向量检索
    向量数据库、索引结构、量化 FAISS, Milvus, ScaNN, HNSW, IVF
  • 资源编排与调度 GPU 调度、混部、弹性伸缩
    Kubernetes, Ray, RunPod, vGPU
  • 数据管线与特征存储
    数据清洗、分片、版本控制
    Petastorm, Delta Lake, Feature Store
  • Infra 优化方向
    I/O pipeline、KV cache 复用、张量压缩、显存分配
    CUDA、Paged Attention、Paged KV
阅读全文 »

Persistent data structures

发表于 2025-10-06

在 rust 中,不可变数据结构的性质是非常好的。

如果要在不可变数据结构上进行修改,就需要 clone 一份出来。因此:

  • 对于一些较大的结构,希望能够尽量复用
  • 如果此时只有一份引用,则可以直接获取 mut 引用就地修改
阅读全文 »

Zero-Copy 技术

发表于 2025-09-30

介绍 Linux 中的零拷贝技术。从 Fuse 学习 中独立出来。

阅读全文 »

Our Experience Building a Hybrid Rust - C++ Project

发表于 2025-07-21

For the past four months, I’ve been actively contributing to a new Rust-C++ project. Through this process, I’ve gained valuable insights and lessons. While I can’t disclose many project details, there are numerous technical challenges worth elaborating.

阅读全文 »

乒乓球训练纪实

发表于 2025-06-11

因为五一节打羽毛球把膝盖打出问题了,现在主要学习乒乓球了

阅读全文 »

关西2

发表于 2025-04-08

趁着清明节又去了一趟关西。本以为是度假,但实际上累得要死。

阅读全文 »

Database paper part 7

发表于 2025-03-15

包含:

  • We Ain’t Afraid of No File Fragmentation: Causes and Prevention of Its Performance Impact on Modern Flash SSDs
阅读全文 »

法语学习纪要

发表于 2025-03-13

在小绿鸟上学法语。

阅读全文 »

Fuse 学习

发表于 2025-03-09

看下 FUSE 的相关知识。

Filesystem In Userspace 也就是 fuse,是 linux 的一个内核模块。

阅读全文 »
12…26
Calvin Neo

Calvin Neo

254 日志
157 标签
RSS
GitHub Twitter Weibo
Links
  • xqq
  • wenwen
  • zyyyyy
© 2015 - 2025 Calvin Neo   Hosted by Coding Pages
版权声明
由 Hexo 强力驱动
主题 - NexT.Muse