Borelset's Blog

LossyCompress

浮点数的有损压缩 前一段时间一直在研究有关浮点数有损压缩的一些算法,主要是关于SZ的算法。 简介 SZ Compressor是阿贡国家实验室开启的一个项目,主要用来处理科学计算中产生的海量浮点数数据。阿贡国家实验室数千台超级计算机每16秒产生的数据大约有130TB,一方面为了节省存储资源,另一方面也是为了节省写入数据的时间开销,所以对数据的压缩显得十分必要。但是传统的无损压缩技术面对浮...

Rocksdb

最近需要对Rocksdb的内部工作方式进行一些了解,于是看了看Rocksdb的代码,写一写文档。 写入 Rocksdb的写入全都要通过WriteBatch来进行。key/value需要先写入到一个WriteBatch然后再进行写入流程。 WriteBatch内部包含了一个std::string,其中保存了需要写入的内容。 // WriteBatch格式 WriteBatch::rep_ ...