Butchunker "Open-source file chunking framework" I. 简介 Butchunker 是一款可扩展的文件分块框架,允许文件以特化的方案进行拆分,以针对性地提高去重率 不过要注意: 1. 它只拆分文件,[暂] 不压缩文件 2. 为不同格式提供特化的拆分方案可让文件的去重率显著提高, 但对于本身变化就很大的文件,它仍然无法胜任 3. 特化方案的执行只发生在写入阶段,重建阶段只是将已知块按顺序还原 II. 安装 目前只提供源码构建,一方面是因为 正在开发阶段, 另一方面是因为 它一般用于链接至其他项目中使用 源码构建: 1. 从任意存储 Butchunker 的 Git 仓库克隆源代码 2. 在本地执行 (请确保您安装了 Rust 工具链) cargo install --path ./Cargo.lock 3. 安装后,您应当可以使用二进制程序 `butck` 和 `butckrepo-refresh` 4. 将策略仓库克隆到 ./policy/ 5. 执行 `butckrepo-refresh` 刷新策略注册表 6. 再次执行第二步,重新安装 7. 在本地执行如下命令,以检测您的策略是否已经被编译 butck lspolicy-all III. 支持 如果在使用和安装过程中有任何问题,或者对该项目感兴趣, 请直接联系 Weicao-CatilGrass,我很乐意交流 IV. 许可证 项目使用 MIT 和 APACHE-2.0 许可证,且承诺不会变更 可以放心将代码链接到任何项目中使用!