object storage system

reghao 32135df146 修改视频分辨率判断错误的 bug 3 anos atrás
src 32135df146 修改视频分辨率判断错误的 bug 3 anos atrás
.gitignore c3493c7dc1 将 tnb 中的 file 服务抽离出来, 作为一个独立的 dfs 3 anos atrás
Dockerfile 994aa871f0 小文件合并功能取消, 作为一个实验性项目, 应该尽量简单 3 anos atrás
README.md aabf6dec0f 添加一个用于在节点间同步文件的 c/s demo 3 anos atrás
pom.xml 4ffed13eb6 update pom.xml 3 anos atrás

README.md

dfs-store

一个分布式存储系统, 提供文件的存储, 访问和删除等服务, 不支持文件修改.

文件存储:

  • 大文件(大于等于 8MiB)单独存储到文件系统中
  • 小文件(小于 8MiB)合并存储到一个文件块中

文件删除:

  • 大文件标记为删除, 过一段时间后, 由定时任务自动删除
  • 小文件标记为删除并设置一个过期时间, 等到小文件所在文件块中的其他小文件都被标记为删除且最后一个小文件的过期时间超时后, 由定时任务自动删除整个文件块

文件访问:

  • 可为单个文件设置访问权限

多节点

同步

新文件存储到集群中的某个节点后, 还需要同步到集群内的其他节点, 保证整个集群的数据一致, 这里只能是最终一致性, 暂时无法做到强一致性

依赖的第三方服务

  • mysql
  • zookeeper