reghao
aabf6dec0f
添加一个用于在节点间同步文件的 c/s demo
|
%!s(int64=3) %!d(string=hai) anos | |
|---|---|---|
| src | %!s(int64=3) %!d(string=hai) anos | |
| .gitignore | %!s(int64=3) %!d(string=hai) anos | |
| Dockerfile | %!s(int64=3) %!d(string=hai) anos | |
| README.md | %!s(int64=3) %!d(string=hai) anos | |
| pom.xml | %!s(int64=3) %!d(string=hai) anos |
README.md
dfs-store
一个分布式存储系统, 提供文件的存储, 访问和删除等服务, 不支持文件修改.
文件存储:
- 大文件(大于等于 8MiB)单独存储到文件系统中
- 小文件(小于 8MiB)合并存储到一个文件块中
文件删除:
- 大文件标记为删除, 过一段时间后, 由定时任务自动删除
- 小文件标记为删除并设置一个过期时间, 等到小文件所在文件块中的其他小文件都被标记为删除且最后一个小文件的过期时间超时后, 由定时任务自动删除整个文件块
文件访问:
- 可为单个文件设置访问权限
多节点
同步
新文件存储到集群中的某个节点后, 还需要同步到集群内的其他节点, 保证整个集群的数据一致, 这里只能是最终一致性, 暂时无法做到强一致性
依赖的第三方服务
- mysql
- zookeeper