有没有这种大文件存储系统？10台服务器整个成一台

fo001

文件下载系统。

有10台服务器，分布在5个国家。然后想把这10台服务器整个成为一台巨型服务器，提供上传和下载。整合完成后，可以正常安装个宝塔面板，然后建立个网站，提供正常的上传和下载。

这种场景可以实现起来吗？Loc的大佬都是见多识广，我相信，有懂的大佬，可以科普下没？

lowsell

https://min.io/
s3兼容的开源软件

IDC888

nfs unix传统技能

AMG

只储存文件的话还是挺简单的

longkulo

minio相当简单.
就用这玩意.

xchiminer

华盛顿 发表于 2022-10-16 11:00
大佬你说的太高深了，一个字都看不懂，

比如5台机器，每台100G硬盘，

你这个需求任意一个分布式文件系统都可以做到，比如ceph。
甚至你可以用你希望的方式，比如对象存储，块存储，不一定必须文件系统。

但楼主有个问题是他的服务器分布在5个不同，甚至以后要放在更多不同的国家或者服务商那里。
那延迟会很高。有可能导致数据不一致的问题出现。

而ipfs有个特性，就是文件id是唯一的，其次可以去重。
ipfs是文件系统，所以你可以用一个分布式的文件系统在某个idc那里组件一个集群，比如你可以基于glusterfs。
也可以基于tikv（有利于小文件，ipfs就是众多256kb的小块组成的）。
这样你就可以得到副本，用于快速恢复。冗余保证了。

高可用的话，就是组建无数的gateway，用于分流。默认ipfs是10G回收。你可以弄几个t的网关做热数据，类似cdn分流。这套方案我们已经实践成熟。

aru

如果每个国家存一份，那可以的，不就是传统的cdn么

华盛顿

xchiminer 发表于 2022-10-16 10:46
你的主存储dc，用ipfs，ipfs可以基于gfs或者tikv组建存储。
然后你其他dc，只要安排网关即可，并且将热数据 ...

大佬你说的太高深了，一个字都看不懂，

比如5台机器，每台100G硬盘，
全都装上某个程序后，形成一个500G硬盘的存储系统，
不需要多余的操作，就可以在一个统一的后台里上传一个200G的文件夹，
这个程序自动分发到这5台机器上，


楼主问的应该是这个意思

xchiminer

你的主存储dc，用ipfs，ipfs可以基于gfs或者tikv组建存储。
然后你其他dc，只要安排网关即可，并且将热数据pin一下，找人魔改下gc即可。
基本可以满足你任何下载需求。

gfef

Hadoop, 但是你这延迟是问题

fo001

lwsg1987 发表于 2022-10-16 00:31
hdfs，我的几百p数据就是这么存的

你是找人帮搭建的吗？还是自己搭建？  可以推荐下没？》