文件服务器-FastDfs

介绍

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。非常适合用来存储用户图片、视频、文档等文件。对于互联网应用，和其他分布式文件系统相比，优势非常明显。FastDFS没有对文件做分块存储，因此不太适合分布式计算场景。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存储文件，完成文件管理的所有功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值对。
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可

FastDFS系统结构图

上传文件交互过程：
1. client询问tracker上传到的storage，不需要附加参数；
2. tracker返回一台可用的storage；
3. client直接和storage通讯完成文件上传。
下载文件交互过程：
1. client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；
2. tracker返回一台可用的storage；
3. client直接和storage通讯完成文件下载。

FastDFS安装部署

1. 准备环境
    操作系统： CentOS 6.5 [Server-1& Server-2]
    安装包：
   1、FastDFS_v5.05.tar.gz 下载地址：http://sourceforge.net/projects/fastdfs/files 依次打开“FastDFS Server Source Code”->“FastDFS Server with PHP Extension Source Code V5.05”->“FastDFS_v5.05.tar.gz”。
   2、libfastcommon-master.zip下载地址：
   https://github.com/happyfish100/libfastcommon/archive/master.zip
2. 安装步骤
    将FastDFS_v5.05.tar.gz和libfastcommon-master.zip放到一个tools文件夹下，将文件夹上传到/opt/目录下面。[Server-1& Server-2]
    关闭防火墙[Server-1& Server-2]
   service iptables stop
    安装libfastcommon，执行下列命令：[Server-1& Server-2]
   cd /opt/tools/
   unzip libfastcommon-master.zip
   cd libfastcommon-master
   ./make.sh
   ./make.sh install
    安装FastDFS，执行下列命令：[Server-1& Server-2]
   cd /opt/tools/
   tar -xzvf FastDFS_v5.05.tar.gz
   cd FastDFS
   vi make.sh
   将TARGET_PREFIX= DESTDIR/usr改成TARGETPREFIX= DESTDIR/usr/local
   ./make.sh
   ./make.sh install
    fdfs_trackerd服务配置[Server-1]
   mkdir -p /home/fastdfs/tracker
   cd /etc/fdfs/
   cp tracker.conf.sample tracker.conf
   vi tracker.conf
   将base_path=/home/yuqing/fastdfs改成 base_path=/home/fastdfs/tracker
    fdfs_storaged服务配置[Server-2]
   mkdir -p /home/fastdfs/storage
   mkdir /home/fastdfs/data
   cd /etc/fdfs/
   cp storage.conf.sample storage.conf
   vi storage.conf
   将base_path=/home/yuqing/fastdfs改成 base_path=/home/fastdfs/storage
   将store_path0=/home/yuqing/fastdfs改成
   store_path0=/home/fastdfs/data
   将tracker_server=192.168.209.121:22122改成 tracker_server=192.168.26.128:22122
    client服务配置[Server-1]
   mkdir -p /home/fastdfs/client
   cd /etc/fdfs/
   cp client.conf.sample client.conf
   vi client.conf
   将base_path=/home/yuqing/fastdfs改成
   base_path=/home/fastdfs/client
   将tracker_server=192.168.0.197:22122改成
   tracker_server=192.168.26.128:22122
3. 启动和关闭服务
   启动fdfs_trackerd服务：
   /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf
   停止fdfs_trackerd服务：
   sh /opt/tools/FastDFS/stop.sh /usr/local/bin/fdfs_trackerd
   启动fdfs_storaged服务：
   /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf
   停止fdfs_storaged服务：
   sh /opt/tools/FastDFS/stop.sh /usr/local/bin/fdfs_storaged
   注：先启动fdfs_trackerd服务再启动fdfs_storaged服务。
   可以通过service fdfs_trackerd(storaged) start/stop/restart/status
   这种方式来管理服务了。如果不行就将安装包里面提供的/init.d
   的fdfs_trackerd(storaged) 拷贝到/etc/init.d里面再执行上面操作。
   如：cp /opt/tools/FastDFS/init.d/fdfs_trackerd /etc/init.d/
   chkconfig –add fdfs_trackerd
   chkconfig fdfs_trackerd on (设置开机自启动)

java客户端支持

TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient client = new StorageClient(trackerServer, storageServer);
//上传
client.upload_file();
//下载
client.download_file();
//删除
client. download_file();