中门对狙
中门对狙

MFS 分布式存储

MFS分布式存储

MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个副本，然而对于访问MFS的客户端或者用户来说，整个分布式文件系统集群看起来就像一个资源一样，从其对文件系统的情况看MooseFS就相当于UNIX的文件系统

MFS特性：

​ 1.高可靠性：每一份数据都可以设置多个备份，并可以存储在不同的主机上

​ 2.高扩展性：可以很轻松的通过增加主机的磁盘容量或增加主机数量来动态扩展整个文件系统的存储量

​ 3.高可容错性：我们可以通过对MFS进行系统设置，实现当数据文件被删除后的一段时间内，依旧存放于主机的回收站中，以备误删除恢复数据

​ 4.高数据一致性：即使文件被写入、访问时，我们依然可以轻松完成对文件的一致性快照

MFS缺点：

​ 1.Master是单点，虽然会把数据信息同步到备份服务器，但是恢复需要时间

​ 2.Master服务器对主机的内存要求略高

​ 3.默认Metalogger复制元数据时间较长(可调整)

​ 内存使用问题：

​ 处理一百万个文件chunkserver，大约需要300M的内存空间。据此，推算如果未来要出来1个亿的文件chunkserver，大概需要30G内存空间

应用场景：

​ 1.大规模高并发的线上数据存储及访问(小文件、大文件都合适)

​ 2.大规模的数据处理，如日志分析，小文件强调性能不用HDFS

MFS组件说明


Snipaste_2020-03-17_13-29-35.png

管理服务器角色Managing server 简称Master：这个组件的角色是管理整个MFS文件系统的主服务器，除了分发用户请求外，还用来存储整个文件系统中每个数据文件的Metadata信息，Metadate信息包括文件(也可以是目录，socket，管道，块设备等)的大小，属性，文件的位置路径等

​ 元数据备份服务器Metadata Backup Servers 简称Metalogger：这个组件的作用是备份管理服务器Master的变化的Metadata信息日志文件，文件类型为Changelog_ml.*.mfs。以便于在管理服务器出问题时，可以经过简单的操作即可让新的主服务器进行工作

​ 数据存储服务器组Data Servers(chunk servers) 简称Data：这个组件就是真正存放数据文件实体的服务器，这个角色可以有多台不同的物理服务器或不同的磁盘分区来充当，当配置数据的副本多于一份时，数据写入到一个数据服务器后，会根据算法在其他数据服务器上进行同步备份

​ 客户机服务器组Client Server 简称Client：这个组件就是挂在并使用MFS文件系统的客户端，当读写文件时，客户端首先会连接主管理服务器获取数据的Metadata信息，然后根据得到的Metadata信息，访问数据服务器读取或写入文件实体，MFS客户端通过fuse mechanism实现挂载MFS文件系统的，因此，只有系统支持fuse，就可以作为客户端访问MFS整个文件系统

MFS描述

​ Master记录着管理信息，比如：文件路径|大小|存储的位置|(IP，port，chunkid)|份数|时间等，元数据信息存在于内存中，会定期写入Metadata.mfs.back文件中，定期同步到Metalogger，操作实时写入changelog.*.mfs，实时同步到metalogger中。Master启动将metadata.mfs载入内存，重命名为metadata.mfs.back文件

​ 文件以chunk大小存储，每chunk最大为64M，小于64M的，该chunk大小即为该文件大小(验证实际chunk文件略大于实际文件)，超过64M的文件将被切分，以每一份(chunk)的大小不超过64M为原则；块的生成遵循规则:目录循环写入(00-FF256个目录循环，step为2)、chunk文件递增生成、大文件切分目录连续

​ Chunkserver上的剩余存储空间要大于1GB，新的数据才会被允许写入，否则，你会看到No Space left on device的提示，实际上，测试发现当磁盘使用率达到95%左右的时候，就已经不行写入了，当时可用空间为1.9GB

​ 文件可以有多分copy，当goal为1时，文件会被随机存到一台chunkserver上，当goal的数大于1时，copy会由master调度保存到不同的chunkserver上，goal的大小不要超过chunkserver的数量，否则多出的copy，不会有chunkserver去保存

构建MFS集群

​ MFS环境：

​ 192.168.1.103：client

​ 192.168.1.112：master

​ 192.168.1.113：chunkserver1

​ 192.168.1.114：chunkserver2

​ 192.168.1.115：Metadata

安装

#1.112
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli
vim /etc/mfs/mfsmaster.cfg  #不需要修改，解释参数
    WORKING_USER = mfs
    WORKING_GROUP = mfs
    SYSLOG_IDENT = mfsmaster    #在syslog中的表示，说明这是mfsmaster产生的
    LOCK_MEMORY = 0 #是否执行mlockall()以避免mfsmaster内存溢出(默认是0)
    NICE_LEVEL = -19    #运行的优先级，默认-19，注意，这个进程必须是root启动
    DATA_PATH = /var/lib/mfs    #数据存放路径，该目录下有三大类文件，changelog，sessions，stats
    EXPORTS_FILENAME = /etc/mfs/mfsexports.cfg  #被挂载目录以及其权限控制文件的存放位置
    BACK_LOGS = 50  #元数据的改变日志文件数量
    METADATA_SAVE_FREQ = 1  #主机多久存储一次元数据
    BACK_META_KEEP_PREVIOUS = 1     #要保留的先前元数据文件数
    CHANGELOG_PRESERVE_SECONDS = 1800   #更改日志必须保留在内存中的秒数（默认值为1800；这设置了最小值，实际数字可能会更大一些）
    MISSING_LOG_CAPACITY = 100000   #主机中将存储多少个丢失的块（最多分配100 * MISSING_LOG_CAPACITY字节的内存）
    MATOML_LISTEN_HOST = *  #元数据日志监听的IP地址(默认*，表示所有)
    MATOML_LISTEN_PORT = 9419   #元数据日志服务器监听的端口地址
    MATOCS_LISTEN_HOST = *  #用于存储服务器(chunkserver)连接的IP地址
    MATOCS_LISTEN_PORT = 9420   #用于存储服务器(chunkserver)连接的端口地址
    MATOCS_TIMEOUT = 10 #master和chunkserver默认的连接超时时间
    REPLICATIONS_DELAY_INIT = 60    #延迟复制时间
    CHUNKS_LOOP_MIN_TIME = 300  #chunks的回环率
    CHUNKS_SOFT_DEL_LIMIT = 10  #
    CHUNKS_WRITE_REP_LIMIT = 2,1,1,4    #在一个循环里复制到一个chunk server的最大chunks数目
vim /etc/mfs/mfsexports.cfg
    192.168.1.0/24 . rw,alldirs,maproot=0   #末尾添加
systemctl start moosefs-master  #主服务
systemctl start moosefs-cgiserv.service #监控页面
http://192.168.1.112:9425/  #界面很不友好

安装Metadata服务器

#1.115
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-metalogger
vim /etc/mfs/mfsmetalogger.cfg
    META_DOWNLOAD_FREQ = 2  #备份时间循环
    MASTER_HOST = 192.168.1.112 #主服务器IP地址
systemctl start moosefs-metalogger
cd /var/lib/mfs/;ls #发现主上面的同步到此目录下来了

安装chunk server服务器

#1.113
fdisk /dev/sdb  #这个磁盘是我自己添加的，你也必须添加一个磁盘
    n;p;1;w #n添加新硬盘，p添加主分区，1扇区分号，w保存退出
mkfs.ext4 /dev/sdb1
mkdir /mnt/mfs
mount -t ext4 /dev/sdb1 /mnt/mfs/
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-chunkserver
vim /etc/mfs/mfschunkserver.cfg
    MASTER_HOST = 192.168.1.112
    MASTER_PORT = 9420
    HDD_CONF_FILENAME = /etc/mfs/mfshdd.cfg
vim /etc/mfs/mfshdd.cfg
    /mnt/mfs
chown -R mfs.mfs /mnt/mfs/
systemctl start moosefs-chunkserver

安装client

#1.103
yum -y install fuse fuse-devel fuse-libs
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-client
mkdir /mfsclient
mfsmount /mfsclient/ -H 192.168.1.112
vim 1.txt
    #随便写入
mfsfileinfo 1.txt   #查看1.txt所在chunk的信息

添加chunk2节点

#1.114
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
yum install moosefs-chunkserver
fdisk /dev/sdb
mkfs.ext4 /dev/sdb1
mount -t ext4 /dev/sdb1 /mnt/mfs/
vim /etc/mfs/mfschunkserver.cfg
    HDD_CONF_FILENAME = /etc/mfs/mfshdd.cfg
    MASTER_HOST = 192.168.1.112
    MASTER_PORT = 9420
vim /etc/mfs/mfshdd.cfg
    /mnt/mfs
chown -R mfs.mfs /mnt/mfs/
systemctl start moosefs-chunkserver

此时再次回到1.103

echo "hahaha" > 2.txt
mfsfileinfo 2.txt
    2.txt:
        chunk 0: 0000000000000003_00000001 / (id:3 ver:1)
            copy 1: 192.168.1.113:9422 (status:VALID)
            copy 2: 192.168.1.114:9422 (status:VALID)
#节点2已添加

MFS维护操作

#1.103
#误删除恢复
rm -rf /mfsclient/2.txt
mkdir mfsback
mfsmount -m mfsback/ -H 192.168.1.112
cd mfsback/
cd trash/
tree . >> /root/1.txt
cat /root/1.txt
    006
    │   ├── 00000006|2.txt
    │   └── undel
#我们可以看到2.txt在哪个文件夹
mv 006/00000006\|2.txt /root/mfsback/undel  #执行完这一步，回到mfsclient看，发现文件已恢复
cd /mfsclient
mfsgettrashtime 2.txt   #2.txt的更新时间，如果过了那个时间就不可以恢复
mfssettrashtime 888888 2.txt    #设置2.txt的删除恢复时间
#快照
mkdir back
mfsmakesnapshot 2.txt back/
#设置副本数
mfsfileinfo 3.txt 
    3.txt:
        chunk 0: 0000000000000004_00000001 / (id:4 ver:1)
            copy 1: 192.168.1.113:9422 (status:VALID)
            copy 2: 192.168.1.114:9422 (status:VALID)
mfssetgoal 1 3.txt
mfsfileinfo 3.txt 
    3.txt:
        chunk 0: 0000000000000004_00000001 / (id:4 ver:1)
            copy 1: 192.168.1.114:9422 (status:VALID)

Master死亡

#1.112
systemctl stop moosefs-master.service
rm -rf /var/lib/mfs/*
#此时的master已经不可用，需要从Metalogger拿取关键数据恢复
#1.115
cd /var/lib/mfs/
scp * [email protected]:/var/lib/mfs/
#1.112
mfsmaster -a

你可能感兴趣的:(MFS 分布式存储)

  • 选型搜索引擎之参考Elasticsearch 剑飞的编程思维 elasticsearch
    简介Elasticsearch（简称ES）是一个基于ApacheLucene的开源、分布式、RESTful接口的全文搜索引擎。其设计用于云计算环境，能够达到实时搜索、稳定、可靠、快速、安装使用方便的效果。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch的特点包括：分布式存储和搜索：Elasticsear
  • ElasticSearch为什么快？ z.jiaminf ElasticSearchelasticsearch大数据搜索引擎
    ElasticSearch是一个高性能，分布式搜索引擎，它之所以快，主要有以下几个原因：1.分布式存储：ElasticSearch使用分布式存储技术，将数据存储在多个节点上从而减少单个节点的压力，提高整体性能。2.索引分片：ElasticSearch把每个索引划分成多个分片，这样可以让查询操作并行化，从而提高查询速度。3.全文索引：ElasticSearch使用了高效的全文索引技术，把文档转化成可
  • Java架构师之路四、分布式系统：分布式架构、分布式数据存储、分布式事务、分布式锁、分布式缓存、分布式消息中间件、分布式存储等。 述清-架构师之路 Java架构师之路java分布式架构
    目录分布式架构：分布式数据存储：分布式事务：分布式锁：分布式缓存：分布式消息中间件：分布式存储：Java架构师之路三、网络通信：TCP/IP协议、HTTP协议、RESTfulAPI、WebSocket、RPC等。-CSDN博客Java架构师之路五、微服务：微服务架构、服务注册与发现、服务治理、服务监控、容器化等。-CSDN博客分布式架构：分布式架构是一种计算机系统设计方法，它将一个复杂的系统划分为
  • Python专家指南：全面揭示文件操作的核心机制与实战技巧 极客代码 玩转Pythonpython
    在计算机科学领域，文件操作始终占据着至关重要的地位。无论是在日常的数据处理、配置文件管理、大规模数据分析，还是在复杂软件开发、网络通信及分布式存储解决方案中，对文件的操作能力都是程序员必备的基本功。Python语言以其简洁明快的设计风格和丰富强大的内置库，为我们提供了高度可定制化和易于使用的文件操作接口。接下来，我们将深入探讨Python中关于文件操作的各个方面，从基础知识到实用技巧，并辅以实例说
  • 以内存为核心的开源分布式存储系统 这次靠你了 大数据Tachyonhdfs大数据
    是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。此外，Tachyon还能够整合众多现有的存储系统（如AmazonS3,ApacheHDFS,RedHatGlusterFS,OpenStackSwift等），为用
  • 云计算基础-存储虚拟化（深信服aSAN分布式存储） 比特微联 云计算
    什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间。存储中的基本概念IOPS每秒钟的IOPS数，该指标主要用于评价小块IO性能，体现存储系统的IO延时能力和并发能力。业界一般默认IOPS指的是4K块大小的IO性能，该值
  • 腾讯云OSS文件上传功能 奋力向前123 java腾讯云java服务器
    腾讯云COS介绍腾讯云COS（CloudObjectStorage）是一种基于对象的存储服务，用于存储和管理海量的非结构化数据，如图片、音视频文件、备份数据等。它具有以下特点和优势：高可靠性：采用分布式存储架构，数据会在多个设备上进行冗余备份，确保数据的高可靠性和持久性。弹性扩展：支持根据业务需求自动扩展存储容量，无需担心存储空间不足的问题。低成本：提供按需计费方式，用户只需支付实际使用的存储容量
  • Hive入门，Hive是什么？ JayGboy hivehadoop数据仓库
    1.1Hive是什么？Hive是一个开源的数据仓库工具，主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。Hive的本质是一个数据仓库基础设施，它提供了一种类似于SQL的查询语言，称为HiveQL，用于处理和分析存储在Hadoop集群中的数据。HiveQL允许用户使用类似于传统关系型数据库的查询语法来查询和分析数据，而无需编写复
  • 转：文件及文件夹操作- File类、Directory 类、FileInfo 类、DirectoryInfo 类 漠漠彡
    本文引自博客园作者：柴亮原文链接：文件及文件夹操作-File类、Directory类、FileInfo类、DirectoryInfo类文件及文件夹操作：C/S：WinForm可以操作客户端文件ClientServerB/S：BrowerServer命名空间：usingsystem.IO;1.File类：创建：File.Create(路径);创建文件,返回FileStreamFileStreamfs
  • 论文阅读-Pegasus：通过网络内一致性目录容忍分布式存储中的偏斜工作负载 向来痴_ 分布式
    论文名称：Pegasus:ToleratingSkewedWorkloadsinDistributedStoragewithIn-NetworkCoherenceDirectories摘要高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战。本文介绍了Pegasus，这是一个利用新一代可编程交换机ASIC来平衡存储服务器负载的新型存储系统。Pegasus使用数据存储中最受欢迎的对
  • 03-03 elasticsearch nan得糊涂
    入门篇使用场景海量存储：支持分布式存储实时搜索：lucene倒排索引，海量数据下近乎实时搜索a.日志分析，es+logstash+kibanab.Github代码数据分析：支持数据分析及处理基本功能分布式的搜索引擎和数据分析引擎全文检索，结构化检索，数据分析海量数据实时处理根据这些功能，可以实现的使用场景某张表有海量数据，需要实时快速查询数据分析带来的问题ES用在海量数据实时查询，基本的数据分析等
  • Kubernetes深度实践（三） 哦呵呵_3579
    如果是公网的Kubernetres集群可以省去不少烦恼，一般云供应商都会有完整的配套服务，包括存储和网络，但如果是自行搭建的集群就需要自行解决这两部分问题。先说一下存储的选择，一般的话有一个分布式存储+Localstorage基本就够了。分布式存储的话有许多开源方案的可选项，例如Ceph、GlusterFS、Longhorn等，使用分布式存储的话一定要记得要有一个时钟服务器，有好几次出问题都是因为
  • DL4J中文文档/DataVec/读取器 hello风一样的男子
    读取器读取器从存储中的数据集迭代记录，并将数据加载到数据向量中。除了数据集中的单个条目之外，阅读器的用处包括：如果想要在语料库上训练文本生成器，或是以编程方式将两个条目组合在一起形成新的记录的时候该怎么办？读取器实现对于复杂的文件类型或分布式存储机制是有用的。读取器返回记录记录中每一列的Writable类。这些类用于将每个记录转换为张量/NDArray格式。使用每个读取器实现都扩展了BaseRec
  • GFS 分布式文件系统 「已注销」 bigdatagfs
    一、GlusterFS概述1．GlusterFS简介GlusterFS是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数据，元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率高，但是也存在一些缺陷，例如
  • Glusterfs分布式存储 忙碌滴比特流 运维linux基础运维
    目录一、简介二、特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、专业术语四、GlusterFS构成五、GlusterFS的工作流程1、工作流程2、弹性HASH算法六、GlusterFS常用分布式简介1、分布式卷2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布
  • 如何搭建glusterfs分布式存储系统 MssGuo 存储篇分布式运维glusterfs
    目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动分布式集群的结构配置可信池pool创建复制卷--replicatedvolumeclient客户端挂载复制卷卷的删除创建条带卷--stripedvolumeclient客户端挂载条带卷创建分布式卷--replicatedvol
  • 陪标材料制作 吴亮16
    1、陪标材料的概念招标需要三个投标人，不然就废标。因此为了让主投更加有把握中标，请不让招标失败，主投会找陪标者，如渠道或者集成商，甚至是友商。陪标者会以非主投的产品去应标，对于一些加分项的，会不去满足，以降低陪标者竞标时的评分，在满足不废标的前提下提高主投的中标率。2、售前负责的内容1）偏离表制作。（1）陪标时会以不同于主投方的产品与应标，如此次陪标是用Lenvon的分布式存储，超融合服务器，交换
  • Ceph入门到精通-sysctl参数优化
    Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。在Ceph的部署和维护过程中，我们可能需要对Linux内核参数进行一些优化，以提高Ceph的性能和稳定性。这个过程通常是通过sysctl命令来完成的。sysctl是Linux系统中用于读取和修改内核参数的命令行工具。这些参数保存在/proc/sys/目录下，sysctl可以通过读取和写入这些文件来获取
  • SpringCloud微服务实战——搭建企业级开发框架（三十六）：使用Spring Cloud Stream实现消息中间件功能
      在以往消息队列的使用中，我们通常使用集成消息中间件开源包来实现对应功能，而消息中间件的实现又有多种，比如目前比较主流的ActiveMQ、RocketMQ、RabbitMQ、Kafka，Stream等，这些消息中间件的实现都各有优劣。  在进行框架设计的时候，我们考虑是否能够和之前实现的短信发送、分布式存储等功能一样，抽象统一消息接口，屏蔽底层实现，在用到消息队列时，使用统一的接口代码，然后在根
  • c++ IO库之ifstream的一些基本操作 YaoYuan9323 boost库与stlQtstd::ifstreamseekg()tellg()cio库读取txt文件cio库读取图片文件
    c++IO库中关于文件的的流有六个，它们是ifstreamwifstreamofstreamwofstreamfsreamwfsream。w开始的是针对wchar_t类型的数据。从左到右分为三组，它们作用分别是：从文件读取数据、向文件写入数据、读写文件。它们包含在fstream头文件中最近在项目中用到了ifstream,现在对其进行简要说明。ifstream类可以读取文本文件、图片文件。怎样读取文
  • Ceph入门到精通-sysctl参数优化
    Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。在Ceph的部署和维护过程中，我们可能需要对Linux内核参数进行一些优化，以提高Ceph的性能和稳定性。这个过程通常是通过sysctl命令来完成的。sysctl是Linux系统中用于读取和修改内核参数的命令行工具。这些参数保存在/proc/sys/目录下，sysctl可以通过读取和写入这些文件来获取
  • ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化 晓晓很可爱 clickhouse大数据
    1.什么是clickhouse:提供了sql结构化的查询语言;clickhouse是一款分布式数据库;clickhouse可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题;clickhouse中的数据底层是列式存储clickhouse不仅可以管理自己的数据,也可以读取别人的数据,比如masql,hdfs网络和本地文件;2.选择ClickHouse的首要原因是它
  • 2018-05-14 centos7中管理systemd 1 阿丧小威
    1、systemd启动流程：POST-->BootSequence-->Bootloader-->kernel+initramfs(initrd)-->rootfs-->/sbin/initinit:CentOS5:SysVinitCentOS6:UpstartCentOS7:SystemdSystemd：系统启动和服务器守护进程管理器，负责在系统启动或运行时，激活系统资源，服务器进程和其它进程S
  • 分布式存储系统学习笔记(三)—分布式键值系统(1)—Amazon Dynamo 不会算命的赵半仙 架构分布式分布式系统
    1.概述Dynamo以很简单的键值方式存储数据，不支持复杂的查询。Dynamo中存储的是数据值的原始形式，不解析数据的具体内容。Dynamo主要用于Amazon购物车和S3云存储服务。Dynamo通过组合P2P的各种技术打造了线上可运行的分布式键值系统，下表列出了Dynamo设计时面临的问题及最终采取的解决方案：2.数据分布Dynamo采用一致性哈希将数据分布到多个存储节点中(博文：一天不学习我浑
  • MFS 分布式存储 中门对狙
    MFS分布式存储MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个副本，然而对于访问MFS的客户端或者用户来说，整个分布式文件系统集群看起来就像一个资源一样，从其对文件系统的情况看MooseFS就相当于UNIX的文件系统MFS特性：1.高可靠性：每一份数据都可以设置多个备份，并可以存储在不同的主机上2.高扩展性：可以很轻
  • 安装nvidia显卡驱动，Debian11 叶尔孤柏 杂记linux服务器运维
    两个步骤：1：关闭禁止nouveau驱动2：安装nvidia驱动（要先下载好NVIDIA驱动，下载地址）步骤1：网上资料（1）：在/etc/modprobe.d/blacklist.conf里面添加内容#nouveaublacklistnouveauoptionsnouveaumodeset=0（2）：sudoupdate-initramfs-u之后重启（注意：有网上资料说这样重启屏幕不会显示东西
  • DolphinScheduler-3.2.0 集群搭建 爱吃辣条byte 任务调度大数据数据仓库
    本篇文章主要记录DolphinScheduler-3.2.0集群部署流程。注：参考文档：DolphinScheduler-3.2.0生产集群高可用搭建_dophinscheduler3.2.0使用说明-CSDN博客文章浏览阅读1.1k次，点赞25次，收藏23次。DolphinScheduler-3.2.0生产集群高可用搭建，DolphinScheduler原数据存储mysql设置，分布式存储采用h
  • 2022-12-02 Redis Cluster （1）通信机制 圆方的鱼
    原文链接https://mp.weixin.qq.com/s/tlocdMlyI4Sx8UxfbuVjTw能提供的能力高可用更高的QPS分布式存储大量数据分散网络流量压力基本架构分区方式虚拟槽分区虚拟槽分区示意图.jpg节点meet机制参考https://www.jianshu.com/p/b890c98dab6d请求机制rediscluster虚拟槽.jpg
  • 编程随笔-ElasticSearch知识导图(1)：全景 weixin_33868027 数据库大数据json
    1.由ElasticSearch开始的思考  官方介绍Elasticsearch(以下简称ES)是一个基于ApacheLucene(TM)的开源搜索引擎。但我最初了解ES却是从NoSQL数据库开始，在使用、研究了ES一段时间后，我发现这是一个优秀的分布式部署软件，不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。  在ES之前我们习惯使用关系数据库(RDBMS)来进行现实数据世界的
  • Raft算法在Curve中的实践 xx_d18b
    姓名：邓复元学号17020120041转载自：https://blog.csdn.net/NetEaseResearch/article/details/110006508【嵌牛导读】：本文介绍了RAFT算法的特点和基本应用【嵌牛鼻子】：Curve实践【嵌牛模块】：RAFT算法概念、特点、应用场合【嵌牛正文】：urve作为高性能、高可用、高可靠的新一代分布式存储系统，对于多副本数据同步，负载均衡，
  • 异常的核心类Throwable 无量 java源码异常处理exception
    java异常的核心是Throwable，其他的如Error和Exception都是继承的这个类 里面有个核心参数是detailMessage，记录异常信息，getMessage核心方法，获取这个参数的值，我们可以自己定义自己的异常类，去继承这个Exception就可以了，方法基本上，用父类的构造方法就OK，所以这么看异常是不是很easy package com.natsu;
  • mongoDB 游标（cursor） 实现分页 迭代 开窍的石头 mongodb
    上篇中我们讲了mongoDB 中的查询函数，现在我们讲mongo中如何做分页查询      如何声明一个游标        var mycursor = db.user.find({_id:{$lte:5}});       迭代显示游标数
  • MySQL数据库INNODB 表损坏修复处理过程 0624chenhong tomcatmysql
    最近mysql数据库经常死掉，用命令net stop mysql命令也无法停掉，关闭Tomcat的时候，出现Waiting for N instance(s) to be deallocated 信息。查了下，大概就是程序没有对数据库连接释放，导致Connection泄露了。因为用的是开元集成的平台，内部程序也不可能一下子给改掉的，就验证一下咯。启动Tomcat,用户登录系统，用netstat -
  • 剖析如何与设计人员沟通 不懂事的小屁孩 工作
    最近做图烦死了，不停的改图，改图……。烦，倒不是因为改，而是反反复复的改，人都会死。很多需求人员不知该如何与设计人员沟通，不明白如何使设计人员知道他所要的效果，结果只能是沟通变成了扯淡，改图变成了应付。 那应该如何与设计人员沟通呢？ 我认为设计人员与需求人员先天就存在语言障碍。对一个合格的设计人员来说，整天玩的都是点、线、面、配色，哪种构图看起来协调；哪种配色看起来合理心里跟明镜似的，
  • qq空间刷评论工具 换个号韩国红果果 JavaScript
    var a=document.getElementsByClassName('textinput'); var b=[]; for(var m=0;m<a.length;m++){ if(a[m].getAttribute('placeholder')!=null) b.push(a[m]) } var l
  • S2SH整合之session 灵静志远 springAOPstrutssession
    错误信息： Caused by: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'cartService': Scope 'session' is not active for the current thread; consider defining a scoped
  • xmp标签 a-john 标签
    今天在处理数据的显示上遇到一个问题： var html = '<li><div class="pl-nr"><span class="user-name">' + user + '</span>' + text + '</div></li>'; ulComme
  • Ajax的常用技巧（2）---实现Web页面中的级联菜单 aijuans Ajax
    在网络上显示数据，往往只显示数据中的一部分信息，如文章标题，产品名称等。如果浏览器要查看所有信息，只需点击相关链接即可。在web技术中，可以采用级联菜单完成上述操作。根据用户的选择，动态展开，并显示出对应选项子菜单的内容。 在传统的web实现方式中，一般是在页面初始化时动态获取到服务端数据库中对应的所有子菜单中的信息，放置到页面中对应的位置，然后再结合CSS层叠样式表动态控制对应子菜单的显示或者隐
  • 天-安-门，好高 atongyeye 情感
        我是85后，北漂一族，之前房租1100，因为租房合同到期，再续，房租就要涨150。最近网上新闻，地铁也要涨价。算了一下，涨价之后，每次坐地铁由原来2块变成6块。仅坐地铁费用，一个月就要涨200。内心苦痛。     晚上躺在床上一个人想了很久，很久。        我生在农
  • android 动画 百合不是茶 android透明度平移缩放旋转
    android的动画有两种  tween动画和Frame动画   tween动画;,透明度,缩放,旋转,平移效果   Animation   动画 AlphaAnimation 渐变透明度 RotateAnimation 画面旋转 ScaleAnimation 渐变尺寸缩放 TranslateAnimation 位置移动 Animation
  • 查看本机网络信息的cmd脚本 bijian1013 cmd
    @echo 您的用户名是：%USERDOMAIN%\%username%>"%userprofile%\网络参数.txt" @echo 您的机器名是：%COMPUTERNAME%>>"%userprofile%\网络参数.txt" @echo ___________________>>"%userprofile%\
  • plsql 清除登录过的用户 征客丶 plsql
    tools---preferences----logon history---history  把你想要删除的删除 -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出， 我好及时改正，同时也让我们一起进步。 email ： binary_spac
  • 【Pig一】Pig入门 bit1129 pig
    Pig安装 1.下载pig   wget http://mirror.bit.edu.cn/apache/pig/pig-0.14.0/pig-0.14.0.tar.gz   2. 解压配置环境变量      如果Pig使用Map/Reduce模式，那么需要在环境变量中，配置HADOOP_HOME环境变量   expor
  • Java 线程同步几种方式 BlueSkator volatilesynchronizedThredLocalReenTranLockConcurrent
    为何要使用同步？      java允许多线程并发控制，当多个线程同时操作一个可共享的资源变量时（如数据的增删改查），      将会导致数据不准确，相互之间产生冲突，因此加入同步锁以避免在该线程没有完成操作之前，被其他线程的调用，      从而保证了该变量的唯一性和准确性。 1.同步方法&
  • StringUtils判断字符串是否为空的方法（转帖） BreakingBad nullStringUtils“”
    转帖地址：http://www.cnblogs.com/shangxiaofei/p/4313111.html   public static boolean isEmpty(String str)   　　判断某字符串是否为空，为空的标准是 str== null  或 str.length()== 0  
  • 编程之美-分层遍历二叉树 bylijinnan java数据结构算法编程之美
    import java.util.ArrayList; import java.util.LinkedList; import java.util.List; public class LevelTraverseBinaryTree { /** * 编程之美 分层遍历二叉树 * 之前已经用队列实现过二叉树的层次遍历，但这次要求输出换行，因此要
  • jquery取值和ajax提交复习记录 chengxuyuancsdn jquery取值ajax提交
    // 取值 // alert($("input[name='username']").val()); // alert($("input[name='password']").val()); // alert($("input[name='sex']:checked").val()); // alert($("
  • 推荐国产工作流引擎嵌入式公式语法解析器-IK Expression comsci java应用服务器工作Excel嵌入式
    这个开源软件包是国内的一位高手自行研制开发的，正如他所说的一样，我觉得它可以使一个工作流引擎上一个台阶。。。。。。欢迎大家使用，并提出意见和建议。。。 ----------转帖--------------------------------------------------- IK Expression是一个开源的（OpenSource），可扩展的（Extensible），基于java语言
  • 关于系统中使用多个PropertyPlaceholderConfigurer的配置及PropertyOverrideConfigurer daizj spring
    1、PropertyPlaceholderConfigurer Spring中PropertyPlaceholderConfigurer这个类，它是用来解析Java Properties属性文件值，并提供在spring配置期间替换使用属性值。接下来让我们逐渐的深入其配置。 基本的使用方法是：(1) <bean id="propertyConfigurerForWZ&q
  • 二叉树:二叉搜索树 dieslrae 二叉树
        所谓二叉树,就是一个节点最多只能有两个子节点,而二叉搜索树就是一个经典并简单的二叉树.规则是一个节点的左子节点一定比自己小,右子节点一定大于等于自己(当然也可以反过来).在树基本平衡的时候插入,搜索和删除速度都很快,时间复杂度为O(logN).但是,如果插入的是有序的数据,那效率就会变成O(N),在这个时候,树其实变成了一个链表. tree代码:
  • C语言字符串函数大全 dcj3sjt126com cfunction
    C语言字符串函数大全     函数名: stpcpy 功 能: 拷贝一个字符串到另一个 用 法: char *stpcpy(char *destin, char *source); 程序例:   #include <stdio.h> #include <string.h>   int main
  • 友盟统计页面技巧 dcj3sjt126com 技巧
    在基类调用就可以了, 基类ViewController示例代码 -(void)viewWillAppear:(BOOL)animated { [super viewWillAppear:animated]; [MobClick beginLogPageView:[NSString stringWithFormat:@"%@",self.class]];
  • window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 flyvszhb javajdk
    window下在同一台机器上安装多个版本jdk，修改环境变量不生效问题处理办法 本机已经安装了jdk1.7，而比较早期的项目需要依赖jdk1.6，于是同时在本机安装了jdk1.6和jdk1.7. 安装jdk1.6前，执行java -version得到 C:\Users\liuxiang2>java -version java version "1.7.0_21&quo
  • Java在创建子类对象的同时会不会创建父类对象 happyqing java创建子类对象父类对象
      1.在thingking in java 的第四版第六章中明确的说了，子类对象中封装了父类对象，   2."When you create an object of the derived class, it contains within it a subobject of the base class. This subobject is the sam
  • 跟我学spring3 目录贴及电子书下载 jinnianshilongnian spring
        一、《跟我学spring3》电子书下载地址： 《跟我学spring3》  （1-7 和 8-13） http://jinnianshilongnian.iteye.com/blog/pdf     跟我学spring3系列 word原版 下载     二、 源代码下载 最新依
  • 第12章 Ajax（上） onestopweb Ajax
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • BI and EIM 4.0 at a glance blueoxygen BO
    http://www.sap.com/corporate-en/press.epx?PressID=14787   有机会研究下EIM家族的两个新产品~~~~   New features of the 4.0 releases of BI and EIM solutions include: Real-time in-memory computing –
  • Java线程中yield与join方法的区别 tomcat_oracle java
    长期以来，多线程问题颇为受到面试官的青睐。虽然我个人认为我们当中很少有人能真正获得机会开发复杂的多线程应用(在过去的七年中，我得到了一个机会)，但是理解多线程对增加你的信心很有用。之前，我讨论了一个wait()和sleep()方法区别的问题，这一次，我将会讨论join()和yield()方法的区别。坦白的说，实际上我并没有用过其中任何一个方法，所以，如果你感觉有不恰当的地方，请提出讨论。 &nb
  • android Manifest.xml选项 阿尔萨斯 Manifest
    结构 继承关系 public final class Manifest extends Objectjava.lang.Objectandroid.Manifest 内部类 class Manifest.permission权限 class Manifest.permission_group权限组 构造函数 public Manifest () 详细 androi
  • Oracle实现类split函数的方 zhaoshijie oracle
    关键字：Oracle实现类split函数的方 项目里需要保存结构数据，批量传到后他进行保存，为了减小数据量，子集拼装的格式，使用存储过程进行保存。保存的过程中需要对数据解析。但是oracle没有Java中split类似的函数。从网上找了一个，也补全了一下。 CREATE OR REPLACE TYPE t_split_100 IS TABLE OF VARCHAR2(100); cr
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他