E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
FileSystem
解决进程文件句柄泄露导致磁盘空间无法释放问题
解决进程文件句柄泄露导致磁盘空间无法释放问题问题的产生今天突然接到一台服务器磁盘空间使用率达到90%的报警,于是登陆机器查看磁盘使用情况,发现确实外挂到/data的一块磁盘使用率达到了90%:[root@awsuw7-46data]#df-h
Filesystem
SizeUsedAvailUse
qhh0205
·
2020-09-14 10:48
Linux
升级Windows 10时,出现grub rescure的解决步骤
说明:电脑之前装的是WIN7+Fedora双系统,在Win7升级到Win10的过程中,出现:GRUBloadingerro:unknown
filesystem
grubrescue>_原因:升级Win10
iwillcodeyou
·
2020-09-14 10:27
ARM Linux根文件系统(Root
Filesystem
)的制作
RMLinux根文件系统(Root
Filesystem
)的制作关于根文件系统的制作,网络上有很多文章,大多数都只讲到建几个目录,然后用Busybox做个Shell,有很多关键的东西没有说。
dongliqiang2006
·
2020-09-14 10:01
VC
根文件系统(rootfs)梳理
以下英文部分摘自Kernel_2.3.6\Documentation\
filesystem
sramfs-rootfs-initramfs.txtWhatisrootfs?
kevin_wz
·
2020-09-14 10:04
android基础
linux基础
GFS分布式存储平台
创建分布式卷创建条带卷创建复制卷创建分布式条带卷分布式复制卷破坏性测试查看复制卷查看分布卷查看分布式复制卷实验总结其他常见GFS命令GFS概述GFS,全称Gluster
FileSystem
,开源的分布式文件系统
Ora.
·
2020-09-14 10:18
群集架构
分布式
linux
运维
centos
修复grub开机引导
双系统环境下,调整linux分区开机重启的时候,会出现error:unknow
filesystem
grubrescue>--导致进入修复模式(救援模式)修复模式(救援模式)下支持少量的命令操作,可以通过设置参数之后引导系统起来
阿仆来耶
·
2020-09-14 09:18
Grub Rescue修复方法
症状:开机显示:GRUBloadingerror:unknow
filesystem
grubrescue>原因:已经发现下面几种操作会导致这种问题:1,想删除ubuntu,于是直接在windows下删除/
jiangkai_nju
·
2020-09-14 09:38
linux学习之路
ubuntu
linux
windows
磁盘
工具
终端
grub rescue救援模式的处理
grub无法引导进入系统,大黑屏上出现:unkown
filesystem
grubrescue>OK,确实悲剧了:估计Win
guanggY
·
2020-09-14 09:33
Linux学习
构建MFS+Keepalived双机高可用热备方案`
一、简介MooseFS(即Moose
FileSystem
,简称MFS)是一个具有容错性的网络分布式文件系统,它将数据分散存放在多个物理服务器或单独磁盘或分区上,确保一份数据有多个备份副本,对于访问MFS
Running_free
·
2020-09-14 09:42
linux运维
Centos下搭建Hadoop伪分布式
Hadoop实现了一个分布式文件系统(HadoopDistributed
FileSystem
),简称HDFS。
somnus_小凯
·
2020-09-14 09:24
linux
java
hadoop
分布式
大数据
(三)flink的Table API 与 SQL-外部连接器
文章目录TableSource(1)
FileSystem
Connector(2)KafkaConnectorTableFormat(1)CSVFormat(2)JSONFormat(2)ApacheAvroFormatflink
_尽_际
·
2020-09-14 09:10
flink
一个被加入下载QQ盗号木马Trojan.PSW.QQPass.rie代码的网站
frameBorder=0width=0height=0></IFRAME>-------/打开该URL,没有显示内容,但网页中的VBScript代码会利用Microsoft.XMLHTTP和scrīpting.
FileSystem
O
紫郢剑侠
·
2020-09-14 08:13
hdfs一直处于safemode模式
1)文件系统中有损坏的文件,使用fsck命令来查看hadoopfsck/以上是查看hdfs的根目录下的所有文件健康状况,如果有损坏的文件,就会提示:The
filesystem
underpath'/'isCORRUPT
weixin_30732825
·
2020-09-14 07:32
关于LINUX系统概念的上的格式化
High-levelformattingofdisksonthesesystemsistraditionallydoneusingthemkfscommand.OnLinux(andpotentiallyothersystemsaswell)mkfsistypicallyawrapperaround
filesystem
-specificcommandswhichhavethenamem
sonicx24
·
2020-09-14 07:04
LINUX
ubuntu系统文件出错、修复
Remountingisnotsupportedatpresent.Youhavetoumountvolumeandthenmountitonceagain.再挂载硬盘:sudomount/dev/sdb1又报错:Thediskcontainsanunclean
filesystem
107的成长之路
·
2020-09-14 07:38
ubuntu使用
ubuntu 系统出现 文件系统只读Read-only file system
ps:虚拟机的Ubuntu不知道什么原因,在命令行用sudo改一个文件的时候的提示Read-only
filesystem
,其他各种sudo操作都是如此。
ppipp1217
·
2020-09-14 07:57
ubuntu
系统配置
Read-only
mount远程驱动器
0、环境:服务器:192.168.20.204客户端:192.168.20.2031、NFS服务NFS是Network
FileSystem
的缩写,即网络文件系统。
雪窗
·
2020-09-14 06:55
工作日志
mfs分布式文件系统的简单构建
什么是分布式文件系统2.mfs的结构3.环境部署二、mfs的部署1.master的设置2.chunk的设置3.client的配置一、mfs的简介1.什么是分布式文件系统分布式文件系统(Distributed
FileSystem
阳光丶yy
·
2020-09-14 05:12
实战
随便说说HDFS(Hadoop Distributed File System)
HDFSHadoopDistributed
FileSystem
NameNode作为HDFS的核心、大脑,NameNode负责记录文件的元数据与Block块及其副本存储的DataNode的位置信息。
eddieVim
·
2020-09-14 05:40
Hadoop
hadoop
java
hdfs
大数据
数据库
Eclipse Plug in使用第三方jar包的设置
选中lib,右键->Import->
FileSystem
,导入jar包,或者直接复制粘贴;2.在工程目录上右键->Properties->JavaBuildPath:a.选中Liberaries选项卡,
xelloss_cn
·
2020-09-14 03:46
Eclipse
django.core.exceptions.ImproperlyConfigured: You're using the staticfiles app without having set the
django.core.exceptions.ImproperlyConfigured:You’reusingthestaticfilesappwithouthavingsettheSTATIC_ROOTsettingtoa
filesystem
path
god四奶奶
·
2020-09-14 02:18
DirectoryInfo的使用案例
newDirectoryInfo(path);//FileInfo[]files=di.GetFiles();//获取文档//DirectoryInfo[]files=di.GetDirectories();//获取目录(文件夹)
FileSystem
Info
昭惠显圣二郎真君
·
2020-09-14 02:58
.NET
C#中DirectoryInfo类、目录信息类、文件夹信息类的用法
表DirectoryInfo类的常用属性及说明属性说明Attributes设置当前
FileSystem
Info的Fi
xionghaoaizhangruyun
·
2020-09-14 01:50
c#
delete
attributes
object
数据结构
equals
Hadoop文件写入(详细剖析)
参见上图客户端通过对Distributed
FileSystem
对象调用create()函数来创建文件(图步骤1)。
顺顺顺子
·
2020-09-14 01:39
MR
hadoop hdfs dfs基本操作
hadoophdfsdfs基本操作本文主要参考:http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/
FileSystem
Shell.html
0day__
·
2020-09-14 01:26
hadoop
使用java程序读写HDFS文件,判断文件是否存在
判断文件是否存在importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.
FileSystem
;importorg.apache.hadoop.fs.Path
太和վ'ᴗ' ի
·
2020-09-14 01:54
Hadoop常用命令
判断文件是否存在
IO流(12.2)
是否可读取,创建删除等等//file类可以理解为对一个文件的引用//如果想获得文件内容,,或者修改,读取文件内容,需要以file类为目标点,进行IO流操作//引的包是io包try{Filefile1=
FileSystem
View.get
FileSystem
View
哦,是恶魔啊,
·
2020-09-14 01:22
笔记
HBase数据库安装配置
就像Bigtable利用了Google文件系统(
FileSystem
)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。
墨染烟华
·
2020-09-14 01:48
java代码对hdfs进行读写操作
hdfs进行读写操作两个jar包操作代码注意两个jar包pom中导入两个jar包,hadoopcommon和hadoopHDFS操作代码publicclassMyReadAndWrite{static
FileSystem
fs
a姜哲雨
·
2020-09-14 01:31
#
Hadoop
Hadoop 之
FileSystem
之 delete(x,x)
在写Spark代码的时候,经常会遇到文件夹路径存在的情况,一般有以下的解决方式1.在shell脚本中直接调用Hadoopfs-rmpath2.通过设置可直接覆盖文件路径,此方法我没有测试[html]viewplaincopyyourSparkConf.set("spark.hadoop.validateOutputSpecs","false")valsc=SparkContext(yourSpar
hankl1990
·
2020-09-14 01:47
spark
4、记录1----获取hdfs上
FileSystem
的方法 记录2:正则匹配路径:linux、hdfs
/***获取hadoop相关配置信息*@paramhadoopConfPath目前用户需要提供hadoop的配置文件路径*@return*/publicstaticConfigurationgetHadoopConfig(StringhadoopConfPath){Configurationconf=newConfiguration();conf.addResource(newPath(hadoo
weixin_30466421
·
2020-09-14 01:55
Spark消费kafkaf的数据,解析数据并将数据存入到Hive中
importkafka.serializer.StringDecoder;importnet.icsoc.bigdata.common.config.PropertiesLoad;importorg.apache.hadoop.fs.Local
FileSystem
梦想成真那天
·
2020-09-14 01:34
spark
大数据学习篇:hadoop深入浅出系列之HDFS(一)——HDFS简介和优缺点
上一篇,我们说了hadoop的伪分布式安装,今天我们来说说著名的HDFS,一:HDFS简单介绍HDFS,顾名思义HadoopDistributed
FileSystem
,翻译过来就是hadoop分布式文件系统
你所有承诺
·
2020-09-14 01:45
大数据系列
hadoop深入浅出
HDFS介绍
hadoop2HDFS
分布式系统
HDFS分布式
HDFS深入浅出
HDFS之globStatus()函数(用通配符匹配制定模式的路径)liststatus() (列出目录下的所有文件)
importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.
FileSystem
qq_35488275
·
2020-09-14 00:52
hdfs
HDFS——如何列出目录下的所有文件
如下:importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.
FileSystem
sanfendi
·
2020-09-14 00:57
hadoop
hadoop技术
HDFS实战之打开文件
importjava.io.IOException;importjava.io.InputStream;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.
FileSystem
LawsonAbs
·
2020-09-14 00:24
#
Hadoop
HDFS——如何从HDFS上读取文件内容
importjava.net.URI;importjava.io.InputStream;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.
FileSystem
laozhao02
·
2020-09-14 00:18
HDFS——如何获取文件的属性信息
如下:importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.
FileSystem
laozhao02
·
2020-09-14 00:18
Hadoop和spark中读取文件通配符使用举例
Hadoop为执行通配提供了两个
FileSystem
方法:publicFileStatus[]globStatus(PathpathPat
junehappylove
·
2020-09-14 00:12
hadoop
spark
Filesystem
查询文件系统之PathFilter对象。
FileSystem
中的listStatus()和blobStatus()方法提供了可选的PathFilter对象,以编程方式控制通配符:publicinterfacePathFilter{booleanaccept
孤芳不自賞
·
2020-09-14 00:34
#
Hadoop
将本地文件拷到HDFS中
HDFS集群中packagecom.njupt.hadoop;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.
FileSystem
黄俊东
·
2020-09-14 00:18
云计算
【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名
HDFSAPI编程】查看HDFS文件内容、创建文件并写入内容、更改文件名首先,重点重复重复再重复:/***使用JavaAPI操作HDFS文件系统*关键点:*1)创建Configuration*2)获取
FileSystem
baijiaozhan8157
·
2020-09-14 00:43
大数据
java
开发工具
【HDFS API编程】从本地拷贝文件,从本地拷贝大文件,拷贝HDFS文件到本地
文件到本地接着之前继续API操作的学习CopyFromLocalFile:顾名思义,从本地文件拷贝/***使用JavaAPI操作HDFS文件系统*关键点:*1)createConfiguration*2)get
FileSystem
baijiaozhan8157
·
2020-09-14 00:12
Hadoop HDFS (3) JAVA访问HDFS之二 文件分布式读写策略
先把上节未完成的部分补全,再剖析一下HDFS读写文件的内部原理列举文件
FileSystem
(org.apache.hadoop.fs.
FileSystem
)的listStatus()方法可以列出一个目录下的内容
Norris_Zhang
·
2020-09-14 00:40
Hadoop
hadoop 之 PathFilter -- 输入文件过滤器
hadoop为执行通配提供了两个
FileSystem
方法:publicFileStatus[]globStatus(PathpathPattern)throwIOExc
andrewgb
·
2020-09-14 00:06
MapReduce
hadoop
分片
hadoop
mapreduce
Java读取HDFS数据
23importorg.apache.hadoop.conf.Configuration;4importorg.apache.hadoop.fs.FSDataInputStream;5importorg.apache.hadoop.fs.
FileSystem
a39324584
·
2020-09-14 00:01
du-查看文件夹大小-并按大小进行排序
使用df命令查看当前磁盘使用情况:jack@jiaobuchong:~$df-lh
Filesystem
SizeUsedAvailUse%Mountedon/dev/sda318G5.7G11G35%/udev2.7G4.0K2.7G1%
隨意的風
·
2020-09-14 00:24
[Hadoop]输入路径过滤,通配符与PathFilter
所以在设置路径之前需要进行一次判断,判断这个路径在HDFS上是否存在,如果存在,使用addInputPath方法添加:
FileSystem
file
SunnyYoona
·
2020-09-14 00:50
Hadoop
Hadoop——查找摸个文件在HDFS集群中的位置
importorg.apache.hadoop.fs.BlockLocation;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.
FileSystem
mustbesomebody
·
2020-09-14 00:45
Hadoop
集群时间同步
步骤:1.rpm-qa|grepntp查看ntp和ntpdate是否安装[root@node1share]#rpm-qa|grepntpfontpackages-
filesystem
-1.41-1.1.
wangxj_2017
·
2020-09-14 00:05
Hadoop
上一页
61
62
63
64
65
66
67
68
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他