Troubleshoot

spark 大型项目实战(四十九):troubleshooting之解决yarn-client模式导致的网卡流量激增问题

yarn-client模式下，会产生什么样的问题呢？由于咱们的driver是启动在本地机器的，而且driver是全权负责所有的任务的调度的，也就是说要跟yarn集群上运行的多个executor进行频繁的通信（中间有task的启动消息、task的执行统计消息、task的运行状态、shuffle的输出结果）。咱们来想象一下。比如你的executor有100个，stage有10个，task有1000个。
CXHC·2020-09-11 04:41

troubleshooting之解决YARN队列资源不足导致的application直接失败

1、YARN队列资源不足导致的application直接失败的现象如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpucore。比如说，某个sparkapplication，在spark
缘定三石·2020-09-11 03:28

OpenTSDB TroubleShooting

1.OpenTSDBcompactions触发很大的.tmp文件和RegionServercrash.在默认的情况下，TSD会缓存一个metric在一个小时内的数据，然后组合数据一次性刷写到HBase。如果时间戳使用的ms级别，那么一次性刷写会导致巨大量的流量到HBase，数量庞大的qualifier和rowkey会达达超过hfile.index.block.max.size形成大量.tmp文件，
mt0803·2020-09-11 02:54

如何利用 Myflash 解析 binlog ?

参与过众多移动、电信、联通、银行等大型数据库交付项目，具有丰富的运维管理经验，对Oracle数据库管理运行机制、锁机制、优化机制等具有深入理解；擅长Oracle数据库的performancetunning、troubleshooting
Enmotech·2020-09-11 01:32

Configure and troubleshoot the Docker daemon

Estimatedreadingtime:11minutesAftersuccessfullyinstallingandstartingDocker,thedockerddaemonrunswithitsdefaultconfiguration.Thistopicshowshowtocustomizetheconfiguration,startthedaemonmanually,andtroubl
咔啡·2020-09-11 00:18

spark 大型项目实战(四十六):troubleshooting之解决YARN队列资源不足导致的application直接失败

如果说，你是基于yarn来提交spark。比如yarn-cluster或者yarn-client。你可以指定提交到某个hadoop队列上的。每个队列都是可以有自己的资源的。跟大家说一个生产环境中的，给spark用的yarn资源队列的情况：500G内存，200个cpucore。比如说，某个sparkapplication，在spark-submit里面你自己配了，executor，80个；每个exe
CXHC·2020-09-10 23:24

Chrome浏览器编译(转贴)

ChromiumDeveloperDocumentationBuildInstructions(Windows)ThispagehasdetailedinformationonbuildingChromiumonWindows,includingtipsfortroubleshootingandforspeedingupthebuild.Note
graph·2020-09-10 13:03

MQ workflow 日志

MustGatherdocumentationforWebSphereMQWorkflowproblemdeterminationTechnote(troubleshooting)Problem(Abstract
cpuj99882·2020-09-10 13:15

SEH,DEP, Compiler,FS:[0], LOAD_CONFIG and PE format

712.entry原贴时间:2006-04-16原贴作者:epargRecentlyIamplanningsomeusermodetroubleshootingpaper.Intheexce
eparg·2020-08-26 23:55

python提取mfcc特征

用到的OSR_us_000_0010_8k.wav数据在这里下载：http://www.voiptroubleshooter.com/open_speech/a
ZHUQIUSHI123·2020-08-25 17:12

获取MySQL历史session

于是为了方便问题排查，自己写了一个非常简单的抓取MySQL现场session的脚本，生产数据库已经用了很长时间，感觉对troubleshooting还是挺有用的。
jerry-89·2020-08-25 07:06

VirtualBox/SharedFolders

SharedFolders目录IntroductionRequired:VirtualboxGuestAdditionsCreatingasharedfolderPreparethefolderLinuxWindowsTroubleshootingThenamewasnotvalidUbuntu10.04hostIntroductionThisexplainshowtosha
ahtaria·2020-08-25 02:56

利用nc 直观理解阿里云OSS 存储服务

1、本文要说什么利用nc直接与阿里云OSS服务器建立TCP连接，通过输入HTTP请求头部及数据与OSS进行交互，以此理解阿里云OSS服务的本质及使用阿里云OSS过程中的一些troubleshooting
sunrainchy·2020-08-24 23:35

ECS镜像（三）UserData最佳实践及Troubleshooting

前言前文在介绍镜像生态的时候对用户数据即UserData（下文将统一使用UserData）进行了简短对介绍，UserData的价值主要在于ECS启动时做一些个性化配置或者数据下发等。UserData在云产品和终端用户都有着非常广泛的应用场景，同时在实践中也会遇到一些比较棘手的问题，比如UserData数据超过16k怎么办？UserData没有执行或者执行失败了怎么排查？本文将从两个方面进行讲述：U
weixin_34055787·2020-08-24 17:48

JVM调优文档收集

jdk8工具-jps/jstat/jinfo/jmapjdk8工具集故障排查-TroubleshootingjpsjinfojstatjmapMATjstackjava线程的状态java线程状态转化死循环导致
niewj·2020-08-24 16:53

如何高效利用 Grafana 监控分析 TiDB 指标

会同时部署一套Grafana+Prometheus的监控平台，这套监控用来收集和展示TiDB集群各个组件和机器的metric信息，这些metric信息非常丰富，可以帮助使用者分析TiDB集群的状态以及Troubleshooting
PingCAP·2020-08-24 15:33

hexo+css遇到的unexpected token问题

copy进去内容，hexoserver运行，控制台报错：FATALSomething'swrong.Maybeyoucanfindthesolutionhere:http://hexo.io/docs/troubleshooting.htmlTemplaterendererror
stardew·2020-08-24 13:41

Erlang 内存泄漏分析

前段时间线上系统碰到内存高消耗问题，记录一下troubleshooting的分析过程。线上系统用的是ErlangR16B02版本。问题描述有几台线上系统，运行一段时间，内存飙升。
云巴·2020-08-24 13:05

一个不错的签名档

----------------------------------------------------------------------------------------------日志事件查询TroubleshootingW2KRemoteAccessConnections
weixin_30363981·2020-08-24 12:01

colorbox的常见问题

发现colorbox官方网站的troubleshoot写的比较好，转载一下。
wxinpeng·2020-08-24 11:02

colorbox常见问题

发现colorbox官方网站的troubleshoot写的比较好，转载一下。
iteye_14319·2020-08-24 08:40

ORA-8103 “object no longer exists“错误

一、错误原因及解决方案OERR:ORA-8103"objectnolongerexists"MasterNote/Troubleshooting,DiagnosticandSolution(DocID8103.1
Hehuyi_In·2020-08-24 07:10

在服务器上排除问题的头5分钟

ACM），现在包括从校招的情况来看，还是要走运维的路线，所以记录学习一下，而且在阿里面试系统工程师的时候，也被星芒师兄问到了这个问题，当时答的乱七八糟，悔不当初啊，原文链接：First5MinutesTroubleshootingAServer
低调小一·2020-08-24 05:13

电商用户项目架构分析

session聚合统计4.按时间比例随机抽取session5.获取点击、下单和支付次数排名前10的品类6.获取top10品类的点击次数最多的10个session7.复杂性能调优全套解决方案8.十亿级数据troubleshooting
葛红富·2020-08-23 21:17

Modelsim时序仿真中遇到的三个问题

这一问题，在Modelsim的User'sManual\StandardDelayFormat(SDF)TimingAnnotation\Troubleshooting\SpecifyingtheWrongInstance
weixin_30492047·2020-08-23 07:05

troubleshoot之:GC调优到底是什么

简介我们经常会听到甚至需要自己动手去做GC调优。那么GC调优的目的到底是什么呢？让程序跑得更快？让GC消耗更少的资源？还是让程序更加稳定？带着这些疑问来读一下这篇文章，将会得到一个系统的甚至是不一样的结果。那些GC的默认值其实GC或者说JVM的参数非常非常的多，有控制内存使用的：有控制JIT的：有控制分代比例的,也有控制GC并发的：当然，大部分的参数其实并不需要我们自行去调整，JVM会很好的动态帮
flydean·2020-08-22 16:12

troubleshoot之:使用JFR分析性能问题

简介java程序的性能问题分析是一个很困难的问题。尤其是对于一个非常复杂的程序来说，分析起来更是头疼。还好JVM引入了JFR，可以通过JFR来监控和分析JVM的各种事件。通过这些事件的分析，我们可以找出潜在的问题。今天我们就来介绍一下对java性能分析比较重要的一些JFR事件。GC性能事件一般来说，GC会对java程序的性能操作产生比较重要的影响。我们可以使用jfr监控jdk.GCPhasePau
flydean·2020-08-22 16:02

troubleshoot之:使用JFR解决内存泄露

简介虽然java有自动化的GC，但是还会有内存泄露的情况。当然java中的内存泄露跟C++中的泄露不同。在C++中所有被分配的内存对象都需要要程序员手动释放。但是在java中并不需要这个过程，一切都是由GC来自动完成的。那么是不是java中就没有内存泄露了呢？要回答这个问题我们首先需要界定一下什么是内存泄露。如果说有时候我们不再使用的对象却不能被GC释放的话，那么就可以说发生了内存泄露。内存泄露的
flydean·2020-08-22 16:13

CAD 启动无法加载配置文件,上次任务中保存的某些配置信 cass主框架程序没有加载

Cad启动报错无法加载配置文件,上次任务中保存的某些配置信xxxxx解决办法：参考：https://knowledge.autodesk.com/zh-hans/support/autocad/troubleshooting
Weipiru·2020-08-22 16:45

github解决hexo d命令出错error: 推送一些引用到 '[email protected]:xxxx.github.io.git' 失败

github.com:xxxx.github.io.git'失败FATALSomething'swrong.Maybeyoucanfindthesolutionhere:http://hexo.io/docs/troubleshooting.htmlError
sudo0m·2020-08-22 13:04

troubleshoot之:分析OutOfMemoryError异常

简介java.lang.OutOfMemoryError应该java应用程序中非常常见的一个的错误了。那么OutOfMemoryError产生的原因是什么呢？我们怎么去查找相应的错误呢？一起来看看吧。OutOfMemoryError先看一下OutOfMemoryError的定义，OutOfMemoryError继承自VirtualMachineError，它是Error的一种，表示的是应用程序无法
flydean·2020-08-22 13:05

一个关闭WINDOWS 10 非关键服务的批处理文件

scconfigWpcMonSvcstart=DISABLEDremcopyandpasteremscconfigcbdhsvc_2322edstart=DISABLEDremtroubleshootingservicescconfigTroubleshootingSvcstart
零壹之间·2020-08-22 12:14

修改OWA验证方式及分配证书服务

大家好，由于最近在做一个项目，所以有几天没有跟大家一起分享关于Exchange的内容了，今天就来给大家讲一个之前与到的故障问题及解决办法，希望能够帮助到大家今后的TroubleShooting。
weixin_34061555·2020-08-22 04:31

HP 阵列卡错误代码

POSTErrorMessagesTheRAIDControllerproducesdiagnosticerrormessagesatreboot.ManyofthesePower-OnSelf-Test(POST)messagesareselfexplanatoryandsuggestcorrectiveactionsfortroubleshooting.Detailsofthesemessag
weixin_34146805·2020-08-21 22:31

VirtualBox中，安装centos时出现错误：Not in a hypervisor partition (HVP=0)

解决方案：1.设置-更新和安全-回复-立即重新启动2.依次选择以下按钮：Troubleshoot->Advancedoption–>UEFIFirmwareSettings->Restart3.在BIOS
万里归来少年心·2020-08-21 19:38

Troubleshooting ORA-3137 [12333] Errors Encountered When Using Oracle JDBC Driver (文档 ID 1361107.1)

InthisDocumentPurposeTroubleshootingStepsKnownDatabaseIssuesUnpublishedBug8625762-ORA-3137[12333]duetobinddatanotreadfromwireUnpublishedBug9703463
songyb·2020-08-21 16:37

【Troubleshooting】用户组/权限_导致grid日志不轮循清理_Bug 9595783

解决方法：1、修改用户组/权限root:rootcd$GRID_HOME/log/`hostname`/crsd;chownroot:root*cd$GRID_HOME/log/`hostname`/ohasd;chownroot:root*cd$GRID_HOME/log/`hostname`/agent/crsd/orarootagent_root;chownroot:root*cd$GRID
Sharqueen·2020-08-21 16:03

OERR: ORA-8103 "object no longer exists" Master Note / Troubleshooting, Diagnostic and Solution (Doc

InthisDocumentPurposeScopeDetailsDescriptionCauseExpectedbehavior.BlockCorruption.OverlappedExtents.OverlappedASMextent.Oracledefect.IdentifytheaffectedobjectGettheSQLstatementthatiscausingtheerror.Id
渔夫数据库笔记·2020-08-21 16:30

SAP WebClient UI是如何维护表格选中状态的

IhavebeenworkingasaFioriapplicationdeveloperinSAPforalmosttwoyears,whichmeansnowIuseChromedevelopmenttoolinmydailyworkfortroubleshootinginsteadofABAPdebuggerwhenIwasworkingusingCRMWebUI.YesterdayIwasa
JerryWang_汪子熙·2020-08-21 15:46

troubleshoot之:用control+break解决线程死锁问题

简介如果我们在程序中遇到线程死锁的时候，该怎么去解决呢？本文将会从一个实际的例子出发，一步一步的揭开java问题解决的面纱。死锁的代码写过java多线程程序的人应该都知道，多线程中一个很重要的事情就是状态的同步，但是在状态同步的过程中，一不小心就有可能会导致死锁的问题。一个最简单的死锁情况就是thread1占有资源1，然后又要去获取资源2.而thread2占有资源2，又要去获取资源1的情况。举个具
flydean·2020-08-21 15:54

Oracle JDK7 bug 发现、分析与解决实战

本文记录了一次线上troubleshoot实战，包含问题分析、解决并提交OracleJDK
vivo互联网技术·2020-08-21 15:20

[JVM]Java生产环境下性能监控与调优_参考文档链接

第二章jdk8工具集https://docs.oracle.com/javase/8/docs/technotes/tools/unix/index.htmlTroubleshootinghttps:/
风一样的男人_·2020-08-21 04:11

troubleshoot之:用control+break解决线程死锁问题

简介：如果我们在程序中遇到线程死锁的时候，该怎么去解决呢？本文将会从一个实际的例子出发，一步一步的揭开java问题解决的面纱。简介如果我们在程序中遇到线程死锁的时候，该怎么去解决呢？本文将会从一个实际的例子出发，一步一步的揭开java问题解决的面纱。死锁的代码写过java多线程程序的人应该都知道，多线程中一个很重要的事情就是状态的同步，但是在状态同步的过程中，一不小心就有可能会导致死锁的问题。一个
阿里技术·2020-08-21 04:00

troubleshoot之:GC调优到底是什么

简介我们经常会听到甚至需要自己动手去做GC调优。那么GC调优的目的到底是什么呢？让程序跑得更快？让GC消耗更少的资源？还是让程序更加稳定？带着这些疑问来读一下这篇文章，将会得到一个系统的甚至是不一样的结果。那些GC的默认值其实GC或者说JVM的参数非常非常的多，有控制内存使用的：有控制JIT的：有控制分代比例的,也有控制GC并发的：当然，大部分的参数其实并不需要我们自行去调整，JVM会很好的动态帮
flydean·2020-08-21 04:55

troubleshoot之:使用JFR解决内存泄露

简介虽然java有自动化的GC，但是还会有内存泄露的情况。当然java中的内存泄露跟C++中的泄露不同。在C++中所有被分配的内存对象都需要要程序员手动释放。但是在java中并不需要这个过程，一切都是由GC来自动完成的。那么是不是java中就没有内存泄露了呢？要回答这个问题我们首先需要界定一下什么是内存泄露。如果说有时候我们不再使用的对象却不能被GC释放的话，那么就可以说发生了内存泄露。内存泄露的
flydean·2020-08-21 04:27

java应用监测(7)-在线动态诊断神器BTrace

tags:java,troubleshooting,monitor,btrace文章目录1引言2BTrace运行原理2.1class文件的动态修改替换2.2BTrace的模块与运行流程2.2.1主要模块
masonlee32·2020-08-21 04:46

troubleshoot之:分析OutOfMemoryError异常

简介java.lang.OutOfMemoryError应该java应用程序中非常常见的一个的错误了。那么OutOfMemoryError产生的原因是什么呢？我们怎么去查找相应的错误呢？一起来看看吧。OutOfMemoryError先看一下OutOfMemoryError的定义，OutOfMemoryError继承自VirtualMachineError，它是Error的一种，表示的是应用程序无法
flydean·2020-08-21 03:00

JAVA 官网诊断及调优文档

//docs.oracle.com/javase/specs/index.html诊断工具：http://docs.oracle.com/javase/8/docs/technotes/guides/troubleshoot
LiuYiJie2007·2020-08-21 03:31

troubleshoot之:GC调优到底是什么

文章目录简介那些GC的默认值GC的选择GC的最大线程个数初始化heapsize最大的heapsize分层编译技术我们到底要什么最大暂停时间吞吐率简介我们经常会听到甚至需要自己动手去做GC调优。那么GC调优的目的到底是什么呢？让程序跑得更快？让GC消耗更少的资源？还是让程序更加稳定？带着这些疑问来读一下这篇文章，将会得到一个系统的甚至是不一样的结果。那些GC的默认值其实GC或者说JVM的参数非常非常
flydean程序那些事·2020-08-21 02:04

troubleshoot之:用control+break解决线程死锁问题

简介：如果我们在程序中遇到线程死锁的时候，该怎么去解决呢？本文将会从一个实际的例子出发，一步一步的揭开java问题解决的面纱。简介如果我们在程序中遇到线程死锁的时候，该怎么去解决呢？本文将会从一个实际的例子出发，一步一步的揭开java问题解决的面纱。死锁的代码写过java多线程程序的人应该都知道，多线程中一个很重要的事情就是状态的同步，但是在状态同步的过程中，一不小心就有可能会导致死锁的问题。一个
阿里技术官方号·2020-08-21 02:49
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他