王知无(import_bigdata)
王知无(import_bigdata)

Spark学习之路 （七）Spark 运行流程

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

 

目录

一、Spark中的基本概念
二、Spark的运行流程
2.1　Spark的基本运行流程
三、Spark在不同集群中的运行架构
3.1　Spark on Standalone运行过程
3.2　Spark on YARN运行过程
 

正文

一、Spark中的基本概念

（1）Application：表示你的应用程序

（2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext

（3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式下，其进程名称为 CoarseGrainedExecutor Backend，一个CoarseGrainedExecutor Backend进程有且仅有一个executor对象，它负责将Task包装成taskRunner，并从线程池中抽取出一个空闲线程运行Task，这样，每个CoarseGrainedExecuto

你可能感兴趣的:(Spark系统性学习专栏)

  • 实时数据流计算引擎Flink和Spark剖析 程小舰 flinkspark数据库kafkahadoop
    在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。与此同时，Spark针对SparkStreaming的不足，也继而推出了新的流计算组件。本文旨在深入分析不同的流计算引擎的内在机制和功能特点，为流处理场景的选型提供参考。（DLab数据实验室w.x.公众号出品）一.SparkStreamingSparkStreamin
  • Redis + Caffeine 实现高效的两级缓存架构 周童學 Java缓存redis架构
    Redis+Caffeine实现高效的两级缓存架构引言在现代高并发系统中，缓存是提升系统性能的关键组件之一。传统的单一缓存方案往往难以同时满足高性能和高可用性的需求。本文将介绍如何结合Redis和Caffeine构建一个高效的两级缓存系统，并通过三个版本的演进展示如何逐步优化代码结构。项目源代码：github地址、gitee地址两级缓存架构概述两级缓存通常由本地缓存（如Caffeine）和分布式缓
  • Spark SQL架构及高级用法 Aurora_NeAr sparksql架构
    SparkSQL架构概述架构核心组件API层（用户接口）输入方式：SQL查询；DataFrame/DatasetAPI。统一性：所有接口最终转换为逻辑计划树（LogicalPlan），进入优化流程。编译器层（Catalyst优化器）核心引擎：基于规则的优化器（Rule-BasedOptimizer,RBO）与成本优化器（Cost-BasedOptimizer,CBO）。处理流程：阶段输入输出关键动
  • HikariCP调试日志深度解析：生产环境故障排查完全指南
    HikariCP调试日志深度解析：生产环境故障排查完全指南更新时间：2025年7月4日|作者：资深架构师|适用版本：HikariCP5.x+|难度等级：中高级前言在生产环境中，数据库连接池往往是系统性能的关键瓶颈。HikariCP作为当前最流行的Java连接池，其调试日志包含了丰富的运行时信息，能够帮助我们快速定位和解决各种连接池相关问题。本文将深入解析HikariCP的日志体系，提供一套完整的故
  • Hive详解
    一：Hive的历史价值1，Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎，所以在现在企业级应用中SparkSQL+Hive成为了业界使用大数据最为高效和流行的趋势。2，Hive是Facebook的推出，主要是为了让不动Java代码编程的人员也能
  • day12-逻辑函数（IF、And、Or） 鱼和熊掌兼得
    今天想来说说我的学习收获，以下为一些心得和感悟。时间过的很快，目前已经完成了一半的打卡，回头想想，由一开始的觉得很容易呀，到现在觉得有些吃力。短短10几天的时间，我觉得自己的收获很大。越是将课程学习下去，越能体会储君老师说的那句话，越是碎片化时代，越需要系统性学习。因为，在以前我的Excel学习是非常的零散，基本上是需要用的时候，就从网上学习一点，导致我什么都知道皮毛，但是没有系统性的了解。这是第
  • PostgreSQL日志配置全解析：从基础设置到进阶策略
    今天有朋友问了一个问题，是关于postgresql归档日志暴增，导致数据盘慢，业务异常的问题。在数据库管理中，日志是排查问题、审计操作、优化性能的重要依据。PostgreSQL提供了灵活且强大的日志配置功能，通过合理设置参数，既能满足审计需求，又能平衡系统性能。本文将详细解析PostgreSQL日志配置的核心参数、轮转策略、审计级别及进阶技巧，帮助数据库管理员构建高效的日志管理体系。一、日志配置基
  • Python 4.0新特性解析：性能优化与语法升级 知识产权13937636601 计算机python性能优化开发语言
    本文针对Python4.0的核心升级展开系统性分析，从性能优化与语法革新两个维度揭示其技术突破。首先解析新型解释器架构对运算效率的提升路径，其次探讨模式匹配、异步编程简化和类型系统强化等语法特性，最后结合机器学习与高并发场景验证新版本的实践价值。研究发现，Python4.0通过JIT编译器与内存管理重构实现3倍以上性能跃升，同时静态类型推导的完善显著提升大型项目维护效率，标志着Python从"胶水
  • 全面对比，深度解析 Ignite 与 Spark xaio7biancheng
    经常有人拿Ignite和Spark进行比较，然后搞不清两者的区别和联系。Ignite和Spark，如果笼统归类，都可以归于内存计算平台，然而两者功能上虽然有交集，并且Ignite也会对Spark进行支持，但是不管是从定位上，还是从功能上来说，它们差别巨大，适用领域有显著的区别。本文从各个方面对此进行对比分析，供各位技术选型参考。一、综述Ignite和Spark都为Apache的顶级开源项目，遵循A
  • 【链路追踪】 WIN赢 面试专栏性能优化自动化
    一、什么是链路追踪链路追踪（Tracing）是一种用于分布式系统中跟踪请求处理过程的技术。它通过记录一次请求在多个服务之间的流转路径、耗时、状态等信息，帮助开发人员快速定位问题、分析性能瓶颈，并理解系统中各组件的交互关系。链路追踪不仅是一种强大的监控手段，也是测试人员在分布式系统中不可或缺的测试工具。它能够帮助测试人员快速定位问题、分析性能瓶颈，并优化系统性能，从而提高测试效率和质量二、核心概念T
  • ignite redis_全面对比，深度解析 Ignite 与 Spark weixin_39997696 igniteredis
    经常有人拿Ignite和Spark进行比较，然后搞不清两者的区别和联系。Ignite和Spark，如果笼统归类，都可以归于内存计算平台，然而两者功能上虽然有交集，并且Ignite也会对Spark进行支持，但是不管是从定位上，还是从功能上来说，它们差别巨大，适用领域有显著的区别。本文从各个方面对此进行对比分析，供各位技术选型参考。一、综述Ignite和Spark都为Apache的顶级开源项目，遵循A
  • 交换机设计CAM（内容可寻址存储器）芯片的选型 flyair_China 概率论网络
    在交换机设计中，CAM（内容可寻址存储器）芯片的选型直接影响MAC地址学习的效率和系统性能，需综合考虑吞吐量、容量、功耗、成本及功能需求。TCAM（三态内容寻址存储器）与BCAM（二进制内容寻址存储器）因特性差异，适用场景显著不同。以下是具体选型标准及场景分析：一、CAM芯片的核心选型标准吞吐量与延迟线速转发要求：100Gbps交换机需CAM支持亿级查询/秒（如1.28亿次/秒），单次查找延迟≤1
  • 系统性的《Django & AI编程结合：从入门到精通》指南 AI编程员 001AI传统＆编程语言002AI编程工具汇总003AI编程作品汇总开发语言深度学习djangoAI编程人工智能
    以下是一篇系统性的《Django&AI编程结合：从入门到精通》指南，共分20大章节，超过2.5万字，涵盖基础开发、AI集成、经典案例和完整项目实战。第一章：Django基础与环境搭建1.1开发环境配置#创建虚拟环境python-mvenvmyenvsourcemyenv/bin/activate#安装Djangopipinstalldjango==4.2django-adminstartproje
  • 000-Python网络库requests教程目录 lvjesus Pythonpython-requests开发语言python
    Python网络库requests教程目录教程概述本教程将带你从零开始掌握Python最流行的HTTP库requests，从基础的HTTP请求到高级的性能优化，从简单的API调用到复杂的企业级应用开发。通过系统性的学习和丰富的实战案例，帮助你成为requests库的专家。学习路径基础篇进阶篇高级篇实战篇专家篇环境搭建基本请求响应处理会话管理认证机制文件操作SSL处理性能优化异步处理API测试数据采
  • 知识经济下程序员的创业之道 AI天才研究院 ChatGPTAI大模型企业级应用开发实战AI人工智能与大数据大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    《知识经济下程序员的创业之道》关键词：知识经济，程序员，创业，市场调研，团队建设，市场营销，财务规划，风险管理摘要：在知识经济时代，程序员的创业不仅需要技术上的深耕，还需要在商业模式、市场拓展、团队管理等方面进行全方位的思考和规划。本文将从创业基础知识、市场调研、项目规划、团队建设、市场营销、财务规划和风险管理等多个角度，系统性地探讨程序员在知识经济下创业的成功之道。《知识经济下程序员的创业之道》
  • 构建专业级量化交易回测引擎：从Python代码到云端部署 wh3933 python开发语言
    引言量化交易的世界中，回测（Backtesting）并非简单的历史数据模拟，它是连接交易思想与市场现实的桥梁，是策略从雏形走向成熟的必经之路。一个严谨的回测流程，能够以科学的方法检验策略的有效性、揭示其潜在风险，并将交易决策从情绪驱动转向数据驱动。构建一个强大的回-测引擎，其意义远超编写一段脚本；它是在构建一个个人专属的金融实验室，用于系统性地开发、验证和迭代交易思想。本报告旨在提供一份全面而深入
  • 服装收银系统性价比排名TOP5对比指南 念夏沫 eureka
    概述：科学的性价比对比是生命周期综合使用成本和产品提供价值的比值，通过对市面上主流的5个服装收银系统的量化对比，专业测评机构得出了“服装收银系统性价比排行”，笑铺日记以9.5分获得性价比第1名，显著领先秦丝、日进斗金等产品。测评量化标准：生命周期综合使用成本（简称全周期成本）。主要由购买成本+后续年费+售后费用组成。产品性能及价值（简称产品价值）。由扫码入库、会员管理、系统稳定性等几个服装店重点关
  • Linux 常用命令大全 用什么都重名 Linux系统相关linux运维服务器
    目录1.开关机2.系统信息3.系统性能4.系统安全5.文件和目录6.文件权限7.文件查找8.查看文件的内容8.1查看日志常用8.2其他查看文件的内容9.文本处理10.用户与权限11.磁盘管理12.压缩、解压和打包备份13.软件安装13.1二进制(Binaries)包13.1.1yum安装13.1.2rpm包手动下载安装13.1.3apt方式安装13.1.4deb包安装13.1.5解压即用13.1.
  • 深入理解 eMMC RPMB 与 OP-TEE 在 Linux 系统中的应用开发 CheungChunChiu linux运维服务器androidop-tee
    可信执行环境（TEE）和安全存储机制在现代嵌入式系统和ARM平台中日益重要。尤其是在RK3588等SoC上，eMMC的RPMB区域和OP-TEE的结合，成为构建安全可信机制的核心基础。本篇文章将系统性地介绍相关原理、工具链、开发结构与实际使用案例。什么是RPMB？为什么重要？RPMB（ReplayProtectedMemoryBlock）是eMMC或UFS存储中的一个专用硬件分区，特点如下：✅不可
  • 在阿里云服务器上搭建单节点Kubernetes集群的完整指南与故障排除 老牛十八岁SYZ Kubernetes阿里云服务器kubernetes
    在阿里云服务器上搭建单节点Kubernetes集群的完整指南与故障排除在云计算和容器化技术日益普及的今天，Kubernetes（简称K8s）已成为容器编排的事实标准。本文将以阿里云服务器（AlibabaCloudLinux）为例，详细介绍如何搭建单节点Kubernetes集群，并针对实际操作中可能遇到的典型问题提供系统性解决方案。【阿里云限时特惠】云产品低至38元/年起！各位技术伙伴，阿里云爆款钜
  • android studio 适配安卓10版本 戎厉 androidandroidstudio数据库ide
    AndroidStudio适配安卓10版本的步骤指南在Android开发中，适配新的操作系统版本是必不可少的步骤，尤其是Android10（API29）的特性增加了许多隐私和安全方面的增强。对于一个刚入行的小白开发者来说，适配可能看起来是一个挑战，但通过系统性的步骤和代码示例，我们可以轻松克服这个问题。流程概述以下是适配Android10的基本步骤，显示在一个清晰的流程图中：开始更新Gradle文
  • 京东API集成订单系统，处理速度提升50%！
    在当今电商时代，高效的订单处理是企业成功的关键。京东作为中国领先的电商平台，其开放API为商家提供了强大的工具，能显著优化订单系统性能。本文将逐步介绍如何通过集成京东API，实现订单处理速度提升50%的惊人效果。文章基于真实案例和技术实践，确保内容可靠实用。问题：原有订单系统的瓶颈许多商家的订单系统面临处理速度慢的问题，导致延迟发货、客户不满和运营成本上升。常见瓶颈包括：手动数据输入：员工需手动从
  • 【RH134 问答题】第 5 章 调优系统性能 却道海棠 linux运维
    目录系统管理员可以使用哪个命令来更改tuned守护进程的设置？nice值是什么？如何使用top和ps命令查看nice级别？使用nice命令启动进程时，进程的默认值是多少？如何更改现有进程的nice级别？系统管理员可以使用哪个命令来更改tuned守护进程的设置？系统管理员可以使用tuned-adm命令来更改和管理tuned守护进程的设置。nice值是什么？nice值是Linux系统中用来控制进程优先
  • 基于鲸鱼算法的三相逆变器分数阶滑模控制参数优化 神经网络15044 仿真模型MATLAB专栏python算法语音识别人工智能数学建模生成对抗网络学习
    基于鲸鱼算法的三相逆变器分数阶滑模控制参数优化前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家，觉得好请收藏。点击跳转到网站。1.引言三相逆变器在新能源发电、电机驱动等领域有着广泛应用，其控制性能直接影响整个系统的电能质量和运行效率。分数阶滑模控制结合了分数阶微积分和滑模控制的优点，能够提供更好的动态性能和鲁棒性。然而，分数阶控制器的阶次选择对系统性能有重要影响，传
  • 耳根圆通：“高并发架构”设计思想
    ——从《楞严经》看顶级修行者的系统架构哲学一、需求背景：无上道的“性能瓶颈”在《楞严经》中，观世音菩萨向佛陀汇报其突破性成果：通过耳根圆通法门修证无上道，并实现四种“无作妙德”。这像极了一位架构师通过技术创新，解决系统性能瓶颈后获得四大核心能力：graphLRA[耳根圆通架构]-->B[四大能力]B-->B1[多模态交互系统]B-->B2[全协议兼容通信]B-->B3[高用户粘性设计]B-->B4
  • Java学习--------享元模式
    在软件开发中，当系统需要创建大量相似对象时，内存消耗会急剧增加，可能导致系统性能下降。享元模式正是为解决这一问题而生，它通过共享技术实现对象的复用，有效减少对象数量，降低内存占用，提升系统效率。享元模式是一种结构型设计模式，其核心思想是通过共享已经存在的对象来大幅度减少需要创建的对象数量，避免大量相似对象的开销，从而提高系统资源的利用率。这里的“享元”指的是可以被多个对象共享的单元。比如在一个文字
  • MATLAB SIMULINK中的PI控制器模型设计与实现 安检
    本文还有配套的精品资源，点击获取简介：在MATLAB的SIMULINK环境中，PI控制器通过比例和积分元素的结合来提高系统性能，消除稳态误差。本文介绍如何在SIMULINK中搭建和实现PI控制器模型，包括创建模型、添加及连接模块、配置参数、编写S-Function代码、进行仿真与分析，并可能封装模型以供重复使用。这些步骤帮助工程师通过迭代和参数调整找到最佳控制策略。1.SIMULINK中PI控制器
  • 数据写入因为汉字引发的异常 qq_40841339 sparkhadoophivehivehadoop数据仓库
    spark数据写hive表，发生查询分区异常问题异常：251071241926.49ERRORHive:MelaException(message.Exceptionthrownwhenexeculingquey.SELECTDISTINCT‘orgapache.hadop.hivemelastore.modelMpartionAs"NUCLEUSTYPE,AONCREATETIME,AO.LAS
  • 【质量管理】最好质量管理需要关注这六个方面
    引言：质量管理的核心理念质量管理是一门融合哲学思想与实践方法的学科，其本质在于通过系统性的方法提升组织绩效。质量工作的核心成果依赖于人的协作与执行，因此质量管理的终极目标是帮助各业务部门建立"自主管理系统"，实现从"人的质量"到"管理质量"再到"产品质量"的全面提升。质量工作的内容可以概括为四个维度：质量文化（道）、业务流程体系（法）、质量方法论（术）和工具应用（器）。有效的质量管理需要这四个维度
  • 语言合成模型Spark-TTS-0.5B学习笔记 tutgxuzyj spark学习笔记
    语言合成模型Spark-TTS-0.5B学习笔记语言合成是通过计算机技术将文字信息转换为自然流畅的语音输出，模拟人类语音。一、下载Spark-TTS-0.5B项目下载链接：https://github.com/SparkAudio/Spark-TTS.git注：需要科学网络。进入Spark-TTS文件夹，启动命令行窗口。创建Conda环境：condacreate-nsparktts-ypython
  • Java开发中，spring mvc 的线程怎么调用？ 小麦麦子 springmvc
    今天逛知乎，看到最近很多人都在问spring mvc 的线程http://www.maiziedu.com/course/java/ 的启动问题，觉得挺有意思的，那哥们儿问的也听仔细，下面的回答也很详尽，分享出来，希望遇对遇到类似问题的Java开发程序猿有所帮助。 问题：     在用spring mvc架构的网站上，设一线程在虚拟机启动时运行，线程里有一全局
  • maven依赖范围 bitcarter maven
    1.test 测试的时候才会依赖，编译和打包不依赖，如junit不被打包 2.compile 只有编译和打包时才会依赖 3.provided 编译和测试的时候依赖，打包不依赖，如：tomcat的一些公用jar包 4.runtime 运行时依赖，编译不依赖 5.默认compile 依赖范围compile是支持传递的，test不支持传递 1.传递的意思是项目A，引用
  • Jaxb org.xml.sax.saxparseexception : premature end of file darrenzhu xmlprematureJAXB
    如果在使用JAXB把xml文件unmarshal成vo(XSD自动生成的vo)时碰到如下错误： org.xml.sax.saxparseexception : premature end of file 很有可能时你直接读取文件为inputstream，然后将inputstream作为构建unmarshal需要的source参数。InputSource inputSource = new In
  • CSS Specificity 周凡杨 html权重Specificitycss
      有时候对于页面元素设置了样式，可为什么页面的显示没有匹配上呢？ because specificity CSS 的选择符是有权重的，当不同的选择符的样式设置有冲突时，浏览器会采用权重高的选择符设置的样式。     规则：   HTML标签的权重是1 Class 的权重是10 Id 的权重是100
  • java与servlet g21121 servlet
    servlet 搞java web开发的人一定不会陌生，而且大家还会时常用到它。 下面是java官方网站上对servlet的介绍： java官网对于servlet的解释 写道 Java Servlet Technology Overview Servlets are the Java platform technology of choice for extending and enha
  • eclipse中安装maven插件 510888780 eclipsemaven
    1.首先去官网下载 Maven： http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.2.3-bin.tar.gz 下载完成之后将其解压， 我将解压后的文件夹：apache-maven-3.2.3， 并将它放在 D:\tools目录下， 即 maven 最终的路径是：D:\tools\apache-mave
  • jpa@OneToOne关联关系 布衣凌宇 jpa
    Nruser里的pruserid关联到Pruser的主键id，实现对一个表的增删改，另一个表的数据随之增删改。 Nruser实体类 //***************************************************************** @Entity @Table(name="nruser") @DynamicInsert @Dynam
  • 我的spring学习笔记11-Spring中关于声明式事务的配置 aijuans spring事务配置
    这两天学到事务管理这一块，结合到之前的terasoluna框架，觉得书本上讲的还是简单阿。我就把我从书本上学到的再结合实际的项目以及网上看到的一些内容，对声明式事务管理做个整理吧。我看得Spring in Action第二版中只提到了用TransactionProxyFactoryBean和<tx:advice/>,定义注释驱动这三种，我承认后两种的内容很好，很强大。但是实际的项目当中
  • java 动态代理简单实现 antlove javahandlerproxydynamicservice
    dynamicproxy.service.HelloService package dynamicproxy.service; public interface HelloService { public void sayHello(); }   dynamicproxy.service.impl.HelloServiceImpl package dynamicp
  • JDBC连接数据库 百合不是茶 JDBC编程JAVA操作oracle数据库
             如果我们要想连接oracle公司的数据库，就要首先下载oralce公司的驱动程序，将这个驱动程序的jar包导入到我们工程中;   JDBC链接数据库的代码和固定写法;     1,加载oracle数据库的驱动;     &nb
  • 单例模式中的多线程分析 bijian1013 javathread多线程java多线程
    谈到单例模式，我们立马会想到饿汉式和懒汉式加载，所谓饿汉式就是在创建类时就创建好了实例，懒汉式在获取实例时才去创建实例，即延迟加载。 饿汉式： package com.bijian.study; public class Singleton { private Singleton() { } // 注意这是private 只供内部调用 private static
  • javascript读取和修改原型特别需要注意原型的读写不具有对等性 bijian1013 JavaScriptprototype
            对于从原型对象继承而来的成员，其读和写具有内在的不对等性。比如有一个对象A，假设它的原型对象是B，B的原型对象是null。如果我们需要读取A对象的name属性值，那么JS会优先在A中查找，如果找到了name属性那么就返回；如果A中没有name属性，那么就到原型B中查找name，如果找到了就返回；如果原型B中也没有
  • 【持久化框架MyBatis3六】MyBatis3集成第三方DataSource bit1129 dataSource
    MyBatis内置了数据源的支持，如：   <environments default="development"> <environment id="development"> <transactionManager type="JDBC" /> <data
  • 我程序中用到的urldecode和base64decode,MD5 bitcarter cMD5base64decodeurldecode
    这里是base64decode和urldecode，Md5在附件中。因为我是在后台所以需要解码： string Base64Decode(const char* Data,int DataByte,int& OutByte) { //解码表 const char DecodeTable[] = { 0, 0, 0, 0, 0, 0
  • 腾讯资深运维专家周小军：QQ与微信架构的惊天秘密 ronin47
    社交领域一直是互联网创业的大热门，从PC到移动端，从OICQ、MSN到QQ。到了移动互联网时代，社交领域应用开始彻底爆发，直奔黄金期。腾讯在过去几年里，社交平台更是火到爆，QQ和微信坐拥几亿的粉丝，QQ空间和朋友圈各种刷屏，写心得，晒照片，秀视频，那么谁来为企鹅保驾护航呢？支撑QQ和微信海量数据背后的架构又有哪些惊天内幕呢？本期大讲堂的内容来自今年2月份ChinaUnix对腾讯社交网络运营服务中心
  • java-69-旋转数组的最小元素。把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素 bylijinnan java
    public class MinOfShiftedArray { /** * Q69 旋转数组的最小元素 * 把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。输入一个排好序的数组的一个旋转，输出旋转数组的最小元素。 * 例如数组{3, 4, 5, 1, 2}为{1, 2, 3, 4, 5}的一个旋转，该数组的最小值为1。 */ publ
  • 看博客，应该是有方向的 Cb123456 反省看博客
    看博客，应该是有方向的:  我现在就复习以前的，在补补以前不会的，现在还不会的，同时完善完善项目，也看看别人的博客.  我刚突然想到的:  1.应该看计算机组成原理，数据结构，一些算法，还有关于android,java的。  2.对于我，也快大四了，看一些职业规划的，以及一些学习的经验，看看别人的工作总结的.    为什么要写
  • [开源与商业]做开源项目的人生活上一定要朴素,尽量减少对官方和商业体系的依赖 comsci 开源项目
         为什么这样说呢？  因为科学和技术的发展有时候需要一个平缓和长期的积累过程，但是行政和商业体系本身充满各种不稳定性和不确定性，如果你希望长期从事某个科研项目，但是却又必须依赖于某种行政和商业体系，那其中的过程必定充满各种风险。。。       所以，为避免这种不确定性风险，我
  • 一个 sql优化 （[精华] 一个查询优化的分析调整全过程！很值得一看 ） cwqcwqmax9 sql
    见   http://www.itpub.net/forum.php?mod=viewthread&tid=239011 Web翻页优化实例 提交时间: 2004-6-18 15:37:49      回复    发消息  环境： Linux ve
  • Hibernat and Ibatis dashuaifu Hibernateibatis
    Hibernate  VS  iBATIS 简介 Hibernate 是当前最流行的O/R mapping框架，当前版本是3.05。它出身于sf.net，现在已经成为Jboss的一部分了 iBATIS 是另外一种优秀的O/R mapping框架，当前版本是2.0。目前属于apache的一个子项目了。 相对Hibernate“O/R”而言，iBATIS 是一种“Sql Mappi
  • 备份MYSQL脚本 dcj3sjt126com mysql
    #!/bin/sh # this shell to backup mysql #[email protected] (QQ:1413161683 DuChengJiu) _dbDir=/var/lib/mysql/ _today=`date +%w` _bakDir=/usr/backup/$_today [ ! -d $_bakDir ] && mkdir -p
  • iOS第三方开源库的吐槽和备忘 dcj3sjt126com ios
    转自 ibireme的博客   做iOS开发总会接触到一些第三方库，这里整理一下，做一些吐槽。   目前比较活跃的社区仍旧是Github，除此以外也有一些不错的库散落在Google Code、SourceForge等地方。由于Github社区太过主流，这里主要介绍一下Github里面流行的iOS库。   首先整理了一份 Github上排名靠
  • html wlwmanifest.xml eoems htmlxml
    所谓优化wp_head()就是把从wp_head中移除不需要元素，同时也可以加快速度。 步骤： 加入到function.php remove_action('wp_head', 'wp_generator'); //wp-generator移除wordpress的版本号，本身blog的版本号没什么意义，但是如果让恶意玩家看到，可能会用官网公布的漏洞攻击blog remov
  • 浅谈Java定时器发展 hacksin java并发timer定时器
    java在jdk1.3中推出了定时器类Timer,而后在jdk1.5后由Dou Lea从新开发出了支持多线程的ScheduleThreadPoolExecutor，从后者的表现来看，可以考虑完全替代Timer了。 Timer与ScheduleThreadPoolExecutor对比： 1.    Timer始于jdk1.3,其原理是利用一个TimerTask数组当作队列
  • 移动端页面侧边导航滑入效果 ini jqueryWebhtml5cssjavascirpt
    效果体验：http://hovertree.com/texiao/mobile/2.htm可以使用移动设备浏览器查看效果。效果使用到jquery-2.1.4.min.js，该版本的jQuery库是用于支持HTML5的浏览器上，不再兼容IE8以前的浏览器，现在移动端浏览器一般都支持HTML5，所以使用该jQuery没问题。HTML文件代码： <!DOCTYPE html> <h
  • AspectJ+Javasist记录日志 kane_xie aspectjjavasist
    在项目中碰到这样一个需求，对一个服务类的每一个方法，在方法开始和结束的时候分别记录一条日志，内容包括方法名，参数名+参数值以及方法执行的时间。   @Override public String get(String key) { // long start = System.currentTimeMillis(); // System.out.println("Be
  • redis学习笔记 MJC410621 redisNoSQL
    1)nosql数据库主要由以下特点：非关系型的、分布式的、开源的、水平可扩展的。 1，处理超大量的数据 2，运行在便宜的PC服务器集群上， 3，击碎了性能瓶颈。 1)对数据高并发读写。 2)对海量数据的高效率存储和访问。 3)对数据的高扩展性和高可用性。 redis支持的类型： Sring 类型 set name lijie get name lijie set na
  • 使用redis实现分布式锁 qifeifei
    在多节点的系统中，如何实现分布式锁机制，其中用redis来实现是很好的方法之一，我们先来看一下jedis包中，有个类名BinaryJedis,它有个方法如下：   public Long setnx(final byte[] key, final byte[] value) { checkIsInMulti(); client.setnx(key, value); ret
  • BI并非万能，中层业务管理报表要另辟蹊径 张老师的菜 大数据BI商业智能信息化
           BI是商业智能的缩写，是可以帮助企业做出明智的业务经营决策的工具，其数据来源于各个业务系统，如ERP、CRM、SCM、进销存、HER、OA等。        BI系统不同于传统的管理信息系统，他号称是一个整体应用的解决方案，是融入管理思想的强大系统：有着系统整体的设计思想，支持对所有
  • 安装rvm后出现rvm not a function 或者ruby -v后提示没安装ruby的问题 wudixiaotie function
    1.在~/.bashrc最后加入 [[ -s "$HOME/.rvm/scripts/rvm" ]] && source "$HOME/.rvm/scripts/rvm"  2.重新启动terminal输入：   rvm use ruby-2.2.1 --default  把当前安装的ruby版本设为默
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他