三思呐三思
三思呐三思

MySQL大表DDL方式对比

文章目录

  • 一、原生DDL、Online DDL
    • 1.1 Online ddl操作原理
    • 1.2 DDL操作的两个参数
    • 1.3 Online DDL 操作空间存储的要求
  • 二、pt-online-schema-change
    • 2.1 pt-osc的大致流程：
    • 2.2 pt-osc的特点
    • 2.3 使用pt-osc的约束
    • 2.4 操作示例
  • 三、gh-ost
    • 3.1 gh-ost的三种模式
    • 3.2 gh-ost的特点
    • 3.3 使用gh-ost的约束

线上环境的大表DDL操作一般都是比较让人头疼的，对于大表的DDL我们主要担心的风险点主要有：

  • 对当前数据库的资源消耗（CPU、IO、磁盘）的影响
  • DDL执行期间，是否会锁表，是否会阻塞业务正常DML请求的影响
  • 在主从复制架构中，对从库的复制延迟的影响

作为一名DBA，对于DDL执行消耗的评估，选择最佳方式执行DDL就是非常重要了，以下主要讲解一些线上环境执行DDL的方法和工具

一、原生DDL、Online DDL

从MySQL5.6开始支持Online DDL，Online DDL相对于普通的DDL操作在对数据库并发性支持以及锁、IO、空间资源消耗上都有较大的优化。但是，并不是所有类型的DDL都是执行Online的。我们在执行一个DDL变更时，为减少为生产环境的影响，必须要清楚该操作的基本属性以及其带来的资源消耗。

DDL操作带来的资源消耗：

  • 对业务并发的影响，DDL操作是否会影响到正常业务的DML请求
  • 对数据库本身性能的影响，DDL操作执行耗时以及带来的IO资源消耗
  • 对数据库服务器空间存储带来的影响，服务器剩余空间是否满足执行DDL语句
  • 对数据库架构中从库复制延迟的影响，

1.1 Online ddl操作原理

Online DDL操作可以分为以下三个阶段：

  • 初始化阶段

该阶段会判断DDL语句执行需要的算法以及锁模式，尽可能减少DDL执行期间对数据库并发和资源的消耗，该阶段需要持有变更表的MDL读锁/

  • 执行阶段

该阶段准备执行DDL语句，也是DDL操作中最耗时的一个阶段，需要将MDL读锁提升为MDL写锁，若DDL操作支持并发DML可快速将MDL写锁降级为MDL读锁，开始进行表数据重建等操作。

  • 提交表定义阶段

该阶段是表定义提交阶段，会将MDL读锁再次升级为MDL写锁，变更表结构定义，完成DDL操作，这是一个比较快的操作。

1.2 DDL操作的两个参数

1、ALGORITHM（算法）

Algorithm主要有3中参数选择：Inplace、Copy、default，Inplace > copy DDL操作执行消耗很大程度上取决于该操作是否可使用inplace策略，是否需要重建表

  • Copy：MySQL5.6之前默认使用的方式，DDL操作会在Server层创建一个临时表用于数据拷贝，当拷贝结束后最后通过rename进行替换，资源消耗比较巨大。
  • Inplace：MySQL5.6引入online DDL后默认优先使用的方式，inplace算法下又分为是否需要重建表两种，对于重建表操作，在引擎层内部创建临时表来完成DDL操作，不涉及Server层的数据拷贝；对于非重建表操作，基本上可直接在其表元数据信息进行变更即可，整体来讲inplace算法的执行效率相对于copy算法都是要好很多的。
  • Default：默认我们不显式添加algorithm或者指定algorithm=default时，MySQL默认评估DDL操作执行，选择最佳算法执行

2、Lock（锁）

lock是影响数据库并发性的关键指标，主要有以下几种情况：

  • LOCK=NONE ：DDL执行期间允许并发查询以及并发DML
  • LOCK=SHARED ：DDL执行期间允许并发查询，不允许并发DML
  • LOCK=DEFAULT ：DDL执行期间，尽可能选择最佳的方式执行DDL，避免对数据库业务并发的影响
  • LOCK=EXCLUSIVE ：DDL执行期间禁止并发查询以及并发DML

1.3 Online DDL 操作空间存储的要求

  • 临时日志文件空间消耗

在Online DDL执行期间允许并发DML操作，这些并发的DML操作会记录在临时的日志空间中，该空间按需申请，没吃申请单位由参数innodb_sort_buffer_size 控制，最大上限由参数innodb_online_alter_log_max_size 控制。若执行DDL期间临时日志文件空间消耗超过innodb_online_alter_log_max_size 参数，则DDL操作执行失败并回滚期间仍未提交的事物。

  • 临时排序文件空间消耗

Online DDL执行期间重建表的操作是需要使用到临时排序空间的，，

  • 临时中间表文件空间消耗

二、pt-online-schema-change

2.1 pt-osc的大致流程：

  • 创建_tblname_new表，其表结构与DDL原表（tblname）表结构一致
  • 对_tblname_new表进行DDL变更操作
  • 在原表tblname上分别针对Insert/Update/Delete操作创建触发器
  • 将原表中的历史数据拷贝至_tblname_new表，同时通过触发器在拷贝数据期间原表发生过的DML操作映射到_tblname_new表上
  • 如果原表有外键约束，处理外键约束
  • 将原表tblname重命名为_tblname_old，将_tblname_new重命名为tblname表
  • 删除_tblname_old表，DDL变更结束

2.2 pt-osc的特点

  • 通过数据拷贝与触发器来实现DDL变更操作
  • 可控制进行DDL操作期间最大负载与slave最大延迟
  • DDL操作需要的空间消耗包括：表数据空间一倍多的空间消耗+binlog日志空间消耗

2.3 使用pt-osc的约束

  • 表需要有主键，因为pt-osc进行事物拆分时使用了“force index(primary)”
  • 避免原表上存在触发器，以防止与pt工具产生干扰
  • 在使用pt-osc工具进行变更期间，容易因为触发器与正常的业务事物产生死锁

2.4 操作示例

# pt-online-

你可能感兴趣的:(MySQL,Online,DDL,gh-ost,pt-osc,MySQL,DDL)

  • 在线人数统计业务设计（场景八股文）
    业务问题在当经的网站中，在线人数的实时统计已经是一个必不可少的模块了，并且该统计功能最好能够按不同的时间间隔做的统计，现在需要你设计一个在线人数统计的模块，你应该怎么进行设计的呢？背景一个网校下会有多个学员。目前平台大概有十个，平台对应的网校大概五十几个，平均一个网校会有5w个用户，预计总人数为200w，最该学员的在线人数在10w左右。设计思路最开始的时候，想到的就是使用mysql直接实现，但是明
  • Aop +反射 实现方法版本动态切换
    需求分析在做技术选型的时候一直存在着两个声音，mongo作为数据库比较mysql好，mysql做为该数据比mongo好。当然不同数据库都有有着自己的优势，我们在做技术选型的时候无非就是做到对数据库的扬长避短。mysql最大的优势就是支持事务，事务的五大特性保证的业务可靠性，随之而来的就是事务会产生的问题：脏读、幻读、不可重复度，当然我们也会使用不同的隔离级别来解决。（最典型的业务问题：银行存取钱）
  • mysql复习 立夏的李子 mysql数据库database
    mysqlselect语法selectfromjoinwheregroupbyhavingorderbylimit联合查询innerjoin（）leftjoin（以左表为基准，匹配右表，不匹配的返回左表，右表以null值填充）rightjoind··(去除列重复的数据)索引类型主键索引(PrimaryKey)唯一索引(Unique)常规索引(Index)全文索引(FullText)索引准则索引不是
  • MySQL复习题
    一.填空题1.关系数据库的标准语言是SQL。2.数据库发展的3个阶段中，数据独立性最高的是阶段数据库系统。3.概念模型中的3种基本联系分别是一对一、一对多和多对多。4.MySQL配置文件的文件名是my.ini或my.cnf。5.在MySQL配置文件中，datadir用于指定数据库文件的保存目录。6.添加IFNOTEXISTS可在创建的数据库已存在时防止程序报错。7.MySQL提供的SHOWCREA
  • Mac OSX 下的mysql数据库文件存放位置 Bruuuces mysqlmacosx位置存放
    之前我的mysql的系统数据库里的表被我玩坏了，万般无奈之下只得删除所有mysql的东西重新构建数据库。按照网上搜到的内容删除后重装发现数据库没有什么变化。于是自己在每个可能存放数据库文件的目录查找，最终确认目录位置如下:使用HomeBrew安装为/usr/local/var/mysql使用官方下载的dmg镜像安装为/usr/local/mysql删除这个目录再重新安装mysql就会重新生成系统数
  • mac os 10.9 mysql_MAC OSX 10.9 apache php mysql 环境配置 AY05 macos10.9mysql
    ＃终端内运行sudoapachectlstart#启动Apachesudoapachectlrestart#重启Apachesudoapachectlstop#停止Apache＃配置Apachesudovi/private/etc/apache2/httpd.conf#将里面的这一行去掉前面的##LoadModulephp5_modulelibexec/apache2/libphp5.so＃配置P
  • mac升级mysql_Mac OSX下的MySQL数据库升级 weixin_39801714 mac升级mysql
    MacOSX下的数据库升级最麻烦的不过权限的问题.本文的MySQL的安装方式为OSX下DMG磁盘镜像的安装方式,MacPorts/Homebrew的方式大同小异.从5.6.17升级到5.7.18安装目录信息ls-al/usr/local|grepmysqllrwxr-xr-x1rootwheel30B52100:39mysql@->mysql-5.6.17-osx10.7-x86_64drwxr-
  • 【MySQL】MySQL数据库如何改名 武昌库里写JAVA 面试题汇总与解析springbootvue.jssqljava学习
    MySQL建库授权语句https://www.jianshu.com/p/2237a9649ceeMySQL数据库改名的三种方法https://www.cnblogs.com/gomysql/p/3584881.htmlMySQL安全修改数据库名几种方法https://blog.csdn.net/haiross/article/details/51282417MySQL重命名数据库https://
  • 大学社团管理系统（11831） codercode2022 javaspringbootspringechartsspringcloudsentineljava-rocketmq
    有需要的同学，源代码和配套文档领取，加文章最下方的名片哦一、项目演示项目演示视频二、资料介绍完整源代码（前后端源代码+SQL脚本）配套文档（LW+PPT+开题报告）远程调试控屏包运行三、技术介绍Java语言SSM框架SpringBoot框架Vue框架JSP页面Mysql数据库IDEA/Eclipse开发四、项目截图有需要的同学，源代码和配套文档领取，加文章最下方的名片哦!
  • word转pdf、pdf转word在线工具分享 bpmh 常用工具wordpdf
    ️一、在线转换网站（方便快捷，无需安装）MicrosoftOfficeOnline(官方推荐，最安全可靠)：网址：直接使用你的Microsoft账户登录https://www.office.com/方法：将你的.docx或.doc文件上传到OneDrive。在OfficeOnline中打开该Word文档。点击文件>另存为>下载PDF副本。优点：官方出品，完全免费，无需额外上传到第三方服务器，安全性
  • PaddleOCR 快速开始 张欣-男 PaddlePaddlePaddleOCROCR
    1.安装1.1安装PaddlePaddle#GPUcudapipinstallpaddlepaddle-gpu#CPUpipinstallpaddlepaddle1.2安装PaddleOCRwhl包pipinstallpaddleocr2.便捷使用2.1命令行使用2.1.1中英文模型检测+方向分类器+识别全流程：–use_angle_clstrue设置使用方向分类器识别180度旋转文字，–use_
  • 基于Python引擎的PP-OCR模型库推理 张欣-男 pythonocr开发语言PaddleOCRPaddlePaddle
    基于Python引擎的PP-OCR模型库推理1.文本检测模型推理#下载超轻量中文检测模型：wgethttps://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tartarxfch_PP-OCRv3_det_infer.tarpython3tools/infer/predict_det.py--image_dir=".
  • SQL笔记纯干货 AI入门修炼 oracle数据库sql
    软件：DataGrip2023.2.3，phpstudy_pro,MySQL8.0.12目录1.DDL语句（数据定义语句）1.1数据库操作语言1.2数据表操作语言2.DML语句（数据操作语言）2.1增删改2.2题2.3备份表3.DQL语句（数据查询语言）3.1查询操作3.2题一3.3题二4.多表详解4.1一对多4.2多对多5.多表查询6.窗口函数7.拓展:upsert8.sql注入攻击演示9.拆表
  • Ubuntu24安装MariaDB/MySQL后不知道root密码如何解决
    Ubuntu24.04安装MariaDB后root密码未知？解决方案在此在Ubuntu24.04上新安装MariaDB后，许多用户会发现自己不知道root用户的密码，甚至在安装过程中也没有提示设置密码。这是因为在较新的MariaDB版本中，默认情况下root用户采用了unix_socket身份验证插件。这意味着您可以使用操作系统的root用户权限直接登录MariaDB，而无需输入密码。本文将为您详
  • mysql创建线程处理链接请求 斜不靠谱
    mysqld通过RUN_HOOK(server_state,before_handle_connection,(NULL));调用/**Threadhandlerforaconnection@paramargConnectionobject(Channel_info)Thisfunction(normally)doesthefollowing:-Initializethread//初始化线程-In
  • Navicat练习与实操（第九节课内容总结见下篇） 咩? android前端sql
    MySQL练习练习题目现在有以下四张表Student学生ID学生名字学生生日学生性别s_ids_names_births_sexCourse课程ID课程名字教师IDc_idc_namet_idTeacher教师ID教师名字t_idt_nameScore学生ID课程ID学生分数s_idc_ids_score1.对以上表格分别建表(要求：id为各个表的主键、其他字段非空设置默认值为、给表以及表中字段设
  • 小白学习mysql 阿什么名字不会重复呢 mysql数据库大数据人工智能
    推荐自学网站不用下载本地环境带自测头歌https://www.educoder.net✅适合基础小白的MySQL简单实用学习计划总学习时间建议：10~14天，每天1小时左右即可最终目标：掌握基础SQL操作，能完成简单项目需求第1阶段：认识数据库与环境搭建（1~2天）你需要学会：•数据库是什么？SQL是什么？•安装MySQLServer+Navicat（推荐用Navicat可视化工具）✅推荐学习内容
  • MySql基础：事务 无敌摆烂仔 mysql数据库
    1.事务的简介1.1什么是事务事务就是一组DML语句组成，这些语句在逻辑上存在相关性，这一组DML语句要么全部成功，要么全部失败，是一个整体。MySQL提供一种机制，保证我们达到这样的效果。事务还规定不同的客户端看到的数据是不相同的。事务就是要做的或所做的事情，主要用于处理操作量大，复杂度高的数据。假设一种场景：你毕业了，学校的教务系统后台MySQL中，不在需要你的数据，要删除你的所有信息(一般不
  • MYSQL：MySQL 事务隔离级别详解 奋斗的狍子007 MySQL核心知识点mysql数据库javaspring架构springbootide
    一、MySQL事务是什么？  MySQL事务是一组在数据库中执行的操作，这些操作要么全部成功执行，要么全部不执行，以确保数据库的完整性和一致性。事务的ACID  事务具有四个特征：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持续性（Durability）。这四个特性简称为ACID特性。原子性：事务是数据库的逻辑工作单位，事务中包含的各操作要么都做，
  • Ubuntu lamp 会飞的灰大狼 linuxubuntu
    Ubuntulamp前言在Ubuntu安装lamp架构我们了解到lamp是完整的架构我们前面了解到了集合了Linux系统apacheMySQL和PHP语言的完整架构我们前面说了Centos7中编译安装lamp那么我们去说一下在Ubuntu中安装‍‍安装apache2‍apt直接安装apache2apt-yinstallapache2‍启动apache2systemctlstartapache2#测
  • 免费版 Navicat Premium Lite 17 下载和使用 曼巴不黑 数据库navicatnavicat免费
    >>>>>>下载地址以后不需要再为使用Navicat大费周章了，官网已经提供免费版供个人和初创企业使用，认准NavicatPremiumLite。NavicatPremiumLite是Navicat的精简版，它包含了用户执行主要的基本数据库操作所需的核心功能。它允许你同时连接到各种数据库平台，包括MySQL、PostgreSQL、SQLServer、Oracle、MariaDB、Snowflake
  • TiDB - 分布式数据库的架构与特性 爽新全效瓷兔膏
    本文还有配套的精品资源，点击获取简介：TiDB是一个开源的分布式NewSQL数据库，受到了Google的Spanner/F1系统的启发。它提供水平扩展和强一致性事务，适用于需要高可用性和大规模数据处理的场景。TiDB的核心特点包括其分布式架构，由TiDBServer（SQL层）、PDServer（调度器）和TiKVServer（存储引擎）组成；支持无缝的水平扩展和ACID事务；与MySQL高度兼容
  • MySQL 数据类型详解 yimeixiaolangzai MySQLmysql数据库
    在数据库设计和开发中，选择合适的数据类型对于存储和操作数据至关重要。MySQL提供了丰富的数据类型来满足不同的数据存储需求，这些数据类型可以分为数值类型、字符串类型、日期和时间类型，以及二进制类型。本文将详细介绍MySQL中的各类数据类型及其应用场景，帮助你更好地进行数据库设计。1.数值类型数值类型用于存储整数和浮点数，在处理数值运算时，这些数据类型扮演着关键角色。MySQL提供了多种数值类型，以
  • MySQL数据类型详解 永远是少年啊 MySQLmysql数据库database
    今天继续给大家介绍MySQL相关内容，本文主要内容是MySQL数据类型。MySQL数据库支持多种数据类型，这些数据类型大致可以分为三类：数值型、字符型和时间型。下面将MySQL的具体数据类型介绍如下：一、数值型类型大小（单位：字节）数值范围（有符号）数值范围（无符号）用途TINYINT1(-128,127)(0,255)微整数型SMALLINT2(-32768,32767)(0,65535)小整数
  • python3中，pycharm中怎么连接数据库 weixin_33736832 数据库python开发工具
    因为python3现在还不能直接连接数据库，所有如果想连接，就只能通过以下方法：在APP中的，__init__.py中，添加以下代码就可以：importpymysqlpymysql.install_as_MySQLdb()当然前提是，那就的在setting.py中连接数据库添加所连接的mysql数据库的详细信息，如下：DATABASES={'default':{'ENGINE':'django.d
  • MySQL笔记上 程程呀是小白 毕业季mysql数据库
    本文是本人以前笔记，如果说是在掘金上看到的话没错，还是本人程程呀的个人主页-动态-掘金只有这一个。如果有哪里不对的话欢迎各位大佬指出问题，本人是一个小白。特殊情况（倘若在终端win+r输入mysql-uroot-p进入SQL）MySQL的下载与安装：按照安装流程步骤安装即可配置环境变量，方便命令行操作：步骤：右键“我的电脑”，选择“属性”，选择“高级”窗口中的“环境变量”，设置“系统变量”中的pa
  • 在 CentOS 中安装 MySQL 的过程与问题解决方案 二向箔reverse centosmysqllinux
    MySQL是一款广泛使用的开源关系型数据库管理系统，在CentOS系统中安装MySQL是很多开发者和运维人员常做的工作。下面将详细介绍安装过程以及可能遇到的问题和解决方案。一、安装前的准备工作在安装MySQL之前，需要做好一些准备工作，以确保安装过程顺利进行。检查系统版本：确认CentOS的版本，不同版本在安装MySQL时可能会有一些差异。可以使用cat/etc/centos-release命令查
  • 没有公网ip怎么访问家里内网？简单操作通用的内网让外网访问的方法步骤 搬码临时工 tcp/ip网络网络协议
    有公网IP时，可以用路由器管理后台做端口映射转发规则，实现内网本地提供外网访问。在无公网IP时，就需要用到nat123端口映射工具了。没有公网IP下，简单几步操作，将内网IP端口让外网可以访问：1、内网业务先确定家里内网是什么应用需要让外面连接访问的，先本地正常开启，并在内网其他电脑可以正常访问先。常见的有如：管理计算机（远程桌面连接、SSH访问），网站web服务，数据库mysql，监控系统应用，
  • 基于javaweb和MySQL的笔记管理系统 俺是答案 笔记intellij-ideamysql
    要求1.用户1.注册和登入。2.用户可以发布，删除，修改自己的笔记。详细要求：发布笔记时，笔记要有专属的区域，比如这个笔记是文学。区的设置自己定义，大概六个区域就可以了。3.用户可以在首页查看所有的笔记，以及对应分区的笔记。4.允许用户修改自己的信息。5.用户可以收藏，评论，点赞他人的笔记。6.用户可以在用户中心查询自己发布的笔记，评论的笔记，点赞的笔记。详细要求：用户查询笔记时可以点击进去看到详
  • MySQL新增字段DDL：锁表全解析、避坑指南与实战案例
    核心思考问题：新增字段一定会锁表吗？答案：不一定！这主要取决于：MySQL版本：这是最关键的因素。ALGORITHM选项：显式或隐式指定的算法。新增字段的属性：是否允许NULL？是否有默认值？默认值类型？字段位置？表的大小和存储引擎：InnoDB的行为与MyISAM不同（本文主要讨论InnoDB）。并发负载：操作期间对表的读写压力。一、真实案例场景：血泪教训场景1：电商大促前夜，核心订单表加字段（
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他