Kevin崔
Kevin崔

ETL公用模块设计（MongoDB + spark + Python）

--数据库架构师 之路

场景： 通过ETL流程收集 ，不同的数据源 数据，并放到ods层里。

技术选型：MongoDB + spark + Python

主要考虑行业的复杂度，还有不同的数据来源数据（包含 txt，jpg，excel，rmdb）

后期分析所需要的开发资源，内存计算，有效的发挥DBA 脚本能力。

 

设计：整体通过配置中心的 进行任务调度，可能有人会问题为什么不用到一些 调度插件像airflow 等等。

主要考虑到跨服务器远程抽取，远程插入 等操作。一般这样的插件都需要服务器之间的ssh认证（客户服务器是不可允许的）。

说明：etl设计里核心部分 是配置中心和清洗规则接口的定义

配置中心：提供原和目标 数据库信息，对应的表 ，columns 信息，还有清洗规则，schedule 调度配置

代码：python pandas 集合处理

逻辑：数据修复过程（暂时不考虑）

分析：pandas 分析 留到后面共享

设计如下：

ETL公用模块设计（MongoDB + spark + Python）_第1张图片

你可能感兴趣的:(数据库架构)

  • 面向个人量化交易者的数据收集与基础架构综合指南 m0_74842794 数据库数据挖掘云计算
    引言报告目的本报告旨在为寻求进入量化交易领域的个人交易者，提供一份权威且全面的专家级指南，内容聚焦于数据收集、存储与管理的关键环节。本报告将直接回应您关于所需数据类型、数据来源（特别是针对中国市场）以及如何实现关系型与时序混合数据库架构的具体问题。数据驱动的必要性在量化交易领域，数据的质量、广度和结构不仅仅是策略的输入，更是竞争优势的核心来源1。一个稳健、高效的数据基础设施是所有成功策略赖以建立的
  • GaussDB 数据库架构师修炼(八) 等待事件(2)-ASP报告分析 小云数据库服务专线 GaussDB数据库架构师修炼之路gaussdb数据库架构数据库
    1ASP报告简介ASP-ActiveSesionProfile（活跃会话档案信息），ASP每秒获取活跃会话事件，放到内存中，内存中的数据达阈值，会落盘gs_asp表中。ASPReport根据输入的时间段与slot个数，从内存和磁盘中取数据可视化到html中。2生成ASP报各-GUC参数说明ASP相关GUC参数GUC参数默认值说明enable_aspon是否开启活跃会话信息activesession
  • GaussDB 数据库架构师(八) 等待事件概述-1 小云数据库服务专线 GaussDB数据库架构师修炼之路gaussdb数据库架构数据库
    1、等待事件概述等待事件：指当数据库会话(session)因资源竞争或依赖无法继续执行时，进入"等待"状态，此时产生的性能事件即等待事件。2、等待事件本质性能瓶颈的信号灯，反映CPU,I/O、锁、网络等关键资源的阻塞情况。当系统存在阻塞时，优先通地等待事件分析瓶颈点。3、常见等待事件常见等待事情如下表：等待事件解释STATUS(WAITCMD)等待应用侧发数据，表示此内核session正在等待用户
  • Oracle数据库性能调优完整指南.zip 高杉峻
    本文还有配套的精品资源，点击获取简介：Oracle数据库性能优化是企业和数据库专业人员必须掌握的关键技能。Oracle作为广泛使用的数据库管理系统，其性能直接影响业务效率。本文档深入探讨了性能优化的各个方面，包括SQL优化、索引管理、表和分区设计、内存调优、系统资源管理、并发控制、日志和归档策略、性能监控和诊断，以及数据库架构优化和版本升级。通过综合考虑业务场景和硬件环境，结合Oracle提供的工
  • 【Redis篇】数据库架构演进中Redis缓存的技术必然性—高并发场景下穿透、击穿、雪崩的体系化解决方案 奈斯DB Redis专栏缓存redis数据库架构运维
    《博主主页》：CSDN主页__奈斯DBIFClub社区主页__奈斯、《擅长领域》：擅长阿里云AnalyticDBforMySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控；并对SQLserver、NoSQL(Redis)有了解如果觉得文章对你有所帮助，欢迎点赞收藏加关注作为DBA或运维在日常与Redis打交道时，往往更关注部署安装、Key清理、内存回收、备份
  • Mysql:分库分表 爱吃汉堡的Saul. 数据库mysql数据库
    引言：随着互联网业务的飞速发展，数据量与并发请求呈现爆炸式增长。传统的单机数据库架构，即使经过垂直扩展（如提升硬件配置、优化SQL、引入读写分离），也终将面临性能瓶颈。主要挑战体现在：单表性能极限：当单表数据行数达到千万乃至亿级时，B+树索引深度增加，导致查询效率显著下降。此外，DDL（数据定义语言）操作如添加索引、修改表结构等，可能耗时数小时并长时间锁定表，严重影响业务可用性。单库资源瓶颈：单个
  • Drizzle ORM：轻量级数据库工具 编辑器前端
    DrizzleORM：轻量级数据库工具在上一章中，我们探讨了CloudflareD1如何作为一款高性能、低成本的边缘数据库解决方案，彻底改变了我们对数据库架构的认知.但一般来说，我们很少在项目里裸写sql，所以我们需要一个能简化操作和开发的ORM工具，但市面上绝大多数的ORM对于这种ServerLess数据库的适配很差，需要解决各种依赖问题。那么在尝试了一圈后，发现Drizzle是最好的搭配方案，
  • 数据库迁移实战：如何零停机、零丢失迁移数据库？ Leaton Lee 数据库
    引言：一场没有硝烟的“数据大迁徙”想象一下，你正在为一家电商公司优化数据库架构，需要将MySQL迁移到分布式数据库TiDB。但问题来了：如何在业务高峰期不停止服务，同时确保数据零丢失？这不仅是技术挑战，更是一场精密的“数据芭蕾舞”。今天，我们就从理论到实战，手把手教你完成这场“不可能的任务”！一、迁移前的“战前沙盘推演”1.1数据摸底：绘制“数据地图”数据规模：统计表大小、索引、分区信息（示例：S
  • 如何设计基于YashanDB数据库的高效查询 数据库
    在当今数据驱动的业务环境中，提高数据库查询性能已经成为各类企业面临的重大挑战。随着数据量的快速增长，许多机构遭遇了性能瓶颈、数据一致性问题和查询响应延迟等一系列问题。在这样的背景下，优化数据库架构、提高查询效率迫在眉睫。本文将集中在YashanDB数据库的查询设计上，提供技术分析和操作指导，以帮助开发人员设计高效的查询策略，实现优越的性能。YashanDB的体系架构YashanDB支持多种部署形态
  • MongoDB + Voyage AI 详解：重塑数据库与AI的协同范式 csdn_tom_168 NoSQL数据库mongodb人工智能AI
    MongoDB+VoyageAI详解：重塑数据库与AI的协同范式2025年2月，MongoDB官方宣布收购VoyageAI，这一举措标志着数据库与人工智能技术的深度融合迈入新阶段。通过整合VoyageAI的先进AI检索与嵌入模型能力，MongoDB旨在重新定义AI时代的数据库架构，为企业构建智能应用提供端到端的数据基础设施。一、收购背景与技术战略1.行业趋势驱动AI数据挑战：随着生成式AI与大语言
  • 数据库分布式架构：ShardingSphere 实践
    一、数据库分布式架构概述1.1分布式架构概念在当今数字化时代，随着业务的不断拓展和数据量的爆炸式增长，传统的单机数据库架构逐渐暴露出诸多局限性。例如，在电商大促期间，海量的订单数据和用户访问请求会让单机数据库不堪重负，出现响应缓慢甚至崩溃的情况。数据库的分布式架构应运而生，它将数据库的数据和操作分散到多个物理节点上，这些节点通过网络连接形成一个有机的分布式系统。其核心目标是显著提高数据库的性能、可
  • 什么是YashanDB？深入解析企业级数据库解决方案 数据库
    在现代企业数据管理中，数据库技术面临着多个挑战，包括性能瓶颈、数据一致性以及高可用性等问题。随着数据量的激增和应用需求的多样化，传统数据库架构逐渐显示出其局限性。在此背景下，YashanDB作为一种新兴的企业级数据库解决方案，凭借其独特的架构和高效的数据处理能力受到越来越多企业的青睐。本文将深入探讨YashanDB的核心技术及其在企业级应用场景中所带来的优势，帮助开发人员及数据库管理员更好地理解这
  • 从用户需求出发设计YashanDB数据库的架构 数据库
    在现代应用中，性能和可扩展性是数据库设计中至关重要的指标。随着数据量的增加，如何在保持高性能的前提下支持复杂的查询需求，已经成为数据库产业面临的一大难题。因此，当前迫切需要一种灵活和高效的数据库架构，能适应变动的用户需求，同时提供良好的业务连续性和可靠性。YashanDB的体系架构部署架构YashanDB支持三种主要的部署架构，包括单机部署、分布式集群部署和共享集群部署。单机部署：适用于小型应用和
  • 大规模分布式数据库读写分离架构：一致性、可用性与性能的权衡实践
    目录1引言：数据库架构的核心三角2原创架构设计2.1读写分离系统架构2.2读写核心流程3企业级实现代码3.1Python路由服务核心代码3.2TypeScript复制状态监控3.3Kubernetes部署YAML示例4性能对比量化分析5生产级部署与安全方案5.1高可用部署架构5.2安全审计方案6技术前瞻性分析6.1演进路线图6.2关键趋势解读7附录：完整技术图谱结论1引言：数据库架构的核心三角在大
  • 导购类电商平台数据库设计：如何用ShardingSphere处理TB级用户行为数据 省赚客APP开发者@聚娃科技 数据库
    导购类电商平台数据库设计：如何用ShardingSphere处理TB级用户行为数据大家好，我是阿可，微赚淘客系统及省赚客APP创始人，是个冬天不穿秋裤，天冷也要风度的程序猿！一、背景介绍在导购类电商平台中，用户行为数据（如浏览记录、点击行为、购买行为等）是系统的重要组成部分。随着用户量的增加和业务的扩展，用户行为数据量迅速增长，可能达到TB级别甚至更高。传统的单体数据库架构难以应对如此大规模的数据
  • InfluxDB 3 Core 持久化机制深度解析：高可靠实时数据引擎的设计哲学与工业实践 梦想画家 数据库InfluxDB分层持久化架构
    本文深入拆解InfluxDB3Core的数据持久化架构，涵盖写入流程、故障恢复、存储引擎设计，并结合物联网、金融监控等场景分析其高可靠性实现逻辑。通过对比传统时序数据库架构与性能实测数据，揭示新一代引擎如何平衡实时性与数据安全性，为大规模时序数据处理提供生产级保障。一、持久化核心机制：从写入到落盘的全链路保护1.分层持久化架构InfluxDB3Core采用三级数据保护策略：写入请求→内存缓冲区(V
  • 深入了解数据库领域行式存储的架构设计 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库ai
    深入了解数据库领域行式存储的架构设计关键词：行式存储、数据库架构、OLTP、存储引擎、行记录格式摘要：本文将以“行式存储”为核心，从生活场景切入，逐步拆解数据库行式存储的底层架构设计。我们将通过“图书馆藏书”的趣味比喻、具体代码示例和真实数据库（如MySQLInnoDB）的实践案例，深入理解行式存储的核心原理、适用场景及未来趋势，帮助读者建立对数据库存储架构的系统认知。背景介绍目的和范围数据库是现
  • 技术调研：时序数据库（一） myskybeyond 时序数据库时序数据库数据库
    选择时序数据库时，选择当下主流的解决方案。目前主流的开源解决方案有InfluxDB、TDengine和TimescaleDB。下文从多个维度对比分析，最终根据需求做出选型决策。1.核心架构与设计理念数据库架构特点核心优势InfluxDB-专为时序数据设计的分布式数据库-基于时间线（TimeSeries）模型-开源版（OSS）与商业版（Cloud/Enterprise）功能差异大高写入吞吐量、原生支
  • 一招搞定网页用户评论查询！SQL实战大全，从排序到分页轻松掌握
    引言揭开评论系统的数据面纱当你在网页上看到一条条精彩评论时，是否好奇这些数据如何存储和管理？事实上，一个完整的评论系统背后是精心设计的数据库架构。用户评论通常被拆解存储在多个关联表中：comments表存储核心内容（评论ID、内容、时间）users表存储用户信息（用户ID、用户名、头像）posts表关联所属文章（文章ID、标题）comment_meta表存储附加数据（点赞数、举报状态等）这种分表设
  • YashanDB数据库的未来发展趋势 数据库
    如何优化查询速度？这一问题一直以来都是数据库技术发展的核心驱动力。随着数据量的激增和应用场景的多样化，传统单一节点的数据库架构无法满足企业对性能和可用性的需求，因此，探讨新一代数据库，如YashanDB的未来发展趋势是必要的。这不仅影响着数据库的设计和选择，也间接决定了企业在数据管理上的灵活性和创新能力。YashanDB的体系架构优势YashanDB通过创新的体系架构设计，支持多种部署形态，包括单
  • Oracle数据库知识点总结 Oracle入门教程学习掌握 小粥学姐 Oracle教程学习重点面试安装
    Oracle数据库知识点总结章节目录一、Oracle数据库概述二、Oracle数据库架构与组件三、SQL语言基础四、PL/SQL编程五、数据库对象管理六、数据备份与恢复七、性能优化与安全管理八、如何学习Oracle数据库九、资源简介一、Oracle数据库概述重点详细内容知识点总结：Oracle数据库是一种关系型数据库管理系统（RDBMS），由甲骨文公司开发，广泛用于企业级应用和大型数据中心。它支持
  • YashanDB分布式架构解析，打造高可用数据库系统 数据库
    在现代数据库技术领域，随着数据量的急剧增长以及对应用性能和可靠性的苛刻要求，数据库系统在可用性、性能和扩展性等方面承受着巨大的压力。系统宕机、数据丢失、查询延迟等一系列问题成为普遍的挑战。要应对这些挑战，设计高可用且高性能的数据库架构显得至关重要。本文将深入探讨YashanDB的分布式架构，揭示其如何通过高效的设计与实施，实现一个高可用的数据库系统。本文主要面向开发人员和数据库管理员，旨在增强对Y
  • 数据驱动下的泛互行业创新与变革，及数据库的新机遇 数据库
    本文摘自《OceanBase社区版在泛互场景的应用案例研究》电子书，感兴趣的朋友欢迎打开链接观看。首先为大家推荐这个OceanBase开源负责人老纪的公众号“老纪的技术唠嗑局”，会持续更新和#数据库、#AI、#技术架构相关的各种技术内容。欢迎感兴趣的朋友们关注！作者：刘华阳，现任泛互行业SaaS领域企业的数据库架构师。拥有20年数据库相关工作经验：从传统行业到泛互行业，涉及大型国企，知名股份制企业
  • Redis与MongoDB整合：多模型数据库架构设计 数据库管理艺术 redismongodb数据库架构ai
    Redis与MongoDB整合：多模型数据库架构设计——从理论到实践的深度解析关键词多模型数据库、内存键值存储、文档数据库、缓存一致性、数据分层架构、混合事务处理、分布式系统设计摘要本文系统探讨Redis（内存键值数据库）与MongoDB（文档数据库）的整合架构设计，覆盖从基础概念到高级实践的全生命周期。通过第一性原理推导数据访问模式的本质需求，构建层次化的技术解释框架（专家级架构设计→中级实现策
  • SQL SERVER 数据库迁移的三种方法! 杜哥无敌 SQLSERVER数据库
    要将SQLServer从研发环境的把数据库结构（不含数据）迁移至生产环境，可通过以下几种方法实现。以下是具体操作步骤及适用场景：⚙️一、使用SSMS图形界面生成结构脚本（推荐新手）通过SQLServerManagementStudio的生成脚本向导，仅导出数据库架构：连接测试库：在SSMS对象资源管理器中右键点击测试库→选择“任务”→“生成脚本”。选择对象：在向导中勾选“整个数据库及所有对象”或手
  • 云原生数据库架构设计指南——基于YashanDB的方案解析 数据库
    随着云计算的普及和应用需求的快速增长，传统数据库架构面临性能瓶颈、扩展受限以及数据一致性保障复杂等问题。云原生数据库作为新一代数据管理解决方案，其设计理念旨在充分利用云计算资源的弹性与分布式特性，实现高可用、高性能以及强一致性的数据库服务。本文面向开发人员和数据库管理员，结合YashanDB的核心架构和技术优势，系统性地解析云原生数据库架构设计的关键技术和实践方法，指导用户合理规划和部署高效的云原
  • 怎样做轻松迁移至YashanDB数据库避免数据丢失 数据库
    在现代应用中，数据管理的高效与安全性是确保业务连续性和决策支持的关键。然而，数据库迁移过程中的数据丢失问题始终存在。特别是在将数据迁移至新的数据库系统时，若没有合适的策略和技术支持，将可能导致严重的后果。因此，了解如何在迁移至YashanDB时确保数据完整性和可用性显得尤为重要。核心技术点规划迁移策略在开始迁移之前，制定一份全面的迁移计划是至关重要的。规划应包括目标数据库架构的理解、现有数据的结构
  • 如何应对YashanDB数据库中的数据一致性挑战 数据库
    在数据库管理中，数据一致性是确保数据准确、可靠和有效的重要要求。在YashanDB这样复杂的数据库架构中，维护数据的一致性尤其具有挑战性。这涉及到多个实例间的数据同步、事务管理及高可用操作等方面。因此，如何有效应对数据一致性挑战是数据库管理者必须关注的关键问题。数据一致性的基本概念数据一致性指的是在多个用户或系统操作下，确保数据库中的数据保持统一和符合预定义标准。这意味着在数据库任何时刻，所有用户
  • Oracle海量数据库架构设计与Hadoop集成实战 宁南山
    本文还有配套的精品资源，点击获取简介：Oracle海量数据库架构设计旨在为处理大规模数据的大型企业或组织提供解决方案，强调Oracle数据库的稳定性和可扩展性。资料集合包括理论讲解、Hadoop教程、PPT和代码示例，帮助学习者构建和优化数据库系统。涵盖核心组件、分布式数据库解决方案（如RAC和OGG），以及与Hadoop结合实现数据分析和ETL流程。学习分区技术、数据导入导出、SQL优化等实战操
  • JAVASCRIPT 前端数据库-V5--仙盟数据库架构-—-—仙盟创梦IDE 未来之窗软件服务 仙盟创梦IDE数据库数据库架构数据库东方仙盟数据库仙盟创梦IDE东方仙盟
    在v1版本中我们讲述了基础版的应用JAVASCRIPT前端数据库-V1--仙盟数据库架构-—-—仙盟创梦IDE-CSDN博客接下载我们做一个更复杂的的其他场景由于，V1查询字段必须id接下来我们修改了了代码JAVASCRIPT前端数据库-V2--仙盟数据库架构-—-—仙盟创梦IDE-CSDN博客由于，V2只能查询1个字段接下来我们修改了了代码JAVASCRIPT前端数据库-V3--仙盟数据库架构-
  • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
    昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
  • android 网络 百合不是茶 网络
    android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
  • [读书笔记]读法拉第传 comsci 读书笔记
          1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
  • 随机数的产生 沐刃青蛟 随机数
    c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
  • PHP检测函数所在的文件名 IT独行者 PHP函数
    很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
  • 银行各系统功能简介 文强chu 金融
    银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
  • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
        最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
  • php 数组 aichenglong PHP排序数组循环多维数组
    1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
  • 安装python2.7 AILIKES python
    安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
  • java异常的处理探讨 百合不是茶 JAVA异常
    //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
  • getElementsByName实例 bijian1013 element
    实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
  • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
            参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
  • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
    1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
  • 【Spark八十一】Hive in the spark assembly bit1129 assembly
    Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
  • Nginx问题定位之监控进程异常退出 ronin47
    nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
  • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
    方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
  • Netty源码学习-DefaultChannelPipeline bylijinnan netty
    package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
  • MYSQL数据库常用备份及恢复语句 chicony mysql
    备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
  • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
        之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
  • hadoop 平衡空间设置方法 daizj hadoopbalancer
    在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
  • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
  • Android学习之路 dcj3sjt126com Android学习
    转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
  • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
    转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
  • 【精典】数据库相关相关 gengzg 数据库
    package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
  • 自动补全 huyana_town 自动补全
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
  • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
    最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
  • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
      使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
  • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
    以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
  • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
    　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
  • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
    /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他