字节数据平台
字节数据平台

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览

技术与产品概览

架构设计

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览_第1张图片

 

元数据的接入

  • 元数据接入支持T+1和近实时两种方式
  • 上游系统：包括各类存储系统（比如Hive、 Clickhouse等）和业务系统（比如数据开发平台、数据质量平台等）
  • 中间层：
    • ETL Bridge：T+1方式运行，通常是从外部系统拉取最新元数据，与当前Catalog系统的元数据做对比，并更新差异的部分
    • MQ：用于暂存各类元数据增量消息，供Catalog系统近实时消费
    • 与上游系统打交道的各类Clients，封装了操作底层资源的能力

核心服务层

系统的核心服务，根据职责的不同，细拆为以下子服务：
  • Catalog Service：支持元数据的搜索、详情、修改等核心服务
  • Ingestion Service：接受外部系统调用，写入元数据，或主动从MQ中消费增量元数据
  • Resource Control Plane：通过各类Clients，与底层的存储或业务系统交互，操作底层资源，比如建库建表，能力可插拔
  • Q&A Service：问答系统相关能力，支持对元数据的字段含义、使用场景等提问和回答，能力可插拔
  • ML Service：负责封装与机器学习相关的能力，能力可插拔
  • API Layer：以RESTful API的形式整合系统中的各类能力

存储层

针对不同场景，选用的不同的存储：
  • Meta Store：存放全量元数据和血缘关系，当前使用的是HBase
  • Index Store：存放用于加速查询，支持全文索引等场景的索引，当前使用的是ElasticSearch
  • Model Store：存放推荐、打标等的算法模型信息，使用HDFS，当ML Service启用时使用

元数据的消费

  • 数据的生产者和消费者，通过Data Catalog的前端与系统交互
  • 下游在线服务可通过OpenAPI访问元数据，与系统交互
  • Metadata Outputs Layer：提供除了API之外的另外一种下游消费方式
    • MQ：用于暂存各类元数据变更消息，格式由Catalog系统官方定义
    • Data warehouse：以数仓表的形式呈现的全量元数据

产品功能升级

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览_第2张图片

 

产品能力上的升级迭代，大致分为以下几个阶段：
  • 基础能力建设（2017-2019）：数据源主要是离线数仓Hive，支持了Hive相关库表创建、元数据搜索与详情展示、表之间血缘，以及将相关表组织成业务视角的数据专题等
  • 中阶能力建设（2019-2020年中）：数据源扩展了Clickhouse与Kafka，支持了Hive列血缘，Q&A问答系统等
  • 架构升级（2020年中-2021年初）：产品能力迭代放缓，基于新设计升级架构
  • 能力提升与快速迭代（2021年至今）：数据源扩展为包含离线、近实时、业务等端到端系统，搜索和血缘能力有明显增强，探索机器学习能力，产品形态更成熟稳定。另外我们还具备了ToB售卖的能力。
点击跳转 
大数据研发治理套件-火山引擎
 了解更多

你可能感兴趣的:(火山引擎)

  • （二）SAP Group Reporting (GR) 核心子模块功能及数据流向架构解析
    数据如何从子公司流转到合并报表的全过程，即数据采集→合并引擎→报表输出，特别是HANA内存计算如何优化传统ETL瓶颈。SAPGroupReporting(GR)核心模块功能及数据流向的架构解析，涵盖核心组件、数据处理流程和关键集成点，适用于S/4HANA1809+版本：一、核心功能模块概览模块功能关键事务码/FioriApp数据采集(DataCollection)整合子公司财务数据（SAP/非SA
  • 实时数据流计算引擎Flink和Spark剖析 程小舰 flinkspark数据库kafkahadoop
    在过去几年，业界的主流流计算引擎大多采用SparkStreaming，随着近两年Flink的快速发展，Flink的使用也越来越广泛。与此同时，Spark针对SparkStreaming的不足，也继而推出了新的流计算组件。本文旨在深入分析不同的流计算引擎的内在机制和功能特点，为流处理场景的选型提供参考。（DLab数据实验室w.x.公众号出品）一.SparkStreamingSparkStreamin
  • Flowable 实战落地核心：选型决策与坑点破解 练习时长两年半的程序员小胡 Flowable流程引擎实战指南低代码BPMN流程引擎flowable后端java
    在企业级流程引擎的落地过程中，选型的准确性和坑点的预见性直接决定项目成败。本文聚焦Flowable实战中最关键的“选型决策”与“常见坑点”，结合真实项目经验，提供可落地的解决方案。一、流程引擎选型：从业务本质出发1.1选型的三大核心维度企业在选择流程引擎时，需避免陷入“技术崇拜”，应回归业务本质。评估Flowable是否适用，可从三个维度判断：业务复杂度若流程涉及动态审批链（如按金额自动升级审批）
  • Flowable 高级扩展：自定义元素与性能优化实战 练习时长两年半的程序员小胡 Flowable流程引擎实战指南流程图flowableBPMN流程引擎java
    在前五篇文章中，我们从基础概念、流程设计、API实战、SpringBoot集成，到外部系统协同，逐步构建了Flowable的应用体系。但企业级复杂场景中，原生功能往往难以满足定制化需求——比如需要特殊的审批规则网关、与决策引擎联动实现动态路由，或是在高并发场景下优化流程引擎性能。本文将聚焦Flowable的高级扩展能力，详解如何自定义流程元素、集成规则引擎，并掌握大型系统中的性能调优策略。一、自定
  • 企业级区块链平台Hyperchain核心原理剖析 boyedu 区块链区块链企业级区块链平台Hyperchain
    Hyperchain作为国产自主可控的企业级联盟区块链平台，其核心原理围绕高性能共识、隐私保护、智能合约引擎及可扩展架构展开，通过多模块协同实现企业级区块链网络的高效部署与安全运行。以下从核心架构、关键技术、性能优化、安全机制、应用场景五个维度展开剖析：一、核心架构：分层解耦与模块化设计Hyperchain采用分层架构，将区块链功能解耦为独立模块，支持灵活组合与扩展：P2P网络层由验证节点（VP）
  • 编程算法：技术创新的引擎与业务增长的核心驱动力
    在数字经济时代，算法已成为推动技术创新与业务增长的隐形引擎。从存内计算突破冯·诺依曼瓶颈，到动态规划优化万亿级金融交易，编程算法正在重塑产业竞争格局。一、存内计算：突破冯·诺依曼瓶颈的算法革命1.1存内计算的基本原理传统计算架构中90%的能耗消耗在数据搬运上。存内计算（Processing-in-Memory）通过直接在存储单元执行计算，实现能效10-100倍提升：#传统计算vs存内计算能耗模型i
  • Deepseek技术深化：驱动大数据时代颠覆性变革的未来引擎 荣华富贵8 springboot搜索引擎后端缓存redis
    在大数据时代，信息爆炸和数据驱动的决策逐渐重塑各行各业。作为一项前沿技术，Deepseek正在引领新一轮技术革新，颠覆传统数据处理与分析方式。本文将从理论原理、应用场景和前沿代码实践三个层面，深入剖析Deepseek技术如何为大数据时代提供颠覆性变革的解决方案。一、技术背景与核心思想1.1大数据挑战与机遇在数据量呈指数级增长的背景下，传统数据处理方法面临数据存储、计算效率和信息提取精度的诸多挑战。
  • 基于DeepSeek的下一代大型游戏开发革命：架构、核心技术与项目管理实践 Liudef06小白 特殊专栏人工智能AIGC架构人工智能deepseek
    基于DeepSeek的下一代大型游戏开发革命：架构、核心技术与项目管理实践DeepSeek大模型正重塑游戏开发范式，本文将深入解析如何利用这一革命性技术构建下一代大型游戏，涵盖从架构设计到项目管理的全流程实践。目录DeepSeek游戏引擎核心架构1.1神经符号系统融合架构1.2动态世界生成引擎智能NPC与剧情系统2.1角色人格建模技术2.2动态叙事生成算法大型项目管理体系3.1敏捷-AI混合开发流
  • 用代码生成艺术字：设计个性化海报的秘密
    本文围绕“用代码生成艺术字：设计个性化海报的秘密”展开，先概述代码生成艺术字在海报设计中的独特价值，接着介绍常用的代码工具（如HTML、CSS、JavaScript等），详细阐述从构思到实现的完整流程，包括字体样式设计、动态效果添加等，还分享了提升艺术字质感的技巧及实际案例。最后总结代码生成艺术字的优势，为设计师提供打造个性化海报的实用指南，助力提升海报设计的独特性与吸引力，符合搜索引擎SEO标准
  • Spark SQL架构及高级用法 Aurora_NeAr sparksql架构
    SparkSQL架构概述架构核心组件API层（用户接口）输入方式：SQL查询；DataFrame/DatasetAPI。统一性：所有接口最终转换为逻辑计划树（LogicalPlan），进入优化流程。编译器层（Catalyst优化器）核心引擎：基于规则的优化器（Rule-BasedOptimizer,RBO）与成本优化器（Cost-BasedOptimizer,CBO）。处理流程：阶段输入输出关键动
  • 基于Python引擎的PP-OCR模型库推理 张欣-男 pythonocr开发语言PaddleOCRPaddlePaddle
    基于Python引擎的PP-OCR模型库推理1.文本检测模型推理#下载超轻量中文检测模型：wgethttps://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_infer.tartarxfch_PP-OCRv3_det_infer.tarpython3tools/infer/predict_det.py--image_dir=".
  • 推客小程序系统开发全流程解析：从0到1构建社交电商生态 wx_ywyy6798 小程序推客系统推客系统开发推客小程序推客小程序开发推客分销系统推客分销
    一、推客小程序的市场背景与商业价值在当今移动互联网红利逐渐消退的背景下，社交电商正成为流量增长的新引擎。推客小程序作为一种轻量级的社交分销工具，完美融合了微信生态的社交属性与电商的变现能力，为企业提供了低成本获客的新渠道。推客模式的核心优势体现在三个方面：裂变式传播：基于微信社交关系链的分享机制，能够实现几何级数的用户增长低成本转化：推客作为"消费商"角色，大幅降低企业的客户获取成本精准营销：社交
  • 搜索引擎技术选型 dusty_giser
      近期，业主对POI检索提出了一些想法，针对之前简单的WordSegment分词和模糊匹配搜索需要进行一些更为符合业主需求的调整。于是这几天对搜索引擎进行了一些技术选型；一、ApacheLucene  Lucene是一个开源的高性能、可扩展的全文检索引擎工具包，但不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。所以它是一套信息检索工具包，可以说是当今最先进
  • Vue CSR 到 Nuxt 3 SSR 迁移：技术实现与问题解决实录 二倍速播放 前端vue.js
    1.迁移动机与技术选型1.1CSR架构的局限性基于Vue3和Vite构建的客户端渲染(CSR)单页应用(SPA)提供了良好的开发体验和用户交互流畅性。但是其核心局限在于：搜索引擎优化(SEO)：初始HTML响应仅包含一个根div元素，实际内容由JavaScript在浏览器端动态生成。虽然主流搜索引擎（如Google）能够执行部分JavaScript，但其抓取效率和稳定性不如直接获取完整HTML。非
  • TiDB - 分布式数据库的架构与特性 爽新全效瓷兔膏
    本文还有配套的精品资源，点击获取简介：TiDB是一个开源的分布式NewSQL数据库，受到了Google的Spanner/F1系统的启发。它提供水平扩展和强一致性事务，适用于需要高可用性和大规模数据处理的场景。TiDB的核心特点包括其分布式架构，由TiDBServer（SQL层）、PDServer（调度器）和TiKVServer（存储引擎）组成；支持无缝的水平扩展和ACID事务；与MySQL高度兼容
  • Hive详解
    一：Hive的历史价值1，Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎，所以在现在企业级应用中SparkSQL+Hive成为了业界使用大数据最为高效和流行的趋势。2，Hive是Facebook的推出，主要是为了让不动Java代码编程的人员也能
  • MySQL新增字段DDL：锁表全解析、避坑指南与实战案例
    核心思考问题：新增字段一定会锁表吗？答案：不一定！这主要取决于：MySQL版本：这是最关键的因素。ALGORITHM选项：显式或隐式指定的算法。新增字段的属性：是否允许NULL？是否有默认值？默认值类型？字段位置？表的大小和存储引擎：InnoDB的行为与MyISAM不同（本文主要讨论InnoDB）。并发负载：操作期间对表的读写压力。一、真实案例场景：血泪教训场景1：电商大促前夜，核心订单表加字段（
  • 三国萌将 风檐展书读_d1b0
    全新三国，全新演绎！游戏采用新一代Unity3d引擎、实时打击计算等众多技术，通过最轻松的操作即可体验到策略战斗、双技能战斗、多角色养成和搞笑幽默的三国故事等内容。清新呆萌画风，爆笑穿越剧情，让你尽可任性耍酷扮傻，活力四射。萌趣的风格，反转的故事，为玩家全新打造专属于你的爆笑三国。
  • 小程序领域的盈利模式全解析 AI 小程序开发2020 小程序开发项目实战小程序开发宝典小程序notepad++ai
    小程序领域的盈利模式全解析：从"小工具"到"现金牛"的变现密码关键词：小程序盈利模式、广告变现、电商闭环、会员体系、私域流量、跨平台变现、商业生态摘要：本文以"如何让小程序从功能工具进化为盈利引擎"为主线，系统解析当前主流的7大盈利模式。通过生活场景类比、真实案例拆解和行业数据支撑，帮助开发者和企业理解不同模式的适用场景、落地路径与优化策略，最终找到适合自身业务的"变现组合拳"。背景介绍目的和范围
  • 手把手教你搭建AI搜图系统：基于BGE-VL+Milvus的完整实现指南
    引言图像搜索有何价值？•帮你找身份证：在海量相册里搜索身份证•电商神器：淘宝"拍立淘"让你拍照变订单•设计师救星：3秒找到可商用的高清素材图老搜索vs新搜索的区别老搜索：像查字典，必须输入正确关键词新搜索：像跟人聊天，图片/语音都能搜，还能理解表情包为什么选BGE-VL+Milvus这个王炸组合？•就像给搜索引擎装了"人脑"（BGE-VL理解图片内涵）•加上"闪电手"Milvus（毫秒级匹配海量图
  • 智能网关芯片：物联网连接的核心引擎
    在物联网（IoT）生态系统中，智能网关芯片扮演着至关重要的角色，它是实现设备互联、数据转换和边缘计算的核心硬件。随着5G、人工智能（AI）和低功耗通信技术的快速发展，智能网关芯片的性能和功能不断提升，推动着智慧家居、工业物联网（IIoT）、智慧城市等领域的创新。智能网关芯片的关键技术智能网关芯片的核心能力在于其多协议支持能力。由于物联网设备采用不同的通信标准（如Wi-Fi、蓝牙、Zigbee、Lo
  • 如何在 Apache Ignite 中创建和使用自定义 SQL 函数（Custom SQL Functions） lang20150928 其他apacheIgnite
    这段内容讲的是如何在ApacheIgnite中创建和使用自定义SQL函数（CustomSQLFunctions）。我们可以分步骤来理解它的含义和用法。一、什么是CustomSQLFunction？ApacheIgnite的SQL引擎支持标准SQL函数（如COUNT、SUM、AVG等），但有时这些内置函数无法满足业务需求。这时，你可以通过编写Java代码，创建自己的SQL函数，并在SQL查询中使用它
  • Unity Catalog技术解析：数据与AI的统一元数据管理平台 包幸慈Ferris
    UnityCatalog技术解析：数据与AI的统一元数据管理平台什么是UnityCatalogUnityCatalog是一个开创性的开源元数据管理系统，专为现代数据与AI环境设计。作为业界首个真正通用的数据与AI资产目录，它解决了企业在多引擎、多格式环境下的元数据管理难题。核心特性解析1.多模态支持架构UnityCatalog的架构设计突破了传统元数据管理的局限：格式无关性：原生支持DeltaLa
  • Python, Go, Rust 开发全球海岛坐标定位APP Geeker-2025 pythongolangrust
    以下是一个基于**Python、Go和Rust**协同开发的全球海岛坐标定位APP设计方案，结合三者的优势实现高精度地理计算、实时数据处理和跨平台部署：---###系统架构```mermaidgraphTDA[卫星遥感数据源]-->B(Python数据处理)B-->C{Rust地理引擎}C-->D[Go微服务集群]D-->E[移动端/Web端]E-->F[用户终端]```---###模块分工及技术
  • Python, C ++开发全国研学基地查询与管理APP Geeker-2025 pythonc++
    以下是基于Python和C++开发全国研学基地查询与管理APP的技术方案，结合高性能数据处理、混合语言开发及教育行业合规性要求：---###**一、核心功能架构**```mermaidgraphTDA[用户端APP]-->B{API网关}C[管理端平台]-->BB-->D[Python业务微服务]D-->E[C++数据处理引擎]D-->F[时空数据库集群]E-->G[智能推荐系统]F-->H[可视
  • Python,C++,go语言开发人类100年后1000种技术解析与实操APP Geeker-2025 pythonc++golang
    以下是为"人类100年后1000种技术解析与实操APP"设计的全栈技术方案，融合跨学科技术预测、虚拟仿真与增强现实技术，构建面向未来的技术探索平台：---###一、三维混合架构```mermaidgraphTDA[Python-认知引擎]-->|gRPC|B[Go-协调中枢]B-->|FFI|C[C++-物理核心]C-->|光子总线|D{技术沙盒}D-->E[量子计算接口]D-->F[生物工程模拟
  • Python, Rust 开发液态金属便常规应用APP Geeker-2025 pythonrust
    #液态金属超常规应用系统：Python与Rust开发方案以下是一个基于Python和Rust开发的液态金属超常规应用系统的完整技术方案，结合了材料科学、流体动力学和智能控制技术。##系统架构设计```mermaidgraphTDA[用户界面]-->B[Python控制中心]B-->C[Rust实时引擎]C-->D[液态金属控制平台]D-->E[传感器阵列]E-->CF[AI模型]-->BG[云平台
  • IoTDB智能分析节点AINode：时序数据分析的新引擎 时序数据说 iotdb数据分析数据挖掘时序数据库数据库大数据ai
    在大数据与物联网的驱动下，时序数据处理需求激增，如何高效存储、管理并实时分析海量时序数据成为技术挑战。作为专为时序数据设计的数据库，IoTDB通过引入智能分析节点（AINode），将机器学习能力原生集成到数据库中，实现了“数据存储-分析-决策”的一体化闭环。本文将深入解析AINode的核心功能、技术优势及实际应用场景。AINode：IoTDB的智能分析引擎AINode是IoTDB推出的第三种内生节
  • Python爬虫【三十四章】爬虫高阶：动态页面处理与Playwright增强控制深度解析 程序员_CLUB Python入门到进阶python爬虫开发语言
    目录一、技术演进背景与行业挑战二、核心技术栈深度解析2.1动态渲染双引擎架构2.2浏览器指纹伪装方案2.3BeautifulSoup集成实践三、进阶应用场景突破3.1电商价格监控系统3.1.1技术架构创新3.1.2实现效果3.2社交媒体舆情分析3.2.1无限滚动模拟3.2.2WebSocket监控3.2.3Canvas指纹防护四、性能优化与合规方案4.1资源消耗对比测试4.2反爬对抗升级方案五、总
  • RAGFlow 框架调研报告 it_czz 架构
    RAGFlow框架调研报告1.概述RAGFlow是一个开源的检索增强生成（RAG）框架，专注于深度文档理解和高精度检索。它通过先进的文档解析能力和可视化调试功能，为企业提供了一个强大的知识库问答解决方案。1.1核心特性深度文档处理：内置DeepDoc引擎，支持复杂文档解析高精度检索：提供可视化分块和引用追踪多模态支持：支持文本、图片、PDF、Excel等多种格式开源自托管：完全开源，支持私有化部署
  • HQL之投影查询 归来朝歌 HQLHibernate查询语句投影查询
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
  • Spring整合redis bylijinnan redis
    pom.xml <dependencies> <!-- Spring Data - Redis Library --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2         在项目中出现了org.hiber
  • android动画效果 不懂事的小屁孩 android动画
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
  • js delete 删除机理以及它的内存泄露问题的解决方案 换个号韩国红果果 JavaScript
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
  • Oracle将零干预分析加入网络即服务计划 蓝儿唯美 oracle
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
  • spring学习——springmvc（二） a-john springMVC
    Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
  • POJ-2828-Buy Tickets aijuans ACM_POJ
    POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
  • Java Ant build.xml详解 asia007 build.xml
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
  • android按钮监听器的四种技术 百合不是茶 androidxml配置监听器实现接口
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;    1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似   创建监听器的实例 myLis lis = new myLis();   使用add方法给按钮添加监听器  
  • 软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。         如今很多的公司
  • TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForgeHow doAttachementAnchorWiki Syntax
    the CollabNet user information center http://help.collab.net/   How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
  • 【Redis四】Redis数据类型 bit1129 redis
    概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
  • SSH2整合-附源码 白糖_ eclipsespringtomcatHibernateGoogle
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。     补充1：项目中部分jar包不是最新版的，可能导
  • [转]开源项目代码的学习方法 braveCS 学习方法
    转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html   1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
  • 编程之美-子数组的最大和（二维） bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美 子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
  • 读书笔记-3 chengxuyuancsdn jquery笔记resultMap配置ibatis一对多配置
    1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置 当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
  • [物理与天文]物理学新进展 comsci
          如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境       怎么办呢?  
  • Oracle 11g新特性:Automatic Diagnostic Repository daizj oracleADR
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 这两份log文
  • 简单排序:选择排序 dieslrae 选择排序
    public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
  • C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
  • php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
    php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php  -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
  • 线程同步工具类 shuizhaosi888 同步工具类
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）   闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
  • bleeding edge是什么意思 haojinghua DI
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。   In computer science, bleeding edge is a term that
  • c中实现utf8和gbk的互转 jimmee ciconvutf8&gbk编码
    #include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
  • 大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
    1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。 应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
  • 在代码中获取Android theme中的attr属性值 OliveExcel androidtheme
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.   在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
  • 基于Zookeeper的分布式共享锁 roadrunners zookeeper分布式共享锁
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。   共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。   官
  • 两个容易被忽略的MySQL知识 tomcat_oracle mysql
    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
  • zoj 3827 Information Entropy(水题) 阿尔萨斯 format
    题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他