Databend
Databend

使用 Databend 加速 Hive 查询

作者：尚卓燃（PsiACE）

澳门科技大学在读硕士，Databend 研发工程师实习生

Apache OpenDAL(Incubating) Committer

PsiACE (Chojan Shang) · GitHub

使用 Databend 加速 Hive 查询_第1张图片

随着架构的不断迭代和更新，大数据系统的查询目标也从大吞吐量查询逐步转移转向快速的交互式查询，对于查询的及时响应提出了更高要求。许多企业的数仓/数据湖中都有 PB 级的数据，其中绝大多数都属于旧有系统中的历史数据，很少更新，移动起来很麻烦，重新组织元数据也需要花费大量的时间。需要解决的问题是：如何在保证现有的数据和元数据不变的情况下加速查询。

使用 Databend 加速 Hive 查询_第2张图片

上图是一个典型的使用 Databend 加速 Hive 查询的架构。用户使用 trino 、Spark 等引擎将数据纳入 Hive 进行管理，数据的存放位置则位于 S3 、GCS 、HDFS 等存储服务之中。引入 Databend 可以带来更好的查询性能。

和 trino 以及大多数支持 Hive Catalog / Connector 的查询引擎一样，Databend 可以复用 Hive 除了运行时（查询引擎）之外的其他组件，包括用于管理文件和底层存储的存储服务和管理 SQL 表到文件和目录映射的 Hive MetaStore 。

Databend 中的数据按三层进行组织：catalog -> database -> table ，catalog 作为数据最大一层，会包含所有的数据库和表。通过 CREATE CATALOG 语句，用户可以轻松创建 Hive Catalog 。在执行查询时，需要按 ..

 的格式指定到表。

SELECT * FROM ..
;

通过这种形式，用户无需向 Databend 中导入数据，就可以直接查询位于 Hive/Iceberg Catalog 中的数据，并获得 Databend 的性能保证。

Workshop ：使用 Databend 加速 Hive 查询

接下来，让我们通过两个例子，了解 Databend 是如何加速不同存储服务下的 Hive 查询的。

使用 HDFS 存储

Hive + HDFS 的实验环境可以使用 https://github.com/PsiACE/databend-workshop/tree/main/hive-hdfs 中的环境搭建

docker-compose up -d

接下来，让我们一起准备数据：

  • 进入 hive-server ，使用 beeline 连接：
docker-compose exec hive-server bash
beeline -u jdbc:hive2://localhost:10000
  • 创建数据库、表和数据，注意，需要以 Parquet 格式存储：
CREATE DATABASE IF NOT EXISTS abhighdb;

USE abhighdb;

CREATE TABLE IF NOT EXISTS alumni(
    alumni_id int,
    first_name string,
    middle_name string,
    last_name string,
    passing_year int,
    email_address string,
    phone_number string,
    city string,
    state_code string,
    country_code string
)
STORED AS PARQUET;

INSERT INTO abhighdb.alumni VALUES
(1,"Rakesh","Rahul","Pingle",1994,"[email protected]",9845357643,"Dhule","MH","IN"),
(2,"Abhiram","Vijay","Singh",1994,"[email protected]",9987654354,"Chalisgaon","MH","IN"),
(3,"Dhriti","Anay","Rokade",1996,"[email protected]",9087654325,"Nagardeola","MH","IN"),
(4,"Vimal","","Prasad",1995,"[email protected]",9876574646,"Kalwadi","MH","IN"),
(5,"Kabir","Amitesh","Shirode",1996,"[email protected]",9708564367,"Malegaon","MH","IN"),
(6,"Rajesh","Sohan","Reddy",1994,"[email protected]",8908765784,"Koppal","KA","IN"),
(7,"Swapnil","","Kumar",1994,"[email protected]",8790654378,"Gurugram","HR","IN"),
(8,"Rajesh","","Shimpi",1994,"[email protected]",7908654765,"Pachora","MH","IN"),
(9,"Rakesh","Lokesh","Prasad",1993,"[email protected]",9807564775,"Hubali","KA","IN"),
(10,"Sangam","","Mishra",1994,"[email protected]",9806564775,"Hubali","KA","IN"),
(11,"Sambhram","Akash","Attota",1994,"[email protected]",7890678965,"Nagpur","MH","IN");

SELECT * FROM abhighdb.alumni;

使用 Databend 加速 Hive 查询_第3张图片

由于 HDFS 支持需要使用 libjvm.so 和 Hadoop 的若干 Jar 包，请确保你安装了正确的 JDK 环境并配置相关的环境变量：

export JAVA_HOME=/path/to/java
export LD_LIBRARY_PATH=${JAVA_HOME}/lib/server:${LD_LIBRARY_PATH}
export HADOOP_HOME=/path/to/hadoop
export CLASSPATH=/all/hadoop/jar/files

参考 Deploying a Standalone Databend ，使用带有 HDFS 特性的 Databend 分发（databend-hdfs-*），部署一个单节点的 Databend 实例。

使用 Databend 加速 Hive 查询_第4张图片

通过 BendSQL 连接这个 Databend 实例，然后创建对应的 Hive Catalog ，记得要通过 CONNECTION 字段为其配置对应的存储后端：

CREATE CATALOG hive_hdfs_ctl TYPE = HIVE CONNECTION =(
  METASTORE_ADDRESS = '127.0.0.1:9083'
  URL = 'hdfs:///'
  NAME_NODE = 'hdfs://localhost:8020'
);

在上面的语句中，我们创建了一个底层存储使用 HDFS 的 Hive Catalog：

  • 通过 TYPE 指定创建 Hive 类型的 Catalog 。

  • CONNECTION 用于指定 HIVE 相关的存储/元数据访问信息，可以阅读 Docs | Connection Parameters 了解更多相关信息。

    • METASTORE_ADDRESS 对应 Hive MetaStore 的地址
    • URL 对应 HDFS 的 Path
    • NAME_NODE 则对应 HDFS 的 Name Node 地址

让我们尝试运行一个简单的 SELECT 查询，验证其是否能够正常工作：

SELECT * FROM hive_hdfs_ctl.abhighdb.alumni;

使用 Databend 加速 Hive 查询_第5张图片

使用 S3-like 对象存储

Trino + Hive + MinIO 的实验环境可以使用 GitHub - sensei23/trino-hive-docker: trino + hive + minio with postgres in docker compose 进行搭建。

cd docker-compose
docker build -t my-hive-metastore .
docker-compose up -d

在执行完 docker-compose up -d 等前置步骤后，先进入 MinIO 控制面板，创建一个名为 tpch 的 Bucket 。

使用 Databend 加速 Hive 查询_第6张图片

运行下述命令可以打开 trino 命令行工具：

docker container exec -it docker-compose-trino-coordinator-1 trino

接着创建一个小型的 TPCH 客户表。注意，为了满足 Databend 使用要求，这里需要使用 Parquet 格式：

CREATE SCHEMA minio.tpch
WITH (location = 's3a://tpch/');

CREATE TABLE minio.tpch.customer
WITH (
    format = 'PARQUET',
    external_location = 's3a://tpch/customer/'
) 
AS SELECT * FROM tpch.tiny.customer;

使用 Databend 加速 Hive 查询_第7张图片

查询对应的 Hive 元数据，可以看到像下面这样的信息：

 DB_ID |      DB_LOCATION_URI      |   NAME   | OWNER_NAME | OWNER_TYPE | CTLG_NAME 
-------+---------------------------+----------+------------+------------+-----------
     1 | file:/user/hive/warehouse | default  | public     | ROLE       | hive
     3 | s3a://tpch/               | tpch     | trino      | USER       | hive

参考 Deploying a Standalone Databend 部署一个单节点的 Databend 实例。

使用 Databend 加速 Hive 查询_第8张图片

通过 BendSQL 连接这个 Databend 实例，然后创建对应的 Hive Catalog ，记得要通过 CONNECTION 字段为其配置对应的存储后端：

CREATE CATALOG hive_minio_ctl 
TYPE = HIVE 
CONNECTION =(
  METASTORE_ADDRESS = '127.0.0.1:9083' 
  URL = 's3://tpch/' 
  AWS_KEY_ID = 'minio' 
  AWS_SECRET_KEY = 'minio123' 
  ENDPOINT_URL = 'http://localhost:9000'
);

在上面的语句中，我们创建了一个底层存储使用 MinIO 的 Hive Catalog：

  • 通过 TYPE 指定创建 Hive 类型的 Catalog 。

  • CONNECTION 用于指定 HIVE 相关的存储/元数据访问信息，可以阅读 Docs | Connection Parameters 了解更多相关信息。

    • METASTORE_ADDRESS 对应 Hive MetaStore 的地址
    • URL 则对应 MinIO 的 Bucket 或者 Path
    • AWS_KEY_ID 和 AWS_SECRET_KEY 则对应访问时的校验，这里使用了 MinIO 服务的用户名和密码
    • ENDPOINT_URL 是 MinIO 对象存储服务的 API 端点

让我们尝试运行一个简单的 SELECT 查询，验证其是否能够正常工作：

SELECT * FROM hive_minio_ctl.tpch.customer LIMIT 5;

使用 Databend 加速 Hive 查询_第9张图片

提示

  • 要使用 SQL 语句创建带有多种存储支持的 Hive Catalog，推荐使用 v1.2.100-nightly 及以后版本。
  • 不再需要从 toml 文件进行配置就可以获得多源数据目录能力。
  • 如果需要获取 HDFS 存储服务支持，则需要部署或者编译带有 HDFS 特性的 Databend ，比如 databend-hdfs-v1.2.100-nightly-x86_64-unknown-linux-gnu.tar.gz 。
  • 对于 Hive Catalog ，Databend 目前只支持查询 Parquet 格式的数据，且只支持 SELECT，不支持其他 DDL 、DML 和 UDFs 。
  • Databend 的语法与 Hive 并不完全兼容，关于 SQL 兼容性相关的内容，可以查看 Docs | SQL Conformance。

你可能感兴趣的:(hive,hadoop,数据仓库)

  • centos7安装配置 Anaconda3
    Anaconda是一个用于科学计算的Python发行版,Anaconda于Python，相当于centos于linux。下载[root@testsrc]#mwgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.2.0-Linux-x86_64.shBegintodownload:Anaconda3-5.2.0-L
  • Ubuntu安装LAMP L_h1 测试ubuntulinux
    在安装vim时遇到了一个问题：E:无法获得锁/var/lib/dpkg/lock-frontend-open(11:资源暂时不可用)E:无法获取dpkg前端锁(/var/lib/dpkg/lock-frontend)，是否有其他进程正占用它？解决办法：强制解锁sudorm/var/lib/dpkg/lock-frontendsudorm/var/cache/apt/archives/locksud
  • Python 网络科学（三） 绝不原创的飞龙 默认分类默认分类
    原文：annas-archive.org/md5/3df7c5feb0bf40d7b9d88197a04b0b37译者：飞龙协议：CCBY-NC-SA4.0第八章：自我中心网络分析前一章内容非常丰富，我们学习了如何可视化和分析整个网络。相比之下，本章应该会感觉更简单，内容也会少得多。在之前的章节中，我们学习了如何获取和创建网络数据，如何从网络数据构建图形，如何清理图形数据，以及如何做一些有趣的事情
  • 精通 Tableau 2023（四） 绝不原创的飞龙 默认分类默认分类
    原文：annas-archive.org/md5/dd6efaef313fee7252226d3af4a0b9fd译者：飞龙协议：CCBY-NC-SA4.0第十三章：提升性能一旦人们熟悉了Tableau的功能，他们很快就会遇到另一种类型的问题：性能。你们可能都曾经在屏幕上盯着加载数据或执行查询的字样发呆。但别担心，我们有办法！如果设计得当，Tableau仪表盘即使处理大量数据也能表现得非常好。本章
  • Hive使用必知必会系列 王知无(import_bigdata) Hive系统性学习专栏hivebigdatahdfs
    一、Hive的几种数据模型内部表(Table将数据保存到Hive自己的数据仓库目录中：/usr/hive/warehouse)外部表(ExternalTable相对于内部表，数据不在自己的数据仓库中，只保存数据的元信息)分区表(PartitionTable将数据按照设定的条件分开存储，提高查询效率，分区----->目录)桶表(BucketTable本质上也是一种分区表，类似hash分区桶---->
  • Consul 与 Hive：云原生数据仓库集成 AI云原生与云计算技术学院 AI云原生与云计算数据仓库consulhiveai
    Consul与Hive：云原生数据仓库集成关键词：Consul、Hive、云原生、数据仓库集成、服务发现摘要：本文深入探讨了Consul与Hive在云原生环境下的数据仓库集成。首先介绍了集成的背景和相关概念，包括Consul的服务发现机制和Hive作为数据仓库的特点。接着详细阐述了核心概念及联系，通过文本示意图和Mermaid流程图展示其架构。对集成所涉及的核心算法原理进行了讲解，并给出Pytho
  • Hive详解
    一：Hive的历史价值1，Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎，所以在现在企业级应用中SparkSQL+Hive成为了业界使用大数据最为高效和流行的趋势。2，Hive是Facebook的推出，主要是为了让不动Java代码编程的人员也能
  • Hive与Hudi集成：增量大数据处理方案 AI大数据智能洞察 大数据与AI人工智能大数据AI应用hivehadoop数据仓库ai
    Hive与Hudi集成：增量大数据处理方案关键词：Hive、Hudi、增量大数据处理、数据集成、数据湖摘要：本文主要探讨了Hive与Hudi集成的增量大数据处理方案。我们将深入了解Hive和Hudi的核心概念，剖析它们之间的关系，详细阐述集成的算法原理与操作步骤，通过实际项目案例展示如何进行开发环境搭建、代码实现与解读。同时，会介绍该集成方案的实际应用场景、相关工具和资源，探讨未来发展趋势与挑战。
  • 【自动化运维神器Ansible】Ansible常用模块之archive模块详解 IT成长日记 Ansible自动化运维指南自动化运维技术探索运维自动化ansiblearchive常用模块
    目录1Ansiblearchive模块概述1.1archive模块的核心功能1.2为什么需要archive模块2archive模块工作原理3archive模块参数详解3.1必需参数：path3.2常用可选参数3.2.1dest3.2.2format3.2.3exclude3.3高级参数3.3.1remove3.3.2owner/group/mode4archive模块使用场景与示例4.1基础使用场
  • Hive建表时开启事务机制导致insert失败: This command is not allowed on an ACID table.. with a non-ACID transaction 智海观潮 大数据Hivehive大数据
    建表语句：createtableA(table_codestring,data_dtstring,update_dtstring)clusteredby(table_code)into1bucketsrowformatdelimitedfieldsterminatedby'\033'storedasorc--orc格式tablproperties('transactional'='true');执
  • 面向现代数据湖仓的开放表格式对比分析：Iceberg、Hudi、Delta Lake与Paimon piekill 大数据平台大数据sparkflinkbigdata数据仓库
    文章目录第一章数据湖的演进：从存储到事务型平台1.1前湖仓时代：ApacheHive的局限性1.2湖仓一体的范式转移第二章架构深度剖析2.1ApacheIceberg：以元数据为中心的设计2.2ApacheHudi：流式优先、时间轴驱动的架构2.3DeltaLake：以事务日志为唯一真相源2.4ApachePaimon：面向实时湖仓的LSM树架构第三章核心能力对比分析3.1事务性与并发控制3.2数
  • 【自动化运维神器Ansible】Ansible常用模块之unarchive模块详解
    目录1unarchive模块概述1.1unarchive模块的核心价值2unarchive模块工作原理3unarchive模块参数详解3.1源文件相关参数3.1.1src3.1.2remote_src3.2目标路径参数3.2.1dest3.2.2extra_opts3.3高级控制参数3.3.1keep_newer3.3.2validate_certs4unarchive模块使用场景与示例4.1基础
  • SAP BW数据仓库总览 weixin_42559081
    [分享]SAPBW数据仓库简介本文从一个简单的业务场景-销售分析入手，介绍SAPBW（BusinessInfomationWarehouse）实现多维分析的基本方案与实现技术;结合销售分析的实际需求,给出了销售分析管理数据仓库在SAPBW(业务信息仓库)模块中的实现过程描述。1、数据仓库的基本理论1.1数据仓库数据仓库是对数据进行提炼、加工和集成含有一定量商务信息和意义的信息。数据仓库不是为了存储
  • zookeeper和hadoop
    zookeeper操作连接zkCli.sh-server服务名称查看客户端指令help​ZooKeeper-serverhost:portcmdargs   statpath[watch]    setpathdata[version]    lspath[watch]   delquota[-n|-b]path   ls2path[watch]   setAclpathacl   setquot
  • Hadoop 之 ZooKeeper (一) devalone HadoopHadoopZooKeeperHbaseChubbyznode
    Hadoop之ZooKeeper本文介绍使用Hadoop的分布式协调服务构建通用的分布式应用——ZooKeeper。ZooKeeper是Hadoop分布式协调服务。写分布式应用是比较难的，主要是因为部分失败(partialfailure).当一条消息通过网络在两个节点间发送时，如果发生网络错误，发送者无法知道接受者是否接收到了这条消息。接收者可能在发生网络错误之前已经收到了这条消息，也可能没有收到
  • ZooKeeper在Hadoop中的协同应用：从NameNode选主到分布式锁实现 码字的字节 hadoop布道师分布式zookeeperhadoop分布式锁
    Hadoop与ZooKeeper概述Hadoop与ZooKeeper在大数据生态系统中的核心位置和交互关系Hadoop的架构与核心组件作为大数据处理的基石，Hadoop生态系统由多个关键组件构成。其核心架构主要包含HDFS（HadoopDistributedFileSystem）和YARN（YetAnotherResourceNegotiator）两大模块。HDFS采用主从架构设计，由NameNo
  • RK3568笔记九十一：QT环境搭建 殷忆枫 RK3568学习笔记笔记
    若该文为原创文章，转载请注明原文出处。记录按照正点原子给的手册搭建QT环境参考《09【正点原子】ATK-DLRK3568_Qt开发环境搭建V1.2.pdf》一、安装1、下载https://mirrors.sau.edu.cn/qt/archive/online_installers/4.6/qt-unified-linux-x64-4.6.0-online.run2、赋予可执行权限chmod+xq
  • 数据江湖的“三国演义”：数据仓库、数据湖与湖仓一体的全景对比 大模型大数据攻城狮 数据仓库数据湖湖仓一体IceberghudiSnowflake流式计算
    目录1.数据仓库：秩序井然的“中央档案馆”核心特点：一切为了分析优势：稳定如山，分析无敌短板：灵活性欠佳实战案例：零售巨头的销售分析2.数据湖：自由奔放的“原始丛林”核心特点：包容一切优势：灵活到飞起短板：自由的代价实战案例：流媒体平台的用户行为分析3.湖仓一体：兼得鱼与熊掌的“新物种”核心特点：两全其美优势：全能选手短板：尚在成长实战案例：金融科技的实时风控4.技术选型的“天平”：如何选择适合你
  • 在python中安装geohash库
    pip安装使用镜像网站安装pipinstall-iGeohashhttp://mirrors.aliyun.com/pypi/simple报错：CannotdeterminearchiveformatofC:\Users\Zz\AppData\Local\Temp\pip-req-build-t35bzb_f解决办法：重新安装，添加信任pipinstall-ihttps://pypi.tuna.t
  • 交换两个数组使两个数组和的差最小 橙姜
    https://www.cnblogs.com/nanduo/archive/2009/06/29/1513035.html
  • Hive-3.1.2安装部署 ggnff
    Hive-3.1.2安装部署一Hive-3.1.2网盘下载：链接：https://pan.baidu.com/s/1c8L3ygVae2kSN-ue8RZNtQ提取码：chjs1.下载完成后，上传到Linux的/opt/module下2.解压并重命名为hivecd/opt/moduletar-zxvfapache-hive-3.1.2-bin.tar.gzmvapache-hive-3.1.2-b
  • 大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置 Xiaoyeforever hivemysqlhivehadoop数据库
    一、Hive3.0.0安装配置:(Hive3.1.2有BUG）hadoop3.1.2Hive各个版本下载地址：http://archive.apache.org/dist/hive/，这里我们下载hive3.0.01、解压：tar-xzvfapache-hive-3.0.0-bin.tar.gz-C/usr/lib/JDK_2021cd/usr/lib/JDK_20212.改名称.将解压以后的文件
  • 数据写入因为汉字引发的异常 qq_40841339 sparkhadoophivehivehadoop数据仓库
    spark数据写hive表，发生查询分区异常问题异常：251071241926.49ERRORHive:MelaException(message.Exceptionthrownwhenexeculingquey.SELECTDISTINCT‘orgapache.hadop.hivemelastore.modelMpartionAs"NUCLEUSTYPE,AONCREATETIME,AO.LAS
  • 大数据编程基础 芝麻开门-新的起点 大数据大数据
    3.1Java基础（重点）内容讲解Java是大数据领域最重要的编程语言之一。Hadoop、HBase、Elasticsearch等众多核心框架都是用Java开发的。因此，扎实的Java基础对于深入理解这些框架的底层原理和进行二次开发至关重要。为什么Java在大数据领域如此重要？生态系统：Hadoop生态系统原生就是Java构建的，使用Java进行开发可以无缝集成。跨平台性：Java的“一次编译，到
  • 深入解析HBase如何保证强一致性：WAL日志与MVCC机制 码字的字节 hadoop布道师hadoopHBaseWALMVCC
    HBase强一致性的重要性在分布式数据库系统中，强一致性是确保数据可靠性和系统可信度的核心支柱。作为Hadoop生态系统中关键的列式存储数据库，HBase需要处理金融交易、实时风控等高敏感场景下的海量数据操作，这使得强一致性成为其设计架构中不可妥协的基础特性。分布式环境下的数据一致性挑战在典型的HBase部署环境中，数据被分散存储在多个RegionServer节点上，同时面临以下核心挑战：1.跨节
  • Hadoop中MapReduce和Yarn相关内容详解
    接上一章写的HDFS说，Hadoop是一个适合海量数据的分布式存储和分布式计算的一个平台，上一章介绍了分布式存储，这一章介绍一下分布式计算——MapReduce。一、MapReduce设计理念map——>映射Reduce——>归纳mapreduce是一种必须构建在hadoop之上的大数据离线计算框架。因为mapreduce是给予磁盘IO来计算存储文件的，所以它具有一定的延时性，因此一般用来处理离线
  • Quazip库：一站式C++压缩文件处理方案 Mr.Poker
    本文还有配套的精品资源，点击获取简介：Quazip是一个开源的C++库，能够方便地处理ZIP和7Z格式的压缩文件，提供了易于使用的API。它集成了zlib和libarchive库，支持多平台运行，如Linux、Windows和macOS。预编译的源码和库文件允许开发者无需自行编译即可直接集成到项目中。该库的特性包括简洁的API设计、丰富的功能支持、健壮的错误处理机制、性能优化、以及源码的可用性和可
  • 【亲测免费】 官方Kettle最新8.2版本下载介绍 岑婵泉Polly
    官方Kettle最新8.2版本下载介绍【下载地址】官方Kettle最新8.2版本下载介绍Kettle是一款功能强大的开源ETL工具，专为数据抽取、转换和加载而设计。它由纯Java编写，支持跨平台操作，适用于Windows、Linux和Unix系统。Kettle以其高效稳定的数据处理能力，成为数据工程师的首选工具。它的中文名“水壶”寓意将各种数据汇聚并按照指定格式输出，广泛应用于数据仓库建设和数据清
  • 数据空间技术在智慧水库管理平台中的赋能 小赖同学啊 testTechnologyPrecious物联网
    数据空间技术在智慧水库管理平台中的赋能：设备到应用的数据传输优化数据空间技术为智慧水库管理平台提供了革命性的数据传输、处理和安全保障能力。以下是数据空间技术在设备到应用数据传输过程中的全面赋能方案：数据空间赋能架构设计中心层区域层设备层数据预处理边缘计算本地决策协议转换数据聚合安全传输元数据管理数据治理访问控制数据服务长期存储业务应用系统数据分析平台数据仓库区域数据空间网关中心数据空间平台边缘数据
  • 阿里云MaxCompute SQL与Apache Hive区别面面观 大模型大数据攻城狮 阿里云odpssql物化maxcomputeudf开发sql语法
    目录1.引爆开场：MaxCompute和Hive，谁才是大数据SQL的王者？2.架构大比拼：从Hadoop到Serverless的进化之路Hive的架构：老派但经典MaxCompute的架构：云原生新贵3.SQL语法的微妙差异：90%相似，10%决定胜负建表语句分区与分桶函数与UDF4.执行引擎的较量：MapReducevs飞天引擎Hive的MapReduce执行流程MaxCompute的飞天引擎
  • 用MiddleGenIDE工具生成hibernate的POJO（根据数据表生成POJO类） AdyZhang POJOeclipseHibernateMiddleGenIDE
    推荐:MiddlegenIDE插件,   是一个Eclipse   插件.     用它可以直接连接到数据库,   根据表按照一定的HIBERNATE规则作出BEAN和对应的XML ，用完后你可以手动删除它加载的JAR包和XML文件!     今天开始试着使用
  • .9.png Cb123456 android
      “点九”是andriod平台的应用软件开发里的一种特殊的图片形式，文件扩展名为：.9.png 　　智能手机中有自动横屏的功能,同一幅界面会在随着手机(或平板电脑)中的方向传感器的参数不同而改变显示的方向,在界面改变方向后,界面上的图形会因为长宽的变化而产生拉伸,造成图形的失真变形。 　　我们都知道android平台有多种不同的分辨率，很多控件的切图文件在被放大拉伸后，边
  • 算法的效率 天子之骄 算法效率复杂度最坏情况运行时间大O阶平均情况运行时间
    算法的效率 效率是速度和空间消耗的度量。集中考虑程序的速度，也称运行时间或执行时间，用复杂度的阶(O)这一标准来衡量。空间的消耗或需求也可以用大O表示，而且它总是小于或等于时间需求。   以下是我的学习笔记：   1.求值与霍纳法则，即为秦九韶公式。   2.测定运行时间的最可靠方法是计数对运行时间有贡献的基本操作的执行次数。运行时间与这个计数成正比。
  • java数据结构 何必如此 java数据结构
    Java 数据结构 Java工具包提供了强大的数据结构。在Java中的数据结构主要包括以下几种接口和类： 枚举（Enumeration） 位集合（BitSet） 向量（Vector） 栈（Stack） 字典（Dictionary） 哈希表（Hashtable） 属性（Properties） 以上这些类是传统遗留的，在Java2中引入了一种新的框架-集合框架(Collect
  • MybatisHelloWorld 3213213333332132
    //测试入口TestMyBatis package com.base.helloworld.test; import java.io.IOException; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSession; import org.apache.ibat
  • Java|urlrewrite|URL重写|多个参数 7454103 javaxmlWeb工作
     个人工作经验！ 如有不当之处，敬请指点 1.0  web -info 目录下建立     urlrewrite.xml  文件 类似如下： <?xml version="1.0" encoding="UTF-8" ?>   <!DOCTYPE u
  • 达梦数据库+ibatis darkranger sqlmysqlibatisSQL Server
    --插入数据方面 如果您需要数据库自增... 那么在插入的时候不需要指定自增列. 如果想自己指定ID列的值, 那么要设置 set identity_insert  数据库名.模式名.表名; ----然后插入数据; example: create table zhabei.test( id bigint identity(1,1) primary key, nam
  • XML 解析 四种方式 aijuans android
    XML现在已经成为一种通用的数据交换格式,平台的无关性使得很多场合都需要用到XML。本文将详细介绍用Java解析XML的四种方法。 XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术文献,这里面包括的内容有DOM(Document Object
  • spring中配置文件占位符的使用 avords
    1.类 <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.o
  • 前端工程化-公共模块的依赖和常用的工作流 bee1314 webpack
    题记： 一个人的项目，还有工程化的问题嘛？   我们在推进模块化和组件化的过程中，肯定会不断的沉淀出我们项目的模块和组件。对于这些沉淀出的模块和组件怎么管理？另外怎么依赖也是个问题？ 你真的想这样嘛？   var BreadCrumb = require(‘../../../../uikit/breadcrumb’); //真心ugly。  
  • 上司说「看你每天准时下班就知道你工作量不饱和」，该如何回应？ bijian1013 项目管理沟通IT职业规划
    问题：上司说「看你每天准时下班就知道你工作量不饱和」，如何回应         正常下班时间6点，只要是6点半前下班的，上司都认为没有加班。   Eno-Bea回答，注重感受，不一定是别人的         虽然我不知道你具体从事什么工作与职业，但是我大概猜测，你是从事一项不太容易出现阶段性成果的工作
  • TortoiseSVN，过滤文件 征客丶 SVN
    环境： TortoiseSVN 1.8 配置： 在文件夹空白处右键 选择  TortoiseSVN -> Settings 在 Global ignote pattern 中添加要过滤的文件： 多类型用英文空格分开 *name ： 过滤所有名称为 name 的文件或文件夹 *.name ： 过滤所有后缀为 name 的文件或文件夹 --------
  • 【Flume二】HDFS sink细说 bit1129 Flume
    1. Flume配置   a1.sources=r1 a1.channels=c1 a1.sinks=k1 ###Flume负责启动44444端口 a1.sources.r1.type=avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 a1.sources.r1.chan
  • The Eight Myths of Erlang Performance bookjovi erlang
    erlang有一篇guide很有意思： http://www.erlang.org/doc/efficiency_guide 里面有个The Eight Myths of Erlang Performance： http://www.erlang.org/doc/efficiency_guide/myths.html   Myth: Funs are sl
  • java多线程网络传输文件(非同步)-2008-08-17 ljy325 java多线程socket
    利用 Socket 套接字进行面向连接通信的编程。客户端读取本地文件并发送；服务器接收文件并保存到本地文件系统中。 使用说明:请将TransferClient, TransferServer, TempFile三个类编译，他们的类包是FileServer. 客户端: 修改TransferClient: serPort, serIP, filePath, blockNum,的值来符合您机器的系
  • 读《研磨设计模式》-代码笔记-模板方法模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet;
  • 配置心得 chenyu19891124 配置
    时间就这样不知不觉的走过了一个春夏秋冬，转眼间来公司已经一年了，感觉时间过的很快，时间老人总是这样不停走，从来没停歇过。 作为一名新手的配置管理员，刚开始真的是对配置管理是一点不懂，就只听说咱们公司配置主要是负责升级，而具体该怎么做却一点都不了解。经过老员工的一点点讲解，慢慢的对配置有了初步了解，对自己所在的岗位也慢慢的了解。 做了一年的配置管理给自总结下： 1.改变 从一个以前对配置毫无
  • 对“带条件选择的并行汇聚路由问题”的再思考 comsci 算法工作软件测试嵌入式领域模型
    2008年上半年，我在设计并开发基于”JWFD流程系统“的商业化改进型引擎的时候，由于采用了新的嵌入式公式模块而导致出现“带条件选择的并行汇聚路由问题”(请参考2009-02-27博文)，当时对这个问题的解决办法是采用基于拓扑结构的处理思想，对汇聚点的实际前驱分支节点通过算法预测出来，然后进行处理，简单的说就是找到造成这个汇聚模型的分支起点，对这个起始分支节点实际走的路径数进行计算，然后把这个实际
  • Oracle 10g 的clusterware 32位 下载地址 daizj oracle
    Oracle 10g 的clusterware 32位 下载地址 http://pan.baidu.com/share/link?shareid=531580&uk=421021908 http://pan.baidu.com/share/link?shareid=137223&uk=321552738 http://pan.baidu.com/share/l
  • 非常好的介绍：Linux定时执行工具cron dongwei_6688 linux
    Linux经过十多年的发展，很多用户都很了解Linux了，这里介绍一下Linux下cron的理解，和大家讨论讨论。cron是一个Linux 定时执行工具，可以在无需人工干预的情况下运行作业，本文档不讲cron实现原理，主要讲一下Linux定时执行工具cron的具体使用及简单介绍。 新增调度任务推荐使用crontab -e命令添加自定义的任务（编辑的是/var/spool/cron下对应用户的cr
  • Yii assets目录生成及修改 dcj3sjt126com yii
    assets的作用是方便模块化，插件化的，一般来说出于安全原因不允许通过url访问protected下面的文件，但是我们又希望将module单独出来，所以需要使用发布，即将一个目录下的文件复制一份到assets下面方便通过url访问。 assets设置对应的方法位置 \framework\web\CAssetManager.php   assets配置方法 在m
  • mac工作软件推荐 dcj3sjt126com mac
    mac上的Terminal + bash ＋ screen组合现在已经非常好用了，但是还是经不起iterm＋zsh＋tmux的冲击。在同事的强烈推荐下，趁着升级mac系统的机会，顺便也切换到iterm＋zsh＋tmux的环境下了。 我为什么要要iterm2 切换过来也是脑袋一热的冲动，我也调查过一些资料，看了下iterm的一些优点： * 兼容性好，远程服务器 vi 什么的低版本能很好兼
  • Memcached(三)、封装Memcached和Ehcache frank1234 memcachedehcachespring ioc
    本文对Ehcache和Memcached进行了简单的封装，这样对于客户端程序无需了解ehcache和memcached的差异，仅需要配置缓存的Provider类就可以在二者之间进行切换，Provider实现类通过Spring IoC注入。 cache.xml <?xml version="1.0" encoding="UTF-8"?>
  • Remove Duplicates from Sorted List II hcx2013 remove
    Given a sorted linked list, delete all nodes that have duplicate numbers, leaving only distinct numbers from the original list. For example,Given 1->2->3->3->4->4->5,
  • Spring4新特性——注解、脚本、任务、MVC等其他特性改进 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • MySQL安装文档 liyong0802 mysql
      工作中用到的MySQL可能安装在两种操作系统中，即Windows系统和Linux系统。以Linux系统中情况居多。   安装在Windows系统时与其它Windows应用程序相同按照安装向导一直下一步就即，这里就不具体介绍，本文档只介绍Linux系统下MySQL的安装步骤。   Linux系统下安装MySQL分为三种：RPM包安装、二进制包安装和源码包安装。二
  • 使用VS2010构建HotSpot工程 p2p2500 HotSpotOpenJDKVS2010
    1. 下载OpenJDK7的源码：      http://download.java.net/openjdk/jdk7      http://download.java.net/openjdk/      2. 环境配置     ▶
  • Oracle实用功能之分组后列合并 seandeng888 oracle分组实用功能合并
    1       实例解析 由于业务需求需要对表中的数据进行分组后进行合并的处理，鉴于Oracle10g没有现成的函数实现该功能，且该功能如若用JAVA代码实现会比较复杂，因此，特将SQL语言的实现方式分享出来，希望对大家有所帮助。如下： 表test 数据如下： ID,SUBJECTCODE,DIMCODE,VALUE 1&nbs
  • Java定时任务注解方式实现 tuoni javaspringjvmxmljni
    Spring 注解的定时任务，有如下两种方式： 第一种： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"  xmlns:xsi="http
  • 11大Java开源中文分词器的使用方法和分词效果对比 yangshangchuan word分词器ansj分词器Stanford分词器FudanNLP分词器HanLP分词器
    本文的目标有两个： 1、学会使用11大Java开源中文分词器 2、对比分析11大Java开源中文分词器的分词效果 本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口： /** * 获取文本的所有分词结果, 对比