daizj
daizj

Hive分析窗口函数 LAG,LEAD,FIRST_VALUE,LAST_VALUE

问题导读

1.LAG功能是什么？
2.LEAD与LAG功能有什么相似的地方那个？
3.FIRST_VALUE与LAST_VALUE分别完成什么功能？





接上篇Hive分析窗口函数(二、三) NTILE,ROW_NUMBER,RANK,DENSE_RANK

继续学习这四个分析函数。
注意： 这几个函数不支持WINDOW子句。（什么是WINDOW子句， Hive分析窗口函数（一）SUM,AVG,MIN,MAx）

Hive版本为 apache-hive-0.13.1
数据准备：

  1. cookie1,2015-04-10 10:00:02,url2
  2. cookie1,2015-04-10 10:00:00,url1
  3. cookie1,2015-04-10 10:03:04,1url3
  4. cookie1,2015-04-10 10:50:05,url6
  5. cookie1,2015-04-10 11:00:00,url7
  6. cookie1,2015-04-10 10:10:00,url4
  7. cookie1,2015-04-10 10:50:01,url5
  8. cookie2,2015-04-10 10:00:02,url22
  9. cookie2,2015-04-10 10:00:00,url11
  10. cookie2,2015-04-10 10:03:04,1url33
  11. cookie2,2015-04-10 10:50:05,url66
  12. cookie2,2015-04-10 11:00:00,url77
  13. cookie2,2015-04-10 10:10:00,url44
  14. cookie2,2015-04-10 10:50:01,url55
  15. CREATE EXTERNAL TABLE lxw1234 (
  16. cookieid string,
  17. createtime string,  --页面访问时间
  18. url STRING       --被访问页面
  19. ) ROW FORMAT DELIMITED 
  20. FIELDS TERMINATED BY ',' 
  21. stored as textfile location '/tmp/lxw11/';
  22. hive> select * from lxw1234;
  23. OK
  24. cookie1 2015-04-10 10:00:02     url2
  25. cookie1 2015-04-10 10:00:00     url1
  26. cookie1 2015-04-10 10:03:04     1url3
  27. cookie1 2015-04-10 10:50:05     url6
  28. cookie1 2015-04-10 11:00:00     url7
  29. cookie1 2015-04-10 10:10:00     url4
  30. cookie1 2015-04-10 10:50:01     url5
  31. cookie2 2015-04-10 10:00:02     url22
  32. cookie2 2015-04-10 10:00:00     url11
  33. cookie2 2015-04-10 10:03:04     1url33
  34. cookie2 2015-04-10 10:50:05     url66
  35. cookie2 2015-04-10 11:00:00     url77
  36. cookie2 2015-04-10 10:10:00     url44
  37. cookie2 2015-04-10 10:50:01     url55
复制代码




LAG

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAG(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS last_1_time,
  6. LAG(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS last_2_time 
  7. FROM lxw1234;
  8. cookieid createtime             url    rn       last_1_time             last_2_time
  9. -------------------------------------------------------------------------------------------
  10. cookie1 2015-04-10 10:00:00     url1    1       1970-01-01 00:00:00     NULL
  11. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:00:00     NULL
  12. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:00:02     2015-04-10 10:00:00
  13. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:03:04     2015-04-10 10:00:02
  14. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:10:00     2015-04-10 10:03:04
  15. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 10:50:01     2015-04-10 10:10:00
  16. cookie1 2015-04-10 11:00:00     url7    7       2015-04-10 10:50:05     2015-04-10 10:50:01
  17. cookie2 2015-04-10 10:00:00     url11   1       1970-01-01 00:00:00     NULL
  18. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:00:00     NULL
  19. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:00:02     2015-04-10 10:00:00
  20. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:03:04     2015-04-10 10:00:02
  21. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:10:00     2015-04-10 10:03:04
  22. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 10:50:01     2015-04-10 10:10:00
  23. cookie2 2015-04-10 11:00:00     url77   7       2015-04-10 10:50:05     2015-04-10 10:50:01
  24. last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
  25.              cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
  26.              cookie1第三行，往上1行值为第二行值，2015-04-10 10:00:02
  27.              cookie1第六行，往上1行值为第五行值，2015-04-10 10:50:01
  28. last_2_time: 指定了往上第2行的值，为指定默认值
  29.                                                  cookie1第一行，往上2行为NULL
  30.                                                  cookie1第二行，往上2行为NULL
  31.                                                  cookie1第四行，往上2行为第二行值，2015-04-10 10:00:02
  32.                                                  cookie1第七行，往上2行为第五行值，2015-04-10 10:50:01
复制代码


LEAD

与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LEAD(createtime,1,'1970-01-01 00:00:00') OVER(PARTITION BY cookieid ORDER BY createtime) AS next_1_time,
  6. LEAD(createtime,2) OVER(PARTITION BY cookieid ORDER BY createtime) AS next_2_time 
  7. FROM lxw1234;
  8. cookieid createtime             url    rn       next_1_time             next_2_time 
  9. -------------------------------------------------------------------------------------------
  10. cookie1 2015-04-10 10:00:00     url1    1       2015-04-10 10:00:02     2015-04-10 10:03:04
  11. cookie1 2015-04-10 10:00:02     url2    2       2015-04-10 10:03:04     2015-04-10 10:10:00
  12. cookie1 2015-04-10 10:03:04     1url3   3       2015-04-10 10:10:00     2015-04-10 10:50:01
  13. cookie1 2015-04-10 10:10:00     url4    4       2015-04-10 10:50:01     2015-04-10 10:50:05
  14. cookie1 2015-04-10 10:50:01     url5    5       2015-04-10 10:50:05     2015-04-10 11:00:00
  15. cookie1 2015-04-10 10:50:05     url6    6       2015-04-10 11:00:00     NULL
  16. cookie1 2015-04-10 11:00:00     url7    7       1970-01-01 00:00:00     NULL
  17. cookie2 2015-04-10 10:00:00     url11   1       2015-04-10 10:00:02     2015-04-10 10:03:04
  18. cookie2 2015-04-10 10:00:02     url22   2       2015-04-10 10:03:04     2015-04-10 10:10:00
  19. cookie2 2015-04-10 10:03:04     1url33  3       2015-04-10 10:10:00     2015-04-10 10:50:01
  20. cookie2 2015-04-10 10:10:00     url44   4       2015-04-10 10:50:01     2015-04-10 10:50:05
  21. cookie2 2015-04-10 10:50:01     url55   5       2015-04-10 10:50:05     2015-04-10 11:00:00
  22. cookie2 2015-04-10 10:50:05     url66   6       2015-04-10 11:00:00     NULL
  23. cookie2 2015-04-10 11:00:00     url77   7       1970-01-01 00:00:00     NULL
  24. --逻辑与LAG一样，只不过LAG是往上，LEAD是往下。
复制代码



FIRST_VALUE

取分组内排序后，截止到当前行，第一个值

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS first1 
  6. FROM lxw1234;
  7. cookieid  createtime            url     rn      first1
  8. ---------------------------------------------------------
  9. cookie1 2015-04-10 10:00:00     url1    1       url1
  10. cookie1 2015-04-10 10:00:02     url2    2       url1
  11. cookie1 2015-04-10 10:03:04     1url3   3       url1
  12. cookie1 2015-04-10 10:10:00     url4    4       url1
  13. cookie1 2015-04-10 10:50:01     url5    5       url1
  14. cookie1 2015-04-10 10:50:05     url6    6       url1
  15. cookie1 2015-04-10 11:00:00     url7    7       url1
  16. cookie2 2015-04-10 10:00:00     url11   1       url11
  17. cookie2 2015-04-10 10:00:02     url22   2       url11
  18. cookie2 2015-04-10 10:03:04     1url33  3       url11
  19. cookie2 2015-04-10 10:10:00     url44   4       url11
  20. cookie2 2015-04-10 10:50:01     url55   5       url11
  21. cookie2 2015-04-10 10:50:05     url66   6       url11
  22. cookie2 2015-04-10 11:00:00     url77   7       url11
复制代码


LAST_VALUE

取分组内排序后，截止到当前行，最后一个值

  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1 
  6. FROM lxw1234;
  7. cookieid  createtime            url    rn       last1  
  8. -----------------------------------------------------------------
  9. cookie1 2015-04-10 10:00:00     url1    1       url1
  10. cookie1 2015-04-10 10:00:02     url2    2       url2
  11. cookie1 2015-04-10 10:03:04     1url3   3       1url3
  12. cookie1 2015-04-10 10:10:00     url4    4       url4
  13. cookie1 2015-04-10 10:50:01     url5    5       url5
  14. cookie1 2015-04-10 10:50:05     url6    6       url6
  15. cookie1 2015-04-10 11:00:00     url7    7       url7
  16. cookie2 2015-04-10 10:00:00     url11   1       url11
  17. cookie2 2015-04-10 10:00:02     url22   2       url22
  18. cookie2 2015-04-10 10:03:04     1url33  3       1url33
  19. cookie2 2015-04-10 10:10:00     url44   4       url44
  20. cookie2 2015-04-10 10:50:01     url55   5       url55
  21. cookie2 2015-04-10 10:50:05     url66   6       url66
  22. cookie2 2015-04-10 11:00:00     url77   7       url77
复制代码

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果
  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. FIRST_VALUE(url) OVER(PARTITION BY cookieid) AS first2  
  5. FROM lxw1234;
  6. cookieid  createtime            url     first2
  7. ----------------------------------------------
  8. cookie1 2015-04-10 10:00:02     url2    url2
  9. cookie1 2015-04-10 10:00:00     url1    url2
  10. cookie1 2015-04-10 10:03:04     1url3   url2
  11. cookie1 2015-04-10 10:50:05     url6    url2
  12. cookie1 2015-04-10 11:00:00     url7    url2
  13. cookie1 2015-04-10 10:10:00     url4    url2
  14. cookie1 2015-04-10 10:50:01     url5    url2
  15. cookie2 2015-04-10 10:00:02     url22   url22
  16. cookie2 2015-04-10 10:00:00     url11   url22
  17. cookie2 2015-04-10 10:03:04     1url33  url22
  18. cookie2 2015-04-10 10:50:05     url66   url22
  19. cookie2 2015-04-10 11:00:00     url77   url22
  20. cookie2 2015-04-10 10:10:00     url44   url22
  21. cookie2 2015-04-10 10:50:01     url55   url22
  22. SELECT cookieid,
  23. createtime,
  24. url,
  25. LAST_VALUE(url) OVER(PARTITION BY cookieid) AS last2  
  26. FROM lxw1234;
  27. cookieid  createtime            url     last2
  28. ----------------------------------------------
  29. cookie1 2015-04-10 10:00:02     url2    url5
  30. cookie1 2015-04-10 10:00:00     url1    url5
  31. cookie1 2015-04-10 10:03:04     1url3   url5
  32. cookie1 2015-04-10 10:50:05     url6    url5
  33. cookie1 2015-04-10 11:00:00     url7    url5
  34. cookie1 2015-04-10 10:10:00     url4    url5
  35. cookie1 2015-04-10 10:50:01     url5    url5
  36. cookie2 2015-04-10 10:00:02     url22   url55
  37. cookie2 2015-04-10 10:00:00     url11   url55
  38. cookie2 2015-04-10 10:03:04     1url33  url55
  39. cookie2 2015-04-10 10:50:05     url66   url55
  40. cookie2 2015-04-10 11:00:00     url77   url55
  41. cookie2 2015-04-10 10:10:00     url44   url55
  42. cookie2 2015-04-10 10:50:01     url55   url55
复制代码

如果想要取分组内排序后最后一个值，则需要变通一下：
  1. SELECT cookieid,
  2. createtime,
  3. url,
  4. ROW_NUMBER() OVER(PARTITION BY cookieid ORDER BY createtime) AS rn,
  5. LAST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime) AS last1,
  6. FIRST_VALUE(url) OVER(PARTITION BY cookieid ORDER BY createtime DESC) AS last2 
  7. FROM lxw1234 
  8. ORDER BY cookieid,createtime;
  9. cookieid  createtime            url     rn     last1    last2
  10. -------------------------------------------------------------
  11. cookie1 2015-04-10 10:00:00     url1    1       url1    url7
  12. cookie1 2015-04-10 10:00:02     url2    2       url2    url7
  13. cookie1 2015-04-10 10:03:04     1url3   3       1url3   url7
  14. cookie1 2015-04-10 10:10:00     url4    4       url4    url7
  15. cookie1 2015-04-10 10:50:01     url5    5       url5    url7
  16. cookie1 2015-04-10 10:50:05     url6    6       url6    url7
  17. cookie1 2015-04-10 11:00:00     url7    7       url7    url7
  18. cookie2 2015-04-10 10:00:00     url11   1       url11   url77
  19. cookie2 2015-04-10 10:00:02     url22   2       url22   url77
  20. cookie2 2015-04-10 10:03:04     1url33  3       1url33  url77
  21. cookie2 2015-04-10 10:10:00     url44   4       url44   url77
  22. cookie2 2015-04-10 10:50:01     url55   5       url55   url77
  23. cookie2 2015-04-10 10:50:05     url66   6       url66   url77
  24. cookie2 2015-04-10 11:00:00     url77   7       url77   url77
复制代码


提示：在使用分析函数的过程中，要特别注意ORDER BY子句，用的不恰当，统计出的结果就不是你所期望的

 

 

本文转自：http://www.aboutyun.com/thread-12848-1-1.html

你可能感兴趣的:(hive,FIRST_VALUE,lag,lead,last_value)

  • centos7安装配置 Anaconda3
    Anaconda是一个用于科学计算的Python发行版,Anaconda于Python，相当于centos于linux。下载[root@testsrc]#mwgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.2.0-Linux-x86_64.shBegintodownload:Anaconda3-5.2.0-L
  • C 语言实例 - 判断素数 智慧浩海 C语言c语言算法开发语言
    质数（primenumber）又称素数，有无限个。质数定义为在大于1的自然数中，除了1和它本身以外不再有其他因数，这样的数称为质数。实例#includeintmain(){intn,i,flag=0;printf("输入一个正整数:");scanf("%d",&n);for(i=2;iintmain(){intlow,high,i,flag;printf("输入两个整数:");scanf("%d%
  • Ubuntu安装LAMP L_h1 测试ubuntulinux
    在安装vim时遇到了一个问题：E:无法获得锁/var/lib/dpkg/lock-frontend-open(11:资源暂时不可用)E:无法获取dpkg前端锁(/var/lib/dpkg/lock-frontend)，是否有其他进程正占用它？解决办法：强制解锁sudorm/var/lib/dpkg/lock-frontendsudorm/var/cache/apt/archives/locksud
  • vue2中实现leader-line-vue连线文章对应字符 小莉爱编程 vuebug记录vue.js前端javascript
    效果展示通过点击右边的tag，触发连接操作第一步：获取右边tag展示1.右边的tag列表展示，我这边是分为两个list嵌套的数据结构；{"人员":[{
  • Python 网络科学（三） 绝不原创的飞龙 默认分类默认分类
    原文：annas-archive.org/md5/3df7c5feb0bf40d7b9d88197a04b0b37译者：飞龙协议：CCBY-NC-SA4.0第八章：自我中心网络分析前一章内容非常丰富，我们学习了如何可视化和分析整个网络。相比之下，本章应该会感觉更简单，内容也会少得多。在之前的章节中，我们学习了如何获取和创建网络数据，如何从网络数据构建图形，如何清理图形数据，以及如何做一些有趣的事情
  • 精通 Tableau 2023（四） 绝不原创的飞龙 默认分类默认分类
    原文：annas-archive.org/md5/dd6efaef313fee7252226d3af4a0b9fd译者：飞龙协议：CCBY-NC-SA4.0第十三章：提升性能一旦人们熟悉了Tableau的功能，他们很快就会遇到另一种类型的问题：性能。你们可能都曾经在屏幕上盯着加载数据或执行查询的字样发呆。但别担心，我们有办法！如果设计得当，Tableau仪表盘即使处理大量数据也能表现得非常好。本章
  • Hive使用必知必会系列 王知无(import_bigdata) Hive系统性学习专栏hivebigdatahdfs
    一、Hive的几种数据模型内部表(Table将数据保存到Hive自己的数据仓库目录中：/usr/hive/warehouse)外部表(ExternalTable相对于内部表，数据不在自己的数据仓库中，只保存数据的元信息)分区表(PartitionTable将数据按照设定的条件分开存储，提高查询效率，分区----->目录)桶表(BucketTable本质上也是一种分区表，类似hash分区桶---->
  • Consul 与 Hive：云原生数据仓库集成 AI云原生与云计算技术学院 AI云原生与云计算数据仓库consulhiveai
    Consul与Hive：云原生数据仓库集成关键词：Consul、Hive、云原生、数据仓库集成、服务发现摘要：本文深入探讨了Consul与Hive在云原生环境下的数据仓库集成。首先介绍了集成的背景和相关概念，包括Consul的服务发现机制和Hive作为数据仓库的特点。接着详细阐述了核心概念及联系，通过文本示意图和Mermaid流程图展示其架构。对集成所涉及的核心算法原理进行了讲解，并给出Pytho
  • Hive详解
    一：Hive的历史价值1，Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎，所以在现在企业级应用中SparkSQL+Hive成为了业界使用大数据最为高效和流行的趋势。2，Hive是Facebook的推出，主要是为了让不动Java代码编程的人员也能
  • Hive与Hudi集成：增量大数据处理方案 AI大数据智能洞察 大数据与AI人工智能大数据AI应用hivehadoop数据仓库ai
    Hive与Hudi集成：增量大数据处理方案关键词：Hive、Hudi、增量大数据处理、数据集成、数据湖摘要：本文主要探讨了Hive与Hudi集成的增量大数据处理方案。我们将深入了解Hive和Hudi的核心概念，剖析它们之间的关系，详细阐述集成的算法原理与操作步骤，通过实际项目案例展示如何进行开发环境搭建、代码实现与解读。同时，会介绍该集成方案的实际应用场景、相关工具和资源，探讨未来发展趋势与挑战。
  • C语言判断一个数是否是素数（三种方法） CHEN5_02 c语言算法开发语言
    首先先了解什么是素数素数（质数）：质数是指在大于1的自然数中，除了1和它本身以外不再有其他因数的自然数。简单来说就是这个数只能被1和它本身整除方法一：从2到n-1遍历判断是否存在能使其整除的数，若存在则不是素数。代码实现：下面展示一些内联代码片。#includeintmain(){intn;printf("请输入一个数：");scanf("%d",&n);intflag=1;//定义一个标记fla
  • LEADTOOLS 将一维和条形码读取图像 - Windows C DLL sdk大全 LEADTOOLS23windowsc语言开发语言
    将一维和条形码读取图像-WindowsCDLL本教程介绍如何使用WindowsCDLL应用程序中的LEADTOOLSSDK在加载的图像上写入一维和二维条形码信息。概述概括本教程介绍如何L_BarCodeWrite在WindowsCDLL应用程序中使用该函数。完成时间30分钟VisualStudio项目下载教程项目(19KB)平台WindowsCDLL应用程序集成开发环境VisualStudio20
  • OpenCV读取视频帧卡死的BUG修复 henysugar opencv音视频bug
    OpenCV读取指定视频文件如果异常的时候，会卡死一直不退出，问题是卡在CvCapture_MSMF::grabVideoFrame函数内，跟了一下，发现有个判断有点问题，其下面的源码：while(!stopFlag)  {    for(;;)    {      CV_TRACE_REGION("ReadSample");      if(!SUCCEEDED(hr=videoFileSour
  • CTF-Web学习笔记：SQL注入篇 编程到天明 CTFsql网络安全
    目录引言一、SQL注入的基础概念1.什么是SQL注入？2.SQL注入的成因二、CTF中常见的SQL注入类型1.按参数类型分类2.按注入方式分类3.其他进阶类型三、CTF实战技巧：从找注入点到拿Flag1.如何判断是否存在注入？2.快速确定数据库类型3.常用工具辅助4.绕过WAF（Web应用防火墙）四、CTF题目示例：一道报错注入实战题目背景解题步骤五、总结与提升引言在CTF（CaptureTheF
  • 【自动化运维神器Ansible】Ansible常用模块之archive模块详解 IT成长日记 Ansible自动化运维指南自动化运维技术探索运维自动化ansiblearchive常用模块
    目录1Ansiblearchive模块概述1.1archive模块的核心功能1.2为什么需要archive模块2archive模块工作原理3archive模块参数详解3.1必需参数：path3.2常用可选参数3.2.1dest3.2.2format3.2.3exclude3.3高级参数3.3.1remove3.3.2owner/group/mode4archive模块使用场景与示例4.1基础使用场
  • Hive建表时开启事务机制导致insert失败: This command is not allowed on an ACID table.. with a non-ACID transaction 智海观潮 大数据Hivehive大数据
    建表语句：createtableA(table_codestring,data_dtstring,update_dtstring)clusteredby(table_code)into1bucketsrowformatdelimitedfieldsterminatedby'\033'storedasorc--orc格式tablproperties('transactional'='true');执
  • 面向现代数据湖仓的开放表格式对比分析：Iceberg、Hudi、Delta Lake与Paimon piekill 大数据平台大数据sparkflinkbigdata数据仓库
    文章目录第一章数据湖的演进：从存储到事务型平台1.1前湖仓时代：ApacheHive的局限性1.2湖仓一体的范式转移第二章架构深度剖析2.1ApacheIceberg：以元数据为中心的设计2.2ApacheHudi：流式优先、时间轴驱动的架构2.3DeltaLake：以事务日志为唯一真相源2.4ApachePaimon：面向实时湖仓的LSM树架构第三章核心能力对比分析3.1事务性与并发控制3.2数
  • Keil4 函数形参和实参不匹配导致的bug lljss2020 #Keilbug
    形参是uint8_t型，而实参是uint32_t时，编译不会出现提示。随着程序的执行，实参实际值大于uint8_t时就会出错，这个问题比较隐蔽。uint8_tcheck(uint8_tflag){if(flag){return1;}else{return0;}}
  • kafka的ISR机制详解 inori1256 kafka分布式
    Kafka的ISR机制ISR（In-SyncReplicas同步副本集）机制是一种用于确保数据可靠性和一致性的重要机制。一、ISR的定义ISR是指与Kafka分区中的Leader副本保持同步的Follower副本集合。这些副本已经复制了Leader副本的所有数据，并且它们的落后时间在一定范围内，因此被认为是可靠的、可以用于故障转移和数据恢复的副本。二、ISR的作用数据复制：当消息被写入Kafka的
  • 【自动化运维神器Ansible】Ansible常用模块之unarchive模块详解
    目录1unarchive模块概述1.1unarchive模块的核心价值2unarchive模块工作原理3unarchive模块参数详解3.1源文件相关参数3.1.1src3.1.2remote_src3.2目标路径参数3.2.1dest3.2.2extra_opts3.3高级控制参数3.3.1keep_newer3.3.2validate_certs4unarchive模块使用场景与示例4.1基础
  • 2023-09-07 苍鹿
    flag:记录生活每一天，不虚度光阴1.爱自己，好好生活。2.朝着目标努力，脚踏实地，一步一步来3.苟日新，日日新。珍惜每一天，4、成为一个有能力的人，凡事多看自己。相信是问题就一定有解决的办法的，自己的能力最重要新手机到了，开心！安装了应用，试了一下，真心挺好的。继续加油！！！
  • 【免费下载】 探索PlantVillage-Dataset：深度学习在植物病害检测中的革命性突破
    探索PlantVillage-Dataset：深度学习在植物病害检测中的革命性突破在这个数字化时代，人工智能正逐步改变我们的生活，其中深度学习在农业领域的应用尤其引人注目。PlantVillage-Dataset是一个开放源代码的项目，它提供了一个庞大的植物病害识别数据集，旨在帮助开发人员和研究者利用机器学习技术改善农作物健康状况的监测。本文将深入探讨该项目的技术细节、应用价值及其独特之处。项目简
  • MySQL 对text类型字段添加索引 写bug的羊羊 MySQLmysql数据库
    对于MySQL中的text类型字段，可以通过以下步骤向其添加索引：创建辅助字段：创建一个辅助字段，将该字段的一部分数据转移到辅助字段中。例如，可以创建一个varchar类型的字段来存储text字段的前缀。添加索引：对于辅助字段，可以使用普通的索引来加速查询操作。使用ALTERTABLE语句来添加索引，例如：ALTERTABLEyour_tableADDINDEXindex_name(auxilia
  • RK3568笔记九十一：QT环境搭建 殷忆枫 RK3568学习笔记笔记
    若该文为原创文章，转载请注明原文出处。记录按照正点原子给的手册搭建QT环境参考《09【正点原子】ATK-DLRK3568_Qt开发环境搭建V1.2.pdf》一、安装1、下载https://mirrors.sau.edu.cn/qt/archive/online_installers/4.6/qt-unified-linux-x64-4.6.0-online.run2、赋予可执行权限chmod+xq
  • Python 使用期物处理并发(显示下载进度并处理错误)
    显示下载进度并处理错误前面说过，17.1节中的几个脚本没有处理错误，这样做是为了便于阅读和比较三种方案（依序、多线程和异步）的结构。为了处理各种错误，我创建了flags2系列示例。flags2_common.py这个模块中包含所有flags2示例通用的函数和设置，例如main函数，负责解析命令行参数、计时和报告结果。这个脚本中的代码其实是提供支持的，与本章的话题没有直接关系，因此我把源码放在附录A
  • 走进小学校园倒计时两天 静缄生
    我不紧张快要实习了，我紧张我9号的考试，然鹅我书都没好好看。想喊口号，想立flag，想做计划表，但是我知道我可能明天早上照样听不到七点的闹钟，照样会醒来就扣手机，照样不知不觉就11点该去打水买饭吃了，照样吃完饭继续扣手机扣到下午六点半，照样无所事事一天……天天看的东西贼少，跟闹着玩儿似的，为啥考试费用不能跟火车票一样可以退啊！自制力太差，以后怎么教小学生，怎么给学生做榜样？这个开头有点丧啊，这可不
  • Silvaco TCAD仿真学习Lesson1——Atlas仿真 Brain_HQ mesh云原生unity
    今天学习了SilvacoTCAD的第一节课，大概了解了仿真的基本流程，以MOS为例，来和大家分享啦~分享如下：第一步：设计结构（有了结构模型，才能在上面进行模拟呐。）goatlassimflags="-P3"#使用atlas工具，simflags="-P3"表示使用3颗CPU执行仿真计算meshwidth=1#这个就是设置网格基准，默认为1就ok#下面是设置网格mesh，坐标单位默认是微米(um)
  • 有效的域名后缀列表 djph26741 数据库shelljava
    #Version2016060300,LastUpdatedFriJun307:07:012016UTCAAAAARPABBABBOTTABBVIEABOGADOABUDHABIACACADEMYACCENTUREACCOUNTANTACCOUNTANTSACOACTIVEACTORADADACADSADULTAEAEGAEROAETNAAFAFLAGAGAKHANAGENCYAIAIGAIRFO
  • 在python中安装geohash库
    pip安装使用镜像网站安装pipinstall-iGeohashhttp://mirrors.aliyun.com/pypi/simple报错：CannotdeterminearchiveformatofC:\Users\Zz\AppData\Local\Temp\pip-req-build-t35bzb_f解决办法：重新安装，添加信任pipinstall-ihttps://pypi.tuna.t
  • 交换两个数组使两个数组和的差最小 橙姜
    https://www.cnblogs.com/nanduo/archive/2009/06/29/1513035.html
  • Spring的注解积累 yijiesuifeng spring注解
    用注解来向Spring容器注册Bean。   需要在applicationContext.xml中注册： <context:component-scan base-package=”pagkage1[,pagkage2,…,pagkageN]”/>。 如：在base-package指明一个包    <context:component-sc
  • 传感器 百合不是茶 android传感器
    android传感器的作用主要就是来获取数据,根据得到的数据来触发某种事件   下面就以重力传感器为例;   1,在onCreate中获得传感器服务   private SensorManager sm;// 获得系统的服务 private Sensor sensor;// 创建传感器实例 @Override protected void
  • [光磁与探测]金吕玉衣的意义 comsci
          这是一个古代人的秘密:现在告诉大家       信不信由你们:       穿上金律玉衣的人,如果处于灵魂出窍的状态,可以飞到宇宙中去看星星       这就是为什么古代
  • 精简的反序打印某个数 沐刃青蛟 打印
    以前看到一些让求反序打印某个数的程序。 比如：输入123，输出321。   记得以前是告诉你是几位数的，当时就抓耳挠腮，完全没有思路。   似乎最后是用到%和/方法解决的。   而今突然想到一个简短的方法，就可以实现任意位数的反序打印（但是如果是首位数或者尾位数为0时就没有打印出来了）   代码如下： long num, num1=0;
  • PHP：6种方法获取文件的扩展名 IT独行者 PHP扩展名
      PHP：6种方法获取文件的扩展名   1、字符串查找和截取的方法   1 $extension = substr ( strrchr ( $file ,  '.' ), 1); 2、字符串查找和截取的方法二   1 $extension = substr
  • 面试111 文强chu 面试
    1事务隔离级别有那些 ，事务特性是什么（问到一次） 2 spring aop 如何管理事务的，如何实现的。动态代理如何实现，jdk怎么实现动态代理的，ioc是怎么实现的，spring是单例还是多例，有那些初始化bean的方式，各有什么区别（经常问） 3 struts默认提供了那些拦截器 （一次） 4 过滤器和拦截器的区别 （频率也挺高） 5 final，finally final
  • XML的四种解析方式 小桔子 domjdomdom4jsax
    在平时工作中，难免会遇到把 XML 作为数据存储格式。面对目前种类繁多的解决方案，哪个最适合我们呢？在这篇文章中，我对这四种主流方案做一个不完全评测，仅仅针对遍历 XML 这块来测试，因为遍历 XML 是工作中使用最多的（至少我认为）。 　　预 备 　　测试环境： 　　AMD 毒龙1.4G OC 1.5G、256M DDR333、Windows2000 Server
  • wordpress中常见的操作 aichenglong 中文注册wordpress移除菜单
    1 wordpress中使用中文名注册解决办法   1)使用插件   2)修改wp源代码      进入到wp-include/formatting.php文件中找到       function sanitize_user( $username, $strict = false
  • 小飞飞学管理-1 alafqq 管理
    项目管理的下午题，其实就在提出问题（挑刺），分析问题，解决问题。 今天我随意看下10年上半年的第一题。主要就是项目经理的提拨和培养。 结合我自己经历写下心得 对于公司选拔和培养项目经理的制度有什么毛病呢？ 1，公司考察，选拔项目经理，只关注技术能力，而很少或没有关注管理方面的经验，能力。 2，公司对项目经理缺乏必要的项目管理知识和技能方面的培训。 3，公司对项目经理的工作缺乏进行指
  • IO输入输出部分探讨 百合不是茶 IO
     //文件处理  在处理文件输入输出时要引入java.IO这个包； /* 1，运用File类对文件目录和属性进行操作 2，理解流，理解输入输出流的概念 3，使用字节/符流对文件进行读/写操作 4，了解标准的I/O 5，了解对象序列化 */   //1，运用File类对文件目录和属性进行操作   //在工程中线创建一个text.txt
  • getElementById的用法 bijian1013 element
            getElementById是通过Id来设置/返回HTML标签的属性及调用其事件与方法。用这个方法基本上可以控制页面所有标签，条件很简单，就是给每个标签分配一个ID号。        返回具有指定ID属性值的第一个对象的一个引用。        语法： &n
  • 励志经典语录 bijian1013 励志人生
    经典语录1:   哈佛有一个著名的理论：人的差别在于业余时间，而一个人的命运决定于晚上8点到10点之间。每晚抽出2个小时的时间用来阅读、进修、思考或参加有意的演讲、讨论，你会发现，你的人生正在发生改变，坚持数年之后，成功会向你招手。不要每天抱着QQ/MSN/游戏/电影/肥皂剧……奋斗到12点都舍不得休息，看就看一些励志的影视或者文章，不要当作消遣；学会思考人生，学会感悟人生
  • [MongoDB学习笔记三]MongoDB分片 bit1129 mongodb
    MongoDB的副本集(Replica Set)一方面解决了数据的备份和数据的可靠性问题，另一方面也提升了数据的读写性能。MongoDB分片(Sharding)则解决了数据的扩容问题，MongoDB作为云计算时代的分布式数据库，大容量数据存储，高效并发的数据存取，自动容错等是MongoDB的关键指标。 本篇介绍MongoDB的切片(Sharding)   1.何时需要分片 &nbs
  • 【Spark八十三】BlockManager在Spark中的使用场景 bit1129 manager
    1. Broadcast变量的存储，在HttpBroadcast类中可以知道 2. RDD通过CacheManager存储RDD中的数据，CacheManager也是通过BlockManager进行存储的 3. ShuffleMapTask得到的结果数据，是通过FileShuffleBlockManager进行管理的，而FileShuffleBlockManager最终也是使用BlockMan
  • yum方式部署zabbix ronin47 yum方式部署zabbix
    安装网络yum库#rpm -ivh http://repo.zabbix.com/zabbix/2.4/rhel/6/x86_64/zabbix-release-2.4-1.el6.noarch.rpm 通过yum装mysql和zabbix调用的插件还有agent代理#yum install zabbix-server-mysql zabbix-web-mysql mysql-
  • Hibernate4和MySQL5.5自动创建表失败问题解决方法 byalias J2EEHibernate4
    今天初学Hibernate4，了解了使用Hibernate的过程。大体分为4个步骤： ①创建hibernate.cfg.xml文件 ②创建持久化对象 ③创建*.hbm.xml映射文件 ④编写hibernate相应代码 在第四步中，进行了单元测试，测试预期结果是hibernate自动帮助在数据库中创建数据表，结果JUnit单元测试没有问题，在控制台打印了创建数据表的SQL语句，但在数据库中
  • Netty源码学习-FrameDecoder bylijinnan javanetty
    Netty 3.x的user guide里FrameDecoder的例子，有几个疑问： 1.文档说：FrameDecoder calls decode method with an internally maintained cumulative buffer whenever new data is received. 为什么每次有新数据到达时，都会调用decode方法？ 2.Dec
  • SQL行列转换方法 chicony 行列转换
    create table tb(终端名称 varchar(10) , CEI分值 varchar(10) , 终端数量 int) insert into tb values('三星' , '0-5' , 74) insert into tb values('三星' , '10-15' , 83) insert into tb values('苹果' , '0-5' , 93)
  • 中文编码测试 ctrain 编码
    循环打印转换编码 String[] codes = { "iso-8859-1", "utf-8", "gbk", "unicode" }; for (int i = 0; i < codes.length; i++) { for (int j
  • hive 客户端查询报堆内存溢出解决方法 daizj hive堆内存溢出
    hive> select * from t_test where ds=20150323 limit 2; OK Exception in thread "main" java.lang.OutOfMemoryError: Java heap space   问题原因： hive堆内存默认为256M   这个问题的解决方法为： 修改/us
  • 人有多大懒，才有多大闲 (评论『卓有成效的程序员』) dcj3sjt126com 程序员
      卓有成效的程序员给我的震撼很大，程序员作为特殊的群体，有的人可以这么懒，  懒到事情都交给机器去做 ，而有的人又可以那么勤奋，每天都孜孜不倦得做着重复单调的工作。   在看这本书之前，我属于勤奋的人，而看完这本书以后，我要努力变成懒惰的人。 不要在去庞大的开始菜单里面一项一项搜索自己的应用程序，也不要在自己的桌面上放置眼花缭乱的快捷图标
  • Eclipse简单有用的配置 dcj3sjt126com eclipse
    1、显示行号  Window -- Prefences -- General -- Editors -- Text Editors -- show line numbers   2、代码提示字符 Window ->Perferences，并依次展开 Java -> Editor -> Content Assist，最下面一栏 auto-Activation
  • 在tomcat上面安装solr4.8.0全过程 eksliang Solrsolr4.0后的版本安装solr4.8.0安装
    转载请出自出处： http://eksliang.iteye.com/blog/2096478       首先solr是一个基于java的web的应用，所以安装solr之前必须先安装JDK和tomcat，我这里就先省略安装tomcat和jdk了         第一步：当然是下载去官网上下载最新的solr版本，下载地址
  • Android APP通用型拒绝服务、漏洞分析报告 gg163 漏洞androidAPP分析
    点评：记得曾经有段时间很多SRC平台被刷了大量APP本地拒绝服务漏洞，移动安全团队爱内测（ineice.com）发现了一个安卓客户端的通用型拒绝服务漏洞，来看看他们的详细分析吧。  0xr0ot和Xbalien交流所有可能导致应用拒绝服务的异常类型时，发现了一处通用的本地拒绝服务漏洞。该通用型本地拒绝服务可以造成大面积的app拒绝服务。  针对序列化对象而出现的拒绝服务主要
  • HoverTree项目已经实现分层 hvt 编程.netWebC#ASP.ENT
    HoverTree项目已经初步实现分层，源代码已经上传到 http://hovertree.codeplex.com请到SOURCE CODE查看。在本地用SQL Server 2008 数据库测试成功。数据库和表请参考：http://keleyi.com/a/bjae/ue6stb42.htmHoverTree是一个ASP.NET 开源项目，希望对你学习ASP.NET或者C#语言有帮助，如果你对
  • Google Maps API v3: Remove Markers 移除标记 天梯梦 google maps api
    Simply do the following:   I. Declare a global variable: var markersArray = [];   II. Define a function: function clearOverlays() { for (var i = 0; i < markersArray.length; i++ )
  • jQuery选择器总结 lq38366 jquery选择器
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40
  • 基础数据结构和算法六：Quick sort sunwinner AlgorithmQuicksort
    Quick sort is probably used more widely than any other. It is popular because it is not difficult to implement, works well for a variety of different kinds of input data, and is substantially faster t
  • 如何让Flash不遮挡HTML div元素的技巧_HTML/Xhtml_网页制作 刘星宇 htmlWeb
    今天在写一个flash广告代码的时候，因为flash自带的链接，容易被当成弹出广告，所以做了一个div层放到flash上面，这样链接都是a触发的不会被拦截，但发现flash一直处于div层上面，原来flash需要加个参数才可以。 让flash置于DIV层之下的方法，让flash不挡住飘浮层或下拉菜单，让Flash不档住浮动对象或层的关键参数：wmode=opaque。 方法如下：
  • Mybatis实用Mapper SQL汇总示例 wdmcygah sqlmysqlmybatis实用
    Mybatis作为一个非常好用的持久层框架，相关资料真的是少得可怜，所幸的是官方文档还算详细。本博文主要列举一些个人感觉比较常用的场景及相应的Mapper SQL写法，希望能够对大家有所帮助。 不少持久层框架对动态SQL的支持不足，在SQL需要动态拼接时非常苦恼，而Mybatis很好地解决了这个问题，算是框架的一大亮点。对于常见的场景，例如：批量插入/更新/删除，模糊查询，多条件查询，联表查询，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他