sinat_31726559
sinat_31726559

SparkSQL------初涉

介绍

Spark SQL由两个重要组成部分

  • DataFrame API
    • 将关系型的处理与过程型处理结合起来，可以对外部数据源和Spark内建的分布式集合进行关系型操作
    • 压缩的列式存储，而不是Java/Scala对象
  • Catalyst
    • 提供了一整套性能分析、计划、运行时代码生成等的框架
    • 非常容易的添加数据源、优化规则、数据类型（比如机器学习）、控制代码生成

Programming Interface

SparkSQL------初涉_第1张图片

特点

（1）能够无缝地将SQL语句集成到Spark应用程序当中

（2）统一的数据访问方式

（3） 兼容Hive

（4） 可采用JDBC or ODBC连接


下篇将会写到SparkSQL核心，请大家关注





你可能感兴趣的:(SparkSQL------初涉)

  • 牢记初心使命 勇于担当作为 dc7bce189fd7
    初⼼就是情怀，使命就是担当。初⼼和使命是⼀个⼈、⼀个民族、⼀个政党不断前进的根本动⼒。“不忘初⼼，⽅得始终”“能否敢于负责、勇于担当，最能看出⼀个⼲部的党性和作风”。坚定初心使命，笃定理想信念。作为⼀名党员⼲部，要树⽴坚定的理想信念，理想信念是我们精神上的“钙”。没有理想信念，理想信念不坚定，精神上就会“缺钙”，就会得“软⾻病”。进一步增强“四个意识”、坚定“四个自信”、做到“两个维护”，不断提高
  • 收评：两市震荡沪指涨0.57%创业板指涨1.42% 光伏风能板块大涨 甚念_3264
    金融界网站9月14日讯早盘三大股指高开，盘初市场震荡上行，创业板指一度涨超2％，随后指数呈现震荡整理态势，临近午盘小幅回落；午后A股延续低迷表现，深成指两度翻绿，尾盘两市小幅上扬。截至收盘，沪指涨0.57％，报3278.81点，深成指涨0.61％，报13021.99点，创业板指涨1.42％，报2572.6点。两市成交额约7700亿元；北向资金净流入近20亿元。行业板块方面，环保工程、材料行业、仪器
  • 月薪10000的人过着怎样的生活？ 觉得不是很ok
    月薪10000对于初入职场的人来说是个不错的数字但现实中，月薪过万的职场人到底过着什么样的生活呢？我们不妨来算一笔账！下来是申请原创要求的三百字，头条哥p图到凌晨两点我容易吗容易吗容易吗容易吗容易吗容易吗易吗容易吗不容易接下来是申请原创要求的三百字，头条哥p图到凌晨两点我容易吗容易吗容易吗容易吗容易吗容易吗容易吗容易吗不容易接下来是申请原创要求的三百字，头条哥p图到凌晨两点我容易吗容易吗容易吗容易
  • 《随园诗话》学习与译注 意趣与刺点
    卷三四十九原文淡莲洲明府称芜湖胡漱泉秀才，有“日影度花轻”五字，得五言妙境。江君旭东亦赏沙斗初“花气半湖阴”五字，所见与莲洲同。译注淡如水县令称赞芜湖的胡漱泉秀才，有“日影度花轻”五字，意思：太阳照射的影子轻轻从花上飘过，这是达到五言诗的绝妙境界。江旭东君也有欣赏沙斗初的诗句“花气半湖阴”五字，意思：从花间升起的烟气使一半的湖面阴暗下来，其见识与淡如水相同。淡如水，字莲洲，号霞山，陕西大荔人，举人
  • 中原焦点团队焦点解决初34 王红梅持续分享94天2022.7.11周一 a9d337ba0c10
    最近实在太忙，搞得心力交瘁。幼儿园一个家长，因为道听途说一些闲话，认为老师挤兑她家孩子，便喊一家子人去幼儿园大闹，怎么解释都不听。我说要报警让警方介入调查吧，家长不愿意，说我袒护老师。因为她们没有什么证据，知道报警对她们不利。我们请教育局工作人员过来调解，让先回去了。走后我们也反思是不是有工作做的不到位的地方，让家长如此激动。于是查找原因，查看监控，和老师谈话等，未发现有任何不良行为。可能是家长过
  • 带着希望～去流浪地球 心晓_7e19
    听闻春节期间很火的电影，《流浪地球》评价很高。哥哥也三番两次叫我一定要去看，初听名字跟天文有关联，忍不住的好奇，初七就独自去观影了。科幻小说还是没有阅读过，借助《流浪地球》对科幻小说产生了好奇。以往听哥哥讲过刘慈欣的《三体》科幻小说，很值得去阅读。而自己对于天文也很好奇，以往喜欢看地理，古墓类，后天类型电影，但浩瀚无边无际的星空，科幻片，在目前中国电影上还是首次拍得这么成功的，评价也很高。一部好的
  • 中原焦点团队分享网初31期 李丽 坚持第51天 2021.12.1 周三 遇见_afaf
    今日读书《建构解决之道》，读书页码43页，21.重视“行动”成效经验，而不以“解释”来产生顿悟一般咨询中，当事人提出疑惑后，咨询师会提出一个新的解释架构，超越当事人自己的架构，让当事人以新的观点来看待自己的想法、行为、感觉及问题，然后让当事人自己发生顿悟。焦点解决是不给建议的，更强调当事人知觉。如果给他一个框架，当事人自己的，他真正想要的就被屏蔽了，我们就挖掘不到了。来访者是不需要带着耳朵来的，他
  • 回归故园 风中的秋叶
    我，一个尘世间平凡的女人，经年困于城市的嘈杂与喧嚣，于某个不眠的深夜，听着窗外淅淅沥沥的雨声，触动了灵魂深处那痕一直没能愈合的疼，手抚满脸沧桑，禁不住潸然泪下。或许，故园的回归，是一帖医心的良药。红土地，绿草滩，我终于回到了您的怀抱____这个生我养我，聆听我初来人世的第一声啼哭，留下我童稚岁月的十年苦乐，甚至造就我一生性格命运的小村庄，我回来了！四十五年岁月流逝，那间破旧的小矮屋居然还在原处。她
  • Mac电脑安装了Charles，证书已经信任，电脑还是没网？如何解决 bug菌¹ 全栈Bug调优(实战版)#CSDN问答解惑(全栈版)macos
    本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！问题描述Mac电脑安装了Charles，证书已经信任，电脑还是没网，如下解决？？解决方案Mac电脑安装了Charles后，出现证书已经信任但电脑仍然无法上网的问题，通常涉
  • 金英沧州焦点解决初64中17，本周第六次、第七次约练，第355次、第356次分享，坚持分享第65天 守护甜心
    第355次分享观摩一场咨询展示，来访者开始叙述的时候情绪差，能量很低。当咨询师看到她的优势，询问他为了改变做了很多努力，他的是怎么做到的时候，他的情绪就发生了变化。看到自己的优势，语气变得轻松了，语句中还带着一丝骄傲，这么难我都做到了。通过这次咨询，来访者增强了自己能解决问题的信心。第356次分享但妈妈想改变孩子而求助的时候，这样的咨询是不能接的。即使真的接了，也要弄清咨询目标到底以谁的目标为准。
  • 2023-01-08 做一束暖暖的光
    一、中原焦点团队杜冰冰焦点初15期坚持分享第1348天2023年1月8日二、坚持读书分享第1279天《干法》116---126页前天开始团内蒙古的贝贝瓜。到昨天晚上为止，我已经团了50多箱。团队小伙伴们都说我特别厉害。我想好吃的东西就需要分享，所以我建了一个小群，就是专供贝贝瓜的群。那么相信会给同志们的身体带来一定的益处。感谢同志们的信任，感谢自己的努力，也感谢有我在知信团队的所有老师们的指导。为
  • PyTorch武侠演义 第一卷：初入江湖 第7章：矿洞中的计算禁制 空中湖 pytorch武侠演绎pytorch人工智能python
    第一卷：初入江湖第7章：矿洞中的计算禁制矿洞深处罗盘残件在接近矿洞时突然发热，指针疯狂旋转。"就是这里，"欧阳长老抚摸着洞壁上的计算图刻痕，“TensorFlow帮用静态图封印了矿脉。”林小码看到：幽蓝矿脉构成巨大的计算图结构水晶矿簇随呼吸节奏明灭（CUDA核心）矿道中流淌着数据光流（内存带宽）"小心！"大师突然拉回林小码。他刚才踩中的矿砖下陷，触发岩壁上的机关——数十道计算图锁链从四面八方射来！
  • 写给初入职场的你（2） 佳爷2020
    好了，昨天我们谈了沟通的两个方面，今天我接着说沟通三个维度，限于篇幅，我尽量少说一点。//01//先说向上沟通，我主要想要强调的是：一定要积极主动的去找自己的直属领导，回报自己的工作近况和遇到的问题，以及一些自己的想法。首先这是因为刚开始的时候，我们就是一个相互熟悉，相互了解的阶段。我希望快速的了解领导的工作方式，领导也需要快速的了解我的工作能力。如果双方都不沟通，那么就只能在一次又一次的实战任务
  • 挣钱和陪孩子哪个更重要 张小佳_513
    挣钱和陪孩子哪个更重要0-3岁谁带孩子跟谁亲，初来世界的宝宝很怕孤单3-12岁长智力，立规矩，没有教养的孩子很难得到社会的认可和尊重13-18岁谈理想，说人生，青春期孩子逐渐建立自己的三观，没有父母的陪伴和引导，很可能偏激极端，误入歧途18岁以后孩子有了自己的人际圈子，也有了自己的主见和想法。你总会说以后好好补偿孩子，你想陪伴他的时候他还需要你吗?
  • 老公出轨，我被迫亲手让他绝后(雅君梁逸兴)免费小说全集_阅读免费小说老公出轨，我被迫亲手让他绝后雅君梁逸兴 957ace074429
    《老公出轨，我被迫亲手让他绝后》主角：雅君梁逸兴简介：凌晨值夜班，救护车拉了个陷入昏迷的女孩儿来医院抢救。女孩儿大出血急需抢救。我拨通她手机里的紧急联系人：电话那头自称老公的男人，竟是我老公！我迫不得已，亲手给那女孩做了清宫术。听到熟悉的嗓音，我戴手套的动作一顿。第一反应是不是撞声了。「医生，我老婆她怎么不接电话？她到底怎么了？」我压着感冒初愈的嗓音耐心告诉他现在急需手术，让男人尽快赶来医院。「医
  • 2022284【素·好课记】No.32王林波《咏柳》研修内容 素小拙
    一、课题导入，理解咏物古诗1.师出示图片，想到哪首诗？《咏鹅》，师讲解“咏”，范写。用诗词写鹅，可以叫“咏鹅”，如果用诗词写柳树，可以叫什么？“咏柳”，板书“柳”2.出示柳树图片，用什么词来形容柳树？千姿百态。二、初读识字，感受押韵特点1.自读，指名读，齐读。2.生字教学（1）出示“装”“妆”，联系生活解释。（2）板书“绿丝绦”，“绦”可能和什么有关系，借助注释理解。3.“剪刀”换“剪子”，“丝绦
  • 重生复仇：渣男你别想逃南初筝、南辰桡（重生复仇：渣男你别想逃）完整版小说在线阅读_重生复仇：渣男你别想逃小说免费阅读全章节无弹窗_笔趣阁 霸道推书3
    书名：《重生复仇：渣男你别想逃》主角配角：南初筝、南辰桡小说简介：前世，我掉进了渣男的陷阱里面，被他吃得骨头渣子都不剩，重生后，我回到了关键的时间节点，这一次，我不会再抗拒养兄对我的爱了，毕竟前世他的一切举动，证明了他对我的爱。这一世，我要凭着前世记忆大斗渣男，手撕无良亲生父母，我要把养兄捧在掌心，许他一世深情。推荐指数：✩✩✩✩✩———阅读全文小说内容请翻阅文章最底部———“楚世情，前几回给的教
  • 2023-02-15 a8d61ee151bd
    中原焦点团队网络初、中级第30期，崔萍萍持续分享第542天，20230215心理咨询的本质是咨询师利用心理学的理论和方法帮助求助者，促使求助者对自身的问题进行探索和有所改变，从而实现咨询目标。通过心理咨询发生了某些改变，那么其中最为重要的改变是求助者开始探索解决自身的问题。为了使咨询取得进展。关键是要调动求助者的积极性。咨询师最重要的任务是帮助求助者解决心理问题。
  • 2019-05-30 天外来金_3286
    火海浴血战鼓擂，兵临城下良驹归1月11日今日锦囊七擒孟获终结果，有惊无险涉大川。鸿鹄三年志未酬，风风火火又出征。今天大盘收在2553.83，终于完成20日线的攻坚战，多方不急不躁，连续三日在此点位附近反复拉锯，最后攻克30日线城门，多方稳固20日的阵地，下周目标2587，这是3587下跌一千点的位置。这是2018年股市心痛的的位置，连跌了一千点之下还不够吗？还忍心熟视无睹吗？还能够对股民痛苦麻木不
  • 【新书】《重生后，黑蛇前夫向我姐姐求婚小说》凤初贺云朗重生后，黑蛇前夫向我姐姐求婚小说全文全章节阅读 花朵文库
    【新书】《重生后，黑蛇前夫向我姐姐求婚小说》凤初贺云朗重生后，黑蛇前夫向我姐姐求婚小说全文全章节阅读主角配角：凤初贺云朗小说别名：我是凤族的二公主。却爱上了一条低贱的黑蛇。“找死！”他刚要抬手击杀，却被阻止。姐姐方才将贺云朗所有的表白听入耳中，面颊绯红。她说：“我愿意。”众人震惊。父亲难以置信的看着姐姐：“凤桅，你知不知道你在说什么？”“那是凤初定下的伴生兽。”“更何况，贺云郎只是一条血统低贱的黑
  • 中原焦点团队网络初14 坚持分享第 581天 六月荷花草
    第452场咨询：晚上的咨询有些精力不济，可能是白天太累了，也因为自己的一些情绪影响了，来访者的话有时竟然听不真切，再加上网络的影响。所以觉察到这些之后，征得来访者同意通过电话继续咨询。也许是“启动”了应急机制，接下来的咨询中重又找到感觉了。细细的倾听，在来访者的困扰中慢慢澄清、梳理，终于看见一线曙光！听到来访者激动的声音，还有情绪一下子释放的那种快乐，我自己也被感染了。以后的咨询不管怎么样一定要调
  • 初代网红系列之四十三-叶良辰 鱼爷的道场
    当大学女生李汶济请来男朋友叶良辰给自己出头的时候，叶良辰刚刚做好他的第一万份酸菜鱼米线。李汶济可能永远也不了解自己在当时做了何等重要且正确的决定，她也不会想到就因为这个决定，创造了互联网上又一场久违的狂欢。大学女生宿舍是一个神奇的所在，一个八个人的宿舍能够划分成四个半小团队，这个和那个不对眼，那个和这个不说话，是大学女生宿舍的日常桥段。即使小团队的内部也存在着种种危机，脆弱的可能因为一些鸡毛蒜皮的
  • 又到升学季 过眼耳走心思
    因为疫情，今年虽已是七月，但小升初，初升高，高升大学却还在紧密锣鼓地进行中。每当此时，涉及到的还是未知数不确定的家庭都如热锅上的蚂蚁，焦虑紧张不知所措地茫然，除非无能为力地且不知道门道且是一切真做到顺其自然的。打听学校录取标准，哪怕是给钱，只要在能承受的范围内交钱也是一种快乐，遥想当年在某校门口等着初中入学前等领录取通知书的家长们，早早来到校门口，大门关着无人能进，有爷爷奶奶辈来的，有爸爸妈妈来，
  • 初谈 “联合教学”（Co-Teaching） 凯西Murmur
    Co-Teaching这个方向在国外有比较多的研究和应用，中文翻译为“联合教学”、“协同教学”、“共同教学”等，国内比较多的用法是“联合教学”，传统定义是“两个和（或）更多”的教师同时在一个课堂上实施协同教学的一种教学实践模式（Bacharach&Heck,2007;Friend&Cook,2004;Kamens,Susko,&Elliott,2013;Koroluk,2017;Beninghol
  • 一棵开花的树 田成诚
    办公室门口有一棵枝繁叶茂的凤凰木。正值花期，满树红花盛开，大气惹眼，欢喜热情。花儿们静静地热闹着，优雅地欢腾着。鲜绿的叶子，火红的花朵，配在一起相得益彰，不分主次，不争高下。这是一次事先得到预告的怒放。大半个月前的一个中午，我队友指着绿意盈盈的树冠，示意我看那些小而密的花苞。他说：“最晚五月初，这些花就开了。到时候一片红花，好看得很。”我诧异：“你怎么知道的？”他也诧异：“去年开过的呀。你没看到？
  • 《随园诗话》读书笔记76（卷三）：日影度花轻 九曲奔流
    原文：淡莲洲明府称芜湖胡漱泉秀才，有“日影度花轻”五字，得五言妙境。江君旭东亦赏沙斗初“花气半湖阴”五字，所见与莲洲同。九曲奔流笔记：1.日影度花轻。注：有意境。度，形容日影的移动；轻，既是日影度之轻，也是花之轻，化视觉为触觉。2.花气半湖阴。注：花气是香的，嗅觉，湖阴是触觉，化视觉、嗅觉为触觉。但是这句只是静，欠生动，改一字，花湿半湖阴。
  • 初入职场，你该如何成长？ 左大师
    走出校门，初入职场的你肯定希望一切顺利，最好做的工作和自己所学的专业对口。一切都轻车熟路，很快就能证明自己，做出成绩。但现实往往很残酷，你的梦想被打碎了，甚至是一次又一次被打碎，大部分同学的运气不会是那么好吧！图片发自App对于你来说，社会还是陌生的，少了校园的宁静，多了人际交往的纷纷扰扰。不管在哪个单位工作，都请善待自己，善待你的工作。社会是一所大学，单个行业只是它其中的一个学科，社会需要专业人
  • 中原焦点团队张俊功初24、中24、33持续分享第790 天，约练15咨32观总计129 次（2023.4.16） 5d4750373a7c
    常规肠胃镜为了做肠胃镜，准备了三天，吃的尽量清淡，尽量少。搞得不知道该吃什么！有时候也会忘记忌口的食物。今天终于检查完毕。开始还是有些紧张，担心痛，担心有什么病症。虽然有些疼痛恶心，都在承受范围内，好在身体没有什么太大不适。针对一些小问题，还是需要配一些蒙药进行调理。大夫也给了一些建议，少量喝酒，多锻炼，饮食要合理，吃饭要细嚼慢咽……这些我也一直在做，继续坚持。
  • 【中原焦点心理团队初32期 王艳平 坚持分享第️️️13天】20211127日 周六 多云 蓝色沙发
    咨询收获：一、暖场共情，保密原则，给予孩子足够的安全感，让孩子放松下来开始咨询。二、尊重孩子，开放性的问句总能打开孩子的嘴巴让孩子尽情倾诉。今天孩子的叙述充满好奇地聊下去，总能找到解决问题的切入点。三、发现孩子的优点，及时表扬赋能，提高自信，帮助孩子建构解决之道。四、任何事情都都不可能只有负面也要引导孩子看到好的一面。帮助孩子找到例外。从而帮助孩子找到解决之道。五、我的困惑是当孩子不知道要怎么表达
  • 金英沧州焦点解决初64中17，督导收获，总第539次分享，坚持分享第390天 守护甜心
    最近感觉督导的案例越来越专业，咨询师很有经验，咨询次数比较多，来访者的问题复杂经典，收获很大。咨询伦理一旦突破会有什么危害？不知道来访者在咨询中的表现和突破伦理有没有关系。咨询师的预设要当心，不能自己根据预测制定咨询思路，而是要以来访者的需要来定。亲人的离世不一定非要道别，可以换个说法，让情感流动起来，可以带着亲人的爱好好活着，陪伴来访者一起回忆感受亲人的爱，面对失去不是让来访者忘记，而是深深地记
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他