枪侠
枪侠

大数据笔记

1. 大数据目前代名词spark，是一个快速的集群计算系统，它的功能之一是streaming，支持实时的数据流，把实时数据流按时间变为离散数据流 discretized stream，其中每一个离散集合RDD resilient distributed dataset

2. 计算函数包括：flatMap: 一对多，map: 一对一, reduceByKey: 根据key合并value

3. spark的程序中，先建立计算公式，但不会执行，只有spark streaming context start之后才开始执行

4. D的问题是，如何保证在底层结构化的数据流不被割裂，比如在每个RDD做transform的时候不会失败

5. 一个spark worker/executor 需要一个thread占用一个核，他们的总数不要超过核的数目

6. 每个Dstream对应一个Receiver，每个spark receiver也需要一个thread

7. 像kafka， 可以细分多个topic，这样可以用多个Dstream去receive data stream，从而增加了并发度

你可能感兴趣的:(大数据笔记)

  • 大数据笔记（二）：HDFS原理知识 Lansonli 大数据进阶知识大数据HDFS
    目录HDFS原理知识一、前言二、思考三、理论知识点四、存储模型五、架构设计六、角色功能NameNodeDataNode七、元数据持久化八、安全模式九、HDFS中的SNN十、Block的副本放置策略十一、HDFS写流程十二、HDFS读流程HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温
  • 大数据笔记之 Flink1.17 算子 凡许真 大数据flink1.17算子
    文章目录前言一、Partition分区（物理分区）1.1随机分区shuffle1.2轮询分区rebalance1.3重缩放分区rescale1.4广播分区broadcast1.5全局分区global1.6keyby1.7自定义分区Custom二、transform2.1flatMap2.2filter2.3RichFunction2.4map三、Aggregate聚合3.1keyBy()3.2ma
  • 大数据笔记--Spark（第五篇） 是小先生 大数据08-Sparkspark
    目录一、Spark的调优1、更改序列化为kryo2、配置多临时文件目录3、启动推测执行机制4、某些特定场景，用mapPartitions代替map5、避免使用collect二、Spark的共享变量1、广播变量2、计数器三、VSM算法1、什么是倒排索引表？2、什么是相似度的概念？3、什么是TF-IDF算法4、VSM算法Ⅰ、概念Ⅱ、算法原理Ⅲ、举例一、Spark的调优1、更改序列化为kryoSpark
  • 大数据笔记(待续) yangzex 笔记
    mysql缓存技术数据库和缓存双写数据一致性问题常见的解决方案常见方案通常情况下，我们使用缓存的主要目的是为了提升查询的性能。大多数情况下，我们是这样使用缓存的：用户请求过来之后，先查缓存有没有数据，如果有则直接返回。如果缓存没数据，再继续查数据库。如果数据库有数据，则将查询出来的数据，放入缓存中，然后返回该数据。如果数据库也没数据，则直接返回空。这是缓存非常常见的用法。一眼看上去，好像没有啥问题
  • 【Python大数据笔记_day11_Hadoop进阶之MR和YARN&ZooKeeper】 LKL1026 Python大数据学习笔记hadoop大数据笔记
    MR单词统计流程已知文件内容:  hadoophivehadoopsparkhive flinkhivelinuxhivemysql​input结果:   k1(行偏移量) v1(每行文本内容)   0 hadoophivehadoopsparkhive   30 flinkhivelinuxhivemysqlmap结果:   k2(split切割后的单词)v2(拼接1)     hadoop1 
  • 【Python大数据笔记_day10_Hive调优及Hadoop进阶】 LKL1026 Python大数据学习笔记大数据hadoophive笔记
    hive调优hive官方配置url:ConfigurationProperties-ApacheHive-ApacheSoftwareFoundationhive命令和参数配置hive参数配置的意义:开发Hive应用/调优时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么我设定的参数没有起作用？这是对hive
  • 【Python大数据笔记_day08_hive查询】 LKL1026 Python大数据学习笔记数据库hive笔记
    hive查询语法结构:SELECT[ALL|DISTINCT]字段名,字段名,...FROM表名[inner|leftouter|rightouter|fullouter|leftsemiJOIN表名ON关联条件][WHERE非聚合条件][GROUPBY分组字段名][HAVING聚合条件][ORDERBY排序字段名asc|desc][CLUSTERBY字段名|[DISTRIBUTEBY字段名SOR
  • 【Python大数据笔记_day09_hive函数和调优】 LKL1026 Python大数据学习笔记大数据笔记hive
    hive函数函数分类标准[重点]原生分类标准:内置函数和用户定义函数(UDF,UDAF,UDTF)​分类标准扩大化:本来，UDF、UDAF、UDTF这3个标准是针对用户自定义函数分类的；但是，现在可以将这个分类标准扩大到hive中所有的函数，包括内置函数和自定义函数；​目前hive三大标准UDF:（User-Defined-Function）普通函数:特点是一进一出(输入一行数据输出一行数据)  
  • 河工阿晖大数据笔记脚本截图 喧嚣小风 大数据bigdata大数据
    #!/bin/bashbeg_date=`date-d"${1}"+%s`end_date=`date-d"${2}"+%s`if((beg_date>${end_date}));thenecho"beg_date/root/sh/date手动添加的date=`cat/root/sh/date`#第二步：获取json文件日期的后一天日期afterday_timestamp=$[`date-d"${
  • 大数据笔记29—Hadoop基础篇12(Hive特殊使用与函数) 了不起的我阿 hadoophive数据库数据仓库大数据pythonhive
    Hive特殊使用与函数知识点01：Hive回顾知识点02：本篇目标知识点03：Hive表结构：普通表结构知识点04：Hive表结构：分区表设计知识点05：Hive表结构：分区表实现知识点06：Hive表结构：分桶表设计及实现知识点07：Hive中的Join：Join逻辑知识点08：Hive中的Join：Join实现知识点09：Select语法：orderby与sortby知识点10：Select语
  • 【Python大数据笔记_day07_hive中的分区表、分桶表以及一些特殊类型】 LKL1026 Python大数据学习笔记大数据笔记hive
    分区表分区表的特点/好处:需要产生分区目录,查询的时候使用分区字段筛选数据,避免全表扫描从而提升查询效率效率上注意:如果分区表在查询的时候呀没有使用分区字段去筛选数据,效率不变分区字段名注意:分区字段名不能和原有的字段名重复,因为分区字段名要作为字段拼接到表后一级分区创建分区表:create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)par
  • 大数据笔记--Zookeeper（第二篇） 是小先生 大数据02-Zookeeperbigdatazookeeper大数据
    目录一、Zookeeper1、概述2、安装3、伪分布式安装4、特点5、命令6、节点信息7、节点类型8、zookeeper-APIi、普通API无观察者ii、观察者API二、完全分布式安装1、三台服务器准备2、安装Zookeeper3、完成效果一、Zookeeper1、概述①、Zookeeper是Yahoo（雅虎）开发后来贡献给了Apache的一套用于分布式管理和协调的框架②、Zookeeper本身
  • 【Python大数据笔记_day06_Hive】 LKL1026 Python大数据学习笔记大数据hive笔记
    hive内外表操作建表语法create[external]table[ifnotexists]表名(字段名字段类型,字段名字段类型,...)[partitionedby(分区字段名分区字段类型)]#分区表固定格式[clusteredby(分桶字段名)into桶个数buckets]#分桶表固定格式注意:可以排序[sortedby(排序字段名asc|desc)][rowformatdelimitedf
  • 【Python大数据笔记_day05_Hive基础操作】 LKL1026 Python大数据学习笔记大数据笔记hive
    一.SQL,Hive和MapReduce的关系用户在hive上编写sql语句,hive把sql语句转化为MapReduce程序去执行二.Hive架构映射流程用户接口:包括CLI、JDBC/ODBC、WebGUI，CLI(commandlineinterface）为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通
  • 大数据笔记--Zookeeper（第三篇） 是小先生 大数据02-Zookeeperzookeeperbigdata分布式
    目录一、选举机制1、概述2、细节二、ZAB协议1、概述2、原子广播3、原子广播的过程4、查看日志的方式5、崩溃恢复三、Zookeeper-其他1、observer-观察者2、特征3、zookeeper集群操作四、PAXOS算法1、概述五、AVRO1、概述2、序列化3、AVRO序列化举例4、RPC一、选举机制1、概述当一个zookeeper集群刚启动的时候，会自动的进入选举状态，此时所有的服务器都会
  • 【Python大数据笔记_day04_Hadoop】 LKL1026 Python大数据学习笔记大数据笔记hadoop分布式
    分布式和集群分布式:多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)集群:多台服务器联合起来独立做相同的任务(多个服务器分担客户发来的请求)注意:集群如果客户端请求量(任务量)多,多个服务器同时处理不同请求(不同任务),如果请求量少,一台服务器干活,其他服务器备份使用Hadoop框架概述Hadoop简介:是Apache旗下的一个用Java语言实现的存储个计算大
  • 大数据笔记-关于Cassandra的删除问题 鬓戈 大数据大数据笔记
    Cassandra是Facebook开源的一个NoSQL数据库，它除了具备一般的NoSQL分布式数据库特点以外，最大的一个特点是去中心化架构设计，这和HadoopHDFS/HBase等不一样，比如HDFS分为NameNode和DataNode，而Cassandra集群中所有节点都是数据节点，每一个节点都在集群中承担相同的角色。我们开始在2013年做大数据存储系统选型过程中，也考虑过Cassandr
  • 大数据笔记--SparkStreaming 是小先生 大数据08-SparksparkSparkSreaming
    目录一、实时计算1、离线和批量、实时和流式Ⅰ、批量计算和流式计算：Ⅱ、批量和流式的区别二、SparkStreaming介绍1、概述2、架构设计二、SparkStreaming基础1、WordCount案例①、监听本地文件数据源②、通过SparkStreaming实时过滤2、基本概念Ⅰ、StreamingContextⅡ、DStream抽象Ⅲ、案例一、实时计算1、离线和批量、实时和流式大数据的计算模
  • 大数据笔记--Spark（第四篇） 是小先生 大数据08-SparkSaprkGC
    目录一、RDD的容错机制二、RDD持久化机制1、RDD持久化（缓存）2、使用缓存3、缓存数据的清除4、持久化理解三、CheckPoint机制1、概述2、示例代码：3、总结4、Saprk懒执行的意义四、GC回收机制及算法1、概述2、哪些内存数据需要被回收？Ⅰ、引用计数法判定Ⅱ、可达性分析法3、常见的垃圾回收算法Ⅰ、标记-清除算法Ⅱ、复制算法Ⅲ、标记-整理算法Ⅳ、分代收集算法五、GC收集器1、概述2、
  • 大数据笔记--Flume（第一篇） 是小先生 大数据04-Flumebigdataflume大数据
    目录一、Flume的简介1、概述2、基本概念3、流动模型/拓扑结构①、单级流动②、多级流动③、扇入流动④、扇出流动⑤、复杂流动二、执行流程三、安装Flume四、Source1、AVROSource①、概述②、配置属性③、案例2、ExecSource①、概述②、配置属性③、案例3、SpoolingDirectorySource①、概述②、配置属性③、案例4、NetcatSource①、概述②、配置属
  • 大数据笔记--Spark（第一篇） 是小先生 大数据08-Sparksparkscala
    目录一、Spark介绍1、概述2、来源二、Spark的生态系统模块三、Spark的使用模式1、Spark单机模式安装2、Spark集群模式安装四、RDD介绍1、概述2、创建RDD两种方式3、分区概念五、RDD的操作1、Transformation变化2、Action执行3、Controller控制一、Spark介绍1、概述Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验
  • 大数据笔记--Hadoop（第一篇） 是小先生 大数据03-Hadoopbigdata大数据hadoop
    目录一、大数据简介1、简介2、特点3、应用场景4、组织结构二、Hadoop简介1、概述2、版本3、模块4、安装模式5、web访问端口三、Hadoop发展1、创始人2、发展历程四、Hadoop伪分布式安装五、hadoop完全分布式安装一、大数据简介1、简介①、美国调研机构Gartner给出了定义：大数据是一种新的处理模式，针对海量数据能够提供更强的决策力、洞察发现力和流程优化能力②、维基百科给出了定
  • 大数据笔记--Hive（第一篇） 是小先生 大数据05-Hivehivebigdatahadoop
    目录一、Hive1、概述2、Hive和数据库的比较3、特点①、优点②、缺点二、Hive的安装1、概述2、安装步骤3、Hive运行日志4、参数配置一、Hive1、概述Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制Hive提供了类SQL（HQL，HiveQL）语句来管理HDFS上的大量数据，底层会将SQL转化为MapReduce来交给HadoopYAR
  • 大数据笔记-大数据处理流程 鬓戈 大数据大数据笔记架构
    大家对大数据处理流程大体上认识差不多，具体做起来可能细节各不相同，一幅简单的大数据处理流程图如下：1）数据采集：数据采集是大数据处理的第一步。数据采集面对的数据来源是多种多样的，包括各种传感器、社交媒体、电子邮件、数据库、程序运行日志等。数据采集面对的数据类型是多种多样的，有文本数据、结构化数据、图片数据、语音数据、视频数据等。数据采集使用的各种开源工具也是多种多样的，如采用FileBeat对日志
  • 【大数据笔记】SQL Optimizer 解析 唐浮 大数据学习笔记大数据sql
    前言大数据课程相关笔记一、大数据体系下的SQL一、大数据体系大数据体系自上而下分为七层，分别是：1.业务应用业务应用层次，主要业务应用包括BI报表、数据挖掘、营销分析、精准推荐等，主要工作是管控运维。2.数据开发数据开发层次，主要技术包括Airflow、DAG等，主要工作是集群创建。3.权限管控权限管控层次，主要技术包括ApacheRanger、GDPR等，主要工作是集群创建。4.分析引擎（SQL
  • 大数据笔记--HBase（第二篇） 是小先生 大数据06-HBasehbasehadoop
    目录一、Hbase的基本架构1、HRegion2、Zookeeper的作用3、HMaster4、HRegionServer5、Compaction机制二、Hbase的架构读写流程1、概念2、写流程3、读流程三、Hbase的设计优化1、设计原则①、行键设计②、列族设计2、优化一、Hbase的基本架构1、HRegion①、在Hbase中，会将一个表从行键方向上进行切分，切分成1个或者多个HRegion
  • 大数据笔记-NIFI（第一篇） 是小先生 大数据平台CDH大数据java开发语言NiFi
    目录一、NIFI简介1、NIFi的相关概念及特点1.1、什么是ApacheNiFi？1.2、NiFi的核心概念1.3、NiFi架构1.4、NiFi的性能预期和特点1.5、关键NiFi功能的高级概述二、NiFi的安装（无证书集群内）1、NiFi下载2、安装NiFi2.1、上传解压2.2、修改配置文件三、启动1、we页面简介1.1、NIFI登陆后界面1.2、NIFI登陆界面解读编辑2、全局菜单3、NI
  • 大数据笔记之Hadoop（HDFS） 小炫锋 Bigdatahadoophadoop大数据
    HDFS概述定义：HDFS是一个分布式文件管理系统，用来存储文件，通过目录树来定位文件；由多个服务器联合起来实现其功能，集群中的服务器由各自的角色。应用场景：适合一次写入多次读写的场景，支持追加、不支持修改。适合用来做数据分析，不适合做网盘使用HDFS优缺点优点高容错性:通过增加副本的形式提高容错性，数据自动保存多个副本；某个副本丢失后，可自动恢复。适合处理大数据：数据规模（TB、PB级别以上）；
  • 【大数据】第二章：搭建Hadoop集群（送尚硅谷大数据笔记） DragonZhuCn Hadoop大数据hadoop大数据
    尚硅谷Hadoop3.x官方文档大全免费下载搭建集群没什么好讲的，跟着视频和笔记出不了什么问题。唯一遇到的问题就是安装好VmWare后打不开，发现是老师给的VmWare版本不适配本机的WIN11。解决办法就是下载最新版本的VmWare。新版已经修复了与WIN11的兼容性问题。两个常见面试题：1，Hadoop集群中常见的端口Hadoop2.xNameNode内部端口：8020/9000NameNod
  • 《大数据时代》 天天向上的小朋友
    大数据笔记维克托最具洞见之处在于，他明确指出，大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。本书前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他