tokenize

JAVA特殊字符过滤

*/packageutil.str;importjava.util.StringTokenizer
但丁丶2P丶M·2014-06-20 10:23

Twenty Newsgroups Classification任务之二seq2sparse（1）

org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles，从昨天跑的算法中的任务监控界面可以看到这一步包含了7个Job信息，分别是：（1）DocumentTokenizer
wbj0110·2014-06-19 11:00

Twenty Newsgroups Classification任务之二seq2sparse（1）

org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles，从昨天跑的算法中的任务监控界面可以看到这一步包含了7个Job信息，分别是：（1）DocumentTokenizer
wbj0110·2014-06-19 11:00

Twenty Newsgroups Classification任务之二seq2sparse（1）

org.apache.mahout.vectorizer.SparseVectorsFromSequenceFiles，从昨天跑的算法中的任务监控界面可以看到这一步包含了7个Job信息，分别是：（1）DocumentTokenizer
wbj0110·2014-06-19 11:00

C++字符串分词

另外在boost当中专门提供了boost.tokenizer来做这样的工作，它的实现是对C++
冷月宫主·2014-06-18 08:32

Hadoop　MapReduce原理

先看一段代码：packagecom.abc; importjava.io.IOException; importjava.util.Iterator; importjava.util.StringTokenizer
xiao_jun_0820·2014-06-13 09:00

StringTokenizer类的使用

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。
tanwenEyE·2014-06-09 14:00

Hadoop MapReduce具体运行过程

先看一段代码：packagecom.abc; importjava.io.IOException; importjava.util.Iterator; importjava.util.StringTokenizer
lifuxiangcaohui·2014-06-08 17:00

java字符串分割性能比较

关于字符串的分割，我用jdk的split、apache的common的split、正则表达式、StringTokenizerr以及substring做了以下比较，比较的时间为纳秒，用一个字符串“192.168.20.121
凯文加内特·2014-06-03 17:00

StringTokenizer和Split性能比较

朋友问我的问题，网上搜了下，都说StringTokenizer性能要好些，不过也有反对意见，还是自己试验下。一百万以空格区分的字符串，拆分后重新组成不带空格的串。
jasonli0102·2014-06-03 17:00

solr中的Analyzers, Tokenizers,和Token Filters详解

solr中的Analyzers, Tokenizers,和Token Filters详解   当一个文档索引了以后，其个别field的分析analyzing 和标过滤器tokenizing
韩悠悠·2014-06-03 08:00

hadoop 学习笔记之倒排索引

packagecn.yws; importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration
earbao·2014-06-02 17:00

hadoop学习笔记之wordcount

importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration
earbao·2014-06-02 16:00

2014java基础笔记

解决方法：用StringTokenizer替换java.util.StringTokenizertoken=newjava.util.StringTokenizer(String,".")
kuyuyingzi·2014-06-02 12:00

字符串分割

c++处理数据时用到的，来自于chrome代码中的StringTokenizerT模板类//std::stringtest="helloworld"; //base::StringTokenizerstr
小龙Jason·2014-05-29 11:00

自定义StringToken PK java.util.StringTokenizer

当使用StringTokenizer拆分的字符不能达到预期结果时，就需要我们自定义实现符合需求的功能了。
kevin_Luan·2014-05-24 22:00

lucene

Analyzer包含两个核心组件，Tokenizer以及TokenFilter。两者的区别在于，前者在字符级别处理流，而后者则在词语级别处理流。
king_sky_wjb·2014-05-23 10:00

用boost分割字符串的代码示例

#include"stdafx.h" #include #include #include /* 测试环境 [1]VS2010SP1，boost1.55 */ voidtestTokenizer
lee353086·2014-05-23 09:00

python的nltk中文使用和学习资料汇总帮你入门提高

nltk是一个python工具包,用来处理和自然语言处理相关的东西.包括分词(tokenize),词性标注(POS),文本分类,等等现成的工具.1.nltk的安装资料1.1:黄聪：Python+NLTK
fennvde007·2014-05-16 21:00

JQuery日记_5.14 Sizzle选择器(七)

上篇说道,tokenize方法会把selector分割成一个个selector逻辑单元(如div>a是三个逻辑单元'div','>','a')并为之片段赋予对应类型的过滤函数。
songzheng_741·2014-05-16 18:00

[转载]StreamTokenizer类的一些说明

一直以来，我们都知道字符串的分割最常用的是java.util.StringTokenizer，但是某些时候，StringTokenizer有很大的局限性。
zerodeng·2014-05-15 16:00

Lucene的分析过程

回顾倒排索引的构建收集待建索引的原文档(Document)将原文档传给词条化工具(Tokenizer)进行文本词条化将第二步得到的词条(Token)传给语言分析工具(Linguisticmodules)
yzyzero·2014-05-13 15:00

CharTokenizer对西文字符进行分词处理

CharTokenizer是一个抽象类，它主要是对西文字符进行分词处理的。常见的英文中，是以空格、标点为分隔符号的，在分词的时候，就是以这些分隔符作为分词的间隔符的。
yzyzero·2014-05-12 22:00

LUCENE3.0 自学吧 7 CharTokenizer

CharTokenizer 是一个抽象类，它主要是对西文字符进行分词处理的。常见的英文中，是以空格、标点为分隔符号的，在分词的时候，就是以这些分隔符作为分词的间隔符的。
yzyzero·2014-05-12 21:00

sql格式化工具(从hibernate中弄出来的)

import java.util.HashSet; import java.util.LinkedList; import java.util.Set; import java.util.StringTokenizer
j夫子·2014-05-06 16:00

StringTokenizer类的使用

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。
stevenliu·2014-05-06 11:00

ES中的分词器

一、概念介绍    全文搜索引擎会用某种算法对要建索引的文档进行分析，从文档中提取出若干Token(词元)，这些算法称为Tokenizer(分词器)，这些Token会被进一步处理，比如转成小写等，这些处理算法被称为
肖慧·2014-05-06 09:00

Hadoop MapReduce程序开发（二）

写的一个单词计数器   Map类 package com.wordcount.map; import java.io.IOException; import java.util.StringTokenizer
hxl1988_0311·2014-05-04 22:00

MapWrapper 学习

publicvoidset(PropertyTokenizerprop,Objectvalue){ if(prop.getIndex()!
微妙率直·2014-05-02 09:00

Hadoop AWS Word Count 例子

AWS里用ElasticMapReduce开一个Cluster然后登陆masternode并编译以下程序：importjava.io.IOException; importjava.util.StringTokenizer
hellobinfeng·2014-05-01 05:00

hadoop-1.0.4 Type mismatch in value from map解决方法

eclipse:------不记得了  JDK:  1.7.06  hadoop:  1.0.4 2.代码：importjava.io.IOException; importjava.util.StringTokenizer
huangxia73·2014-04-30 09:00

Hapdoop的一个Mapreduce示例代码--统计单词个数有排序功能

packagecom.mzsx.hadoop; importjava.io.IOException; importjava.util.Random; importjava.util.StringTokenizer
梦朝思夕·2014-04-29 17:03

Hapdoop的一个Mapreduce示例代码--统计单词个数有排序功能

packagecom.mzsx.hadoop;importjava.io.IOException;importjava.util.Random;importjava.util.StringTokenizer
梦朝思夕·2014-04-29 17:03

Hapdoop的一个Mapreduce示例代码--统计单词个数

packagecom.mzsx.hadoop; importjava.io.IOException; importjava.util.StringTokenizer; importorg.apache.hadoop.conf.Configuration
梦朝思夕·2014-04-29 17:13

Hapdoop的一个Mapreduce示例代码--统计单词个数

packagecom.mzsx.hadoop;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
梦朝思夕·2014-04-29 17:13

初窥c++11：从move语义到右值引用

技术人员往往比较傲慢，写c语言的鄙视c++，写c++的鄙视Java，写Java的鄙视c#，要是程序员吵起来怎么办，一个流行的办法就是去github约架，比赛写tokenizer和grammaranalyzer
booirror·2014-04-26 00:00

solr管理工具-- analysis

在solrconfig.xml配置文件中添加    2.左边字母简称KT  KeywordTokenizerFactory  WT  WhitespaceTokenizerFactory LCT LowerCa
dongnan591172113·2014-04-18 16:00

WordCount程序的新老版源码对比

老版源码如下：packagecom.hadoop.test;importjava.io.IOException;importjava.util.Iterator;importjava.util.StringTokenizer
闵开慧·2014-04-16 17:00

solr 的分析器，分词器和分词过滤器

【本文基于对此英文网页的理解http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters】（一）分词基本概念概览当对一个文档（document是一系列
明月几时有1116·2014-04-11 17:05

solr 的分析器，分词器和分词过滤器

【本文基于对此英文网页的理解http://wiki.apache.org/solr/AnalyzersTokenizersTokenFilters】 （一）分词基本概念 概览    当对一个文档（document
dongnan591172113·2014-04-11 17:00

反转字符串

灵感来自于我现在正在看的两本关于java的书，让我想到了用StringTokenizer。所以，多看书还是很用帮助的。下面是我的java代码：importjava
michael高_007·2014-04-08 04:13

反转字符串

灵感来自于我现在正在看的两本关于java的书，让我想到了用StringTokenizer。所以，多看书还是很用帮助的。下面是我的java代码：importjava
michael高_007·2014-04-08 04:13

为solr添加ansj分词器

源码包在asnj4solr-master目录下执行mvncompile编译源码，执行mvnpackage生成target/ansj4solr-1.0.0-SNAPSHOT.jar在schema.xml中配置tokenizerfactory
jsw51·2014-04-03 11:46

为solr添加ansj分词器

源码包在asnj4solr-master目录下执行mvncompile编译源码，执行mvnpackage生成target/ansj4solr-1.0.0-SNAPSHOT.jar在schema.xml中配置tokenizerfactory
jsw51·2014-04-03 11:46

boost中tokenizer的用法举例

include #include #include intmain(){ usingnamespacestd; usingnamespaceboost; strings="Thisis,atest"; tokenizer
jwybobo2007·2014-04-02 19:00

Hadoop中map/reduce之WordCount实例——分解vs汇总

3、程序示例及注释 packagetest;importjava.io.IOException;importjava.util.StringTokenizer;importorg.ap
u012690204·2014-03-27 22:00

StringTokenizer类的使用

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。
木子木·2014-03-27 12:00

浏览器探究——webkit部分——解析HTML（3）HTMLToken的处理

接HTMLTokenizer的处理篇上篇学习到HTMLTokenizer的处理，它是利用有穷状态自动机来完成词法解析的，把解码后的字符串作为输入，输出一个个的HTMLToken的。
zhanglu201112·2014-03-25 20:00

浏览器探究——webkit部分——解析HTML（2）解码和HTMLTokenizer的处理

接解析HTML起源篇起源篇提到数据的处理会调用到如下的两个函数处DocumentParser::appendBytesDocumentParser::finish一个是解析过程中的，一个是解析完成的。而解析开始时，就是起源篇讲的Document，RenderView，DocumentParser的创建，注意当前是html文件，所以创建的是HTMLDocument和HTMLDocumentParse
zhanglu201112·2014-03-25 20:00

java屏蔽非法字符

import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.StringTokenizer
吕兵阳·2014-03-25 09:00
上一页 43 44 45 46 47 48 49 50 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他