收集行业数据处理的一些总结

[size=medium]1.网上得数据下载到本地,利于快速分析 具体操作:java多线程 httputil

2.提取出关键信息进行分析 ,一般是key value键值对
分析数量 key value的状况 key value尽量不带html的东西

3.建立第二部中提取的key值与开发系统设计的key值关系规则

4.导入数据库,建立持续自动更新机制,跟系统集成的话就quartz等 或者直接linux的cron


根据上述key point 建立起对应的框架,分配任务,提供接口 写核心代码 迭代进行

上一篇blog就是在这个过程中写的一个工具类,快速的下载html[/size]

你可能感兴趣的:(2011项目)