songyuc
songyuc

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》

《书生·浦语大模型全链路开源体系》

1. 大模型成为热门关键词

LLM发展时间轴

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》_第1张图片

2. 书生·浦语全链条开源开放体系

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》_第2张图片

微调：XTuner

  • 支持全参数微调
  • 支持LoRA等低成本微调

评测：OpenCompass

  • 全方位评测，性能可复现
  • 80套评测集， 40万道题目

3. 全链条开源开放体系｜微调

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》_第3张图片

3.1 高效微调框架XTuner

3.1.1 适配多种生态

自动优化加速

开发者无需关注复杂的显存优化与计算加速细节

3.1.1 适配多种硬件

  • 训练方案覆盖 NVIDIA 20系以上所有显卡
  • 最低只需8GB显存即可微调7B模型

你可能感兴趣的:(LLM)

  • 【三桥君】MCP中台，究竟如何实现多模型、多渠道、多环境的统一管控？如何以MCP为核心设计AI应用架构？ 三桥君 《三桥君MCP落地方法论》《三桥君AI大模型落地方法论》#《三桥君AI产品方法论》人工智能AI产品经理MCPAPI三桥君系统架构llama
    你好，我是✨三桥君✨本文介绍>>一、引言随着人工智能技术的快速发展，越来越多的企业开始引入大语言模型（LLM）以提升用户体验和运营效率。然而，如何高效、稳定地将这些AI能力落地到生产环境呢？传统的系统架构往往难以应对AI应用的高并发、低延迟和灵活扩展需求，因此，从整体架构角度设计AI应用架构显得尤为重要。本文三桥君将深入探讨以MCP为核心的AI应用架构，并分析多种部署方式的优劣势，为企业在AI落地
  • VideoChat：开源的数字人实时对话系统，支持自定义数字人的形象和音色 蚝油菜花 每日AI项目与应用实例人工智能开源TTS语音识别
    ❤️如果你也关注大模型与AI的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的AI应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！微信公众号｜搜一搜：蚝油菜花快速阅读VideoChat是一款开源的实时数字人对话系统，支持语音输入和实时对话功能，首包延迟低至3秒。用户可以根据需要自定义数字人的形象和音色，实现个性化交互。VideoChat支持ASR-LLM-T
  • 使用中转API在Python中调用大型语言模型 (LLM) 的实践** qq_37836323 python语言模型开发语言
    **在人工智能技术中，大型语言模型(LLM)已成为自然语言处理(NLP)和生成任务的重要工具。然而，由于网络限制，直接访问OpenAI的API在中国可能面临挑战。因此，本文将介绍如何使用中转API地址http://api.wlai.vip来调用LLM，并提供相关的demo代码。什么是大型语言模型(LLM)？大型语言模型是一种深度学习模型，训练于大量文本数据上，能够生成、总结、翻译和回答问题等。Op
  • 大模型【进阶】（四）QWen模型架构的解读 ReinaXue 人工智能transformer语言模型迁移学习AudioLM语音识别神经网络
    一、Qwen大模型的背景Qwen（通义千问）是阿里巴巴云开发的大型语言模型（LLM）和多模态模型系列，旨在提供强大的自然语言理解、文本生成、图像理解、音频处理及工具使用能力。Qwen系列包括Qwen、Qwen1.5、Qwen2、Qwen2.5和Qwen3等版本，涵盖了从小型（0.5B参数）到超大型（480B参数）的模型规模，支持多语言（119种语言）和多模态任务（文本、图像、音频、视频）。本文将重
  • AI+MCP智能研判系统架构
    AI+MCP智能研判系统架构1.系统概述1.1核心理念AI+MCP智能研判系统是一个创新的网络安全分析平台，通过将大语言模型（LLM）的智能理解能力与MCP（ModelContextProtocol）协议的标准化工具调用能力相结合，实现了"自然语言提问→AI智能理解→MCP工具调用→AI深度研判→智能结果输出"的完整闭环。1.2技术创新点智能意图识别：基于LLM的自然语言理解，自动解析用户查询意图
  • 优化提示内容生成技术框架：提示工程架构师的坚实后盾
    优化提示内容生成技术框架：提示工程架构师的坚实后盾引言背景：大语言模型时代的“提示瓶颈”当GPT-4、Claude3、Gemini等大语言模型（LLM）的参数规模突破万亿、上下文窗口扩展至百万token时，一个矛盾逐渐凸显：模型能力的跃升与提示质量的滞后，正在成为制约AI应用落地的核心瓶颈。2023年斯坦福大学的研究显示，在企业级LLM应用中，70%的功能故障源于提示设计缺陷——或因指令模糊导致输
  • 从0搭建到持续优化：提示工程架构师的评估体系迭代全流程
    从0搭建到持续优化：提示工程架构师的评估体系迭代全流程引言：AI时代的关键角色与评估挑战在人工智能技术迅猛发展的今天，提示工程(PromptEngineering)已从一个小众技能演变为决定AI系统成败的核心能力。随着大语言模型(LLM)能力的不断增强，提示工程架构师(PromptEngineeringArchitect)作为一个新兴职业应运而生，成为连接业务需求与AI能力的关键桥梁。为什么提示工
  • ！LangChain代理决策架构与源码深度剖析(75)
    LangChain代理决策架构与源码深度剖析一、LangChain代理决策架构概述1.1代理决策架构的核心组件LangChain代理的决策架构是其智能交互的核心，主要由大语言模型（LLM）、工具集（Tools）、提示模板（PromptTemplate）、规划器（Planner）、执行器（Executor）和反馈机制六大组件构成。这些组件通过协同工作，实现从用户输入解析到最终结果输出的完整决策流程。
  • Crome：因果鲁棒奖励建模框架——破解LLM对齐中的奖励黑客难题 大千AI助手 人工智能#OTHERPython人工智能深度学习神经网络大模型因果推断奖励黑客RewardHacking
    Crome（CausalRobustRewardModeling）是由GoogleDeepMind联合麦吉尔大学和魁北克人工智能研究所（MILA）于2025年提出的创新框架，旨在解决大语言模型（LLM）对齐中奖励模型（RM）的奖励黑客（RewardHacking）问题。该框架通过因果数据增强与反事实训练机制，显著提升RM对真实质量属性（如事实性、安全性）的敏感性，同时抑制对虚假属性（如文本长度、格
  • 【大模型LLM学习】function call/agent学习记录 威化饼的一隅 大模型LLM学习agentlangchain意图识别functioncall工具调用
    【大模型LLM学习】functioncall/agent学习记录0前言1langchain实现functioncall2调用本地模型3微调本地模型3.1few-shot调用Claude生成Q-A对3.2tools格式3.3agent微调格式3.4swift微调p.s.0前言  记录一下使用langchain做简单的functioncall/agent(或者说意图识别，如果函数有返回值再进行summ
  • 提示工程监控不到位：5个未做日志记录导致的排查困难
    提示工程监控不到位：5个未做日志记录导致的排查困难关键词：提示工程,日志记录,LLM应用调试,AI监控,排查困难,提示模板,上下文追踪摘要：在大语言模型(LLM)应用爆发的时代，提示工程已成为连接人类需求与AI能力的核心桥梁。但多数开发者聚焦于"如何写好提示"，却忽视了"如何记录提示"——日志记录作为提示工程的"黑匣子"，直接决定了AI应用故障排查的效率与准确性。本文通过5个真实场景案例，深入浅出
  • 提示工程中的上下文窗口优化：架构师提升模型记忆的关键 AI实战架构笔记 ai
    提示工程中的上下文窗口优化：架构师提升模型记忆的关键元数据标题：提示工程中的上下文窗口优化：架构师提升模型记忆的关键策略与实践指南关键词：上下文窗口管理、提示工程架构、大型语言模型优化、注意力机制效率、长序列处理、记忆增强技术、动态上下文规划摘要：在大型语言模型(LLM)应用中，上下文窗口是连接模型能力与实际需求的关键桥梁。本文从架构师视角，系统探讨上下文窗口优化的理论基础、设计原则与实施策略。通
  • 「实战指南」使用 Python 调用大模型（LLM） 用什么都重名 大模型相关pythonLLM大模型api调用
    目录前言1.原生HTTP请求方式1.1核心特点1.2关键代码分析1.3优势和适用场景1.4完整代码2.封装式API调用2.1核心特点2.2关键代码分析2.3优势和适用场景2.4完整代码3.OpenAISDK方式3.1核心特点3.2关键代码分析3.3优势和适用场景3.4完整代码4.传统OpenAI库方式4.1核心特点4.2关键代码分析4.3优势和适用场景4.4完整代码5.对比分析总结前言随着大语言模
  • 实践篇：构建基于LLM与本地Pandas的混合式数据分析引擎 超人阿亚 pandas数据分析数据挖掘
    公众号：dify实验室基于LLMOps平台-Dify的一站式学习平台。包含不限于：Dify工作流案例、DSL文件分享、模型接入、Dify交流讨论等各类资源分享。在上一篇《思路探索：当大型语言模型遇见数据分析的现实挑战》中，我们阐述了团队确立的技术路线：利用大型语言模型（LLM）作为自然语言到代码的“翻译器”，并结合PythonPandas库作为后端的高性能“计算核心”。本文将从工程实践的角度，详细
  • 2024智能交通趋势：提示工程架构师用AI提示词引领技术变革 AIGC应用创新大全 人工智能ai
    2024智能交通趋势：提示工程架构师用AI提示词引领技术变革副标题：从自动驾驶决策到城市交通大脑——大语言模型提示工程实战指南摘要/引言问题陈述：智能交通系统正面临前所未有的复杂性挑战——自动驾驶车辆需要实时处理多源异构数据，城市交通管理需平衡效率与安全，出行服务平台要满足个性化需求。传统AI开发模式依赖大量标注数据和专业领域知识，导致系统迭代缓慢、场景适应性差。当大语言模型(LLM)成为通用人工
  • Java中的模型API、RAG与向量数据库：构建智能应用的新范式 张道宁 人工智能
    引言在当今人工智能迅猛发展的时代，Java开发者如何利用最新的AI技术构建智能应用？本文将深入探讨模型API、检索增强生成(RAG)和向量数据库这三种关键技术，以及它们如何协同工作来提升Java应用的智能化水平。一、模型API：Java中的AI能力接入1.1什么是模型API模型API是大型语言模型(LLM)提供的编程接口，允许开发者通过HTTP请求与AI模型交互。在Java生态中，我们可以通过多种
  • 大模型 MCP：开启 AI 与现实世界的无缝交互革命 u013250861 LLM人工智能交互microsoft
    前言MCP无疑是当前最受关注的前沿技术之一，无论是在公司内部还是外部，都引起了广泛的讨论与实践。作为一名互联网从业者，笔者自然不愿错过这一科技浪潮。本篇文章分享笔者最近的一些实践经验和心得，希望能抛砖引玉。WHAT：什么是MCP？MCP（ModelContextProtocol，模型上下文协议）是由Anthropic推出的开源协议，旨在实现大型语言模型（LLM）与外部数据源和工具的无缝集成，用来在
  • 揭秘Transformer架构：残差流与隐藏层的关系 ZhangJiQun&MXP 教学2024大模型以及算力2021AIpythontransformer深度学习人工智能linux算法
    在Transformer架构的LLM中，“残差流”（residualstream）和“隐藏层”（hiddenlayers）是密切相关但不同的概念，前者是层间流动的核心数据，后者是处理这些数据的结构单元。1.残差流（ResidualStream）：层间传递的“信息流”残差流指的是在Transformer层之间传递的核心张量，它是模型中“流动”的数据载体。其本质是通过“残差连接”（residualco
  • 神经架构搜索革命：从动态搜索到高性能LLM的蜕变之路
    本文将揭示如何通过神经架构搜索技术（NAS）自动发现最优网络结构，并将搜索结果转化为新一代高性能大型语言模型的核心技术。我们的实验证明，该方法在同等计算资源下可实现80%的性能飞跃！第一部分：神经架构搜索引擎的实现奥秘1.动态操作熔炉架构classMaxStateSuper(nn.Module):def__init__(self,dim_size,heads):#定义5种候选操作self.ops=
  • 大模型服务架构设计与性能优化指南 陈乔布斯 人工智能大模型AI性能优化人工智能Python大模型AI模型服务
    引言在大模型应用开发中，模型服务作为核心组件，负责提供高效、稳定的模型推理能力。随着大语言模型（LLM）的快速发展，模型服务架构面临着性能、可扩展性和成本的多重挑战。本文将深入探讨模型服务的核心组件、架构设计、性能优化技术，并结合电商、金融科技等合规行业案例，为开发者提供全面的模型服务设计指南。一、模型服务核心组件1.1推理引擎推理引擎是模型服务的核心，负责执行模型推理计算。目前主流的推理引擎包括
  • Dify 本地化部署深度解析与实战指南 逻极 difyAI开源模型DifyAI人工智能工作流AgentAI编程AI实战
    Dify本地化部署深度解析与实战指南引言Dify是一个开源的低代码/无代码AI应用开发平台，旨在帮助用户快速构建和部署基于大型语言模型（LLM）和自主代理的AI应用。Dify的本地化部署允许用户在本地机器或服务器上运行平台，提供更高的数据隐私、成本控制和离线功能。本文将深入探讨Dify的本地化部署方法，包括DockerCompose和源代码部署，结合系统要求、实战步骤和最佳实践，为用户提供逻辑清晰
  • LLM微调训练指南 小小怪 @ 人工智能自然语言处理
    模型选择策略开源LLM的选择需综合评估任务需求与资源限制：LLaMA-2（7B/13B/70B）：商用友好，推荐使用HuggingFace格式的社区变体（如NousResearch版本）Mistral（7B）：Apache2.0许可，在推理和数学任务表现突出Falcon（7B/40B）：商业授权宽松，特别适合多轮对话场景硬件匹配参考：NVIDIA3090可微调7B模型（QLoRA），A100建议尝
  • AI应用 | 【AI+工业】LLM（大型语言模型）在工业领域中的十个应用 我爱学大模型 人工智能自然语言处理ai大模型机器学习LLM大语言模型AI工业
    随着时间的推移，LLM（大型语言模型）的特性和能力逐渐为人们所熟知。它们展现了无与伦比的人类语言理解、出色的文本生成能力以及友好的对话指令跟随倾向。而像GPT-4和Claude等更为强大的LLM则展现出了对现实世界因果关系的深刻理解。据报道，GPT-4甚至采用了八个与GPT-3.5规模相当的LLM，通过混合专家（MoE）的方式进行配置。尽管LLM在某些方面存在限制，如在过多上下文的情况下可能产生事
  • 大语言模型 LLM 通过 Excel 知识库 增强日志分析，根因分析能力的技术方案（1）：总体介绍 shiter 人工智能系统解决方案与技术架构语言模型excel人工智能
    文章大纲1.核心目标2.系统总体架构3.GoogleCloud端到端方案（含无RAG&RAG双模式）3.1无RAG：Function-Calling查表模式3.2RAG：托管式向量检索4.开源轻量级方案5.数字孪生联合验证（实验性）6.知识图谱增强（Neo4j）7.监控与持续优化（CometLLM）8.实施路线图（4~10周）9.典型案例速览10.一键复现仓库11.参考文献1.核心目标让LLM在“
  • RAG面试内容整理-1. 检索增强生成（RAG）概述与意义 不务正业的猿 面试AI面试RAG人工智能算法大模型检索
    检索增强生成（Retrieval-AugmentedGeneration,RAG）是一种将大语言模型与外部知识库相结合的生成式AI架构。传统的大型预训练语言模型（LLM）容易受到训练语料限制，面对超出其知识范围或需要最新信息的查询时可能产生“幻觉”。RAG通过在生成答案前检索相关文档片段，引入新鲜、可信的知识，从而提升回答的准确性和时效性。RAG系统包含两个核心组件：检索器（Retriever）和
  • 集成Tavily Search API以提升AI应用的实时检索能力 dgay_hua 人工智能python开发语言
    技术背景介绍在AI开发中，尤其是处理大型语言模型（LLM）时，实时、准确的信息检索至关重要。TavilySearchAPI专为AI代理设计，提供高速、准确和事实性的搜索结果，是一个理想的选择。通过将其集成为retriever，可以显著增强信息获取的效率和准确性。核心原理解析TavilySearchAPI作为检索器，依托于其强大的互联网搜索能力，能够快速返回与查询相关的文档。其集成过程主要涉及环境配
  • Prompt Engineering(提示词工程)基础了解 Fuly1024 LLMprompt
    参考:https://blog.csdn.net/qq_56438555/article/details/1448865171.基础概念:提示词工程(promptEngineering)是指通过设计、优化输入给大语言模型的文本指令（即“提示词”）,引导LLM输出我们期望的结果。让大模型在无需微调（Fine-tuning）的情况下，通过“更好的提问方式”完成复杂任务(开发潜力,不会的还是不会)。但是
  • 9、LLaMA-Factory项目微调介绍 Andy_shenzl 大模型学习llamaLLaMAFactory微调大模型LoRA
    1、LLaMAFactory介绍  LLaMAFactory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封
  • AI原生应用领域函数调用的团队协作开发模式 AI算力网络与通信 AI-nativeai
    AI原生应用领域函数调用的团队协作开发模式：从技术协同到组织进化引言背景：AI原生应用与函数调用的崛起2023年以来，以GPT-4为代表的大语言模型（LLM）推动了AI应用开发的范式转移——AI原生应用（AI-NativeApplication）成为新的开发热点。这类应用从设计之初就将AI能力深度融入核心逻辑，而非简单集成AI功能模块。与传统应用相比，AI原生应用的最大特点是**“动态决策”**：
  • Deja Vu: 利用上下文稀疏性提升大语言模型推理效率 AI专题精讲 模型加速人工智能模型加速AI技术应用
    温馨提示：本篇文章已同步至"AI专题精讲"DejaVu:利用上下文稀疏性提升大语言模型推理效率摘要拥有数百亿参数的大语言模型（LLMs）催生了一系列令人振奋的AI应用。然而，在推理阶段它们计算开销极大。稀疏化是一种自然的降本策略，但现有方法要么需要代价高昂的重新训练，要么必须放弃LLM的“in-contextlearning”能力，要么在现代硬件上无法带来真实的墙钟时间加速。我们提出**上下文稀疏
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他