u013250861
u013250861

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】

 

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第1张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第2张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第3张图片

一、Motivating examples 

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第4张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第5张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第6张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第7张图片

二、最优策略/optimal policy

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第8张图片

三、贝尔曼最优公式【Bellman Optimality Equation】

1、贝尔曼公式/Bellman Equation

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第9张图片

2、贝尔曼最优公式/Bellman Optimality Equation

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第10张图片

对于贝尔曼公式来说，求解state value时是依赖于一个给定的π；

对于贝尔曼最优公式来说，π是不定的，是需要求解的参数；

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第11张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第12张图片

3、压缩映射定理【Contraction mapping theorem】

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第13张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第14张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第15张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第16张图片

4、求解贝尔曼最优公式

4.1 最大化贝尔曼最优公式右侧

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第17张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第18张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第19张图片

4.2 解贝尔曼最优公式

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第20张图片

4.3 应用“压缩映射定理”解贝尔曼最优公式

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第21张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第22张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第23张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第24张图片

4.4 案例：求解贝尔曼最优公式

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第25张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第26张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第27张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第28张图片

四、最优策略/Optimal Policy

贝尔曼最优公式是一个特殊的贝尔曼公式。

贝尔曼最优公式对应的策略是最优策略。

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第29张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第30张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第31张图片

五、最优策略的决定因素

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第32张图片

当γ比较大时，会比较远视，得到的return中远期的reward比重会相对大一些；

当γ比较小时，会比较短视，得到的return中近期的reward权重会相对大一些；

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第33张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第34张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第35张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第36张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第37张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第38张图片

强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】_第39张图片

在设计reward的时候，即使将默认r设计为0，也不会绕远路，因为除了r来约束不要绕远路，γ的存在也会限制不会绕远路，因为越绕远路，得到的reward越晚，最后计算得到的return越小。

【强化学习的数学原理】课程：从零开始到透彻理解（完结）_哔哩哔哩_bilibili

GitHub - MathFoundationRL/Book-Mathmatical-Foundation-of-Reinforcement-Learning: This is the homepage of a new book entitled "Mathematical Foundations of Reinforcement Learning."

你可能感兴趣的:(强化学习)

  • MATLAB 2023a：强化学习算法的实战演练与性能评估 zmjia111 机器学习matlabmatlab算法开发语言深度学习机器学习yolo
    在深度学习领域，MATLAB2023版深度学习工具箱以其完整的工具链和高效的运行环境，为研究人员和开发者提供了前所未有的便利。这一工具箱不仅集成了建模、训练和部署的全部功能，更以其简洁易用的语法和强大的算法库，为深度学习任务的快速实现铺平了道路。相较于Python等编程语言，MATLAB的语法更为直观，上手更为迅速。无需繁琐的环境配置和库安装，用户只需打开MATLAB界面，即可轻松开始深度学习之旅
  • 你的DDPG/RDPG为何不收敛？ Mario-Chao
    园子好多年没有更过了，草长了不少。上次更还是读博之前，这次再更已是博士毕业2年有余，真是令人唏嘘。盗链我博客的人又见长，身边的师弟也问我挖的几个系列坑什么时候添上。这些着实令我欣喜，看来我写的东西也是有人乐意看的。去年11月份左右，因为研究需要，了解了一下强化学习（Reinforcementlea
  • 机器学习、深度学习、神经网络之间的关系 你好，工程师 AI机器学习
    机器学习（MachineLearning）、深度学习（DeepLearning）和神经网络（NeuralNetworks）之间存在密切的关系，它们可以被看作是一种逐层递进的关系。下面简要介绍它们之间的关系：机器学习（MachineLearning）：机器学习是一种人工智能的分支，关注如何通过数据让计算机系统从经验中学习，提高性能。机器学习算法可以分为监督学习、无监督学习、半监督学习和强化学习等不同
  • 强化学习应用——倒立摆 ThreeS_tones DRLpygamepython开发语言
    新建虚拟环境并安装：pipinstallgympipinstallpygame运行下列代码：importgymimporttime#生成环境env=gym.make('CartPole-v1',render_mode='human')#human指在人类显示器或终端上渲染#环境初始化state=env.reset()#循环交互whileTrue:#渲染画面env.render()#从动作空间随机获
  • 【人工智能学习思维脉络导图】 AK@ 人工智能人工智能学习
    曾梦想执剑走天涯，我是程序猿【AK】目录知识图谱1.基础知识2.人工智能核心概念3.实践与应用4.持续学习与进展5.挑战与自我提升6.人脉网络知识图谱人工智能学习思维脉络导图1.基础知识计算机科学基础数学基础（线性代数、微积分、概率论和统计学）编程语言（Python、R等）2.人工智能核心概念机器学习监督学习无监督学习强化学习深度学习神经网络卷积神经网络（CNN）循环神经网络（RNN）自然语言处理
  • 机器学习基础（一）理解机器学习的本质 昊昊该干饭了 人工智能python机器学习人工智能python
    导读：在本文中，将深入探索机器学习的根本原理，包括基本概念、分类及如何通过构建预测模型来应用这些理论。目录机器学习机器学习概念相关概念机器学习根本：模型数据的语言：特征与标签训练与测试：模型评估机器学习的分类监督学习：有指导的学习过程非监督学习：自我探索的过程强化学习：通过试错学习构建与分析鸢尾花数据模型鸢尾花数据集简介加载数据集创建和训练模型进行预测与评估模型机器学习机器学习概念机器学习是人工智
  • 【伤寒强化学习训练】打卡第二十八天 一期90天 A卐炏澬焚
    本草：桂枝的药性(续)桂枝：味辛温、无毒，有辣味，性子温“治上气咳逆，结气，喉痹，吐吸，利关节，补中益气，”桂枝能够走在我们的营分，走在我们的脉管里面，给予我们这个营分能量。如果卫气属于阳，而营气属于阴的话，桂枝是能够补、通身体阴中之阳的药，就是血管里面、脉管里面的能量，所以桂枝通常会取它通阳的效果，来谈论它的种种主治。桂枝：身体里面很多的能量会被这味药贯穿起来，好像帮身体开凿地铁一样，原来阻隔不
  • 基于人工智能的期权量化交易 阿岛格 人工智能.量化投资人工智能机器学习大数据强化学习
    基于人工智能的期权量化交易基于人工智能的期权量化交易基于人工智能的期权量化交易该文基于人工智能AI的深度强化学习,进行股票期权的量化投资策略研究及回测评估。作者建立了人工智能学习及交易系统。基于实时/历史期权行情大数据挖掘,通过自行开发的人工智能多agent强化学习模型及评估系统(基于Python/Linux),对接实时交易接口进行了实盘环境的交易回测和评估。专题：人工智能.量化投资纲要：一、前言
  • 机器学习---强化学习 三月七꧁ ꧂ 机器学习机器学习人工智能
    1.什么是强化学习在连接主义学习中，在学习的方式有三种：非监督学习(unsupervisedlearning)、监督学习(supervisedleaning)和强化学习。监督学习也称为有导师的学习，需要外界存在一个“教师”对给定输入提供应有的输出结果，学习的目的是减少系统产生的实际输出和预期输出之间的误差，所产生的误差反馈给系统来指导学习。非监督学习也称为无导师的学习。它是指系统不存在外部教师指导
  • 【强化学习】day1 强化学习基础、马尔可夫决策过程、表格型方法 宏辉 强化学习python算法强化学习
    写在最前：参加DataWhale十一月组队学习记录【教程地址】https://github.com/datawhalechina/joyrl-bookhttps://datawhalechina.github.io/easy-rl/https://linklearner.com/learn/detail/91强化学习强化学习是一种重要的机器学习方法，它使得智能体能够在环境中做出决策以达成特定目标。
  • 强化学习入门到不想放弃-1 周博洋K 人工智能
    本来想写到深度学习里的，但是线下和别人聊RLHF，和PPO,DPO的时候，我发现大家一脑袋问号，其实也正常，深度学习里面数学的东西没那么多，入门容易一点，强化学习（现在也都谈强化深度学习，或者深度强化学习了）反而没那么要算力，要一堆算法和数学，所以就单开一个系列，专门写强化学习吧其实强化学习，某种程度上比深度学习更早的走进大家的视野，没错，就是那个把李昌镐，柯洁给打败的Alpha第一课我们先讲点基
  • 强化学习入门到不想放弃-2 周博洋K 人工智能
    第一篇链接：强化学习入门到不想放弃-1(qq.com)上节课我们用CMU的经典问题，多臂老虎机讨论了，无状态物体的探索和利用，这节课我们用走格子来做一下动态规划算法上节课的问题，我们完全不知道这些老虎机的中奖概率，而这节课我们考虑环境是已知的，说白了，我们可以开启上帝视角，动态规划算法，一般也被定义为有模型的算法那么先说问题，假如我有一个人物（不是勇者），在一个地图上奔跑为了得到最终的奖杯，因为不
  • 强化学习笔记 小新0077 强化学习机器学习马尔科夫决策过程Q学习
    强化学习笔记-简介本文是根据Sutton的经典书籍«ReinforcementLearning:AnIntroduction»前三章内容整理的笔记。【枯燥预警】本文侧重对强化学习概念的理论分析，在基本概念上的剖析较为详细，也就是说会比较无聊LOL1.强化学习的概念1.强化学习的概念强化学习(reinforcementlearning)研究的基本问题是，一个智能体(agent)与周围环境(envir
  • （2024，提示优化，监督微调，强化学习，近端策略优化）用于安全生成文本到图像的通用提示优化器 EDPJ 论文笔记安全人工智能计算机视觉
    UniversalPromptOptimizerforSafeText-to-ImageGeneration公和众和号：EDPJ（进Q交流群：922230617或加VX：CV_EDPJ进V交流群）目录0.摘要2.相关工作3.提议的框架4.实验0.摘要文本-图像（Text-to-Image，T2I）模型在基于文本提示生成图像方面表现出色。然而，这些模型对于不安全的输入以生成不安全的内容，如性、骚扰和
  • Prompt Learning：【文心一言】提示词功能系统学习， 汀、人工智能 PromptLearning#Gpt教程文心一言人工智能自然语言处理promptpromptlearing
    【文心一言】提示词功能系统学习，PromptLearning大型语言模型使用强化学习中的人类反馈来学习，这个过程中与人类对话的提问通常是通俗易懂的，也就是说，大型语言模型可以理解并回答一般人能听懂的问题(可以看到，后面我们所提到的技巧，用到我们日常的交流中也是可以更清晰的表达自己的目的的)。因此，即使我们不进行prompt学习，也可以使用大型语言模型来帮助我们解决问题了。但是，如果想要解决更加专业
  • 强化学习入门：使用Python和Q-learning算法解决迷宫问题 Evaporator Core python
    文章标题：强化学习入门：使用Python和Q-learning算法解决迷宫问题简介强化学习是机器学习中的一个重要分支，它致力于研究智能体在与环境交互的过程中如何学习最优的行为策略。Q-learning算法是强化学习中的一个经典算法，它通过不断地探索和利用环境来学习最优的行为策略。本文将介绍如何使用Python编程语言和Q-learning算法解决迷宫问题，并通过可视化展示智能体学习过程。1.准备工
  • 机器学习、深度学习、强化学习、迁移学习的关联与区别 半亩花海 学习笔记机器学习深度学习迁移学习学习人工智能
    Hi，大家好，我是半亩花海。本文主要了解并初步探究机器学习、深度学习、强化学习、迁移学习的关系与区别，通过清晰直观的关系图展现出四种“学习”之间的关系。虽然这四种“学习”方法在理论和应用上存在着一定的区别，但它们之间也存在交叉和重叠，有时候也会结合使用来解决实际问题。一、四种“学习”1.机器学习机器学习是人工智能的一个子领域，研究如何让计算机系统利用数据和经验，来不断改善和优化自身的性能。其核心思
  • 强化学习（TD3） sssjjww 强化学习python神经网络深度学习
    TD3——TwinDelayedDeepDeterministicpolicygradient双延迟深度确定性策略梯度TD3是DDPG的一个优化版本，旨在解决DDPG算法的高估问题优化点：①双重收集：采取两套critic收集，计算两者中较小的值，从而克制收集过估量成绩。DDPG源于DQN，DQN源于Q_learning，这些算法都是通过估计Q值来寻找最优的策略，在强化学习中，更新Q网络的目标值ta
  • NLP_ChatGPT的RLHF实战 you_are_my_sunshine* NLP大模型chatgpt自然语言处理人工智能
    文章目录介绍小结介绍ChatGPT之所以成为ChatGPT，基于人类反馈的强化学习是其中重要的一环。而ChatGPT的训练工程称得上是复杂而又神秘的，迄今为止，OpenAl也没有开源它的训练及调优的细节。从OpenAl已经公开的一部分信息推知，ChatGPT的训练主要由三个步骤组成，如下图所示。原文：译文：第1步，先使用大量数据(从Prompt数据库中抽样)通过监督学习在预训练的GPT-3.5基础
  • 基于Monte Carlo 的策略评估 Longlongaaago 机器学习人工智能强化学习机器学习
    基于MonteCarlo的策略评估在强化学习中，MonteCarlo是一种被广泛用到的方法。这种方法主要是从经验experience中拟合数值，本质上就是从不同的采样中获得结果，然后将其平均。由于最后当采样的数量达到一定的数量级后，这种方法可以很好地拟合我们想要的函数。这里有一个很有意思的demo，展现的是MonteCarlo如何应用在评估π\piπ的数值上。https://academo.org
  • 强化学习On-policy vs Off-policy Longlongaaago 机器学习强化学习机器学习人工智能
    强化学习On-policyvsOff-policy这里我们讲讲强化学习中on-policy和off-policy的区别。实际上这个区别非常简单，就是说如果算法在更新它的policy的时候，它是依赖于前面的Qvaluefunction的话，那么它就是on-policy的。反之如果它是依赖于随机的一个输入或者人为的操控，那么它就是一个offpolicy的。具体来说就是由于在算法更新我们valuefcu
  • 今日arXiv最热NLP大模型论文：无需数据集，大模型可通过强化学习与实体环境高效对齐 | ICLR2024 夕小瑶 自然语言处理人工智能深度学习
    引言：将大型语言模型与环境对齐的挑战虽然大语言模型（LLMs）在自然语言生成、理解等多项任务中取得了显著成就，但是在面对看起来简单的决策任务时，却常常表现不佳。这个问题的主要原因是大语言模型内嵌的知识与实际环境之间存在不对齐的问题。相比之下，强化学习（RL）能够通过试错的方法从零开始学习策略，从而确保内部嵌入知识与环境的对齐。但是，怎样将先验知识高效地融入这样的学习过程是一大挑战，为了解决这一差距
  • 强化学习-赵世钰（三）：贝尔曼最优公式【Bellman Optimality Equation】、最优策略【Optimal Policy/Optimal State Values】 u013250861 强化学习
    一、Motivatingexamples二、最优策略/optimalpolicy三、贝尔曼最优公式【BellmanOptimalityEquation】1、贝尔曼公式/BellmanEquation2、贝尔曼最优公式/BellmanOptimalityEquation对于贝尔曼公式来说，求解statevalue时是依赖于一个给定的π；对于贝尔曼最优公式来说，π是不定的，是需要求解的参数；3、压缩映
  • 学习心得-强化学习【贝尔曼最优公式】 白菜真是菜 学习心得-强化日记算法机器学习人工智能
    只为记录学习心得学习视频来源B站up主西湖大学空中机器人：链接：https://www.bilibili.com/video/BV1sd4y167NS/?spm_id_from=333.337.search-card.all.click&vd_source=ad94eb95d81e9e6b1a5d71459ef1a76d目录1.举例入门2.最优策略3.贝尔曼最优公式4.贝尔曼最优公式详细分析5.分
  • 【强化学习的数学原理】课程笔记（三）——贝尔曼最优公式 csu一言 人工智能机器学习
    目录1.最优策略（optimalpolicy）的定义2.Bellmanoptimalpolicy(BOE)3.RewriteEquation4.ContractionMappingTheorem5.Solution6.Analyzingoptimalpolicies说明：本内容为个人自用学习笔记，整理自b站西湖大学赵世钰老师的【强化学习的数学原理】课程，特别感谢老师分享讲解如此清楚的课程。两个概念
  • 如何强化学习力度，增强干部能力素质的思考 王家遥3
    作为公职人员，要不断加强政治学习，做到严、实，在学习中提升综合能力素质，提高组织工作科学化水平，着力锻造一支爱学习、肯学习、富有成效的学习型干部。一要坚持政治标准，提高学习广度。要健全学习制度，加强对学习活动的动态管理，保证学习活动的经常性和学习内容的系统，锤炼组工干部忠诚、干净、担当的政治品格，以部务会、理论学习中心组学习、每日晨读、开展“夜学课堂”、“匀彩组工”读写交流为抓手，深入学习习近平新
  • 探索机器学习：定义、算法及应用领域 cooldream2009 AI技术机器学习机器学习算法人工智能
    目录前言1机器学习的定义2机器学习算法2.1监督学习2.2无监督学习2.3强化学习3机器学习的应用3.1智能搜索3.2医疗诊断3.3无人驾驶结语前言机器学习，源自ArthurSamuel的定义，赋予计算机通过领域学习的能力，使其在不需要明确程序的情况下不断进化。本文将深入探讨机器学习的定义、算法分类以及广泛应用的领域，从监督学习、无监督学习到强化学习，为读者全面解析机器学习的核心概念。1机器学习的
  • 大模型评测和强化学习知识 lichunericli LLM人工智能语言模型
    1大模型怎么评测？大语言模型的评测通常涉及以下几个方面：语法和流畅度：评估模型生成的文本是否符合语法规则，并且是否流畅自然。这可以通过人工评估或自动评估指标如困惑度（perplexity）来衡量。语义准确性：评估模型生成的文本是否准确传达了所需的含义，并且是否避免了歧义或模棱两可的表达。这需要通过人工评估来判断，通常需要领域专家的参与。上下文一致性：评估模型在生成长篇文本时是否能够保持一致的上下文
  • 感动无处不在 冰之怡
    我以为，整天囿于舒适工作环境中凡事不用操心的我，突然独自外地办事会怕生，缩手缩脚。其实勇者无畏。我以为，到一些他们口中所说的所谓求人的‘礼尚’往来严重的部门办事，会看脸色被刁难，需要打通。其实完全多虑。我以为，很久没有真正深入专业，再来接触一个全新的产品设计，很多相关标准陌生，强化学习，图纸恐怕难通过。其实顺利通过。…………哎呦喂，什么时候开始那么没有自信的了呢？我几乎一整天都在嘲笑我的自以为是。
  • 交通流优化的一种强化学习方法 当交通遇上机器学习 算法大数据编程语言python计算机视觉
    ‍文章信息《Trafficflowoptimization:Areinforcementlearningapproach》是2016年发表在EngineeringApplicationsofArtificialIntelligence上的一篇文章。摘要交通拥堵会造成诸如延误、燃料消耗增加和额外污染等重要问题。本文提出了一种基于强化学习的交通流优化方法。我们表明交通流优化问题可以表述为一个马尔可夫决
  • mondb入手 木zi_鸣 mongodb
    windows 启动mongodb  编写bat文件， mongod --dbpath D:\software\MongoDBDATA mongod --help  查询各种配置 配置在mongob 打开批处理，即可启动，27017原生端口，shell操作监控端口  扩展28017，web端操作端口 启动配置文件配置， 数据更灵活 
  • 大型高并发高负载网站的系统架构 bijian1013 高并发负载均衡
            扩展Web应用程序 一.概念         简单的来说，如果一个系统可扩展，那么你可以通过扩展来提供系统的性能。这代表着系统能够容纳更高的负载、更大的数据集，并且系统是可维护的。扩展和语言、某项具体的技术都是无关的。扩展可以分为两种：         1.
  • DISPLAY变量和xhost(原创) czmmiao display
    DISPLAY 在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量, 输出结果中有如下内容:DISPLAY=:0.0
  • 获取B/S客户端IP 周凡杨 java编程jspWeb浏览器
       最近想写个B/S架构的聊天系统，因为以前做过C/S架构的QQ聊天系统，所以对于Socket通信编程只是一个巩固。对于C/S架构的聊天系统，由于存在客户端Java应用，所以直接在代码中获取客户端的IP，应用的方法为：    String ip = InetAddress.getLocalHost().getHostAddress(); 然而对于WEB
  • 浅谈类和对象 朱辉辉33 编程
        类是对一类事物的总称，对象是描述一个物体的特征，类是对象的抽象。简单来说，类是抽象的，不占用内存，对象是具体的， 占用存储空间。     类是由属性和方法构成的，基本格式是public  class 类名{ //定义属性 private/public 数据类型 属性名； //定义方法 publ
  • android activity与viewpager+fragment的生命周期问题 肆无忌惮_ viewpager
    有一个Activity里面是ViewPager，ViewPager里面放了两个Fragment。 第一次进入这个Activity。开启了服务，并在onResume方法中绑定服务后，对Service进行了一定的初始化，其中调用了Fragment中的一个属性。 super.onResume(); bindService(intent, conn, BIND_AUTO_CREATE);
  • base64Encode对图片进行编码 843977358 base64图片encoder
    /** * 对图片进行base64encoder编码 * * @author mrZhang * @param path * @return */ public static String encodeImage(String path) { BASE64Encoder encoder = null; byte[] b = null; I
  • Request Header简介 aigo servlet
    当一个客户端(通常是浏览器)向Web服务器发送一个请求是，它要发送一个请求的命令行，一般是GET或POST命令，当发送POST命令时，它还必须向服务器发送一个叫“Content-Length”的请求头(Request   Header)   用以指明请求数据的长度，除了Content-Length之外，它还可以向服务器发送其它一些Headers，如：    
  • HttpClient4.3 创建SSL协议的HttpClient对象 alleni123 httpclient爬虫ssl
    public class HttpClientUtils { public static CloseableHttpClient createSSLClientDefault(CookieStore cookies){ SSLContext sslContext=null; try { sslContext=new SSLContextBuilder().l
  • java取反 -右移-左移-无符号右移的探讨 百合不是茶 位运算符 位移
    取反： 在二进制中第一位，1表示符数，0表示正数 byte a = -1; 原码：10000001 反码：11111110 补码：11111111 //异或: 00000000 byte b = -2; 原码：10000010 反码：11111101 补码：11111110 //异或: 00000001
  • java多线程join的作用与用法 bijian1013 java多线程
            对于JAVA的join，JDK 是这样说的：join public final void join （long millis ）throws InterruptedException Waits at most millis milliseconds for this thread to die. A timeout of 0 means t
  • Java发送http请求(get 与post方法请求) bijian1013 javaspring
    PostRequest.java package com.bijian.study; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOException; import java.io.InputStreamReader; import java.net.HttpURL
  • 【Struts2二】struts.xml中package下的action配置项默认值 bit1129 struts.xml
    在第一部份，定义了struts.xml文件，如下所示：   <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache.org/dtds/struts
  • 【Kafka十三】Kafka Simple Consumer bit1129 simple
    代码中关于Host和Port是割裂开的，这会导致单机环境下的伪分布式Kafka集群环境下，这个例子没法运行。 实际情况是需要将host和port绑定到一起，   package kafka.examples.lowlevel; import kafka.api.FetchRequest; import kafka.api.FetchRequestBuilder; impo
  • nodejs学习api ronin47 nodejs api
    NodeJS基础 什么是NodeJS JS是脚本语言，脚本语言都需要一个解析器才能运行。对于写在HTML页面里的JS，浏览器充当了解析器的角色。而对于需要独立运行的JS，NodeJS就是一个解析器。 每一种解析器都是一个运行环境，不但允许JS定义各种数据结构，进行各种计算，还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作DOM，浏览器就提供了docum
  • java-64.寻找第N个丑数 bylijinnan java
    public class UglyNumber { /** * 64.查找第N个丑数 具体思路可参考 [url] http://zhedahht.blog.163.com/blog/static/2541117420094245366965/[/url] * 题目：我们把只包含因子 2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14
  • 二维数组（矩阵）对角线输出 bylijinnan 二维数组
    /** 二维数组 对角线输出 两个方向 例如对于数组： { 1, 2, 3, 4 }, { 5, 6, 7, 8 }, { 9, 10, 11, 12 }, { 13, 14, 15, 16 }, slash方向输出： 1 5 2 9 6 3 13 10 7 4 14 11 8 15 12 16 backslash输出： 4 3
  • [JWFD开源工作流设计]工作流跳跃模式开发关键点(今日更新) comsci 工作流
       既然是做开源软件的,我们的宗旨就是给大家分享设计和代码,那么现在我就用很简单扼要的语言来透露这个跳跃模式的设计原理    大家如果用过JWFD的ARC-自动运行控制器,或者看过代码,应该知道在ARC算法模块中有一个函数叫做SAN(),这个函数就是ARC的核心控制器,要实现跳跃模式,在SAN函数中一定要对LN链表数据结构进行操作,首先写一段代码,把
  • redis常见使用 cuityang redis常见使用
    redis 通常被认为是一个数据结构服务器，主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets 引入jar包 jedis-2.1.0.jar  (本文下方提供下载) package redistest; import redis.clients.jedis.Jedis; public class Listtest
  • 配置多个redis dalan_123 redis
    配置多个redis客户端 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"       xmlns:xsi=&quo
  • attrib命令 dcj3sjt126com attr
      attrib指令用于修改文件的属性.文件的常见属性有:只读.存档.隐藏和系统.    只读属性是指文件只可以做读的操作.不能对文件进行写的操作.就是文件的写保护.    存档属性是用来标记文件改动的.即在上一次备份后文件有所改动.一些备份软件在备份的时候会只去备份带有存档属性的文件. 
  • Yii使用公共函数 dcj3sjt126com yii
    在网站项目中，没必要把公用的函数写成一个工具类，有时候面向过程其实更方便。 在入口文件index.php里添加 require_once('protected/function.php'); 即可对其引用，成为公用的函数集合。 function.php如下：   <?php /**   * This is the shortcut to D
  • linux 系统资源的查看（free、uname、uptime、netstat） eksliang netstatlinux unamelinux uptimelinux free
    linux 系统资源的查看 转载请出自出处：http://eksliang.iteye.com/blog/2167081   http://eksliang.iteye.com 一、free查看内存的使用情况 语法如下：   free [-b][-k][-m][-g] [-t] 参数含义 -b:直接输入free时，显示的单位是kb我们可以使用b(bytes),m
  • JAVA的位操作符 greemranqq 位运算JAVA位移<<>>>
    最近几种进制，加上各种位操作符，发现都比较模糊，不能完全掌握，这里就再熟悉熟悉。   1.按位操作符 ：    按位操作符是用来操作基本数据类型中的单个bit,即二进制位，会对两个参数执行布尔代数运算，获得结果。    与（&）运算：    1&1 = 1, 1&0 = 0, 0&0 &
  • Web前段学习网站 ihuning Web
      Web前段学习网站 菜鸟学习：http://www.w3cschool.cc/   JQuery中文网：http://www.jquerycn.cn/   内存溢出：http://outofmemory.cn/#csdn.blog   http://www.icoolxue.com/   http://www.jikexue
  • 强强联合：FluxBB 作者加盟 Flarum justjavac r
    原文：FluxBB Joins Forces With Flarum作者：Toby Zerner译文：强强联合：FluxBB 作者加盟 Flarum译者：justjavac FluxBB 是一个快速、轻量级论坛软件，它的开发者是一名德国的 PHP 天才 Franz Liedke。FluxBB 的下一个版本(2.0)将被完全重写，并已经开发了一段时间。FluxBB 看起来非常有前途的，
  • java统计在线人数（session存储信息的） macroli javaWeb
    这篇日志是我写的第三次了 前两次都发布失败！郁闷极了！   由于在web开发中常常用到这一部分所以在此记录一下，呵呵，就到备忘录了！ 我对于登录信息时使用session存储的，所以我这里是通过实现HttpSessionAttributeListener这个接口完成的。 1、实现接口类，在web.xml文件中配置监听类，从而可以使该类完成其工作。 public class Ses
  • bootstrp carousel初体验 快速构建图片播放 qiaolevip 每天进步一点点学习永无止境bootstrap纵观千象
    img{ border: 1px solid white; box-shadow: 2px 2px 12px #333; _width: expression(this.width > 600 ? "600px" : this.width + "px"); _height: expression(this.width &
  • SparkSQL读取HBase数据，通过自定义外部数据源 superlxw1234 sparksparksqlsparksql读取hbasesparksql外部数据源
    关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源     前面文章介绍了SparSQL通过Hive操作HBase表。   SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0，简单介绍SparkSQL自定义外部数据源，访
  • Spring Boot 1.3.0.M1发布 wiselyman spring boot
        Spring Boot 1.3.0.M1于6.12日发布，现在可以从Spring milestone repository下载。这个版本是基于Spring Framework 4.2.0.RC1,并在Spring Boot 1.2之上提供了大量的新特性improvements and new features。主要包含以下：   1.提供一个新的sprin
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他