HttpClient大并发下Timeout waiting for connection from pool 问题解决方案

错误:org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool


前言  :

第一次看到这个错误, 上网找了下,有文章说是连接池不够了。。。。   并没有多想,立即将原有程序的 链接池扩容了3倍,然后单个路由  扩容了5倍。

问题解决, 以为找到了,答案。 但是 过了大约 几天之后,再次出现该问题,当时就特别疑惑, 没有扩容之前 程序已经运行了 将近两年,并没有发生任何错误,

现在 扩容了,竟然还报这个错, 此时 分析方向  应该发生改变。 


怀疑方向一 :   大量的Timeout 出现,是否 请求的域名有问题 ? 

 于是,手动 ping 了访问域名,发现并没有多慢.    (疑问否决)

怀疑方向二 :  是否我们服务器出口IP 有问题, 请求 指定域名 超时? 

于是:  我们新开了一台机器, 然后将 原有的两台机器 停掉一台, 并且新开的机器  使用 全新的出口IP, 以区分于原有机器,后来发现 新卡的机器,没有问题。

因此,我们大致定位了问题,就是 服务器的出口IP 有问题, 并不是程序的问题。 所以,解决方案就是 找运维 重新申请配置了机器.


下面 贴出 我连接池的 写法, 做个小笔记 。

HttpClient  版本如下 

		
			org.apache.httpcomponents
			httpclient
			4.3.4
		
		
			org.apache.httpcomponents
			httpcore
			4.3.2
		
		
			org.apache.httpcomponents
			httpmime
			4.3.1
		


连接池代码如下 :

package com.**.weixin.common.https;

import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;


public class HttpClientFactory {

    private static final Integer MAX_TOTAL = 300;             //连接池最大连接数
    private static final Integer MAX_PER_ROUTE = 50;          //单个路由默认最大连接数
    private static final Integer REQ_TIMEOUT =  5 * 1000;     //请求超时时间ms
    private static final Integer CONN_TIMEOUT = 5 * 1000;     //连接超时时间ms
    private static final Integer SOCK_TIMEOUT = 10 * 1000;    //读取超时时间ms
    private static HttpClientConnectionMonitorThread thread;  //HTTP链接管理器线程

    public static HttpClientConnectionMonitorThread getThread() {
		return thread;
	}
	public static void setThread(HttpClientConnectionMonitorThread thread) {
		HttpClientFactory.thread = thread;
	}

	public static HttpClient createSimpleHttpClient(){
		SSLConnectionSocketFactory sf = SSLConnectionSocketFactory.getSocketFactory();
		return HttpClientBuilder.create()
		        .setSSLSocketFactory(sf)
		        .build();
    }
    
	public static HttpClient createHttpClient() {
		PoolingHttpClientConnectionManager poolingHttpClientConnectionManager = new PoolingHttpClientConnectionManager();
		poolingHttpClientConnectionManager.setMaxTotal(MAX_TOTAL);
		poolingHttpClientConnectionManager.setDefaultMaxPerRoute(MAX_PER_ROUTE);
		RequestConfig requestConfig = RequestConfig.custom()
				.setConnectionRequestTimeout(REQ_TIMEOUT)
				.setConnectTimeout(CONN_TIMEOUT).setSocketTimeout(SOCK_TIMEOUT)
				.build();
		HttpClientFactory.thread=new HttpClientConnectionMonitorThread(poolingHttpClientConnectionManager); //管理 http连接池
		return HttpClients.custom().setConnectionManager(poolingHttpClientConnectionManager).setDefaultRequestConfig(requestConfig).build();
	}
}


以下 线程用来清理 连接池无效的链接 :

package com.**.weixin.common.https;

import java.util.concurrent.TimeUnit;

import org.apache.http.conn.HttpClientConnectionManager;

/**
 * 

Description: 使用管理器,管理HTTP连接池 无效链接定期清理功能

* @author andy 2017年8月28日 */ public class HttpClientConnectionMonitorThread extends Thread { private final HttpClientConnectionManager connManager; private volatile boolean shutdown; public HttpClientConnectionMonitorThread(HttpClientConnectionManager connManager) { super(); this.setName("http-connection-monitor"); this.setDaemon(true); this.connManager = connManager; this.start(); } @Override public void run() { try { while (!shutdown) { synchronized (this) { wait(5000); // 等待5秒 // 关闭过期的链接 connManager.closeExpiredConnections(); // 选择关闭 空闲30秒的链接 connManager.closeIdleConnections(30, TimeUnit.SECONDS); } } } catch (InterruptedException ex) { } } /** * 方法描述: 停止 管理器 清理无效链接 (该方法当前暂时关闭) * @author andy 2017年8月28日 下午1:45:18 */ @Deprecated public void shutDownMonitor() { synchronized (this) { shutdown = true; notifyAll(); } } }





你可能感兴趣的:(代码操作,Java操作)