记一次PHP Memcache扩展故障排查

背景

服务器用了PHP Memcache扩展，但上线后频繁出现set/add失败。

测试

为了重现故障，写了一个简单脚本测试test_mc.php，如下：

connect(HOST, PORT);
while(1) {
    $key = 'test' . microtime(1);
    $value = 'val';
    $expire = 100;
    $result = $mc->set($key, $value, $expire);
    if($result) {
        echo date('Y-m-d H:i:s') . "\tset success" . PHP_EOL;
    }else {
        echo date('Y-m-d H:i:s') . "\tset fail" . PHP_EOL;
    }
    sleep(1);
}

执行/path/to/php test_mc.php，结果如下：

从执行可以看出，的确会间歇出现set不成功的情况，而且"set fail"会连续出现15次。
那么问题就来了：

1. 为什么会出现fail？
2. 为什么每次都连续15次fail？

排查

执行strace /path/to/php test_mc.php，分析系统调用，得到结果如下：

绿色的是执行成功的"set success"，红色的是执行失败的"set fail"。
从上述信息可以看出两个问题：

1. 第1次的"set fail"是因为poll timeout，超时时间是1000ms。网络问题，我们可以根据实际情况，把超时时间再设置长一点。
2. 第2次~第15次就有点奇怪了，并没有发生网络请求，就直接失败了。

针对这两个问题，继续排查。

为什么fail刚好是15次？

查阅Memcache扩展的文档没有说明，那就直接看扩展源码。Memcache扩展版本是2.2.7。
源码地址：https://pecl.php.net/package/memcache
在源码里直接搜索"15"，就可以找到以下的常量定义：

在mmc_open函数有这样的用法：
注：mmc->retry_interval = MMC_DEFAULT_RETRY

那么结论就很明显了，在同一个mc连接，一旦出现了MMC_STATUS_FAILED(连接失败)，只能在15s过后再重新连接。期间客户端的任何调用都是失败。所以就出现上面的测试结果。
MMC_DEFAULT_RETRY对单例模式和守护进程会比较麻烦。
所以建议一旦发现连接失败，就调用close()把连接干掉。

如何设置超时时间

先看文档：http://php.net/manual/zh/memcache.connect.php

文档比较简单，Memcache::connect()第3个参数就是超时选项。
我们把超时时间改为3s，修改如下：

connect(HOST, PORT, 3);
...

为了验证是否真的设置成功，执行strace /path/to/php test_mc.php

奇怪了，怎么超时还是1000ms？设置3s不生效？
会不会是个bug？于是又翻起了Memecache扩展的源代码。
Memcache::connect()方法的实现在php_mmc_connect()里：

这里发现两个很有趣的事情：

1. 超时时间其实有两个选项：timeout(s)和timeoutms(ms)
2. 文档里Memcache::connect()的参数列表只列了3个参数(host, port, timeout)，但实际上是可以接收第4个参数作为timeoutms。
   如果timeoutms没有传(小于1)，那就取默认值：default_timeout_ms(1000)。

这段代码看起来还算比较正常，但答案还是没出来，timeout参数明明是有读取的，为什么就是设置不成功？不急，再看看处理连接的_mmc_open()函数：

当我看到这段代码的时候，倒吸一口凉气，心情久久不能平复。
认真看下代码，红框里的是说，如果timeoutms大于0，那就用它作为超时时间，否则就用timeout。
刚刚我们只传入timeout，那么timeoutms就会默认赋值default_timeout_ms(默认1000大于0)。于是timeout就没有用了，超时永远都是取timeoutms的1000ms。
也就是说，正确的设置超时时间应该是使用第4个隐藏参数timeoutms(问你服了没有？)：

connect(HOST, PORT, 3, 3000);    //第三个参数"3"可以随便设，因为它都不会生效
...

再执行strace /path/to/php test_mc.php验证是否设置成功：

OK，果然如此，超时时间设置成功。
当然，还有一种简单粗暴的方法：

在php.ini修改或者动态修改都可以。

总结

不太清楚Memcache扩展2.2.7以后的版本有没有修复这个bug。但2.2.7以后的都是beta版，2013年后就没更新了。

建议有条件都把Memcache扩展换成Memcached，不过要注意两者的数据兼容情况，因为两者的序列化方式有差异的。