ERROR neutron.agent.l3.router_info [-] (101, ‘Network is unreachable‘): NetlinkError: (101, ‘Network

neutron.agent.l3.agent [-] Hit retry limit with router update for 885c18b0-dd0d-48ff-905b-a7ba2f900842, action 3。ERROR neutron.agent.l3.router_info [-] (101, ‘Network is unreachable’): NetlinkError: (101, ‘Network is unreachable’)。

错误现象：虚拟机可以正常部署、正常分配IP、甚至正常 ping 通，但是应用服务连不上，通过tcpdump 沿路抓包，确定到 qrouter 里面后，qg有包，qb 没包。

查看日志出现错误类似如下：

tail -300f /var/log/neutron/l3-agent.log

2024-10-22 10:33:06.684 29563 WARNING neutron.agent.l3.agent [-] Hit retry limit with router update for 885c18b0-dd0d-48ff-905b-a7ba2f900842, action 3
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info [-] (101, ‘Network is unreachable’): NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info Traceback (most recent call last):
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/common/utils.py”, line 167, in call
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info return func(*args, **kwargs)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 1229, in process
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info self.process_external()
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “”, line 2, in process_external
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/common/coordination.py”, line 83, in _synchronized
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info return f(*a, **k)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 993, in process_external
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info self._process_external_gateway(ex_gw_port)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 874, in _process_external_gateway
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info self.external_gateway_added(ex_gw_port, interface_name)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 827, in external_gateway_added
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info ex_gw_port, interface_name, self.ns_name, preserve_ips)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 770, in _external_gateway_added
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info ns_name, preserve_ips)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 800, in _external_gateway_settings
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info device.route.add_gateway(ip)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 605, in add_gateway
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info scope=scope)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 643, in add_route
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info table=table, metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 1499, in add_ip_route
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/privileged/agent/linux/ip_lib.py”, line 73, in sync_inner
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info return input_func(*args, **kwargs)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/oslo_privsep/priv_context.py”, line 245, in _wrap
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info return self.channel.remote_call(name, args, kwargs)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/oslo_privsep/daemon.py”, line 224, in remote_call
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info raise exc_type(*result[2])
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.009 29563 ERROR neutron.agent.l3.router_info
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent [-] Failed to process compatible router: 713874ec-38a9-4836-964f-33405cc49f73: NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent Traceback (most recent call last):
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 775, in _process_routers_if_compatible
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self._process_router_if_compatible(router)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 607, in _process_router_if_compatible
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self._process_updated_router(router)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 665, in process_updated_router
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent ri.process()
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/common/utils.py”, line 170, in call
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self.logger(e)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_utils/excutils.py”, line 220, in exit
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self.force_reraise()
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_utils/excutils.py”, line 196, in force_reraise
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent six.reraise(self.type, self.value, self.tb)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/common/utils.py”, line 167, in call
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent return func(*args, **kwargs)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 1229, in process
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self.process_external()
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “”, line 2, in process_external
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/common/coordination.py”, line 83, in _synchronized
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent return f(*a, **k)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 993, in process_external
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self._process_external_gateway(ex_gw_port)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 874, in _process_external_gateway
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent self.external_gateway_added(ex_gw_port, interface_name)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 827, in external_gateway_added
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent ex_gw_port, interface_name, self.ns_name, preserve_ips)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 770, in _external_gateway_added
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent ns_name, preserve_ips)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 800, in _external_gateway_settings
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent device.route.add_gateway(ip)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 605, in add_gateway
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent scope=scope)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 643, in add_route
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent table=table, metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 1499, in add_ip_route
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/privileged/agent/linux/ip_lib.py”, line 73, in sync_inner
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent return input_func(*args, **kwargs)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_privsep/priv_context.py”, line 245, in _wrap
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent return self.channel.remote_call(name, args, kwargs)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_privsep/daemon.py”, line 224, in remote_call
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent raise exc_type(*result[2])
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.010 29563 ERROR neutron.agent.l3.agent
2024-10-22 10:33:07.011 29563 WARNING neutron.agent.l3.agent [-] Hit retry limit with router update for 713874ec-38a9-4836-964f-33405cc49f73, action 3
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info [-] (101, ‘Network is unreachable’): NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info Traceback (most recent call last):
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/common/utils.py”, line 167, in call
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info return func(*args, **kwargs)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 1229, in process
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info self.process_external()
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “”, line 2, in process_external
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/common/coordination.py”, line 83, in _synchronized
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info return f(*a, **k)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 993, in process_external
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info self._process_external_gateway(ex_gw_port)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 874, in _process_external_gateway
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info self.external_gateway_added(ex_gw_port, interface_name)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 827, in external_gateway_added
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info ex_gw_port, interface_name, self.ns_name, preserve_ips)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 770, in _external_gateway_added
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info ns_name, preserve_ips)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 800, in _external_gateway_settings
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info device.route.add_gateway(ip)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 605, in add_gateway
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info scope=scope)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 643, in add_route
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info table=table, metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 1499, in add_ip_route
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/neutron/privileged/agent/linux/ip_lib.py”, line 73, in sync_inner
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info return input_func(*args, **kwargs)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/oslo_privsep/priv_context.py”, line 245, in _wrap
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info return self.channel.remote_call(name, args, kwargs)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info File “/usr/lib/python2.7/site-packages/oslo_privsep/daemon.py”, line 224, in remote_call
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info raise exc_type(*result[2])
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.260 29563 ERROR neutron.agent.l3.router_info
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent [-] Failed to process compatible router: fdb48013-dd21-426a-8c0d-8b69d2345aa4: NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent Traceback (most recent call last):
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 775, in _process_routers_if_compatible
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self._process_router_if_compatible(router)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 607, in _process_router_if_compatible
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self._process_updated_router(router)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 665, in process_updated_router
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent ri.process()
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/common/utils.py”, line 170, in call
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self.logger(e)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_utils/excutils.py”, line 220, in exit
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self.force_reraise()
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_utils/excutils.py”, line 196, in force_reraise
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent six.reraise(self.type, self.value, self.tb)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/common/utils.py”, line 167, in call
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent return func(*args, **kwargs)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 1229, in process
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self.process_external()
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “”, line 2, in process_external
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/common/coordination.py”, line 83, in _synchronized
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent return f(*a, **k)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 993, in process_external
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self._process_external_gateway(ex_gw_port)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 874, in _process_external_gateway
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent self.external_gateway_added(ex_gw_port, interface_name)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 827, in external_gateway_added
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent ex_gw_port, interface_name, self.ns_name, preserve_ips)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 770, in _external_gateway_added
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent ns_name, preserve_ips)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/l3/router_info.py”, line 800, in _external_gateway_settings
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent device.route.add_gateway(ip)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 605, in add_gateway
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent scope=scope)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 643, in add_route
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent table=table, metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 1499, in add_ip_route
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent metric=metric, scope=scope, **kwargs)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/neutron/privileged/agent/linux/ip_lib.py”, line 73, in sync_inner
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent return input_func(*args, **kwargs)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_privsep/priv_context.py”, line 245, in _wrap
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent return self.channel.remote_call(name, args, kwargs)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent File “/usr/lib/python2.7/site-packages/oslo_privsep/daemon.py”, line 224, in remote_call
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent raise exc_type(*result[2])
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent NetlinkError: (101, ‘Network is unreachable’)
2024-10-22 10:33:07.261 29563 ERROR neutron.agent.l3.agent
2024-10-22 10:33:07.262 29563 WARNING neutron.agent.l3.agent [-] Hit retry limit with router update for fdb48013-dd21-426a-8c0d-8b69d2345aa4, action 3

---

2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task Traceback (most recent call last):
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/oslo_service/periodic_task.py”, line 222, in run_periodic_tasks
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task task(self, context)
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py”, line 814, in periodic_sync_routers_task
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task with self.namespaces_manager as ns_manager:
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/neutron/agent/l3/namespace_manager.py”, line 71, in enter
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task self._all_namespaces = self.list_all()
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/neutron/agent/l3/namespace_manager.py”, line 117, in list_all
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task namespaces = ip_lib.list_network_namespaces()
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/neutron/agent/linux/ip_lib.py”, line 921, in list_network_namespaces
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task return privileged.list_netns(**kwargs)
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/oslo_privsep/priv_context.py”, line 244, in _wrap
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task self.start()
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/oslo_privsep/priv_context.py”, line 255, in start
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task channel = daemon.RootwrapClientChannel(context=self)
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task File “/usr/lib/python2.7/site-packages/oslo_privsep/daemon.py”, line 367, in init
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task raise FailedToDropPrivileges(msg)
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task FailedToDropPrivileges: privsep helper command exited non-zero (1)
2024-06-06 13:48:36.728 42742 ERROR oslo_service.periodic_task

---

neutron-dhcp-agent.log:

2020-04-10 12:35:28.260 11675 INFO neutron.agent.dhcp.agent [-] Starting network f16e9457-1d03-44a2-b9e4-58666a06bca5 dhcp configuration
2020-04-10 12:35:28.260 11675 DEBUG neutron.agent.dhcp.agent [-] Calling driver for network: f16e9457-1d03-44a2-b9e4-58666a06bca5 action: enable call_driver /usr/lib/python3/dist-packages/neutron/agent/dhcp/agent.py:150
2020-04-10 12:35:28.261 11675 DEBUG neutron.agent.linux.utils [-] Unable to access /var/lib/neutron/dhcp/f16e9457-1d03-44a2-b9e4-58666a06bca5/pid get_value_from_file /usr/lib/python3/dist-packages/neutron/agent/linux/utils.py:261
2020-04-10 12:35:28.261 11675 INFO oslo.privsep.daemon [-] Running privsep helper: ['sudo', '/usr/bin/neutron-rootwrap', '/etc/neutron/rootwrap.conf', 'privsep-helper', '--config-file', '/etc/neutron/neutron.conf', '--config-file', '/etc/neutron/dhcp_agent.ini', '--privsep_context', 'neutron.privileged.default', '--privsep_sock_path', '/tmp/tmp17yerien/privsep.sock']
2020-04-10 12:35:29.339 11675 CRITICAL oslo.privsep.daemon [-] privsep helper command exited non-zero (1)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent [-] Unable to enable dhcp for f16e9457-1d03-44a2-b9e4-58666a06bca5.: oslo_privsep.daemon.FailedToDropPrivileges: privsep helper command exited non-zero (1)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent Traceback (most recent call last):
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/dhcp/agent.py", line 159, in call_driver
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     getattr(driver, action)(**action_kwargs)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/dhcp.py", line 218, in enable
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     common_utils.wait_until_true(self._enable, timeout=300)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/common/utils.py", line 691, in wait_until_true
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     while not predicate():
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/dhcp.py", line 229, in _enable
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     interface_name = self.device_manager.setup(self.network)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/dhcp.py", line 1516, in setup
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     ip_lib.IPWrapper().ensure_namespace(network.namespace)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/ip_lib.py", line 236, in ensure_namespace
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     if not self.netns.exists(name):
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/ip_lib.py", line 797, in exists
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     return network_namespace_exists(name)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/ip_lib.py", line 1005, in network_namespace_exists
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     output = list_network_namespaces(**kwargs)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/lib/python3/dist-packages/neutron/agent/linux/ip_lib.py", line 991, in list_network_namespaces
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     return privileged.list_netns(**kwargs)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/local/lib/python3.6/dist-packages/oslo_privsep/priv_context.py", line 244, in _wrap
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     self.start()
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/local/lib/python3.6/dist-packages/oslo_privsep/priv_context.py", line 255, in start
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     channel = daemon.RootwrapClientChannel(context=self)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent   File "/usr/local/lib/python3.6/dist-packages/oslo_privsep/daemon.py", line 331, in __init__
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent     raise FailedToDropPrivileges(msg)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent oslo_privsep.daemon.FailedToDropPrivileges: privsep helper command exited non-zero (1)
2020-04-10 12:35:29.341 11675 ERROR neutron.agent.dhcp.agent

neutron-linuxbridge-agent.log

2020-04-10 12:49:14.658 11278 INFO neutron.common.config [-] Logging enabled!
2020-04-10 12:49:14.659 11278 INFO neutron.common.config [-] /usr/bin/neutron-linuxbridge-agent version 14.0.4
2020-04-10 12:49:14.659 11278 DEBUG neutron.common.config [-] command line: /usr/bin/neutron-linuxbridge-agent --config-file=/etc/neutron/neutron.conf --config-file=/etc/neutron/plugins/ml2/linuxbridge_agent.ini --log-file=/var/log/neutron/neutron-linuxbridge-agent.log setup_logging /usr/lib/python3/dist-packages/neutron/common/config.py:103
2020-04-10 12:49:14.660 11278 INFO neutron.plugins.ml2.drivers.linuxbridge.agent.linuxbridge_neutron_agent [-] Interface mappings: {'provider': 'wlp58s0'}
2020-04-10 12:49:14.661 11278 INFO neutron.plugins.ml2.drivers.linuxbridge.agent.linuxbridge_neutron_agent [-] Bridge mappings: {}
2020-04-10 12:49:14.662 11278 INFO oslo.privsep.daemon [-] Running privsep helper: ['sudo', '/usr/bin/neutron-rootwrap', '/etc/neutron/rootwrap.conf', 'privsep-helper', '--config-file', '/etc/neutron/neutron.conf', '--config-file', '/etc/neutron/plugins/ml2/linuxbridge_agent.ini', '--privsep_context', 'neutron.privileged.default', '--privsep_sock_path', '/tmp/tmp2j9epw1d/privsep.sock']
2020-04-10 12:49:15.508 11278 CRITICAL oslo.privsep.daemon [-] privsep helper command exited non-zero (1)
2020-04-10 12:49:15.509 11278 CRITICAL neutron [-] Unhandled error: oslo_privsep.daemon.FailedToDropPrivileges: privsep helper command exited non-zero (1)
2020-04-10 12:49:15.509 11278 ERROR neutron Traceback (most recent call last):
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/bin/neutron-linuxbridge-agent", line 10, in <module>
2020-04-10 12:49:15.509 11278 ERROR neutron     sys.exit(main())
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/cmd/eventlet/plugins/linuxbridge_neutron_agent.py", line 21, in main
2020-04-10 12:49:15.509 11278 ERROR neutron     agent_main.main()
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/plugins/ml2/drivers/linuxbridge/agent/linuxbridge_neutron_agent.py", line 1053, in main
2020-04-10 12:49:15.509 11278 ERROR neutron     manager = LinuxBridgeManager(bridge_mappings, interface_mappings)
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/plugins/ml2/drivers/linuxbridge/agent/linuxbridge_neutron_agent.py", line 82, in __init__
2020-04-10 12:49:15.509 11278 ERROR neutron     self.validate_interface_mappings()
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/plugins/ml2/drivers/linuxbridge/agent/linuxbridge_neutron_agent.py", line 97, in validate_interface_mappings
2020-04-10 12:49:15.509 11278 ERROR neutron     if not ip_lib.device_exists(interface):
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/agent/linux/ip_lib.py", line 818, in device_exists
2020-04-10 12:49:15.509 11278 ERROR neutron     return IPDevice(device_name, namespace=namespace).exists()
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/agent/linux/ip_lib.py", line 318, in exists
2020-04-10 12:49:15.509 11278 ERROR neutron     return privileged.interface_exists(self.name, self.namespace)
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/lib/python3/dist-packages/neutron/privileged/agent/linux/ip_lib.py", line 50, in sync_inner
2020-04-10 12:49:15.509 11278 ERROR neutron     return input_func(*args, **kwargs)
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/local/lib/python3.6/dist-packages/oslo_privsep/priv_context.py", line 244, in _wrap
2020-04-10 12:49:15.509 11278 ERROR neutron     self.start()
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/local/lib/python3.6/dist-packages/oslo_privsep/priv_context.py", line 255, in start
2020-04-10 12:49:15.509 11278 ERROR neutron     channel = daemon.RootwrapClientChannel(context=self)
2020-04-10 12:49:15.509 11278 ERROR neutron   File "/usr/local/lib/python3.6/dist-packages/oslo_privsep/daemon.py", line 331, in __init__
2020-04-10 12:49:15.509 11278 ERROR neutron     raise FailedToDropPrivileges(msg)
2020-04-10 12:49:15.509 11278 ERROR neutron oslo_privsep.daemon.FailedToDropPrivileges: privsep helper command exited non-zero (1)
2020-04-10 12:49:15.509 11278 ERROR neutron 

/etc/sudoers 权限文件内容如下:

#
# This file MUST be edited with the 'visudo' command as root.
#
# Please consider adding local content in /etc/sudoers.d/ instead of
# directly modifying this file.
#
# See the man page for details on how to write a sudoers file.
#
Defaults        env_reset
Defaults        mail_badpass
Defaults        secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"

# Host alias specification

# User alias specification

# Cmnd alias specification

# User privilege specification
root    ALL=(ALL:ALL) ALL
neutron         ALL=(ALL)       NOPASSWD: ALL
# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL

# Allow members of group sudo to execute any command
%sudo   ALL=(ALL:ALL) ALL

# See sudoers(5) for more information on "#include" directives:

#includedir /etc/sudoers.d

---

解决方法；

很多时候通过 重启 服务器，可以解决问题，但是在生产环境不能草率的这么做，就算要重启，也要考虑数据的迁移、同步、服务的可持续性。

在nova文件中 /etc/nova/nova.conf 检查是否配置如下:

rootwrap_config=/etc/nova/rootwrap.conf

检查用户权限文件 /etc/sudoers.d/nova 是否配置：

nova ALL = (root) NOPASSWD: /usr/bin/nova-rootwrap /etc/nova/rootwrap.conf *

重新安装：python2-oslo-privsep-1.33.5-1.el7.noarch.rpm

yumdownloader python2-oslo-privsep-1.33.5

rpm -e python2-oslo-privsep-1.33.5-1.el7.noarch --nodeps
rpm -ih python2-oslo-privsep-1.33.5-1.el7.noarch.rpm

cat /bin/privsep-helper

#!/usr/bin/python2
# PBR Generated from u'console_scripts'

import sys

from oslo_privsep.daemon import helper_main


if __name__ == "__main__":
    sys.exit(helper_main())

最后重启相关的服务：

systemctl restart   $(systemctl list-unit-files | grep -i neutron | grep enabled | awk '{print $1}')

---

在OpenStack中，Neutron组件出现了错误，具体错误信息如下：

2024-10-22 11:45:19.421 55632 ERROR neutron.agent.l3.agent [-] Failed to process compatible router: 885c18b0-dd0d-48ff-905b-a7ba2f900842: NetlinkError: (101, 'Network is unreachable')

这个错误表明Neutron的L3代理在处理路由器时遇到了网络不可达的问题。以下是一些可能的解决方案：

1. 检查网络连接

确保所有相关网络接口和网络设备都已正确配置并且处于活动状态。可以使用以下命令检查网络接口的状态：

ip a

确保所有接口都处于UP状态。

2. 检查路由配置

确保路由器的配置正确，包括网关和路由表。可以使用以下命令查看路由表：

ip route

确保默认路由和其他必要的路由已正确配置。

3. 检查Neutron配置

确保Neutron的配置文件（如neutron.conf和l3_agent.ini）正确配置。特别是检查L3代理的配置，确保网关和外部网络配置正确。

4. 检查网络命名空间

Neutron使用网络命名空间来隔离不同的网络。可以使用以下命令列出所有网络命名空间：

ip netns

然后进入相关的命名空间，检查网络配置：

ip netns exec qrouter-<router-id> ip a
ip netns exec qrouter-<router-id> ip route

5. 检查Neutron服务状态

确保所有Neutron相关的服务都在运行。可以使用以下命令检查服务状态：

systemctl status neutron-server
systemctl status neutron-l3-agent
systemctl status neutron-dhcp-agent
systemctl status neutron-metadata-agent

如果有任何服务未运行，请重新启动它们：

systemctl restart neutron-server
systemctl restart neutron-l3-agent
systemctl restart neutron-dhcp-agent
systemctl restart neutron-metadata-agent

6. 检查日志文件

查看Neutron的日志文件，寻找更多的错误信息和线索。日志文件通常位于/var/log/neutron/目录下。特别是查看neutron-l3-agent.log文件：

tail -f /var/log/neutron/neutron-l3-agent.log

7. 检查防火墙和安全组

确保防火墙规则和安全组配置不会阻止必要的网络流量。可以使用以下命令查看和修改防火墙规则：

iptables -L -v -n

8. 检查MTU设置

确保所有网络接口的MTU设置一致。如果MTU设置不一致，可能会导致网络不可达的问题。可以使用以下命令查看和设置MTU：

ip link show
ip link set dev <interface> mtu <value>

9. 检查Open vSwitch配置

如果使用Open vSwitch作为网络后端，确保Open vSwitch的配置正确。可以使用以下命令查看Open vSwitch的配置：

ovs-vsctl show

10. 重启网络节点

如果以上步骤都无法解决问题，可以尝试重启网络节点，以确保所有配置生效并清除可能的临时问题。

通过以上步骤，可以逐步排查和解决Neutron组件中的网络不可达问题。如果问题依然存在，可以参考OpenStack官方文档和社区论坛，寻找更多的解决方案和支持。

当重启服务后问题依旧，可以按照以下步骤进一步排查：

1. 检查网络接口状态：使用 ip a 命令查看所有网络接口的状态，确保所有接口都处于活动状态。

2. 检查路由配置：使用 ip route 命令检查路由表，确保默认路由和其他必要的路由配置正确。

3. 检查Neutron配置文件：检查 /etc/neutron/l3_agent.ini 配置文件，确认 interface_driver 设置正确。如果使用的是Linux Bridge，则设置为 neutron.agent.linux.interface.BridgeInterfaceDriver；如果使用Open vSwitch，则设置为 neutron.agent.linux.interface.OVSInterfaceDriver。

4. 检查日志文件：查看Neutron的日志文件，特别是 /var/log/neutron/neutron-l3-agent.log，寻找更多的错误信息和线索。

5. 检查服务状态：使用 systemctl status neutron-l3-agent 命令检查服务状态，查看服务是否处于活动状态。

6. 检查权限问题：确保 /var/lib/neutron/tmp 目录的权限设置正确，neutron用户有权限写入。可以使用 chown -R neutron:neutron /var/lib/neutron 命令修改权限。

7. 检查数据库一致性：使用 neutron db sync 命令检查数据库的一致性。

8. 检查硬件和网络配置：检查所有节点的时间是否一致，硬件主机的CPU和内存性能是否足够。

9. 检查API和消息队列：确保API endpoint正常，消息队列服务正常运行。

10. 检查端口和安全上下文：确保相关端口开放，安全上下文配置正确。

11. 检查浮动IP和NAT规则：检查与浮动IP创建和NAT规则相关的问题，查看是否有相关错误信息。

12. 使用重试机制：对于数据库操作，使用 retry_if_session_inactive 装饰器来处理可能的重试情况。

13. 检查浮动IP分配：如果问题涉及浮动IP分配，检查相关的配置和服务状态。

14. 检查硬件配置：检查硬件配置是否满足OpenStack的要求。

15. 检查服务间通信：确保控制节点、网络节点和计算节点之间的通信正常。

16. 检查配置文件：检查所有相关的配置文件，确保没有遗漏或错误。

17. 检查数据库连接：检查数据库连接数是否足够，必要时调整数据库配置。

18. 检查L3代理：检查L3代理的配置和状态，确保其正常运行。

19. 检查Linux Bridge代理：如果使用Linux Bridge，确保 neutron-linuxbridge-agent 服务正常运行。

20. 检查Open vSwitch代理：如果使用Open vSwitch，检查 neutron-openvswitch-agent 服务及其日志。

通过这些步骤，可以逐步排查和解决Neutron组件中的问题。如果问题依然存在，可以考虑寻求社区或专业支持的帮助。

当重启服务后问题依旧，可能的原因包括但不限于以下几点：

1. 配置文件错误：检查 /etc/neutron/l3_agent.ini 配置文件，确认 interface_driver 设置正确。如果 mechanism driver 是 linux bridge，则设置为 neutron.agent.linux.interface.BridgeInterfaceDriver；如果选用 open vswitch，则设置为 neutron.agent.linux.interface.OVSInterfaceDriver。错误的配置即使服务启动也不会报错，但服务可能没有真正启动 。

2. 网络状态问题：使用 openstack network list 和 openstack subnet list 命令检查网络及其状态，确认网络和子网的状态是否正常，通常应该显示为“ACTIVE” 。

3. 服务状态检查：通过 systemctl status 命令检查 neutron-l3-agent 服务状态，确认服务是否处于活动状态。

4. 日志文件：查看 /var/log/neutron/ 目录下的日志文件，特别是 neutron-l3-agent.log，寻找错误信息或异常提示 。

5. 数据库一致性：使用 neutron db sync 命令检查数据库的一致性。

6. 硬件和网络配置：检查所有节点的时间是否一致，硬件主机的CPU和内存性能是否足够。

7. API和消息队列：确保API endpoint正常，消息队列服务正常运行。

8. 端口和安全上下文：确保相关端口开放，安全上下文配置正确。

9. 浮动IP和NAT规则：检查与浮动IP创建和NAT规则相关的问题，查看是否有相关错误信息。

10. 协调服务：如果使用 Pacemaker 或其他协调服务，确保协调服务正常运行。

11. L3 Agent的分布：从 OpenStack 的 Juno 版本开始，L3 Agent 可以部署在计算节点上以实现分布式虚拟路由（DVR）功能，这可以减轻网络节点的负担 。

12. 云提供商集成代码：在 Kubernetes 1.31 版本中，已经移除了内置的云提供商集成代码，这可能影响 OpenStack 与 Kubernetes 的集成 。

13. 物理网络问题：检查物理网络连接，包括交换机和路由器的配置，确保它们允许正确的VLAN和路由流量。

14. 内核模块：确认所需的内核模块已加载，特别是与网络相关的模块。

15. SELinux设置：如果系统使用SELinux，错误的策略设置可能会阻止服务正常运行。

16. 服务间通信：确保控制节点、网络节点和计算节点之间的通信正常。

17. L3 Agent的配置：确认L3 Agent配置正确，包括外部网络的配置，以及是否正确设置了 external_network_bridge 。

18. 资源限制：检查系统资源限制，如内存和CPU使用率，以确保服务没有因为资源不足而失败。

19. 依赖服务：确认所有依赖的服务，如DHCP Agent、Metadata Agent等，都正常运行。

20. 软件版本兼容性：检查所有组件的版本是否兼容，特别是在升级或变更了某些组件后。

通过这些步骤，可以逐步排查和解决Neutron组件中的问题。如果问题依然存在，可以考虑寻求社区或专业支持的帮助。

在OpenStack中，诊断网络问题时，以下日志文件可能最有用：

1. Neutron日志：

   • neutron-server.log：记录Neutron服务端的日志，包括API服务器的请求处理等信息。
   • neutron-dhcp-agent.log：记录DHCP代理服务的日志，涉及IP地址分配等。
   • neutron-l3-agent.log：记录L3代理服务的日志，涉及路由和浮动IP等。
   • neutron-metadata-agent.log：记录元数据代理服务的日志，涉及实例元数据服务。
   • openvswitch-agent.log：记录与Open vSwitch相关的操作日志。

2. Nova日志：

   • nova-compute.log：记录虚拟机实例在启动和运行中的日志，对诊断实例网络问题很有帮助。
   • nova-network.log：关于网络状态、分配、路由和安全组的日志。
   • nova-scheduler.log：记录任务调度的日志，可以用于诊断网络相关的调度问题。

3. Open vSwitch日志：

   • ovsdb-server.log 和 ovs-vswitchd.log：记录Open vSwitch服务的日志，对诊断虚拟网络交换机问题很有帮助。

4. 系统日志：

   • /var/log/messages 或 journalctl：系统日志也可以提供网络服务相关的信息，尤其是关于系统级别的网络配置和服务状态。

5. RabbitMQ日志：

   • rabbit@_short_hostname_.log 和 rabbit@_short_hostname_-sasl.log：记录消息代理服务的日志，涉及Neutron服务间的通信。

6. 数据库服务器日志：

   • mariadb.log：记录数据库服务的日志，涉及Neutron数据库操作。

7. DHCP相关日志：

   • dnsmasq 的日志：虽然不是OpenStack直接生成的日志，但dnsmasq进程负责DHCP服务，其日志对于诊断IP分配问题很有帮助。

8. 安全组日志：

   • 安全组规则可能会影响网络流量，检查安全组配置和日志对于诊断网络访问问题很重要。

9. 控制台日志：

   • 在某些情况下，虚拟机的控制台日志（如console.log）也可能包含网络错误的信息。

10. 审计日志：

    • OpenStack的审计日志可以提供关于API请求和响应的详细信息，有助于诊断网络配置和权限问题。

在排查网络问题时，通常需要结合多个日志文件进行分析，以确定问题的根源。同时，根据具体的网络配置和使用的插件，可能还会有其他相关的日志文件。

分析OpenStack网络日志时，以下工具可能会非常有用：

1. Neutron日志分析工具：

   • neutron-dhcp-agent：这是OpenStack Neutron中的一个组件，负责管理DHCP服务，为虚拟机提供网络服务。通过分析neutron-dhcp-agent的日志，可以深入了解DHCP服务的行为和状态。

2. 集中式日志记录工具：

   • Red Hat OpenStack Platform提供的监控工具可以集中式地从一个中央位置收集OpenStack环境中所有组件的日志。这有助于识别所有节点和服务中的问题，并且可以选择将日志数据导出到红帽以获得诊断问题的帮助。

3. 网络故障排除工具：

   • OpenStack官方文档提供了一系列的网络故障排除指南，包括使用ip a命令检查接口状态，使用tcpdump命令跟踪网络数据包等。这些工具和方法可以帮助用户诊断网络问题。

4. 日志管理服务(Venus)：

   • Venus是一个OpenStack项目，旨在提供一站式的日志收集、清洗、索引、分析、告警、可视化和报告生成等服务。它可以帮助运维人员快速解决问题，掌握平台的运行健康状况，并提高平台管理水平。

5. 监控工具配置向导：

   • Red Hat OpenStack Platform的监控工具使用客户端-服务器模型，其中客户端部署在OpenStack环境的节点上。Fluentd服务提供客户端端的集中式日志记录，Sensu客户端服务提供客户端的可用性监控。这些工具可以帮助收集和分析OpenStack网络日志。

6. 安全指南中的监控和日志记录：

   • OpenStack安全指南提供了关于监控和日志记录的详细信息，包括如何配置日志记录、设置日志级别、日志文件的位置以及如何使用和自定义日志。这些信息对于分析OpenStack网络日志至关重要。

7. 操作监控：

   • OpenStack操作监控提供了多个类别的监控，包括传统的服务监控、租户健康监控等。这些监控工具可以帮助用户了解服务的运行状态，并及时发现和解决问题。

8. 网络故障排除文档：

   • Red Hat OpenStack Platform的文档提供了详细的网络故障排除步骤和命令，包括调试网络设备、跟踪网络数据包和调试网络命名空间等。这些工具和命令对于分析和解决网络问题非常有用。

使用这些工具，用户可以更有效地分析和解决OpenStack网络问题。