LLaVA微调debug：ImportError: xxx/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so: undefined symbol:

完整报错信息：

ImportError: /home/linjl/anaconda3/envs/sd/lib/python3.10/site-packages/flash_attn_2_cuda.cpython-310-x86_64-linux-gnu.so:
undefined symbol:_ZN3c105ErrorC2ENS_14SourceLocationENSt7__cxx1112basic_stringIcSt11char_traitsIcESaIcEEE

flash-attn版本问题，到官网上下载对应自己cuda和torch版本的whl文件，再安装，注意我一开始下了这种TRUE的版本，出现了以上错误，改下FALSE版本后解决。
下载链接：
https://github.com/Dao-AILab/flash-attention/releases?page=1

一开始报错的版本：
https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.6/flash_attn-2.5.6+cu122torch2.1cxx11abiTRUE-cp310-cp310-linux_x86_64.whl

没问题的版本：
https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.6/flash_attn-2.5.6+cu122torch2.1cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

注意是那个TRUE和FALSE的问题！！！

更新：换机器后再次出现这个问题，而且TRUE和FALSE都没用，要再加上这个命令：

pip uninstall  transformer_engine