Há várias coisas que podem causar um aumento de latência. Recomendaria tentar umas coisas mais básicas, como desligar o roteador e modem por alguns minutos e depois ligar de novo. Após a conexão voltar, limpe o DNS e renove o IP.
Também recomendo tentar resetar a interface do jogo. Isso reseta as configurações do jogo que podem causar latência alta em certa parte. Também remove addons que podem causar extra carga na conexão.
Se não resolver, rode um WinMTR e poste o resultado. Poderemos verificar se há algum problema na rota ou na conexão.