O problema na realidade pode ser na rota, pois há nódulos físicos em que a conexão de internet passa até chegar no local de destino. Qualquer problema em qualquer um dos nódulos podem resultar em latência alta. Poderiam postar um WinMTR para que eu possa analisar a rota?
Estes resultados indicam que a maioria dos seus pacotes de dados já estão sendo perdidos no começo da rota, e deteriorando sem parar.
Veja se tem como usar um modem/roteador diferente pra ver se faz diferença.
Se não, terá de contatar ao seu provedor de internet mostrando estes resultados pra que eles possam lhe fornecer assistência em relação à perda de pacotes.