Hoje tive um problema clássico relacionado ao SSH no Linux, quando você tenta adicionar uma chave privada ao sistema utilizando configurações de acesso muito permissivas, porém no Windows.
Compartilho aqui os passos que utilizei para chegar em uma solução:
Acesse as Propriedades do arquivo .pem, em seguida a aba Security.
Clique na opção Advanced ou Avançado, como indicado na imagem acima.
Seguindo o indicado na imagem a seguir, clique na opção “Desabilitar herança“. Você verá o seguinte pop-up, selecione a opção indicando a conversão das permissões herdadas.
Teste o comando ssh-add novamente no Windows (seja prompt de comando ou Power Shell). Caso ainda não funcione, observe a primeira imagem e remova qualquer usuário além de System, Administrators e o seu usuário local/logado.
Conseguiu resolver de outra maneira ou teve dificuldades mesmo seguindo esses passos? Deixe sua dúvida ou informação adicional nos comentários.
Portuguese 
English