Решил не компилить зря 3.14.6 и собрал на сервере через ssh linux-libre 3.15. Собралось, как ни странно, всего лишь минут за 20, хотя у меня на нетбуке ядро обычно за 1 час 40 минут собирается.

vitya@netbook:~$ uname -a
Linux netbook 3.15.0-gnu #0 SMP PREEMPT Mon Jun 9 06:05:08 UTC 2014 i686 GNU/Linux