ubuntu 14.04 の SSH 接続が遅いと感じたら

DNSの参照をやめてみましょう

このファイルの

sudo vi /etc/nsswitch.conf

こうなっているところを

hosts:          files dns

こうして下さい。

hosts:          files

特に社内に開発環境等のためにローカルIPアドレスで設定したサーバーはDNSを引いても無駄なことが多いため、この設定は有効だと思います。