サーバーの移行だけでは、SEO順位やアクセス数が落ちる心配はありません。

ドメインの変更などが行う場合は、影響がないとはいえません。
ただ、リダイレクト設定やURL構造の維持、SSL化の引き継ぎを正確に行うため、これまでの検索評価をそのまま維持でき、
適切な手順で移行を行えば、比較的影響なく、すすめることはできます。