特定のポートで TCP サーバーを実行するプロセスを適切に停止するにはどうすればよいですか?

Question

ホスト マシン上の特定のポートで TCP サーバーを起動する systemd サービス ユニットがあります。

しかし、再起動するとポートは引き続き実行され、サービスを再起動すると、アドレスが既に使用されているというエラーが発生します。

さらに調べてみると、サービスが開始に失敗したため TCP サーバーのポートはまだ開いているが、サービスを停止すると開いている TCP ポートが閉じることがわかりました。