GNDを接続しないと、機器間のGND電位差より通信線に過大な電圧がかかりインターフェースICが故障する可能性があります。必ず接続してください。

もし、接続対象機器のRS-422やRS-485のポートにGNDがない場合は、その機器メーカーにGNDを接続しなくても良い回路仕様になっているかなどを十分に確認してください。