RCA変換アダプターを使うことによって音質は低下しますか？

いいえ、低下しません。
これには 2つの理由があります。

ADI-2/4 Pro SE の入力のインピーダンスは 45 k Ωの高さがあるため、たとえ高めのインピーダンスの出力を搭載する旧型のオーディオ機器(最大 10 k Ω)と接続したとしても、その機器に負荷を掛けすぎることがありません。 

そして、最近の機器に関しては 10 k Ωよりも大幅に低い出力を備えているため、同様のことが当てはまります。
また、ADI-2/4 Pro SE の入力はバランス(XLR)信号を送っても、アンバラン ス(モノ 6.35 mm)信号を送っても、全く同じ技術仕様になるように設計されています。
その上、 RMEのサーボバランス入力は自動レベル補正を行うため、基準レベルも同一になります。

出力についてもアダプターによる変化は全くありません。技術仕様に関しても動作に関しても同一です。
ADI-2/4 Pro SEの出力は、問題なく外部機器のRCA端子入力に接続できます。