リモートデスクトップ接続するとXInput接続のパッドがSDLで認識されなくなり、XInput接続じゃないとパッドの認識にウィンドウ表示が必要という状況だったので、結局何も表示しないウィンドウを出して解決した。
自分で使うだけなので余計なウィンドウ出てても気にしなきゃいいだけだわな。