VirtualDesktopでビルド無しで実行するがうまくいかず、結果的に無線でIPアドレスによってQuestに転送する方法で今はやっています。
ここのページを参考にしました。
https://qiita.com/divideby_zero/items/1151ab760cbaa3d43d45
この方法では電源を切るとリセットされてしまうので、毎回一回はUSB接続をして接続する必要がありますが、まあ最初一回だけなのでなんとか我慢できそう。
"C:\Program Files\Unity\Hub\Editor\2019.1.4f1\Editor\Data\PlaybackEngines\AndroidPlayer\SDK\platform-tools\adb" tcpip 5555
"C:\Program Files\Unity\Hub\Editor\2019.1.4f1\Editor\Data\PlaybackEngines\AndroidPlayer\SDK\platform-tools\adb" connect 192.168.xxx.xxx:5555
"C:\Program Files\Unity\Hub\Editor\2019.1.4f1\Editor\Data\PlaybackEngines\AndroidPlayer\SDK\platform-tools\adb" devices
pause
私はこんな感じでバッチファイルを作ってその都度実行しています。
ビルドに待つ時間は変わらないけど、ケーブルのわずらわしさは無くなったのでこれはこれでオッケーです。