Sim, a ligação dos relés pode ser feita direto nos interruptores. Aconselho usar o modo de ligação three-way, pois você conseguirá acionar a lâmpada pelo relé e desligá-la no interruptor, e vice-versa.
No caso do transmissor que você enviou, não poderia ser este por causa da incompatibilidade da frequência. Os relés que te enviei trabalham na frequência de 315MHz ou 433MHz (dependendo do tamanho da antena).
Mesmo que o receptor RF possa não lhe ser útil, comprar os 2 sai mais barato. Dê uma olhada e pesquise como funcionam.
Lembrando que isso é para realizar o acionamento sem fio dos relés usando o Arduino, sem precisar levar fios das portas digitais até os relés, o que muita vezes é imprático. O último link que você mandou não se encaixa nessa aplicação.