Lo que mejor veo yo es usar un segundo rele con enclavamiento como en el diagrama siguiente:
Funcionamiento: En funcionamiento normal cuando alimentas Arduino a traves del Conector JC1 el Positivo pasa a traves de los contactos N-NC del Rele 2 y del Rele 1 y Arduino arranca y comineza a traajar, en cuanto llega a la temperatura asignada Arduino activa el Rele 1 y se hacen los contactos N-NA alimentado al Rele 2 que a su vez se hacen los contactos N-NA y hace que el Rele 2 se ralimente quedando asi Arduino apagado, para volver al estado de funcionamiento de Arduino solo ha que pulsar P1 que corta el negativo al Rele 2 y vuelve a dar alimentacion a Arduino, P1 es del tipo de pulsador Normalmente Cerrado, el Rele 2 es como el de la placa del Rele 1 y los venden sueltos sin placa.