Sì, è giusto.
Se attivi uno degli ingressi dell'ADC come pin AIN-, l'ADC viene disattivato.
Ma non è obbligatorio usare un pin analogico come ingresso invertente, il 328 ha uno specifico pin denominato AIN1, che è il piedino PD7, basta attaccare la tensione lì e l'ADC non viene toccato.