Efectivamente gastas parte de la RAM.
Si te llegan 300 bytes por segundo y con un buffer de 250 no pierdes datos debe de ser porque el serial read lo haces mas de una vez por segundo, (si pones el código lo veremos enseguida).
Vas a tener que jugar hasta que encuentres el tamaño de buffer adecuado para tu aplicación.