creación de librería sencilla

Faltan la directiva #include "mates.h" en mates.c. Además, supongo que también has puesto la misma directiva en tu archivo.ino.
Es recomendable en el archivo mates.h, además, incluir una directiva condicional para evitar la inclusión múltiple de la cabecera:

#ifndef mates_h
#define mates_h
int sumar(int,int); // aquí van las definiciones de la cabecera
#endif

Si así no te compila, pon la salida de error que te da el compilador.