Wieso willst du da Zeiger verwenden wenn du nicht damit umgehen kannst? Mit Zeigern kann man allerlei Unsinn und Fehler machen. Daher sollte man sie nur verwenden wenn es auch wirklich nötig ist.
Einen Offset kannst du auch im Subskript Operator drauf addieren:
byte var = array[index + offset];