Remover a linha não é possível. O que poderia fazer é preenchê-la com algum indicador inicial de que foi lida anteriormente e não a ler assim que reabrir o arquivo. Sugiro o seguinte:
Ao adicionar os seus dados no SD, faça-o deixando um espaço para inserir (futuramente) um asterísco no início da linha. Assim, quando for abrir o arquivo para ler o conteúdo, você chega se a linha já foi lida anteriormente, apenas analisando se há um "*" no início.
Quantas linhas imagina que seu arquivo terá?