Usa el rowid pseudocolumna.
DELETE FROM your_table
WHERE rowid not in
(SELECT MIN(rowid)
FROM your_table
GROUP BY column1, column2, column3);
Donde column1 , column2 y column3 componen la clave identificativa de cada registro. Puede enumerar todas sus columnas.
