Si tienes un UNIQUE clave (que no sea AUTO_INCREMENT ), simplemente use INSERT IGNORE ... para evitar silenciosamente filas duplicadas. Si no tiene una clave ÚNICA, ¿nunca necesita volver a buscar una fila?
Si ya ha permitido duplicados y necesita deshacerse de ellos, esa es una pregunta diferente.