Probablemente esté intentando convertir a una marca de tiempo similar a UNIX, que está en UTC:
yourDateTime.ToUniversalTime().Subtract(
new DateTime(1970, 1, 1, 0, 0, 0, DateTimeKind.Utc)
).TotalMilliseconds
Esto también evita problemas de verano, ya que UTC no los tiene.