¿Por qué las inserciones del servidor SQL son tan lentas?

Realiza cada inserción dentro de su propia transacción.

Comenzar y confirmar la transacción es muy caro en SQL Server .

Encierre todo en un solo bloque de transacción:

declare @i int
set @i = 0
set nocount on
BEGIN TRANSACTION
while @i < 2000
begin
insert into testdb(testcolumn)
values (1)
set @i = @i + 1
end
COMMIT

Para generar datos de muestra, puede usar un CTE recursivo :

WITH    q (num) AS
        (
        SELECT  1
        UNION ALL
        SELECT  num + 1
        FROM    q
        WHERE   num < 2000
        )
INSERT
INTO    testdb(testcolumn)
SELECT  1
FROM    q
OPTION (MAXRECURSION 0)

, que será más rápido.