LIMIT solo detiene la cantidad de resultados que devuelve la instrucción. Lo que está buscando generalmente se llama funciones de análisis/ventana/clasificación, que MySQL no admite pero puede emular usando variables:
SELECT x.*
FROM (SELECT t.*,
CASE
WHEN @category != t.category THEN @rownum := 1
ELSE @rownum := @rownum + 1
END AS rank,
@category := t.category AS var_category
FROM TBL_ARTIKUJT t
JOIN (SELECT @rownum := NULL, @category := '') r
ORDER BY t.category) x
WHERE x.rank <= 3
Si no cambia SELECT x.* , el conjunto de resultados incluirá el rank y var_category valores:tendrá que especificar las columnas que realmente desea si este no es el caso.