#1242 - La subconsulta devuelve más de 1 fila - mysql

Dado que su subconsulta puede devolver múltiples valores, IN debe caber en su cláusula where.

SELECT pictures_archive_filename 
FROM pictures_archive 
WHERE pictures_archive_id IN 
(
   SELECT pictures_archive_id 
   FROM pictures_archive_category 
   WHERE pictures_category_id = 9
)

una alternativa para esto es join ambas tablas, que es más eficiente.

SELECT  pictures_archive_filename 
FROM    pictures_archive a 
        INNER JOIN pictures_archive_category b
            ON a.pictures_archive_id = b.pictures_archive_id
WHERE   b.pictures_category_id = 9