Según su tabla de ejemplo, parece que desea agrupar en product en lugar de id . Simplemente necesita agregar el Size columna tanto para SELECT lista y el GROUP BY
$query = "SELECT
product,
Size,
SUM(Quantity) AS TotalQuantity
FROM inventory
GROUP BY product, Size";
Tenga en cuenta que he agregado un alias de columna TotalQuantity , lo que le permitirá recuperar más fácilmente la columna de la fila recuperada a través de la $row['TotalQuantity'] más sensata , en lugar de $row['SUM(Quantity)']