La opción php mysql.connect_timeout es la razón de esto. No solo se usa para el tiempo de espera de conexión, sino también para esperar la primera respuesta del servidor. Puedes aumentarlo así:
ini_set('mysql.connect_timeout', 300);
ini_set('default_socket_timeout', 300);
