Parece que está intentando instalar una extensión compilada para PHP 5.3 con PHP 5.4; la versión de la API del módulo debe coincidir con la versión de PHP.
Si descarga el controlador PHP de MongoDB precompilado
de Github (por ejemplo, php_mongo-1.2.12.zip es la versión estable actual) incluye archivos DLL para varias versiones de PHP (por ejemplo, 5.2, 5.3 y 5.4). Debe copiar la DLL correcta para su sistema y cambiarle el nombre a php_mongo.dll.
Puede determinar la versión requerida desde el phpinfo() salida en su sistema (o php -i desde una línea de comando). Compruebe el valor de "Compilación de extensión Zend".
Por ejemplo:
Zend Extension Build => API220100525,NTS,VC9
.. indicaría que debe usar la DLL NTS (no segura para subprocesos).
En Windows de 64 bits, eso significaría copiar php_mongo-1.2.12-5.4-vc9-nts-x86_64.dll a php_mongo.dll en su directorio de extensiones de PHP.
