En un contexto html, <?php , <something , etc, es la apertura de una etiqueta html. Editar < con su entidad html < para evitar que suceda..
<?php
Aún mejor, use htmlspecialchars:
<?php echo htmlspecialchars('<?php echo "test"; ?>'); ?>