¿Cómo puedo seleccionar todos los datos de una tabla con condición?

Prueba por:

SELECT *
FROM patientinfo, records
WHERE (patientinfo.patient_id = $patient_id) AND (patientinfo.patient_id = records.patient_id);

También puede enumerar específicamente las columnas para mostrar y asignarles un alias, por ejemplo:

SELECT records.date AS the_date

El WHERE records.patient_id = $patient_id parece estar bien siempre que $patient_id no sea una cadena vacía. Para eso, echo la consulta antes de ejecutarla y verificar si está bien.