No necesitas escapar tanto. Puede usar comillas simples fuera de la consulta y comillas dobles dentro, es decir, pero tenga cuidado de tener el tipo como hexadecimal, lo que significa "03" y no "3"
mongodump --host localhost --db test --collection bd --query
'{"_id" : { "$binary" : "ryBRQ+Px0kGRsZofJhHgqg==", "$type" : "03" } }'
