Obtener todas las filas en función de la consulta en una matriz

$result = mysql_query("SELECT * FROM $tableName");  
$arr_json = array();
while ($row = mysql_fetch_assoc($result)) {
   $json = json_encode($row);
   $arr_json[] = $json;
}

EDITAR:Mirando la respuesta de j08691, parece que podría haber entendido mal.

De todos modos, si no sabe cuántas columnas tiene, haga esto:

$arr = array();
while ($row = mysql_fetch_assoc($result)) {
   $arr2 = array();
   foreach ($row as $val) $arr2[] = $val;
   $arr[] = $arr2;
}