Il Panch Mahal (palazzo a cinque piani), facilmente riconoscibile da lontano per la sua forma triangolare, segna la separazione con il quartiere degli uomini. I cinque piani ipostili dell'edificio, di superficie decrescente, sono sovrapposti ed evocano quasi un castello di carte. Pare che le 176 colonne scolpite siano tutte diverse l'una dall'altra. L'edificio doveva essere un tempo circondato da jali che convogliavano la brezza e lo trasformavano in un luogo ideale per dormire nelle calde notti estive.