Anders dan de Munt is de Haarlemmerpoort sinds de bouw in 1615-’18 regelmatig in beeld gebracht. Ten Compe schilderde de poort tenminste tweemaal. Het schilderij van het AHM toont de poort, gezien vanuit de stad naar het westen, op een zonnige ochtend; de klok wijst 8 uur aan. Wandelaars van verschillende rangen en standen bevolken het Haarlemmerplein. Onder de stadswal laten vrouwen hun linnengoed bleken. Links heeft molen De Kraay op het bolwerk Sloterdyk het wiekenkruis op het westen gericht. Ten behoeve van de compositie koos de kunstenaar zijn standpunt vlakbij de huizenrij aan de noordzijde van het plein, waarvan de schaduwen zichtbaar zijn. Alleen zo was hij in staat om de overhoekse positie van de stadspoort ten opzichte van het plein te corrigeren en de façade evenwijdig aan het beeldvlak weer te geven. Ook liet hij het zonlicht nagenoeg vanuit het noorden binnenvallen, zodat de ook slagschaduwen van de stoffage evenwijdig aan het beeldvlak lopen.
Uit oude herkomstgegevens blijkt dat ook de Haarlemmerpoort een tegenhanger had. Op verkopingen in 1781, 1784 en 1800 werd het aangeboden met een even groot Gezicht op de Leidsepoort in de winter. Bij de laatste gelegenheid kocht kunstmakelaar Van der Schley de Haarlemmerpoort aan voor een particulier. Deze gaf het ten geschenke gaf aan zijn dochter en schoonzoon, die in de Haarlemmerstraat woonden en op de poort uitkeken. De aankoop door het museum in 1991 betekende de hereniging met de tegenhanger, die in 1960 was verworven [SA 8420].

Deze poort uit 1615 vormde een onderdeel van de nieuwe verdedigingswerken, nodig geworden door de stadsuitbreiding van 1613. Het bouwwerk van Hendrick de Keyser werd in 1837 afgebroken en drie jaar later vervangen door een neo-klassiek gebouw, ontworpen door C. Alewijn. Met de vestingwet van 1873 zou de poort slechts veertig jaar na de bouw zijn defensieve functie verliezen.