Le 16 septembre 1776, des troupes américaines sous le commandement de George Washington affrontèrent les forces britanniques sur les hauteurs dominant le village : la bataille de Harlem Heights, un succès précoce qui remonta le moral de l’armée continentale. En 1802, Alexander Hamilton fit bâtir sa maison de campagne, le Grange, sur des terres voisines.
À partir des années 1880, les lignes de métro aérien et de nouvelles rues transformèrent les terres agricoles en rangées d’hôtels particuliers pour des New-Yorkais aisés. Ce boom immobilier explique le grand nombre de belles maisons en grès brun, et pourquoi le quartier s’est ensuite ouvert à de nouveaux habitants.