El 16 de septiembre de 1776 tropas estadounidenses a las órdenes de George Washington combatieron a las fuerzas británicas en las alturas sobre la aldea: la batalla de Harlem Heights, un éxito temprano que levantó la moral del Ejército Continental. En 1802 Alexander Hamilton construyó su casa de campo, el Grange, en terrenos cercanos.
Desde la década de 1880, los ferrocarriles elevados y las nuevas calles convirtieron las tierras de cultivo en hileras de casas para neoyorquinos acomodados. Ese auge constructor explica por qué Harlem conserva tantas elegantes casas de piedra rojiza y por qué después se abrió a nuevos residentes.