En 1970 se vio la necesidad de un aeropuerto de mayor tamaño debido a la saturación y las limitaciones del Aeropuerto Olaya Herrera, en ese entonces único aeropuerto de la ciudad. Además, para evitar la difícil topografía del Valle de Aburrá y para que no estuviera dentro de la ciudad, se definieron dos sitios para la construcción del nuevo aeropuerto: uno en inmediaciones del municipio de Barbosa, y otro en el valle de San Nicolás en el Oriente antioqueño, en el municipio de Rionegro. Finalmente se tomó el sitio en Rionegro y su diseño fue realizado por las firmas CEI (Colombia) - DARCO - TAMS. Fue inaugurado el 30 de junio de 1985 por el entonces presidente de la república Belisario Betancur y el entonces director de la Aerocivil, Juan Guillermo Penagos Estrada. En sus inicios, el aeropuerto absorbió casi en su totalidad el movimiento de carga y pasajeros del Olaya Herrera, pero hoy en día ambos aeropuertos mantienen operaciones tanto de carga como de pasajeros. El Olaya Herrera, sin embargo, tiene operaciones exclusivamente regionales y domésticas, mientras que el Aeropuerto José María Córdova opera rutas internacionales y troncales nacionales. El aeropuerto está nombrado en homenaje al general militar de la independencia de Colombia, José María Córdova, conocido como el héroe de Ayacucho. En enero de 2006, el Airbus A380 realizó en el aeropuerto sus pruebas técnicas de motores.​​