Nació el 16 de marzo de 1751 en Port Conway, Virginia, y fue allí por casualidad: su abuelo materno, de apellido Conway, tenía una plantación en el lugar y su madre estaba de visita cuando dio a luz a su primer hijo. La genealogía familiar que el propio Madison autorizó en 1833 fecha el nacimiento el 5 de marzo de 1751 según el calendario juliano entonces vigente, y da el nombre de la madre como Nelly Conway, no Eleanor. Los Madison eran una de las viejas familias terratenientes del Piedmont virginiano: la riqueza estaba en las plantaciones y en los esclavos, y el patrimonio mueble era comparativamente pequeño. Ese detalle, aparentemente contable, resultó importante un siglo y medio después, cuando se rastrearon los intereses económicos de los constituyentes.
Preparó el ingreso en la universidad en su propia casa, con el clérigo de la parroquia, Thomas Martin, que era de Nueva Jersey y probablemente influyó en que lo enviaran a Princeton en 1769, a los dieciocho años, en vez de al College of William and Mary de Virginia. Comprimió en un curso los estudios de los dos últimos años y se quedó un año más para aprender hebreo, un dato que, junto a su afición por la teología, ha hecho pensar a varios biógrafos que se preparaba para el ministerio. Al volver a casa dio clase a sus hermanos pequeños. No ejerció ninguna profesión: vivió de la plantación, de los sueldos de los cargos que ocupó y de la generosidad de su padre, y no se casó hasta 1794, de modo que dispuso de casi veinte años de vida adulta enteramente dedicados a leer y a la política. Su salud era mala y él contaba con morir joven. En una carta de noviembre de 1772 escribe que sus sensaciones de los últimos meses le han avisado de que no espere una vida larga ni sana, y que por eso tiene poco ánimo para emprender nada difícil de adquirir e inútil de poseer. Vivió ochenta y cinco años.
Su primer cargo llegó en 1774, en el comité de seguridad del condado, con veintitrés años. Dieciocho meses después fue elegido delegado en la Convención de Virginia de 1776, que él llamó su entrada en la vida pública, y allí hizo su primera intervención de peso. El borrador de la Declaración de Derechos garantizaba a todos los hombres la más plena tolerancia en el ejercicio de la religión. Madison propuso sustituir tolerancia por derecho, con el argumento de que tolerar implica tener jurisdicción sobre lo tolerado, y de que quien puede tolerar puede dejar de hacerlo. El texto aprobado recogió esa corrección. Es una distinción que hoy suena obvia y que en 1776 no lo era, y explica por qué su nombre aparece con tanta frecuencia en el debate sobre relaciones entre iglesias y Estado, un terreno distinto de aquel por el que se le suele citar.
Entre 1784 y 1785 volvió sobre lo mismo en la asamblea de Virginia, contra un proyecto de ley que destinaba una contribución al sostenimiento de maestros de la religión cristiana. Redactó contra él una memoria en quince puntos que circuló sin firma, y que sigue siendo su texto más leído fuera del Federalista. De ahí pasó a la convención comercial de Annapolis de 1786, que fracasó como reunión y sirvió como palanca para convocar la de Filadelfia. En Filadelfia, en 1787, llegó con un memorándum previo que sus colegas de Virginia convirtieron en el plan que se puso encima de la mesa el primer día y del que salió la Constitución. La convención sesionó a puerta cerrada y Madison, que asistió a todas las sesiones, tomó notas taquigráficas que después pasó a limpio. Nunca las publicó en vida. Su testamento se las dejó a su mujer con el encargo expreso de publicarlas, ella no pudo costear la edición y las vendió al Gobierno: el Congreso las compró por treinta mil dólares mediante una ley aprobada el 3 de marzo de 1837, y aparecieron en 1840 editadas por Henry D. Gilpin. Casi todo lo que se sabe de lo que se discutió en aquella sala se sabe porque él lo anotó y decidió cuándo se leería.
En el primer Congreso presentó las doce enmiendas declarativas de derechos que satisfacían las objeciones de los estados; diez fueron ratificadas. En el invierno de 1790 y 1791 encabezó la oposición al banco nacional de Hamilton sosteniendo que constituir un banco no figuraba entre los poderes conferidos al Congreso, perdió la votación y perdió también el dictamen ante Washington, y esa derrota marca su paso a la oposición y el nacimiento del primer sistema de partidos. En 1794 se casó con Dolley Payne Todd, viuda de veintiséis años criada entre cuáqueros; él tenía cuarenta y tres y ella le sobrevivió trece años. En 1798 redactó las resoluciones con las que Virginia protestó contra las leyes de extranjería y sedición. Fue secretario de Estado con Jefferson y presidente entre 1809 y 1817. Su guerra con Inglaterra, que él mismo había considerado durante años imprudente e inútil, se declaró el 18 de junio de 1812; el 24 de agosto de 1814 los británicos llegaron a Bladensburg mientras en la Casa Blanca se ponía la mesa para la comida de las tres, y esa noche ardieron los edificios públicos. Se retiró veinte años a Montpelier, se ocupó de la Universidad de Virginia, mantuvo más de cien esclavos y murió allí el 28 de junio de 1836, sin poder tragar el desayuno, contestando a su sobrina que no le pasaba nada más que un cambio de opinión.