Celui qui est soupçonné d’avoir fait assassiner Agnès Sorel, maîtresse de son père ne prit pas de favorites officielles. Louis XI n’avait pas supporté le fait que sa mère Marie d’Anjou doive tolérer la maîtresse de Charles VII. Marié à Charlotte de Savoie en 1451, on suppose que Louis XI resta fidèle à son épouse et connu ses « amourettes » avant le mariage. La première fut Phélisé Regnard (v.1424-1474), fille d'Aymar Reynard seigneur de Saint Didier et veuve d’un écuyer, Jean Pic en 1452. Elle donna à Louis au moins deux filles : Guyette (?-1502) et Jeanne (1447-1519). Dépouillée de sa châtellenie de Beaumont en 1456, elle retrouva son bien grâce à Louis XI qu'elle conserva jusqu'à sa mort.

Louis tomba ensuite très amoureux de Marguerite de Sassenge (?-1471), fille d’Henri de Sassenge et d’Antoinette de Saluces. Elle était également veuve de Amblard de Beaumont. Elle resta la grande passion de Louis durant deux ans et lui donna au moins une fille, Isabeau de Valois, qui fut légitimée.

Louis XI prétendit être le père d'une certaine Marie de Valois (1449-1469). Selon les sources, elle serait la fille de Phélisé Regnard ou de Marguerite de Sassenge.