Por otra parte, Alfonso se casó con la nieta preferida de Franco. Después del nacer el segundo hijo y haber comprado una casa en la residencial zona madrileña de Puerta de Hierro, Carmen le dijo a su marido que quería dejarlo. Según sus propias palabras, él intentó por todos los medios no separarse pero fue inútil, Carmen se marchó a Francia y dejó los hijos. Allá vivió una historia de amor con el anticuario francés Jean Marie Rossi, padre de su hija Cynthia.

Esta primera crisis para el pequeño Luis Alfonso se pudo subsanar gracias a su abuela y a su padre, quien ejerció la patria potestad. Fueron año difíciles pues tuvo que enfrentarse a la pérdida de su hermano Fran en 1984, quien falleció en un accidente automovilístico. Cinco años más tarde la desgracia regresó y esta vez fue el padre, gran esquiador que en unas vacaciones decide viajar a Beaver Greek, Colorado. En uno de los descensos se topó con un obstáculo en la pista y muere degollado. Este segundo impacto sumó al jovencito en una nueva tristeza. Entonces su madre viaja a Madrid para pedirle que se fuera con ella a Francia pero no quiso y prefirió permanecer al lado de su abuela.

El tiempo ha transcurrido y el futuro duque de Cádiz ha encontrado la felicidad al lado de esta joven que no pertenece a la nobleza y ni siquiera es europea, pero puede ser que lo mantenga alejado de la mala suerte.