Usufruit, nue propriété, loyer

[Schraptor]

Bonjour à tous,
J'ai une question un peu complexe a poser.
J'ai déjà cherché sur le net mais je n'ai pas trouvé de réponse précise à ma question.

La situation :
Mon est nue-propriétaire de la maison dans laquelle nous vivons aujourd'hui.
Son père a l'usufruit de cette maison.
Nous occupons cette maison depuis 1996.
Nous y avont réalisé des travaux depuis. Agrandissement, garage, aménagements interieurs et extérieurs.

La question :
Jusqu'à aujourd'hui, il ne nous a jamais rien demandé et là, le coup de hache.
Mon épouse et moi même sommes en instance de divorce. Nous le pensions
faire à l'amiable mais voilà que mon beau-père s'en mêle.
Il nous réclame 5 ans d'arrièré de loyers sur la maison soit 60000€.
Je voudrais savoir s'il peut faire cela de plein droit sachant qu'aucun document n'a été signé en dehors de l'acte notarié de donation / usufruit.
Pour exiger un loyer, ne faut-il pas un bail ou un document signé par les 2 partie stipulant le montant du loyer ?

La situation est particulière et je pense que ça ne doit pas arriver tous les jours (tant mieux) mais j'aimerais avoir votre avis sur la question.

Merci.

[Rambotte]

Mais comment se fait-il que vous habitez une maison dont vous (je veux dire votre épouse) n'êtes pas censé avoir la jouissance, puisque c'est votre beau-père qui s'en est réservé l'usufruit ? Habite-t-il avec vous ?
Si votre beau-père a donné la nue-propriété à sa fille avec réserve d'usufruit (je suppose qu'il s'agit de ça), normalement, c'est pour qu'il continue d'y habiter jusqu'à sa mort, ou bien pour qu'il en perçoive des revenus (c'est la définition même de l'usufruit).
Cela dit, s'il n'y a pas de bail et qu'il a laissé faire, je ne sais pas si l'on doit considérer juridiquement qu'il a loué à titre gratuit le bien dont il avait l'usufruit, auquel cas c'est sa décision à lui d'avoir perçu des revenus nuls ?
Mais peut-être cela peut-il être considéré alors comme une donation déguisée ?
Qui peut répondre ?