Clémence Malaval, membre de la Société des Lettres de Rodez, qui visita le château en 1894 nous rapporte qu’en 1270 le Baron de Papailhonac en croyant se débarrasser d’un pèlerin inopportun, fit tuer son père qui rentrait de la croisade des barons. Dans l’excès de sa douleur, le baron fit vœu de renoncer au monde, de bâtir une église et d’ériger son fief en prieuré. C’est ainsi que La Roque devint à la fin du XIII siècle un bien de mainmorte.
La mainmorte défini l'incapacité de transmettre un bien à leur décès. Les biens d’église étaient des biens de mainmorte car leur possesseur avait une existence indéfinie.
C’est peut-être ainsi que le château est devenu propriété de l’abbaye bénédictine de Vabres qui fut élevé en évêché en 1318. Louis de Boziat, fils de Jeanne Martrin et François de Boziat de Mantelet, est devenu chanoine à Vabres, où on l’appelait l’abbé Boziat en 1734. Il fut nommé Prieur de Montaigut et La Roque. L’abbé Boziat fut condamné par le Parlement de Bordeaux a une amende 3.000 livres d'amende. C’est certainement la raison qui le conduit a vendre son prieuré à Gabriel martin qui en assurait la gestion et qui était dit notaire. Gabriel Martin prit le nom de Martin-Lacombe. La famille Martin-Lacombe restera propriétaire du château jusqu’au décès de Madame Paule Jeanne Marie Albertine Martin Lacombe en 1966. Madame Martin-Lacombe, n’ayant pas de descendance, a légué le château à la Congrégation des Petites Sœurs des Pauvres et repose au cimetière de La Roque.
Pour l'anecdote, Gabriel Martin Lacombe fit preuve de courage et de dévouement en 1797, face aux gendarmes venus appliquer la loi contre les prêtres réfractaires, en l'occurrence l'abbé Jean Baptiste Barthe. Celui-ci prévenu, descend de l'autel, se dépouille de ses vêtements sacrés, et chausse ses sabots afin de se diriger en toute hâte vers le château où, au nez et à la barbe des gendarmes accourus à cheval, il s'engouffre dans une cachette dissimulée ensuite par une grande quantité de foin. Monsieur Martin-Lacombe laisse ensuite pénétrer la force publique, et malgré des fouilles minutieuses, allant jusqu'à plonger dans la paille leurs épées. Les gendarmes ayant été trompé par un passage permettant de relier les trois niveaux repartirent bredouilles. Ce passage vertical existe toujours.