L'origine du village proviendrait de "Uz" lieu élevé, et la Rousse viendrait soit de la chevelure de Marguerite des Baux, soit de la couleur de la pierre locale.

Le vieux village, bâti sur le flanc de la colline appelée La Garenne, est riche en sites archéologiques. En parcourant les calades, vous découvrirez les vestiges des remparts au pied du Château de style médiéval et Renaissance, la Halle aux grains ainsi que l'ancien prieuré créé par l'abbaye de la Chaise-Dieu dont subsistent une église romane et une chapelle gothique.