La population était composée de tisserands et de radeliers spécialisés dans le flottage du bois et le transport de marchandises par radeaux.

Il y a eu à Ilhet une verrerie, encore en activité vers 1850 (verrerie Augustin Bourdon) qui permettait à l'époque de faire vivre directement ou indirectement 765 hab .
La commune, située près de la Neste, se compose de 2 hameaux la Vielle Debat et la Vielle Dessus. L'église se trouve entre les 2 hameaux.
Aussi Ilhet possede une carrière de marbre dont l'exploitation continue.
Ce marbre unique au monde est connu sous l'appellation : Marbre de Sarrancolin. Autrefois, les habitants vivaient du radelage sur la Neste pour le transport du marbre.