其历史起源与瑶族始祖盘瓠的族源传说一脉相连，屈大均《广东新语》中称“盘瓠毛五彩，故今徒衣服斑斓”。如今，乳源过山瑶以居山岭地不同而有东边、西边两瑶之分，其中居于东边柳坑、游溪、东坪、必背一带的瑶族服饰仍保留了传统瑶族服饰的主体特征。