相传在唐元时期，江西景德镇周边县乐平、贵溪、鹰潭等地的农民纷纷前往做陶工。由于当时工作繁忙，一位乐平农民将自家带来的面粉搅拌后直接放在窑炉表面烘焙，并加入了有止咳功效的桃仁碎末。其他瓷工见此法做的干粮便于日常保存和长途运送瓷器时食用，便纷纷仿效，并取名“陶酥”。后来，由于谐音的关系，“陶酥”逐渐演变成了“桃酥”。
还有一种说法是，明嘉靖年间，江西出了两位首辅，夏言和严嵩。夏言的后裔逃到上清挂洲村，把宫廷做桃酥的技术传了下来，并在靠近北极阁的地方开设了码头埠，专卖“宫廷桃酥”。
因此，桃酥饼不仅是一道美味可口的名点，更承载了江西深厚的历史和文化底蕴。如今，桃酥饼已经成为江西特色小吃之一，深受人们喜爱。