砍桂树的男子叫吴刚。他不停砍树的原因是吴刚犯了错误，他被天帝惩罚在月宫砍一棵高达五百丈的桂花树，但是这棵每次砍下去之后，被砍的地方又立即合拢了，永远都砍不完。因此他就一直砍，一直砍到今天，他还在那里砍树，关于这个传说有多个版本。
版本一：
传说月亮里有一棵高五百丈的月桂树。汉朝时有个叫吴刚的人，醉心于仙道不专心学习，因此天帝震怒，把他留在月宫，令他在月宫伐桂树，并说：“如果你砍倒桂树，就可获仙术。”但吴刚每砍一斧，斧起而树创伤就马上愈合，日复一日，吴刚伐桂的愿望仍未达成，因此吴刚在月宫常年伐桂，始终砍不倒这棵树，因而后世的人得以见到吴刚在月中无休无止砍伐月桂的形象。
版本二：
吴刚又叫吴权，是西河人。炎帝之孙伯陵，趁吴刚离家三年学仙道，和吴刚的妻子私通，还生了三个儿子，吴刚一怒之下杀了伯陵，因此惹怒太阳神炎帝，把吴刚发配到月亮，命令他砍伐月桂。月桂高达五百丈，随砍即合，炎帝就是利用这种永无休止的劳动为对吴刚的惩罚。而吴刚的妻子对丈夫的遭遇亦感到内疚，命她的三个儿子飞上月亮，陪伴吴刚，一个变成「蟾蜍」，一个变成「兔」，一个变成了叫“不详”的天癸。
版本三：
南天门的吴刚和月亮里的嫦娥很要好，但他经常与嫦娥相会，而疏于职守。玉皇大帝知道后，一气之下，就罚吴刚到月亮里去砍一棵叫月亮树，如果吴刚不砍光这棵月亮树，便不能重返南天门，亦不能与嫦娥相会。吴刚天天砍树，每天也砍不完，只有在每年八月十六那天，才有一片树叶从月亮上掉落地面上。