神甘宁的营回不去是因为他在三国时期的战争中选择了投降曹操。曹操对其进行了重用并赐予他偏将军之位，但后来因为神甘宁部队驻扎在叛变者黄祖的地盘上，曹操对此进行了讨伐，导致神甘宁不得不离开原来驻扎的营地，到了湖南桂阳一带。随着战争的进行，神甘宁部队的阵地也在不断变换，再也没有回到原来的营地。

除此之外，神甘宁也曾受到孙权的重用，从而成为孙权部队的一员，未来的时间里他也是在孙权的麾下效力。