但不知为何，太上皇驾崩之后，皇帝竟以「东都不能无守，特派御弟镇守之」为由，将李梵天遣往洛州，明显地疏远他。有人说，是李梵天功高震主，李隆基害怕再出现另一个太平公主。
也有人说，是李梵天文韬武略无一不通，是百年难得一见的奇才、将才，太上皇李旦素爱此子，李隆基更对他心生畏惧，恐他一朝萌起篡逆之心，加之手中又握有长安城大部分的重兵，后果将一发不可收拾。于是表面上赐他封王，遣至洛州，实际上却是借此削夺他的兵权。
还有一种说法，是李梵天的名字惹祸了！传说有相士向皇帝进言，兰陵王李梵天命格非凡，观其"梵天」两字怀有宏观四海、吞吐八方的气势，这是帝王的命格，若不将他遣离君侧，日后必生大患。