如果我只有在大学的时候才入团会受到影响吗？

呵呵，这一切你都不用担心。这个完全不受影响。研究生阶段“群众”多，呵呵，不想入党，入团也是多余的。想入党，就做好学术研究，多接近一些人。入党很简单。别急，考研吧。