离开美国过久或犯下重罪者的绿卡很可能被撤销，而绿卡被废者甚至会被立刻递解出境。
新版的新移民指南明确指出，离开美国超过一年者将不能再使用其绿卡入境，而一些移民认为，只要至少每年回一次美国，便可在居住于其他国家的同时维持其永久居民身份，这一想法是错误的。“即使绿卡持有者离开美国的时间在六个月至一年之间，但若有证据显示其无意将美国当成永久的家，那么其绿卡也可能作废。”
不过指南也表示，若确有重要事项耽误返美时间，绿卡持有者可准备好证明理由的文件，向移民局进行解释。同时，如果绿卡持有者打算离开美国超过12个月，应该在离境前提交I-131表格申请回美证(reentry permit，即再入境许可)，有效期为两年。
离开美国时间不超过两年的绿卡持有者在返美入关时，应出示再入境许可而非签证或绿卡。但是持有回美证仅是其短暂离境后返美的最有利证明，并不能保证其将被允许入境美国。因此，指南提醒绿卡持有者，切莫离美时间过长。
另一个最可能令绿卡失效的原因是犯下被定义为恶性重罪的犯罪行为，包括被判以一年有期徒刑的暴力重罪、谋杀、强奸、儿童性侵害，非法贩卖毒品、枪械或人口等罪。此外一些道德败坏的犯罪行为也很可能导致绿卡失效，例如意图偷盗或诈欺，因疏忽鲁莽而导致他人身体严重伤害的行为。
以欺骗方式为自己或其他人谋取移民福利，谎称自己是美国公民，在仅向美国公民开放的联邦、州或地方选举中投票，惯性酗酒或使用违禁药物，同时与多人结婚等。
指南同时指出，不抚养家庭或不支付法定子女或配偶赡养费者，因施行家庭暴力被捕者，以谎言或假文件取得社会福利或诈欺任何政府机构者，没有按照规定申报所得税者，年龄在18至26岁之间的男性却故意不在兵役登记局登记者，还有帮助其他非美国公民非法进入美国者，他们的绿卡也都很可能被撤销。
