罢免业委会主任需要遵循以下步骤和规则：
提议阶段
必须由业主委员会或者持有建筑物总面积20%以上且占总人数20%以上业主的提议。
业主大会
提议后，需要召开业主大会进行表决。
表决需要由专有部分面积占比三分之二以上的业主且人数占比三分之二以上的业主参与。
同意罢免的业主需达到参与表决业主的半数以上。
表决结果
业主大会应公布表决结果，并向主管部门备案。
报备与审计
罢免案通过后，需到当地社区或居民委员会报备。
被罢免的业主委员会主任应接受业主大会或中介机构对其任期内的经济问题进行审计。
法律责任
如果业委会主任拒绝接受审计，业主大会可以通过诉讼，要求法院强制进行审计，并依法追究其法律责任。
请确保遵循上述步骤和规则，合法有效地进行罢免程序。
