1、若公安机关以及人民检察院正在对犯罪嫌疑人追究刑事责任，一把是不可以再继续对其进行行政处罚的。根据我国《刑法》的相关规定，对于犯罪情节轻微不需要判处刑罚的，可以免予刑事处罚，但是可以根据案件的不同情况，予以训诫或者责令具结悔过、赔礼道歉、赔偿损失，或者由主管部门予以行政处罚或者行政处分。
2、法律依据《中华人民共和国刑法》
第三十七条 对于犯罪情节轻微不需要判处刑罚的，可以免予刑事处罚，但是可以根据案件的不同情况，予以训诫或者责令具结悔过、赔礼道歉、赔偿损失，或者由主管部门予以行政处罚或者行政处分。