《行政处罚法》第20条规定，“行政处罚由违法行为发生地的县以上地方人民政府具有行政处罚权的行政机关管辖。法律、行政法规另有规定的除外”。
由此可见，税务行政处罚的主体，是具有行政处罚权的各级税务机关，由当事人税收违法行为发生地的税务机关管辖。
具体而言：
1、从税务行政处罚的地域管辖来看，只有当事人违法行为发生地的税务机关才有权对当事人实施处罚；
2、从税务行政处罚的级别管辖来看，必须是县以上的税务机关（法律特别授权的税务所除外）。
3、是从税务行政处罚主体的职能要求来看，必须有税务行政处罚权。我国税务机关的组织构成包括国家税务总局，省、自治区、直辖市国家税务局、地方税务局，地(市、州、盟)国家税务局、地方税务局，县(市、旗)国家税务局、地方税务局四级。各级税务机关的内设机构、派出机构不具处罚主体资格，不能以自己的名义实施税务行政处罚，但是根据新税收征收管理法，实施罚款额在2000元以下的罚款可以由税务所决定。