违建罚款通常由县级以上地方人民政府城乡规划主管部门负责。根据《中华人民共和国城乡规划法》第六十四条的规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的行为，会受到责令停止建设、限期改正、罚款等行政处罚。
