根据《北京市建设工程施工现场管理办法》规定，住房城乡建设行政主管部门负责对农民自建低层住宅施工活动的安全管理工作。