爬取浙江理工大学学生信息

gistfile1.txt

import requests
import csv
import time
grades = ['2019329600', '2019329621']
result = []
null = None
for grade in grades:
    for spec in [str(num).zfill(3) for num in range(1000)]:
        r = requests.get(
            'http://fangyi.zstu.edu.cn:5004/api/DataSource/GetDataSourceByNo?sqlNo=JTDK_XS$%s' % (grade+spec))
        temp = eval(r.text)['data']
        if temp:
            result.append(temp[0])
        header = ['name', 'age']  # 数据列名
# test.csv表示如果在当前目录下没有此文件的话，则创建一个csv文件
# a表示以“追加”的形式写入，如果是“w”的话，表示在写入之前会清空原文件中的数据
# newline是数据之间不加空行
# encoding='utf-8'表示编码格式为utf-8，如果不希望在excel中打开csv文件出现中文乱码的话，将其去掉不写也行。
with open('2019.csv', 'a', newline='') as f:
    writer = csv.DictWriter(f, fieldnames=list(
        result[0].keys()))  # 提前预览列名，当下面代码写入数据时，会将其一一对应。
    writer.writeheader()  # 写入列名
    writer.writerows(result)  # 写入数据