运行结果如下,其中包含了我需要爬取的所有信息,包括菜肴分类、地区id,以及此页面上商店的名称和地址。打印结果如下
下一步是提取菜系分类id和地区id。代码的前一部分已经将标记类型转换为json类型,这类似于python中的字典,因此非常简单。
获取所有菜肴ID,区域ID如下:
然后取其中一个并将其组合成一个URL。首先,尝试解析单个web页面。守则如下:
运行结果如下:
回顾元素网络,找到URL的组成规律:
然后将上面获得的两组ids组合起来组合URL。完整代码如下: