要获取爬虫的url链接，可以使用以下几种方法：1. 手动输入链接：直接在代码中编写要爬取的链接。2. 网页分析：使用网页解析库（如BeautifulSoup）解析已经加载的页面，找出其中的链接。3. API调用：某些网站提供API接口，可以通过API调用获取链接。4. 网页爬虫自动发现链接：使用抓取工具或者爬虫框架（如Scrapy）自动发现并抓取网页中的链接。5. 数据库或文件读取：从数据库或者文件中读取链接。需要注意的是，获取网页链接时一定要遵守网站的规定，避免对网站造成不必要的压力或违反法律法规。同时，在进行大规模爬取时，也要注意是否需要获取网站的API许可或者遵守robots.txt协议。
2、利用Js处理，创建一个div，赋值到div的innerHTML，然后取innerTEXT（借助Js引擎帮你处理）
3、利用第三方工具包，如HtmlAgilityPack。