方式大体有那么几种，比如phantomjs，webkit，selenium等。如果对抓取的性能没有什么要求的话, 尝试一下selenium或者watir吧.web自动化测试脚本用好了可以做很多事情.利用你的浏览器执行好js, 然后再从dom里面取数据.另外一个情况, 如果你知道js是通过ajax或者api取数据的, 直接去抓数据源, 得到的不是json就是xml, 然后处理数据吧
一、查看相应的js代码，用python获取原始数据之后，模仿js编写相应的python代码。
二、通过接口api获得数据，直接使用python获取接口数据并处理。
三。终极方法。使用Selenium和PhantomJS执行网页js代码，然后再获取数据，这种方法100%可以获取数据，确定就是速度太慢。
方式大体有那么几种，比如phantomjs，webkit，selenium等。如果对抓取的性能没有什么要求的话,尝试一下selenium或者watir吧.web自动化测试脚本用好了可以做很多事情.利用你的浏览器执行好js,然后再从dom里面取数据.另外一个情况,如果你知道js是通过ajax或者api取数据的,直接去抓数据源,得到的不是json就是xml,然后处理数据吧
我想你大概是问如何使用web页面，在线执行python。
首先你可以安装一个叫The Jupyter Notebook实现你的需要
如果你想做一个在线的应用，大体思路如下：
提交以后等待相应返回结果。
将文本信息转存成py文件
起一个python进程执行并获取输出结果，错误信息
等待进程结束。分步或者一次性返回结果。
python在进行如此方式执行会有很大的安全隐患。解决安全问题可以尝试使用codejail实现。
Python爬虫是一种使用Python编程语言编写的程序，旨在自动化地从互联网上获取大量的数据。它模拟浏览器的行为，通过网络请求访问网页，并从网页的源代码中提取所需的信息，如文本、图片、链接等。
Python爬虫通常使用第三方库（例如Beautiful Soup、Scrapy和Requests）来处理HTTP请求和网页解析。通过编写自定义的脚本，可以按照特定的规则和逻辑来爬取目标网页，并将获取的数据存储到本地文件或数据库中。
使用Python爬虫可以自动化地执行重复性的网页抓取任务，从而节省大量的时间和精力。它在各种领域和应用中有广泛的应用，如数据采集、网络监测、搜索引擎优化、价格比较、舆情分析等。
需要注意的是，在使用Python爬虫时，应遵循相关的法律法规和网站的使用条款，避免对目标网站的正常运行造成负担或违法行为。此外，在进行大规模爬取时，还应注意对目标网站的服务器负载和数据隐私的问题。
1 Python爬虫是一种通过编写程序自动抓取互联网上的数据的技术。2 Python爬虫可以模拟浏览器进行操作，通过请求网页、解析网页内容等方式获取所需数据，并将其存储在本地或者数据库中。3 Python爬虫可以应用于很多领域，例如数据分析、搜索引擎优化、舆情监测等，是现代互联网时代的重要工具之一。