Scrapy依赖于twisted，所以如果Scrapy能用，twisted肯定是已经安装好了。抓取到的数据，可以直接丢到mysql，也可以用Django的ORM模型丢到MySQL，方便Django调用。
方法也很简单，按数据库的语句来写就行了，在spiders目录里定义自己的爬虫时也可以写进去。当然使用pipelines.py是更通用的方法，以后修改也更加方便。
你的情况，应该是没有在Settings.py里定义pipelines，所以Scrapy不会去执行，就不会生成pyc文件了。
熟悉Python编程熟悉Django框架熟悉种数据库（SQLite、MySQL）
熟悉HTML5或HTML（用HTML5HTML做前端太low）(选项)熟悉JavaScript（要做特效CMS系统JavaScript必须）(选项)熟悉前端框架boostrap(前端框架能省事)
Python可以使用多种方法将实时数据存储到数据库中。
一种简单的方法是使用已经支持Python的数据库模块，如MySQLdb，pymongo等。首先，需要创建一个连接到数据库的对象，然后通过调用对象的方法将数据插入到数据库中。
另一种方法是使用ORM（对象关系映射）框架，如Django ORM，SQLAlchemy等。
ORM框架提供了更高级别的抽象，可以自动生成SQL查询以及自动映射Python对象和关系数据库之间的数据。使用ORM可以提高开发效率和代码可读性。无论使用哪种方法，都需要保证数据库的安全性和数据的一致性。
Python可以通过多种方式将实时数据存储到数据库。首先需要选择附加的数据库库，如SQLite，MySQL或PostgreSQL，并将其安装到Python环境中。
然后，您需要在Python脚本中引入数据库库，并使用API来建立与数据库的连接。一旦建立连接，您便可以将实时数据以不同的格式（例如JSON或CSV）插入数据库表中。
通过使用Python的读取和写入文件的方法，您可以将数据流媒体存储到硬盘中，并在需要时将其插入数据库。
最后，您需要确保在执行完插入操作后，将数据库连接关闭以保证数据的完整性和安全性。
要将Python实时数据存储到数据库中，你可以使用各种Python模块，如SQLite，MySQLdb，psycopg2等等。
最好的办法是将数据作为Python对象存储，然后将其插入到数据库中。需要注意的是，要确保所要存储的数据能够正确地映射到数据库表中。
使用ORM（对象关系映射）时尤其需要注意，在这种情况下，你需要定义对象之间的关系，并且要确保数据是有效的。最后，使用数据库连接池可以更好地管理连接，较少连接开启和关闭的负担。
需要学习以下内容：1. GIS原理和概念：了解地理信息系统的基本原理、数据模型和空间分析方法，掌握地图投影、坐标系统等基本概念。2. 编程语言：熟悉至少一种后端开发语言，如Python、Java、C#等。这将帮助你编写GIS相关的后端程序和服务。3. 数据库管理：掌握关系型数据库（如MySQL、PostgreSQL）的基本操作和管理，了解地理空间数据类型与索引的设计和应用。4. GIS开发框架：掌握一种或多种GIS开发框架，如ArcGIS、OpenLayers、GeoServer等，了解其使用方法和API接口。5. Web开发技术：熟悉前端开发技术（如HTML、CSS、JavaScript），能够开发WebGIS应用和交互界面。6. 空间数据分析：了解地理空间数据的分析方法和工具，如空间查询、缓冲区分析、路径分析等，以支持地理信息系统的功能开发。综上所述，GIS后端开发需要学习GIS原理、编程语言、数据库管理、GIS开发框架、Web开发技术以及空间数据分析等内容。这些知识和技能将帮助你进行GIS后端程序的开发和数据处理。