استخراج روابط Google Drive باستخدام Scrapy يمكن تنظيمه عبر واجهة Drive API بدل البحث عن div.flip-entry في صفحة العرض. HTML الخاص بخدمة Drive قد يتغير أو يعرض صفحة دخول، فينتهي استخراج قديم بلا نتائج رغم وجود ملفات. يحتفظ هذا الدرس بـScrapy لإدارة الطلبات والتصدير، لكنه يقرأ JSON رسميًا ويعالج الصفحات التالية. لا يحتاج تشغيل JavaScript داخل المتصفح، ولا يحاول الوصول إلى ملف لا يملك الحساب إذن قراءته.
أوامر التجهيز والتشغيل
python -m pip install "Scrapy>=2.13,<3"
# Set DRIVE_ACCESS_TOKEN privately in your local environment first.
python -m scrapy runspider drive_export.py -a folder_id=YOUR_FOLDER_ID -O drive-files-new.jsonالمتطلبات والمصادقة قبل التشغيل
يستهدف المثال Scrapy 2.13 أو أحدث من السلسلة الثانية ويستخدم async start. تحتاج مشروع Google Cloud مفعلة فيه Drive API ورمز وصول OAuth صالحًا للحساب المصرح، وفق دليل Google الرسمي المرتبط أدناه. ضع الرمز في متغير البيئة DRIVE_ACCESS_TOKEN محليًا دون لصقه في الكود أو رابط الطلب أو مستودع عام. الرمز قد ينتهي، والمثال لا ينفذ تدفق تسجيل الدخول أو تجديده تلقائيًا؛ غيابه يوقف البرنامج برسالة واضحة قبل الزحف.
تحديد المجلد والنطاق الذي يراه التطبيق
folder_id هو معرف المجلد من رابطه، وليس الرابط كاملًا ولا قيمة تجريبية من عدة علامات شباك. يتحقق المثال من شكل المعرف قبل إدخاله في الاستعلام. صلاحية قراءة المجلد في المتصفح لا تعني أن رمز التطبيق يملك النطاق نفسه؛ اختيار نطاق محدود مثل drive.file قد يعرض فقط الملفات المسموح بها للتطبيق. راجع نطاقات OAuth وحدود الوصول، ولا تجعل كل المجلد عامًا لتجاوز خطأ مصادقة. النتيجة تخص الملفات المباشرة داخل المجلد وليست اجتيازًا لكل المجلدات المتفرعة.
الكود: drive_export.py
import os
import re
from urllib.parse import urlencode
import scrapy
from scrapy.exceptions import CloseSpider
class DriveFilesSpider(scrapy.Spider):
name = "drive_files"
allowed_domains = ["www.googleapis.com"]
custom_settings = {
"ROBOTSTXT_OBEY": True,
"CONCURRENT_REQUESTS_PER_DOMAIN": 1,
"DOWNLOAD_DELAY": 1,
"DOWNLOAD_TIMEOUT": 30,
"FEED_EXPORT_ENCODING": "utf-8",
"COOKIES_ENABLED": False,
}
default_kind = "all"
def __init__(self, folder_id=None, kind=None, *args, **kwargs):
super().__init__(*args, **kwargs)
if not folder_id or not re.fullmatch(r"[A-Za-z0-9_-]+", folder_id):
raise ValueError("Pass a valid folder_id")
self.kind = kind or self.default_kind
if self.kind not in {"all", "images", "videos"}:
raise ValueError("kind must be all, images or videos")
self.folder_id = folder_id
self.token = os.environ.get("DRIVE_ACCESS_TOKEN", "").strip()
if not self.token:
raise ValueError("Set DRIVE_ACCESS_TOKEN locally; do not put it in the source")
self.seen_ids = set()
self.seen_pages = set()
def make_request(self, page_token=None):
query = f"'{self.folder_id}' in parents and trashed = false"
query += " and mimeType != 'application/vnd.google-apps.folder'"
if self.kind in {"images", "videos"}:
prefix = "image/" if self.kind == "images" else "video/"
query += f" and mimeType contains '{prefix}'"
params = {
"q": query, "pageSize": 1000, "spaces": "drive",
"fields": "nextPageToken,incompleteSearch,files(id,name,mimeType,webViewLink,resourceKey)",
}
if page_token:
params["pageToken"] = page_token
return scrapy.Request(
"https://www.googleapis.com/drive/v3/files?" + urlencode(params),
headers={"Authorization": "Bearer " + self.token},
callback=self.parse, errback=self.failed,
)
async def start(self):
yield self.make_request()
def failed(self, failure):
# Do not print the request headers or credential values.
raise CloseSpider("drive_request_failed_check_status_and_authorization")
def parse(self, response):
data = response.json()
if data.get("error") or data.get("incompleteSearch"):
raise CloseSpider("drive_results_incomplete")
for file in data.get("files", []):
file_id, mime = file.get("id"), file.get("mimeType", "")
if not file_id or file_id in self.seen_ids:
continue
if self.kind == "images" and not mime.startswith("image/"):
continue
if self.kind == "videos" and not mime.startswith("video/"):
continue
if mime == "application/vnd.google-apps.folder":
continue
self.seen_ids.add(file_id)
item = {"id": file_id, "name": file.get("name", ""), "mime_type": mime,
"view_url": file.get("webViewLink", "")}
if mime.startswith(("image/", "video/")):
preview = "https://drive.google.com/file/d/" + file_id + "/preview"
if file.get("resourceKey"):
preview += "?" + urlencode({"resourcekey": file["resourceKey"]})
item["preview_url"] = preview
yield item
token = data.get("nextPageToken")
if token:
if token in self.seen_pages:
raise CloseSpider("repeated_page_token")
self.seen_pages.add(token)
yield self.make_request(token)
الطلب والحقول وترقيم الصفحات
يحدد الطلب parent ويستبعد المهملات والمجلدات ويطلب حقولًا محددة: المعرف والاسم والنوع ورابط العرض ومفتاح المورد عند وجوده. عندما تعيد الخدمة nextPageToken ننشئ طلبًا جديدًا مع الرمز، ونحتفظ بالمعرفات لمنع تكرار العناصر وبالرموز لكشف تكرار صفحة غير متوقع. لا تنتهي القراءة لمجرد أن صفحة ما فارغة إذا كان معها رمز متابعة. يعالج المثال incompleteSearch كتوقف يحتاج مراجعة بدل وصف نتيجة جزئية بأنها قائمة كاملة.
ملف JSON والروابط والصلاحيات
يرجع كل عنصر name وmime_type وview_url، ويضيف preview_url للصور والفيديوهات. رابط العرض ليس رابط تنزيل مباشر ولا يحول الملف الخاص إلى عام؛ يظل المستخدم بحاجة إلى الإذن المناسب. قد تتطلب بعض الروابط مفتاح مورد، لذلك يحافظ المثال عليه عند إنشاء المعاينة. تحفظ Scrapy العناصر بواسطة -O بترميز UTF-8. هذا الخيار يستبدل ملف الناتج إن كان موجودًا، فاختر اسمًا جديدًا واحتفظ بالنتيجة السابقة حتى تتأكد من نجاح الجولة كلها.
مكون واحد للصور والفيديوهات
احفظ الكود الكامل باسم drive_export.py، ثم استخدمه كما هو لجمع أنواع الملفات المختلفة. يقبل kind=images أو kind=videos عند الحاجة، وتعرض المقالتان المرتبطتان ملفين صغيرين يرثان الفئة نفسها. تتشارك الأوضاع المصادقة وترقيم الصفحات ومنع التكرار بدل تكرار كود الطلب ثلاث مرات. لا تضع بيانات اعتماد داخل الفئات الفرعية، ولا تغير شكل الحقول في وضع واحد دون مراجعة التطبيق الذي يقرأ JSON.
الأخطاء وحدود اختبار المثال
401 يشير عادة إلى مشكلة رمز وصول، و403 قد يرتبط بالإذن أو الحصة أو إعداد الخدمة، و404 قد يعكس معرفًا أو وصولًا غير مناسب. راجع رمز الخطأ الرسمي دون طباعة رؤوس Authorization. قد تحفظ Scrapy عناصر سبقت الخطأ في ملف جزئي، لذا افحص سبب الإغلاق وعدد النتائج ولا تعتمد وجود JSON وحده. اختُبر التحليل والتصفية وتتابع الصفحات بردود صناعية دون قراءة ملفات Google Drive حقيقية. دعم Shared Drives أو الاختصارات أو التعمق يحتاج إعدادًا إضافيًا مناسبًا.






