شارك المقالة
استخراج روابط فيديوهات Google Drive باستخدام Python وScrapy

استخراج روابط فيديوهات Google Drive باستخدام Python وScrapy

استخراج روابط فيديوهات Google Drive إلى JSON باستخدام Python وScrapy، مع تصفية MIME وترقيم الصفحات وفهم الفرق بين المعاينة والبث…

استخراج روابط فيديوهات Google Drive يحتاج شرطًا يحدد الفيديو فعلًا؛ اسم Spider المسمى video لا يمنع تصدير PDF أو صورة. يستخدم هذا الدرس نوع MIME الذي يبدأ بـvideo/، ويستخرج أسماء الفيديوهات ومعرفاتها وروابط العرض والمعاينة في JSON. لا ينزل المحتوى ولا يتجاوز صلاحيات Drive، ولا يدعي أن رابط المعاينة ملف MP4 مباشر يمكن تمريره إلى أي مشغل فيديو.

أوامر التجهيز والتشغيل

python -m pip install "Scrapy>=2.13,<3"
# Keep drive_export.py and drive_videos.py together; configure DRIVE_ACCESS_TOKEN locally.
python -m scrapy runspider drive_videos.py -a folder_id=YOUR_FOLDER_ID -O drive-videos-new.json

إعداد الملفات والاعتمادات

احفظ المحرك المشترك drive_export.py من درس استخراج الروابط الأساسي، ثم ضع drive_videos.py في المجلد نفسه. الفئة الفرعية ترث التعامل مع المصادقة والطلبات وتتابع الصفحات وتغير الوضع الافتراضي إلى videos فقط. ثبت Scrapy 2.13 أو إصدارًا أحدث من السلسلة الثانية يتوافق مع Python لديك. يستخدم المحرك async start؛ إذا كانت بيئتك قديمة فأنشئ بيئة افتراضية مناسبة بدل الجمع بين استدعاءات من إصدارين دون اختبار.

المصادقة ومعرف المجلد

مرر معرف مجلد تملك صلاحية الوصول إليه في folder_id، واضبط DRIVE_ACCESS_TOKEN محليًا برمز OAuth صالح وفق دليل Google. لا تلصق الرمز في كود المقال أو رابط المشاركة أو ملف الناتج. انتهاء الرمز يحتاج تجديدًا عبر تدفق المصادقة في تطبيقك؛ الكود المعروض لا يدير هذا التدفق تلقائيًا. كما أن مشاركة المجلد في المتصفح لا تضمن أن نطاق التطبيق يسمح بقائمة جميع أطفاله، لذلك لا تجعل المجلد عامًا لمجرد ظهور 403.

الكود: drive_videos.py

from drive_export import DriveFilesSpider

class VideosSpider(DriveFilesSpider):
    name = "drive_videos"
    default_kind = "videos"

التصفية والمعرفات والصفحات

يضيف المحرك شرط MIME في q ويعيد فحصه داخل parse. يحتفظ بالمعرفات التي صدرت حتى لا يكرر الفيديو عند تداخل النتائج، بينما يبقى فيديوهان بالاسم نفسه عنصرين إذا اختلف معرفاهما. يتابع nextPageToken مهما كان عدد العناصر في الصفحة الحالية، ويوقف الحالة التي تعيد رمز متابعة سبق استخدامه. إذا أشارت الخدمة إلى incompleteSearch فذلك يحتاج مراجعة ولا يوصف بأنه نجاح كامل. تستهدف القائمة الملفات المباشرة؛ المجلدات الفرعية والاختصارات تحتاج معالجة إضافية.

المعاينة ليست رابط بث مباشر

ينشئ المحرك preview_url للفيديو ويحتفظ بمفتاح المورد عند وجوده، لكنه لا يضمن أن الخدمة أنهت معالجة الفيديو أو أن جميع المتصفحات تستطيع عرضه. view_url رابط عرض صادر من الخدمة وقد يطلب تسجيل دخول. لا تمرر رابط صفحة HTML إلى مشغل يتوقع بايتات الفيديو وتنتظر نجاح فك الترميز. إذا كان هدفك تطبيق فيديوهات متتالية، فاختر تخزينًا وبروتوكول بث وصلاحيات يناسب الاستخدام، ولا تفترض حدودًا غير محدودة لخدمة مشاركة ملفات.

حفظ النتيجة وفحصها قبل دمجها

الأمر runspider يشغل المثال مباشرة، و-O يحفظ JSON وقد يستبدل ملفًا سابقًا؛ اختر اسمًا جديدًا لكل تجربة مهمة. راجع أن كل سجل يحتوي id وname وmime_type وروابط مناسبة، وأن الأسماء العربية لم تتشوه. يستطيع python -m json.tool فحص الصيغة، لكنه لا يتحقق من وصول كل مستخدم إلى الروابط أو جاهزية الفيديو للعرض. احتفظ بإصدار النتيجة السابق حتى تتأكد من اكتمال الطلبات وعدم وجود فشل في منتصف الجولة.

اختبار المنطق دون استعمال حساب حقيقي

يمكن إنشاء استجابة تجريبية فيها video/mp4 وصورة باسم movie.mp4 ومستند باسم clip.mov ومعرف مكرر. يجب أن يخرج الفيديو حسب MIME وأن تستبعد العناصر الأخرى، ويتابع طلب الصفحة الثانية عند وجود الرمز. اختبر مفتاح مورد يحتوي رموزًا تحتاج ترميزًا، وفشل طلب 401 أو 403، وتأكد أن السجلات لا تطبع Authorization. اختبارات هذه المراجعة تستخدم ردودًا صناعية ولا تتصل بملفات حساب المستخدم، ولذلك تبقى تجربة عرض فيديو حقيقي خطوة منفصلة على الجهاز المستهدف.

متى تحتاج منطقًا إضافيًا؟

لتحديث قائمة منشورة، حدد ما يحدث للفيديو المحذوف أو المنقول وما إذا كنت ستحتفظ بمعرفه في قاعدة بيانات. لا تعتمد الاسم مفتاحًا دائمًا لأن تغييره لا يغير هوية الملف. وإذا أردت ترتيب العرض، أضف سياسة واضحة مثل بيانات ترتيب خاصة بدل افتراض أن ترتيب API هو ترتيب الحلقات المطلوب. أبق هذه السياسة خارج كود المصادقة والتصفح قدر الإمكان، فتستخدم المكون المشترك للصور والفيديوهات وتختبر كل تغيير في موضع واحد.

قبل التشغيل انسخ ملف drive_export.py من شرح استخراج الروابط باستخدام Scrapy كاملًا إلى المجلد نفسه.

المراجع الرسمية

شاهد أيضًا
مقالات ذات صلة
🚫 مانع الإعلانات مفعل

يجب إيقاف مانع الإعلانات لاستكمال تصفح الموقع