شارك المقالة
استخراج صور Google Drive باستخدام Python وScrapy إلى JSON

استخراج صور Google Drive باستخدام Python وScrapy إلى JSON

استخراج صور Google Drive باستخدام Python وScrapy مع تصفية MIME وترقيم الصفحات وحفظ الأسماء وروابط العرض والمعاينة في JSON.

استخراج صور Google Drive باستخدام Python في هذا الدرس يعني جمع أسماء الصور ومعرفاتها وروابطها في JSON، وليس تنزيل البكسلات أو إنشاء خدمة API عامة تلقائيًا. نستخدم Scrapy مع Drive API ونفحص mime_type الذي يبدأ بـimage/، بدل الاعتماد على أن الاسم ينتهي بـjpg أو png. قد يكون اسم الصورة بلا امتداد أو بامتداد مضلل، ولذلك نوع الملف الذي تعيده الخدمة أوضح لتحديد قائمة الصور.

أوامر التجهيز والتشغيل

python -m pip install "Scrapy>=2.13,<3"
# Keep drive_export.py and drive_images.py together; configure DRIVE_ACCESS_TOKEN locally.
python -m scrapy runspider drive_images.py -a folder_id=YOUR_FOLDER_ID -O drive-images-new.json

الملفات المطلوبة وتشغيل المكون المشترك

احفظ drive_export.py من الدرس الأساسي لاستخراج روابط Google Drive، ثم ضع drive_images.py المعروض أدناه في المجلد نفسه. يحتوي الملف الأساسي الفئة DriveFilesSpider ومنطق المصادقة والطلبات والتصدير، وتحدد الفئة الصغيرة اسم Spider والوضع الافتراضي فقط. لا تحتاج نسخ عشرات الأسطر في كل درس. عند ظهور خطأ استيراد راجع وجود الملف الأساسي وعدم تغيير اسمه؛ هو كود الدرس المحلي وليس اعتمادًا تثبته من فهرس الحزم.

إعداد الوصول إلى مجلد صور تملكه

تحتاج Drive API مفعلة ورمز OAuth صالحًا يملك حق الاطلاع على الملفات المطلوبة. احفظه في DRIVE_ACCESS_TOKEN على جهازك ولا تضعه في JSON الناتج أو في معلمات رابط محفوظ. استخدم معرف المجلد في folder_id، ولا تغيّر المشاركة العامة من أجل نجاح التجربة. الصلاحيات التي يراها الحساب في المتصفح قد تختلف عن صلاحيات التطبيق والنطاق المستخدم، لذلك افحص الاثنين عند ظهور نتائج أقل من المتوقع.

الكود: drive_images.py

from drive_export import DriveFilesSpider

class ImagesSpider(DriveFilesSpider):
    name = "drive_images"
    default_kind = "images"

التصفية في الطلب والتحقق من الاستجابة

عندما يكون الوضع images يضيف المحرك شرط MIME للاستعلام، ثم يعيد التحقق من كل عنصر قبل إخراجه. هذه طبقتان واضحتان: تقليل البيانات المطلوبة وعدم قبول عنصر غير صورة إذا أعيد ضمن الاستجابة. يستبعد المجلدات والمهملات ويمنع تكرار المعرفات، ويتابع nextPageToken حتى النهاية. وجود اسمين متطابقين لا يعني أنهما الملف نفسه، لذلك لا نزيل التكرار حسب الاسم. وتغيير الامتداد النصي لملف لا يحوله إلى صورة.

الحقول وكيف تستخدم الروابط في تطبيقك

يحتوي كل سجل id وname وmime_type وview_url، وقد يضيف preview_url مع resourcekey عند الحاجة. رابط المعاينة مصمم لصفحة Drive، وليس مضمونًا كمصدر مباشر لوسم img أو Image.network. إذا احتجت تنزيل الملف أو بثه فاستعمل آلية تنزيل مصرح بها أو تخزينًا مناسبًا لتطبيقك. الحصول على الرابط لا يزيل متطلبات تسجيل الدخول، ولا يحوّل Drive إلى CDN بحدود نقل مضمونة. افصل اختيار رابط العرض عن سياسة استضافة الصورة النهائية.

حفظ JSON ومراجعة اكتمال الجولة

يشغل الأمر runspider الملف مباشرة دون إنشاء مشروع Scrapy كامل. الخيار -O يكتب JSON ويستبدل الملف الموجود بالاسم نفسه، لذلك استخدم اسم نتيجة جديدًا عند كل مراجعة مهمة. يحفظ ترميز UTF-8 أسماء عربية بصورة مقروءة، ويمكنك فحص الناتج عبر python -m json.tool drive-images-new.json. ملف JSON صالح نحويًا قد يحتوي نتائج جزئية إذا توقف الطلب لاحقًا؛ راجع سجل الإغلاق وأخطاء الشبكة، ولا تعتبر عدد الصور صفرًا دليلًا على أن المجلد فارغ دون مراجعة الصلاحيات.

أمثلة اختبار تمنع أخطاء شائعة

اختبر استجابة صناعية بها صورة JPEG باسم بلا امتداد، وPDF اسمه photo.jpg، وصورة ذات معرف مكرر، وصفحتان من النتائج. يجب إخراج الصور حسب MIME مرة واحدة ومتابعة الصفحة التالية. اختبر أيضًا اسمًا عربيًا ومفتاح مورد للتأكد من حفظ النص وترميز الرابط. هذه اختبارات للمنطق وليست اتصالًا بحساب Drive، ولا تقيس توفر المعاينة لكل نوع صورة أو جهاز. بعض الأنواع قد لا تعرضها الخدمة بالطريقة نفسها رغم تصنيفها image/.

توسيع المثال دون تكرار الكود

إذا أردت عرض معرض، اقرأ JSON من مصدر تتحكم به ثم افحص الروابط والأذونات قبل عرض الصورة. ملف التصدير وحده ليس خادم HTTP ولا ينشئ API متاحًا للآخرين. ولإضافة حجم الصورة أو تاريخ تعديلها، أضف الحقل إلى fields في المحرك المشترك ثم مرره في العنصر واختبر المخرجات. عند الحاجة إلى المجلدات الفرعية أو Shared Drives، حدد نطاق البحث والتفويض المطلوبين صراحة بدل إزالة شروط المجلد وجمع كل ملفات الحساب.

قبل التشغيل انسخ ملف drive_export.py من شرح استخراج الروابط باستخدام Scrapy كاملًا إلى المجلد نفسه.

المراجع الرسمية

شاهد أيضًا
مقالات ذات صلة
🚫 مانع الإعلانات مفعل

يجب إيقاف مانع الإعلانات لاستكمال تصفح الموقع