Top.Mail.Ru

Парсер магазинов запчастей

Заказчик – оптовый продавец ав­то­мобиль­ных деталей и узлов. Для под­держа­ния ак­ту­аль­ной сто­имос­ти пот­ре­бова­лось ав­то­мати­зиро­вать срав­не­ние цен с кон­ку­рен­та­ми. В ходе раз­ра­бот­ки парсера был выполнен механизм ав­то­риза­ции поль­зо­вате­ля на сайте. Парсинг вы­пол­ня­ет­ся только в случае успешной ав­то­риза­ции поль­зо­вате­ля, так как не­ав­то­ризо­ван­но­му поль­зо­вате­лю цены на сайте не­дос­тупны. После ав­то­риза­ции поль­зо­ватель может создать новую сессию парсинга, загрузив файл формата xlsx со списком ин­те­ресу­ющих ар­ти­кулов или брендов и выбрав парсер из списка дос­тупных парсеров. Для каждой сессии парсинга соз­да­ет­ся от­дель­ная фоновая задача в очереди задач. После за­вер­ше­ния задачи парсинга соз­да­ет­ся ре­зуль­ти­ру­ющий файл в формате xlsx для каждого парсера в сессии парсинга. Входящий и ре­зуль­ти­ру­ющие файлы для сессии хранятся на сервере и могут быть скачаны поль­зо­вате­лем в любой момент. 

  • Технологии:
  • Python
  • PostgreSQL
  • FastAPI
  • ORM ormar
  • Jinja2
  • Сelery
  • Scrapy