Програмний модуль збору даних про довгострокову оренду житла з використанням фреймворків Scrapy та Playwright

Abstract

Метою кваліфікаційної роботи є розробка та впровадження модулів котрі складають частину системи високочастотного збору даних про нерухомість з вебресурсів, що забезпечує високу продуктивність, точність та масштабованість. Об’єктом дослідження є процеси автоматизованого збору та обробки даних про нерухомість з веб-ресурсів. Предмет дослідження – модулі високочастотного збору даних про нерухомість з веб-ресурсів. Розроблені модулі демонструють високу продуктивність (обробка понад 100 000 сторінок на годину), точність вилучення даних (понад 98% для структурованих даних) та масштабованість (підтримка 17 країн та понад 10 000 доменів). Вони забезпечують універсальний ItemLoader, системи автоматичної пагінації, аналізу табличних структур та аналізу адрес, механізми роботи з динамічним контентом, захисту від блокувань, автоматизації життєвого циклу скраперів та високочастотного збору даних. Практичне значення полягає у створенні повноцінної екосистеми для автоматизованого збору даних про нерухомість, що може бути використана компаніями-агрегаторами, інвестиційними фондами, аналітичними агентствами та науково-дослідними установами.