Це звісно ще не BigData, але однією з найцікавіших ніш в моїй роботі є сканування та обробка даних.
Наприклад, Ви продаєте товар від основного постачальника, але той ще не випустив повноцінного забезпечення для перевірки оновлень. Відтак, ви обоє втрачаєте гроші в тих випадках, коли люди звертаються за покупкою відсутніх товарів. Або коли виявляється, що ціна змінена…
В тахих ситуаціях достатньо одного нехитрого алгоритму, який звірятиме дані і звертатиме увагу адміністратора на можливі нестиковки.
Звісно, сам скрипт іноді зовсім непростий. Часто потрібно перевірити не просто наявність, але й залишок на окремих складах, при чому зробити це максимально без клопоту.
Для таких випадків я використовую бібліотеку curl та заплановані задачі — вони розпочинають активність у вечірній час, коли навантаження на основні сервери спадає і проводять сканування у кілька підходів.
Наступні 4 місяці я маю намір уніфікувати вже створені алгоритми та підвести їх під якісь стандартні операції — це прискорить взаємодію з новими клієнтами та спростить роботу.