Наш клієнт — компанія, що створює сучасні інструменти OSINT для держсектору та бізнесу — від аналізу соціальних настроїв і до виявлення інформаційних операцій. Платформа збирає дані з вебу, соцмереж, месенджерів та відкритих реєстрів; доповнює їх за допомогою різних АІ інструментів, і візуалізує у вигляді аналітики.
Ми шукаємо Data Engineer, який допоможе нам збирати, обробляти та трансформувати великі обсяги відкритих даних із різних джерел. Ваш внесок стане ключовим для побудови надійної дата-інфраструктури, що лягає в основу аналітичної OSINT-платформи.
Ключові завдання * Розробка web crawlers / data scrapers — збір даних із різноманітних зовнішніх джерел. * Проєктування та реалізація ETL/ELT-процесів — трансформація даних для аналітики, batch і real-time. * Побудова стабільних data pipelines — автоматизація збору, обробки та передачі даних. * Робота з базами даних — підтримка, резервне копіювання, відновлення та забезпечення цілісності даних. * Забезпечення якості, консистентності та доступності даних на всіх етапах.
Вимоги: * 3+ років досвіду на релевантній позиції (Data Engineer, Backend з фокусом на дані тощо). * Досвід створення краулерів / scraper-ів (наприклад, використання Python + BeautifulSoup, Scrapy, Selenium тощо). * Глибоке знання ETL/ELT процесів, включаючи планування, моніторинг і оптимізацію. * Вміння спроектувати та реалізувати надійні data pipelines (batch, streaming). * Практичний досвід роботи із СУБД (реляційні та NoSQL), включаючи бек-ап, відновлення та гарантію цілісності даних. * Впевнене володіння мовами для обробки даних (наприклад, SQL, Python). * Розуміння принципів data governance, обробки помилок, log-трейсингу.
Буде перевагою: * Знання modern data architectures: data lake / lakehouse, data marts, semantic layer. * Досвід роботи з orchestration (Airflow, Prefect), streaming (Kafka, Flink), BI (Power BI, Looker). * Розуміння практик DevOps/DataOps — CI/CD, containerization, IaC.
Ми пропонуємо: * Участь у високотехнологічних проєктах, які підсилюють обороноздатність нашої країни. * Можливість бронювання. * Роботу в команді, де цінуються нові ідеї та ініціативність. * Конкурентну заробітну плату.
