Нужно:
- выбрать кейс по внедрению обработки данных и машинного обучения из своей практики / запросить кейс у преподавателя из его практики,
- описать варианты использования инструментов и архитектуру с использованием Apache Hadoop (HDFS, Spark, YARN) и Apache Kafka (Broker, Streams),
- по желанию, можно заменить на альтернативы Apache Storm / Flink, Kubernetes, S3 если у вас реальный проект, который использует эти технологии.
Требования:
- документацию по выбранному кейсу в проекте в нотациях Mindmap / UC / Req Diagram на выбор и C4 Model L1-2-3 Diagram трех уровней,
- исходный код диаграмм в ./src/ и текстовое описание как генерировать документацию в ./README.md если требуется генерация,
- итоговые файлы документации ./docs/README.md и ресурсов SVG в ./docs/.svg, либо PNG в ./docs/.png.
Критерии оценки:
- (3 балла) Описаны бизнес-цель проекта: в чем состоит задача, какие потребности она решит с точки зрения бизнеса, какую пользу может принести ML для задачи, что считается успехом выполнения задачи.
- (3 балла) В диаграммах описана общая архитектура решения: компоненты, их взаимосвязи, их предназначение.
- (2 балла) Для каждого компонента архитектуры описано каким образом можно его масштабировать на HDFS, Spark, Kafka.
- (2 балла) В документе не должно быть ошибок русского языка и любого синтаксиса, который используется в тексте (например, в коде). Ссылки оформлены в виде гипертекста. Используются векторные картинки.
- (-2 балла) Если решили делать диаграммы в WYSIWYG-инструменте StarUML / Visual Paradigm / etc. без исходного кода, то это усложняет поддержку документации.
Каждую работу будут оценивать 2 ментора чтобы снизить субъективизм.