Computer Vision [2021] [robot dreams] [Ян Колода]

Computer Vision [2021]
robot dreams
Ян Колода

Практический курс о том, как применять классические методы machine learning и deep learning для решения задач компьютерного зрения: от баланса цвета на изображении — до тренировки сверточных нейронных сетей для распознавания объектов в видео.

Описание курса:
Задача специалиста по компьютерному зрению ― научить алгоритмы уверенно ориентироваться в окружающем мире и свести к минимуму системные баги. Задача robot_dreams ― помочь разобраться в инструментах и подходах, которые применяют для реализации CV-проектов.

Мы начнем с пиксельных операций и создания программ для обработки цифровых фото. Затем научимся проводить базовые манипуляции с изображением и видео: фильтрация и выделение границ, кодировка и компрессия, классификация, детекция, трекинг и сегментация. А после ― будем строить и тренировать нейронные сети.

Курс подойдет:
1. Data Scientist

После курса вы систематизируете знания в области machine learning и deep learning. Разберетесь в современных подходах к детекции объектов, получите опыт в решении задач классификации и сегментации, научитесь строить и тренировать нейросети.​

2. Developer

Курс даст overview задач computer vision и основных инструментов, которые необходимы для их решения. Вы научитесь обрабатывать изображения и видео, разрабатывать и запускать модели с помощью TensorFlow.​

Спойлер: Содержание

Модуль 1 - Введение в Computer Vision

• Ознакомьтесь с задачами, которые помогает решить Computer Vision.
• Получите общую информацию о том, как работает зрительная система.
• Узнайте, какие цветовые пространства существуют.
• Установите библиотеки NymPy, Matplotlib и OpenCV.
• Научитесь выполнять простые операции, используя эти библиотеки.

Модуль 2 - Пиксельные операции

• Узнайте, что такое операции на уровне пикселей, и научитесь читать гистограммы.
• Создайте простейшую программу для обработки цифровых изображений, например, программу для баланса белого цвета.

Модуль 3 - Линейная фильтрация

• Изучите принцип работы свертки.
• Научитесь имплементировать фильтрацию и манипулировать изображением, используя разные типы фильтрации.

Модуль 4 - Фильтры выделения границ

• Узнайте, в чем смысл градиентов изображений.
• Научитесь имплементировать фильтры выделения границ.
• Освойте алгоритм выделения контуров и фильтры в Canny.

Модуль 5 - Кодировка и компрессия изображений

• Изучите разницу между форматами изображений [raw, png, jpeg].
• Разберите разницу между форматами H264 и H265.
• Узнайте, как работает сжатие с потерями, и научитесь работать с изображениями в преобразованной форме. Попробуйте улучшить качество изображения с помощью интеллектуального квантования.

Модуль 6 - Image features [визуальные признаки]

• Узнайте, что такое визуальные признаки, и ознакомьтесь с типовыми задачами, которые можно решить с их помощью.
• Научитесь выделять углы с помощью детектора Харриса.
• Изучите алгоритмы обнаружения и описания признаков.
• Научитесь применять масштабно-инвариантную трансформацию признаков (SIFT).

Модуль 7 - Image matching [подстройка изображений]

• Ознакомьтесь с задачами, которые решает image matching.
• Изучите принцип аффинного преобразования и однородных координат.
• Научитесь применять гомографию для изображений.
• Разработайте ректификатор фотографий документов.

Модуль 8 - Machine Learning [машинное обучение]

• Ознакомьтесь с базовыми принципами работы с моделями данных.
• Разберите разницу между классической обработкой данных и машинным обучением.
• Научитесь строить простые модели с нуля и проводить их оптимизацию.
• Определите разницу между machine learning и deep learning.

Модуль 9 - Детекция лиц

• Определите, чем визуальные признаки для детекции лиц отличаются от признаков других объектов.
• Ознакомьтесь с методом детекции Виолы-Джонса и методом бустинга.
• Научитесь работать с изображениями, которые содержат лица, и осуществлять детекцию с помощью OpenCV.

Модуль 10 - Трекинг

• Изучите основы работы трекинга и принципы работы с цифровым видео.
• Разберите разницу между трекингом и детекцией на практике, реализовывая реальную рабочую задачу.

Модуль 11 - Нейронные сети: part 1

• Изучите принципы работы нейронных сетей.
• Получите overview открытых библиотек TensorFlow и Keras.
• Научитесь строить и тренировать простые нейронные сети.
• Попробуйте улучшить модель нейронной сети для классической проблемы house pricing.

Модуль 12 - Нейронные сети: part 2

• Узнайте, как ускорить тренировку нейронных сетей в несколько раз с помощью GPU, и ознакомьтесь с другими преимуществами графического процессора.
• Ознакомьтесь с облачным сервисом Google Colaboratory и научитесь строить и тренировать модели в нем. Узнайте, зачем проводить инспекцию баз данных.

Модуль 13 - Сверточные нейронные сети: part 1

• Изучите принципы работы сверточных нейронных сетей.
• Изучите операции свертки и пулинга.
• Научитесь строить и тренировать сверточные нейронные сети.

Модуль 14 - Сверточные нейронные сети: part 2

• Ознакомьтесь с проблемой переобучения [overfitting].
• Научитесь распознавать проблемы в процессе обучения и применять data augmentation в процессе тренировки.

Модуль 15 - Сверточные нейронные сети: part 3

• Научитесь решать задачу сегментации цифровых изображений.
• Изучите принцип bottleneck.
• Постройте простой автоматический энкодер для очищения изображений от шума.

Модуль 16 - Детекция объектов

• Изучите концепт детекции и bounding box.
• Научитесь распознавать объекты в режиме реального времени, используя принцип YOLO [You Only Look Once].
• Ознакомьтесь с алгоритмом NMS [Non-Maximum Suppression] и другими архитектурами сетей для распознавания объектов [SSD, TinyYOLO, SqueezeDet].
• Примените YOLO для распознавания объектов на собственном видео.

Модуль 17 - Сверточные нейронные сети: что дальше?

• Ознакомьтесь с популярными моделями сверточных нейронных сетей.
• Изучите процесс fine tuning и научитесь работать с model zoo.
• Узнайте, какие проблемы возникают при тренировке сверточных нейронных сетей.
• Получите рецепт успешного решения проблем с использованием нейронных сетей.

Модуль 18 - Презентация курсового проекта

• Постройте сегментатор для детекции дорожных линий [видео], сверточную нейронную сеть, чтобы сделать super-resolution [изображения], или реализуйте авторский проект на ваш выбор.

Примечание: на момент создания темы актуальная цена не известна.

Продажник