Алекс Чен — пример легенды из career-ops
Источник: examples/cv-example.md в career-ops — выдуманный ML-инженер. Ниже пересказ резюме для чтения на слух (в оригинале — безличный стиль резюме, по-английски).
Алекс Чен — инженер по машинному обучению из Остина, в Техасе. Шесть лет он делает системы с моделями, которые работают у реальных пользователей, а не только в экспериментах.
Последние четыре года Алекс работал в финтехе, в компании на стадии активного роста. Там он руководил командой платформы машинного обучения — три инженера под его началом. Когда он пришёл, в работе было всего две модели, а когда уходил — больше пятнадцати. Чтобы так вырасти, команда построила для себя инструменты: реестр, где хранятся все версии моделей, систему для A/B-тестов и общее хранилище признаков, из которого берут данные все модели сразу. Этой платформой пользовались четыре инженерные команды компании.
Главный проект Алекса там — защита от мошенничества в реальном времени. Каждая операция проходит путь: событие прилетает в поток, по нему считаются признаки, модель выносит оценку, а движок решений решает, пропустить операцию или остановить. Ответ укладывается в пятьдесят миллисекунд, модель права в девяноста девяти и семи десятых процента случаев, а компания экономит около двух миллионов долларов в год.
Второй заметный проект — рекомендации кредитных продуктов. Сначала кандидатов подбирает классическая коллаборативная фильтрация, а потом большая языковая модель их пересортировывает. Конверсия от этого выросла на восемнадцать процентов.
Ещё Алекс навёл порядок с выкладкой моделей: раньше новую модель выпускали две недели, а после автоматизации — за четыре часа. И настроил наблюдение за моделями: система сама замечает, когда данные начинают меняться, показывает качество на дашбордах и запускает переобучение, если что-то пошло не так.
До финтеха, с восемнадцатого по двадцатый год, Алекс два года работал удалённо в небольшом стартапе. Там он дообучал модель BERT классифицировать юридические документы и добился точности девяносто четыре процента. Ещё он делал ранжирование результатов поиска и выстроил учёт экспериментов и версий моделей.
В свободное время Алекс ведёт два открытых проекта. Первый — фреймворк для защиты от мошенничества в реальном времени, у него больше пятисот звёзд на Гитхабе. Второй — набор инструментов для оценки приложений на языковых моделях: свои метрики, регрессионные тесты и проверка прямо при каждой сборке.
Учился Алекс компьютерным наукам: бакалавриат в Беркли и магистратура в Техасском университете в Остине.
Пишет в основном на Python, ещё на Go, TypeScript и SQL. Работает с PyTorch, TensorFlow, scikit-learn и Hugging Face, модели выкатывает через SageMaker и MLflow, а инфраструктура у него — Kubernetes, Kafka, Redis, PostgreSQL и облако Amazon.
На что спросят по этой легенде
- LLM-ранкер в рекомендациях — не канон (канон: бустинг или нейросеть на признаках). Почему не бустинг, сколько стоит запрос, какая задержка, с чем сравнивали.