Как следить за AI-исследованиями, если у вас нет PhD

Публикаций по машинному обучению выходит так много, что их не успевают читать даже исследователи, работающие в этой области полный день. Они справляются тем, что игнорируют почти всё, что выходит за пределы их узкой темы. Если ваш план — «поспевать за всем», этот план уже ошибочный. Работает другое: фильтр, которому вы достаточно доверяете, чтобы не переживать из-за того, что он отбрасывает.

Вы будете что-то пропускать — и это нормально

Два факта делают тревогу ненужной. Во-первых, важные результаты повторяются: если что-то действительно существенно, в ближайшие месяцы вы узнаете об этом через несколько независимых каналов — просто потому, что все начнут на этом строить. Пропустить статью в день её выхода — не потеря, а лишь отсутствие ощущения, что вы были первым. Во-вторых, большинство статей не имеют к вам отношения. Это не оценка качества, а следствие специализации: улучшение метода тренировки для модели, которую вы никогда не будете тренировать, — отличная работа, но к вашей неделе она не относится. Читать такое — хобби, а не профессиональное развитие, и стоит честно понимать, чем вы занимаетесь.

Цель — не покрытие. Цель — замечать в течение месяца-двух те несколько результатов, которые меняют то, что вы бы построили.

Бюджет: два часа в неделю

Сначала установите бюджет, потом проектируйте внутри него. Вот рабочая схема, которую можно масштабировать вверх или вниз, не меняя её структуру:

Письменная запись выполняет и вторую работу, которая становится заметной через несколько месяцев: она показывает, о чём вы читаете и никогда не используете. Обычно это сигнал, что тема вам интересна, а не полезна. Это полезно знать, и допустим любой вариант.

Фильтр: пять вопросов за секунды

Применяете на этапе просмотра, в таком порядке. На каждый вопрос уходят секунды.

• Может ли это изменить решение, которое я уже принял или собираюсь принять? Не «интересно ли это». Интерес не ограничен; релевантность решения — ограничена.
• Это метод, который я могу применить, или факт, который мне стоит знать? Подходит и то, и другое. Статья, которая не подходит ни под одно, — развлечение, а развлечения — отдельный бюджет.
• Это проверил кто-то другой? Артефакт, воспроизведение или несколько независимых людей, описывающих, как они это использовали. Для того, на что вы можете опереться, это важнее новизны.
• Возбуждение вызвано результатом или его описанием? Если обсуждение целиком о том, что означает результат, а не о том, что измерено, — подождите месяц. Реакция уляжется, и к тому времени появятся аккуратные summaries.
• Сколько будет стоить ожидание? Почти всегда ничего. Ожидание — недооценённый фильтр: вы позволяете другим сделать ваше первое прохождение бесплатно.

Типы источников: что каждый из них даёт

Конкретные источники меняются, и списки устаревают. Поэтому полезно держать в голове не название, а то, для чего каждый вид источника годится и где он подводит.

• Категорийные ленты препринтов. Полные и нефильтрованные. Хороши как сырьё, бесполезны как список для чтения — объём и есть проблема, которую вы решаете, а не решение.
• Курируемые рассылки. Лучшая ценность в минуту: кто-то компетентный уже сделал за вас ским. Слабое место — вы наследуете их интересы и слепые зоны. Читайте те, что дают ссылку на статью, а не только пересказ, и достаточно часто кликайте, чтобы суммаризатор оставался честным.
• Открытые страницы рецензирования. Недооценены и отличны. Рецензии рассказывают о возражениях людей, знающих область, — это информация, которой сама статья не содержит.
• Читательские группы. Самый высокий уровень запоминания с большим отрывом, потому что объяснение статьи вслух — это момент, где вы обнаруживаете, что не поняли её. Два коллеги и регулярный слот — достаточно.
• Социальные ленты. Быстро и оптимизировано на реакцию, а не на точность. Полезно, чтобы узнать о существовании; непригодно для понимания, что в статье показано, потому что тред написан по версии v1 и не обновляется.
• Обзорные статьи. Самый эффективный способ войти в незнакомую область, и правильный ход, когда вы понимаете, что отстали на три года по теме, которая теперь нужна. Один хороший обзор заменяет двадцать статей.
• Релизные заметки и model cards. Не исследование, но часто более релевантно для решений, если вы строите на хостинговых моделях.

Куда вкладывать глубину

Привычка, которая отделяет людей, понимающих область, от людей, способных пересказать статьи этой недели, контр-интуитивна: тратьте большую часть бюджета глубины на старые работы.

У фундаментальных статей три преимущества перед новыми. Они проверены — вы не тратите усилия на результаты, которые не выживут. Они — предпосылки для чтения любых свежих статей, так что инвестиция накапливается, а не обесценивается. И их гораздо меньше — набор конечен, а значит, его можно завершить. Это полная противоположность вашим отношениям с лентой arXiv. Структурированный способ пройти их — аннотированный список чтения.

И одно разрешение, потому что тревога — настоящая проблема, которую эта статья решает. Никто не успевает. Люди, которые, кажется, успевают, — специалисты в одной узкой области плюс потребители тех же сводок, что и вы. Два часа в неделю, которые вы выдерживаете год, оставят вас более осведомлённым, чем десять часов в неделю, брошенные в марте.