Лев Манович, профессор компьютерных наук Городского университета Нью-Йорка, директор Лаборатории культурной аналитики, профессор Европейской Высшей школы, профессор Института медиа, архитектуры и дизайна «Стрелка», автор двенадцати книг, выступил перед студентами журфака с лекцией на тему: «Визуализация данных».
Перед началом лекции декан факультета журналистики МГУ Е.Л. Вартанова наградила профессора грамотой за выдающийся вклад в образование и науку и поблагодарила за плодотворное сотрудничество.
Лев Манович рассказал студентам журфака о своей деятельности, о проектах, реализованных им и его командой за последние 10 лет, и о том, как изображения могут отражать поведение и эмоции.
Об использовании компьютерного зрения, визуализации данных, искусственном интеллекте для анализа пользовательского контента читайте подробнее в материале «Журналиста Оnline».
©Юрий Трубников/ Журналист Online
О себе и культурной аналитике
Я родился в 1960 году в Москве. Моя мама филолог (окончила филологический факультет МГУ), мой папа был практикующим доктором, а также занимался исследовательской деятельностью в области медицины. Я учился в обычной и в художественной школах, изучал архитектуру, живопись, информатику и семиотику. Когда мне был 21 год, мы эмигрировали в США, в Нью-Йорке я поступил в университет и закончил магистратуру по профилю экспериментальной психологии. Тогда и узнал про искусственный интеллект и компьютерное зрение. И, наблюдая за работой ученых, я все же понимал, что не хочу быть таким, не хочу сидеть в офисе "без окон и дверей". Активный образ жизни мне больше по душе. Мне были интересны визуальные коммуникации, изображения, но я не знал, какая именно дисциплина это изучает.
Всегда был воодушевлен чем-то новым, и хотелось создавать это «новое». В 1984 году, когда я стал заниматься компьютерной графикой, всех специалистов этой сферы можно было собрать в одной маленькой аудитории вашего университета. Я словно вошел в элитный клуб.
Через 10 лет уже появились Flickr и Facebook, а теперь я с ужасом осознаю, что количество специалистов в этой сфере возросло в несколько сотен раз. Сегодня на планете 5-6 миллиардов телефонов, большинство с хорошими камерами и микрофонами. Это значит, что в мире примерно миллион журналистов, миллион писателей и фотографов. И вот вопрос: как понять, что они все делают, и увидеть, отследить постоянно растущий контент? С помощью нового инструмента, которого ранее не было у человечества, у нас появляется потрясающая возможность – наблюдать за всем миром.
Я придумал бренд «культурная аналитика», позволяющий понять, как мы можем использовать инструменты цифровой культуры, алгоритмы, компьютерное зрение, искусственный интеллект, большие данные, чтобы просто посмотреть, что происходит в социальных сетях. Допустим, вы сидите в кафе, посетители работают и общаются, и вы хотите понять, сколько вообще таких кафе по всему миру, сколько людей сделали фото с таким же ракурсом, как у вас, и что вас с ними объединяет.
©Юрий Трубников/ Журналист Online
О проектах
Мы выпустили серию проектов: некоторые из них связаны с современностью (например, Instagram), некоторые – с периодическими изданиями двадцатилетней давности. Тогда я понял, что можно использовать большие данные, чтобы изучить компьютерную культуру не только настоящего времени, но и прошлого.
Один из первых проектов – эволюция визуального языка газет и журналов. Этот проект сделан моим студентом около семи лет назад за одну неделю. Но тогда, когда он ко мне подошел и предложил эту идею, я сказал: «Это самый большой бред, который я слышал в своей жизни». Но он все равно осуществил этот проект, который оказался потрясающим.
Суть заключается в визуализации данных газетных страниц. Мои студенты скачали сотни оцифрованных газет из библиотеки Конгресса в Вашингтоне, потом они взяли их первые страницы и посмотрели, как обложки газет менялись на протяжении 20 лет. Они соединили все эти фотографии в один видеоряд. Ускорив темп переключения изображений, мы смогли увидеть, как газета эволюционировала в течение этого времени. Появилось много нового, в частности большие заголовки, фотографии. Получается, мы взяли 20 лет истории и сжали их в полторы минуты.
Второй проект был связан с обложками журнала «Time» (http://lab.culturalanalytics.info/2016/04/timeline-4535-time-magazine-covers-1923.html) и сделан буквально за трое суток.
Мы с моим аспирантом скачали 4500 обложек за 86 лет и сделали самое простое – монтаж, то есть выстроили обложки справа налево и снизу вверх по хронологии. Приблизив и просмотрев их, я выделил 14 разных трендов (по свету, цвету, композиции). Один из моих любимых – по содержанию (имеется в виду изображение на обложке). Изначально там были фотографии людей – в основном политиков, спортсменов – преимущественно черно-белые, потому что цветные снимки были дорогими и не такими популярными. А на более современных обложках, сделанных 80 лет спустя, можно увидеть, что 40 % обложек уже не портреты конкретных людей, а иллюстрации неких концептов журнала – фитнеса, здорового образа жизни и других модных трендов. Произведя расчеты, мы поняли, что культура меняется очень медленно и такая визуализация позволяет все же отчётливо увидеть все изменения. Мы измерили диапазон яркости и насыщенности обложек журнала. Вы можете наблюдать этот переход от серых оттенков к красочным цветам.
Однажды я сказал своим студентам, что нам нужно сделать что-то настолько масштабное, чтобы о нас написал, например, «The New York Times». И они предложили сделать проект про мангу – японские комиксы, очень популярные во всём мире. Тогда я сказал им, что я ненавижу мангу, а точнее, мне просто скучно. Но решил, что тогда смогу оценить проект объективно, ведь иногда полезнее делать не то, что любишь, а то, что не привлекает.
Мы скачали с одного нелегального сайта 883 публикации, то есть больше миллиона страниц манги из Японии, Кореи и Китая. Получилось так много, потому что манга выпускает новую главу каждую неделю. Далее мы решили выяснить, каков визуальный язык, стиль манги и какие стили там более популярны.
©Дарья Дувидзон/ Журналист Online
С помощью программы, которую я написал, мы создали за 48 часов манга-облако, своего рода «манга-вселенную» (http://lab.culturalanalytics.info/2010/11/one-million-manga-pages_14.html), где все страницы были автоматически отсортированы по определённым характеристикам. Манга, которая находится на самом верху этого облака, имеет более сложную текстуру, а манга на противоположном конце гораздо более графична.
Случалось так, что ко мне приходил какой-нибудь талантливый студент из другого университета, который предлагал свою идею проекта. У таких людей всегда очень много драйва и энтузиазма.
Реализуя в 2013 году одно из предложений, мы скачали из Instagram 2,5 млн изображений из 13 городов. Для их исследования мы стали применять те же самые стандартные инструменты, но вдруг выяснилось, что они не работают. Почему? Потому что обложки журнала «Time» уже имеют набор общих параметров, а фотографии пользователей слишком разные.
Тогда мы отсортировали все фотографии по цвету и степени освещенности. С одной стороны у нас оказались фото Сан-Франциско, с другой стороны – снимки Токио. Мы понимаем, что Токио и Сан-Франциско очень разные, но на фото различий не видели, поскольку этого не позволял выбранный нами инструмент. Знаете, это всё равно что изучать астрономию при помощи обычного бинокля, хотя нужен профессиональный телескоп.
Объединяет снимки одно: на них мало голубого цвета (ведь люди очень заняты и не успевают смотреть на небо) и мало разнообразных оттенков зеленого (как правило, никто не «инстаграмится» в парках, несмотря на то что в Москве, например, их много). Мы решили облегчить задачу: выбрали 50 тысяч фотографий и разложили их по дате и времени публикации. Проанализировав получившуюся картину, увидели, насколько все мы разные. У каждого своя жизнь, но есть и нечто общее. Например, в какой-то момент все жители Токио в обеденный перерыв начинают есть суп, и тогда определённый «процент» этих супов в Instagram начинает доминировать.
Мне удалось получить грант в полмиллиона долларов, которые изменили мою жизнь, хотя я, по глупости, ничего не оставил себе. Я нанял ведущих дизайнеров мира и предложил им работу над проектом по Instagram, но не знал, каким именно он будет.
Летом 2014 года попробовали сделать про пищу, но оказалось скучновато. В августе мои ребята приходят и говорят: «Лев, давай делать проект про селфи». Я ответил: «С ума сошли? Это же вульгарно». Мне возразили, что я слишком академичен и ничего не понимаю, а это как раз очень востребовано. В итоге я согласился, и мы стали анализировать феномен селфи: хотели показать различия между селфи, которые делают в разных городах планеты.
©Юрий Трубников/ Журналист Online
Большинство людей не применяет фильтры, и получаются жуткие фотографии. Мы создали веб-сайт – базу данных, где собрали около 4000 селфи из шести городов: Москвы, Сан-Паулу, Бангкока, Лондона, Нью-Йорка и Берлина. Мы сделали этот проект сразу в нескольких стилях, чтобы адаптировать его для разной аудитории, визуализировали все данные в интерактивном формате. Измеряя некоторые параметры фотографий, мы впервые тогда использовали искусственный интеллект. Сейчас таких сервисов уже около 20, а четыре года назад он был всего один.
Сопоставляя женские и мужские селфи, мы заметили, что во всех городах женщин больше, чем мужчин, в частности в Москве женщин больше почти в 5 раз. Мы измерили эмоциональный диапазон людей на фотографиях (http://lab.culturalanalytics.info/2014/08/selfiecity-investigates-style-of.html).
Что мы увидели? В Бангкоке счастливых людей больше, в Нью-Йорке чуть меньше, в Москве меньше всего. Глядя на фото, сначала думаешь, что компьютер просто ошибся. Но в Москве тяжело жить, поэтому люди улыбаются меньше.
Миссия нашей лаборатории – создавать новые способы для визуализации, которые позволят суммировать огромное количество контента по всему миру.
И сегодня практически каждое событие оставляет цифровой след. Так что об этом нужно делать проекты.
Советы студентам
Когда я был в вашем возрасте, меня часто посещала такая мысль: «Может быть, я не в том классе, университете, городе, не в той стране?». Очень часто испытывал некий стресс. Но вы не бойтесь совершать ошибки, так вы учитесь. Чем больше ошибок, тем лучше. Наслаждайтесь, слушайте лекции ваших прекрасных педагогов. Но не забывайте «тусоваться». Фитнесс, make-up, Instagram, философия – все должно быть в гармонии.
