Пиксель: что это такое

У меня в телефоне миллиарды пикселей, и у вас, наверное, тоже. Но что такое пиксель? Почему так много людей думают, что пиксели — это маленькие квадраты, примыкающие друг к другу? Теперь, когда мы плаваем в океане зеттапикселей (21 ноль), пришло время понять, что они из себя представляют. Основная идея — переупаковка бесконечности — тонкая и красивая.

Пиксели — это не квадраты или точки, которые «как бы» напоминают гладкую визуальную сцену, а глубокая и точная концепция, лежащая в основе всех изображений, которые нас окружают, — элементарные частицы современных изображений.

Эта краткая история пикселя начинается с Жозефа Фурье во время Французской революции и заканчивается в 2000 году — недавнем тысячелетии. Я избавляюсь от обычного математического багажа, который скрывает пиксель от обычного взгляда, а затем представляю способ взглянуть на то, что он сделал.

Тысячелетие является подходящей конечной точкой, потому что оно ознаменовало так называемую великую цифровую конвергенцию, грандиозное, но неотмечаемое событие, когда все старые типы аналоговых медиа объединились в одну цифровую среду. Эра цифрового света — все изображения для любых целей сделаны из пикселей — так незаметно началась. Это обширная область: книги, фильмы, телевидение, электронные игры, дисплеи мобильных телефонов, интерфейсы приложений, виртуальная реальность, снимки с метеорологических спутников, снимки марсоходов — и это лишь некоторые категории — даже парковочные счетчики и приборные панели. Почти все изображения в современном мире — это цифровой свет, включая почти все печатные слова. На самом деле, из-за цифрового взрыва это включает почти все когда-либо сделанные фотографии. Художественные музеи и детские сады — одни из немногих сохранившихся аналоговых бастионов,

Фурье знает почти каждый, кто занимается наукой и техникой. Мы используем его великую идею волны каждый день. Но большинство знает очень мало о самом человеке. Немногие знают, что он был чуть не гильотинирован за свою роль во Французской революции в 1790-х годах. Или что он отправился в Египет с Наполеоном Бонапартом в экспедиции, которая обнаружила Розеттский камень. Или что Наполеон сослал его в Гренобль, чтобы удержать его — или, что более важно, его знание военных затруднений Наполеона в Египте — подальше от Парижа. Находясь в ссылке, он освоил свою великую музыкальную идею. Только когда сам Наполеон был окончательно сослан на остров Святой Елены, Фурье смог вернуться в Париж.

Общеизвестно, что музыка представляет собой сумму звуковых волн разной частоты (высоты тона) и амплитуды (громкости). Именно Фурье научил нас, что любой звук тоже состоит из волн. Он научил нас, что одномерный (1D) сигнал, такой как последовательность звуков, представляет собой сумму красивых регулярных волн, подобных тем, что показаны на рисунке 1 ниже:

Что важно для пикселя, Фурье научил нас тому, что двумерный (2D) сигнал — скажем, изображение — также является суммой регулярных волн, подобных тем, что показаны на рисунке 2 ниже. Это одномерные волны, выдавленные из страницы и просматриваемые над рябью. Фурье сказал нам, что вы можете сложить такие гофры, чтобы получить любую картинку — вашего ребенка, например. Это все лирика.

Пожалуй, самый неожиданный персонаж в этой истории — по крайней мере, для читателей в США — это Владимир Котельников, человек, превративший идею Фурье в пиксель. Родившийся в Казани в многовековой линии математиков, Котельников пережил всю советскую эпоху — Первую мировую войну, русскую революцию, Вторую мировую войну и холодную войну. НКВД, предшественник советской спецслужбы КГБ, дважды пыталось посадить его в сталинские времена, но оба раза его спасала покровительница Валерия Голубцова. Она могла, потому что ее мать была личной подругой русского революционера Владимира Ленина, а сама она была женой Георгия Маленкова, непосредственного преемника Сталина на посту лидера Советского Союза.

В начале своей карьеры Котельников показал, как представить изображение с помощью того, что мы сейчас называем пикселями. Его красивая и удивительная теорема выборки, опубликованная в 1933 году (рис. 3 ниже), является основой современного мира изображений. Волнистая форма в русском фрагменте фигурирует в нашей истории.

Американцев обычно учат, что Клод Шеннон первым доказал теорему выборки, но он даже не утверждал этого. По его словам, это было «общеизвестно». На этот титул претендуют несколько стран, но Котельников был первым, кто доказал всю теорему в том виде, в каком она используется сегодня. Русские, конечно, так считают. В 2003 году в Кремле, к 70-летию доказательства Котельникова, президент России Владимир Путин наградил его орденом «За заслуги перед Отечеством».

Идея великой выборки Котельникова основана на идее великой волны Фурье. Рассмотрим одномерный сигнал на рис. 4 ниже — звуковой сигнал, скажем, или одну линию через визуальную сцену. Та же идея работает как для звука, так и для изображений. Горизонтальная линия представляет 0 громкости (для звука) или 0 яркости (для изображений):

Из Фурье мы знаем, что любой такой гладкий сигнал можно представить в виде суммы волн различных частот и амплитуд. На рисунке 5 ниже показана одна такая волна Фурье. Он имеет самую высокую частоту, потому что ничто в данном сигнале не колеблется быстрее. Котельников предлагает нам найти эту самую высокую частоту Фурье, а затем расставить равномерно расположенные точки вдоль сигнала с удвоенной скоростью.

Удивительное открытие Котельникова состояло в том, что мы можем выбросить сигнал между точками, но ничего не потерять. Мы можем просто опустить бесконечность точек между каждой парой точек. Образцы с равномерным интервалом — в точках (рис. 6 ниже) — гладкого исходного сигнала несут всю информацию в оригинале. Надеюсь, вы поражены этим революционным заявлением. В случае с изображениями мы называем каждый такой образец пикселем. Пиксель существует только в точке. Он нульмерный (0D), без протяженности. Вы не можете видеть пиксель.

Также Котельников показал, как восстановить исходный сигнал по образцам — как сделать невидимый пиксель видимым. Рисунок 7 ниже повторяет волнистую форму из статьи Котельникова 1933 года. Я называю это распространителем. Вы скоро поймете, почему:

Но у этого идеального распределителя есть серьезный недостаток: он бесконечно качается в обе стороны. Это хорошо в математике, но в реальном мире мы не можем использовать бесконечно широкие вещи. Поэтому мы заменяем расширитель конечной ширины, такой как популярный и эффективный, показанный на рисунке 8 ниже:

Теорема выборки требует, чтобы мы помещали расширитель в каждую выборку (Рисунок 9 ниже). Мы подгоняем высоту каждого к высоте образца:

Затем сложите результаты (рис. 10 ниже), чтобы получить жирную линию вверху. Это исходный сигнал, восстановленный из сэмплов. Все, что нам нужно было сделать, это распределить каждый образец с помощью распределителя и сложить результаты. Это удивительная теорема Котельникова.

Но картинки 2D. Расширитель для пикселей выглядит как небольшой холмик (Рисунок 11 ниже). Поперечное сечение показывает ребро, которое является именно тем одномерным расширителем, который мы только что использовали в нашем примере:

Таким образом, цифровое изображение похоже на ложе из гвоздей, каждый гвоздь — это пиксель. Чтобы восстановить видимость исходного изображения, мы расширяем каждый пиксель с помощью небольшого расширителя холмов и суммируем результаты. Этот холмик — этот маленький «сгусток бесконечности» — восполняет недостающие бесконечности между пикселями. Это переупаковка бесконечности. Это очень ловкий трюк. Совсем не очевидно, что эта схема должна работать, но математика теоремы выборки доказывает это. И это еще раз демонстрирует замечательную способность математики вести нас в неинтуитивные и чрезвычайно полезные места.

Вы носите пиксели в своем мобильном телефоне, скажем, хранящиеся в файлах изображений. Вы не можете видеть пиксели. Чтобы увидеть их, вы запрашиваете файл изображения для отображения. Как правило, вы «щелкаете по нему». Из-за поразительной скорости современных компьютеров кажется, что это происходит мгновенно. Цифровые пиксели отправляются на устройство отображения, которое распределяет их маленькими светящимися точками на экране дисплея. Акт демонстрации — это процесс, который я только что описал и изобразил на схеме. Эти светящиеся пятна на самом деле работают как разбрасыватели пикселей.

Многие называют эти пятна пикселями — очень распространенная ошибка. Пиксели — это цифровые, разделенные, шипастые штуки, невидимые. Маленькие светящиеся точки аналогичны, накладываются друг на друга, сглаживаются и видны. Я предлагаю называть каждый из них «элементом отображения», чтобы отличить его от «элемента изображения» (именно так сокращается слово «пиксель»). Элементы отображения и пиксели — это принципиально разные вещи. Элементы дисплея варьируются от производителя к производителю, от дисплея к дисплею и с течением времени по мере развития технологий отображения. Но пиксели универсальны, одинаковы везде — даже на Марсе — и через десятилетия.

Почему многие думают, что пиксели — это маленькие квадратики? Приложения обманули нас дешевым и грязным трюком

Я ни разу не упомянул квадратик в этом обсуждении. Пиксель — невидимая точка 0D — не может быть квадратом, и маленькое светящееся пятно света от устройства отображения, как правило, тоже не является квадратом. Может быть, но только если разбрасыватель представляет собой коробку с жесткими краями — неестественной формы, мезу с квадратным основанием. Квадратная меза — резко грубое приближение к пологому спредеру холмов, поддерживаемому теоремой выборки.

Так почему же так много людей думают, что пиксели — это маленькие квадратики? Ответ прост: приложения и дисплеи десятилетиями обманывали нас дешевыми и грязными трюками. Чтобы «увеличить масштаб», скажем, в 20 раз, они заменяют каждый пиксель квадратным массивом 20 на 20 копий этого пикселя и отображают результат. Это изображение из 400 (развернутых) пикселей одного цвета, расположенных в виде квадрата. Он выглядит как маленький квадрат – какой сюрприз. Это определенно не изображение исходного пикселя, увеличенного в 20 раз.

Есть еще одна причина мифа о маленьком квадрате. Пикселизация — это банальное искажение, но оно согласуется с общей тенденцией на протяжении всей ранней истории цифрового света. Предполагалось, что сгенерированные компьютером изображения должны быть жесткими, линейными, «механическими» и неизящными, потому что компьютеры жесткие, линейные и так далее. Теперь мы знаем, что это совершенно неверно. Компьютер — самый гибкий инструмент, когда-либо созданный человечеством. Он не накладывает таких ограничений. Убедительные аватары людей в эмоциональном крупном плане начинают изобиловать компьютерами. Но потребовались десятилетия, чтобы стереть это ошибочное предубеждение. Некоторые остатки до сих пор сохранились — например, понятие квадратных пикселей.

Фотосъемка с помощью мобильного телефона — это, пожалуй, самая распространенная цифровая световая деятельность в современном мире, вносящая свой вклад в огромное пространство цифровых изображений. Фотосъемка — это простая двухмерная выборка реального мира. Пиксели хранятся в файлах изображений, а изображения, представленные в них, отображаются с помощью различных технологий на самых разных устройствах.

Но дисплеи не знают, откуда берутся пиксели. Теорему сэмплирования не волнует, действительно ли они сэмплируют реальный мир. Таким образом, создание пикселей является сегодня другим основным источником изображений, и мы используем для этой работы компьютеры. Мы можем создавать пиксели, которые кажутся образцами нереальных миров, например, воображаемого мира фильма Pixar, если они действуют по тем же правилам, что и пиксели, взятые из реального мира.

Различие между получением и созданием или съемкой и вычислением разделяет цифровой свет на две области, известные как обработка изображений и компьютерная графика. Это классическое различие между анализом и синтезом. Пиксель является ключом к обоим, и достаточно одной теории, чтобы объединить всю область.

Вычисление — еще один ключ к обеим сферам. Количество пикселей, задействованных в любом изображении, огромно — обычно для создания всего одного изображения требуются миллионы пикселей. Человеческий разум без посторонней помощи просто не мог уследить даже за простейшими пиксельными вычислениями, независимо от того, была ли фотография сделана или сделана. Рассмотрим только самую простую часть операции «расширить и сложить» теоремы выборки — сложение. Можете ли вы добавить миллион чисел? Как насчет «мгновенно»? Мы должны использовать компьютеры.

Первый компьютер не только имел пиксели, но и мог анимировать

Вычисления и концепция компьютера с хранимой в памяти программой были изобретены Аланом Тьюрингом в 1936 году. Тогда началась гонка за созданием машины, способной воплотить его идеи в жизнь. Сам Тьюринг пытался, но не смог построить первый «компьютер» — сокращение от «электронный компьютер с хранимой программой», именно то, что мы подразумеваем под этим словом сегодня. Британские инженеры Том Килберн, Джефф Тутилл и (сэр) Фредди Уильямс выиграли эту гонку, создав в 1948 году первый компьютер по прозвищу (верите или нет) Manchester Baby.

У ребенка были пиксели! Стоит повторить: у первого компьютера были первые пиксели! Он отображал первые пиксели расширения. Еще один сюрприз ждал меня, когда я посетил Бэби (на самом деле точную копию) в Манчестере в 2013 году для моего исследования. Малыш отобразил слово «PIXAR», прокручивая его вправо. Первый компьютер не только имел пиксели, но и мог анимировать.

На самом деле на дисплее Малыша есть фотографии первой и второй цифровой картинки (просто симпатичные неинтересные буквы ЭЛТ-МАГАЗИН для первой картинки). Но, похоже, больше никто никогда не фотографировал его. Казалось бы слишком легкомысленным использовать уникальную дорогостоящую машину для снимков вместо, скажем, расчетов атомной бомбы. В 1998 году, когда в честь своего 50-летия была построена копия Baby, такого презрения к картинкам уже не осталось. Сегодня неестественно думать о компьютерах без изображений. На самом деле у нас есть для них специальное название — серверы.

Как только появились компьютеры, вскоре последовали цифровые изображения, игры и анимация — на некоторых из самых ранних из новых зверей. Первая интерактивная электронная игра появилась в 1951 году тоже в Манчестере. А вторая и третья интерактивные игры появились в 1952 и 1953 годах в Кембридже, Великобритания. Первая цифровая анимация была записана в 1951 году в Кембридже, США, и показана в телешоу Эдварда Р. Мерроу See It Now.

Но это была эпоха компьютеров-динозавров, больших, медленных и тупых. Чтобы перейти от этого примитивного состояния к эре цифрового света, требовался источник энергии огромной мощности.

В 1965 году началась революция в законе Мура – ​​чудо, которое еще не было полностью осознано. Я не могу переоценить его важность. Это динамо сверхновой звезды, которое питает современный мир и особенно цифровой свет. Моя версия закона такова: все хорошее в компьютерах становится лучше на порядок каждые пять лет (рис. 12 ниже). Это интуитивное выражение закона, обычно выражаемое таким неинтуитивным образом: плотность компонентов на интегральной схеме-чипе удваивается каждые 18 месяцев. Но они эквивалентны.

Я использую «порядок величины», а не просто арифметический «коэффициент 10», потому что он предполагает умственный предел. Изменение порядка величины примерно настолько велико, с каким может справиться человек. Больше подразумевает концептуальный скачок. Закон Мура требует один раз в пять лет. Сегодня коэффициент закона Мура превышает 100 миллиардов: компьютеры сейчас в 100 миллиардов раз лучше, чем в 1965 году. Всего через несколько лет коэффициент достигнет 1 триллиона. Это 12 порядков величины — далеко за пределами способности любого человека предсказать. Мы должны оседлать штормовой нагон, чтобы увидеть, куда он нас приведет.

Первым плодом закона Мура были цветные пиксели. Я нашел первые из них на симуляторе лунного проекта «Аполлон» (рис. 13 ниже), построенном в начале 1967 года инженерами Родни Ружлотом и Робертом Шумакером для НАСА. Это также был первый пример трехмерной цветной графики с затенением. В них использовались новые устройства, интегральные микросхемы, описываемые законом Мура.

Основная идея заключалась в том, чтобы смоделировать нереальный мир, сохранить эту модель в памяти компьютера, а затем преобразовать ее в пиксели для распространения на дисплее. Это, по сути, можно считать определением компьютерной графики. Ружло и Шумакер создали модель еще не существовавшего лунного модуля «Аполлон», описали ее, используя трехмерную евклидову геометрию и ньютоновскую физику, а затем свели ее в двухмерное изображение с перспективой эпохи Возрождения. Их компьютер разделил эту визуальную сцену на пиксели и отобразил их, как показано выше.

То, что было чернилами и бумагой, фотографиями, фильмами и телевидением, в мгновение ока превратилось в пиксели.

Повторюсь: компьютеры — самый гибкий инструмент из когда-либо изобретенных. В них нет ничего, что ограничивало бы цифровые изображения смирительной рубашкой Евклида-Ньютона-Ренессанса, используемой в этой первой цветовой модели. Но примечательно, что большинство трехмерных компьютерных графических изображений в мире сегодня все еще работают таким образом. Наиболее ярко мы используем эту технику для создания воображаемых миров цифровых фильмов. Я называю это центральной догмой компьютерной графики, добровольной «симфонической формой».

Наше повседневное восприятие мира — это картина, меняющаяся во времени. Это трехмерность — два измерения пространства и одно измерения времени — но теории Фурье и Котельникова по-прежнему применимы. Цифровой фильм использует сэмплирование, чтобы воссоздать этот опыт. Мы называем временную выборку кадром, и каждый кадр состоит из пикселей.

Я концентрируюсь на фильмах, но электронные игры, виртуальная реальность, авиасимуляторы и другие формы цифрового света существенно не отличаются. Что отличает их от фильмов, так это то, что их вычисления происходят в «реальном времени» — то есть так быстро, что человек считает, что смоделированный мир меняется синхронно с часами реального мира. Кинокомпьютеру может потребоваться час для вычисления одного кадра (для вычисления оригинальной «Истории игрушек» потребовалось больше года ), в то время как игра должна сделать это, скажем, за 30-ю долю секунды. Но методы, по сути, одни и те же, и закон Мура неуклонно поглощает несоответствие скоростей.

Закон Мура, наконец, сделал цифровое кино возможным. Еще в 1986 году компьютерщик Эд Кэтмулл и я создали Pixar в надежде снять первый полностью цифровой фильм, зная при этом, что нам не хватило на пять лет необходимой мощности. Словно следуя закону Мура, в 1991 году Disney выступила с финансированием, а Pixar использовала его для создания «Истории игрушек» (1995). Это плюс цифровые фильмы «Анц» (1998) от DreamWorks и «Ледниковый период » (2002) от Blue Sky Studios стали яркими флагами, гордо развевающимися в новом тысячелетии. Цифровые фильмы с ослепительной славой провозгласили, что произошла великая цифровая конвергенция и началась эра цифрового света.

Другие события сошлись. Цифровой видеодиск дебютировал в 1996 году. Первая трансляция нового телевизионного сигнала высокой четкости состоялась в 1998 году. Цифровая камера профессионального качества в 1999 году поставила под угрозу пленочные камеры. То, что было чернилами и бумагой, фотографиями, кино и телевидением, стало – в мгновение ока — всего лишь пикселями. Изменения были настолько быстрыми, что современные молодые люди, возможно, никогда не сталкивались с нецифровыми медиа, за исключением, конечно, тех музеев и детских садов.

Мы находимся всего в двух десятилетиях от новой эры, но это уже на четыре порядка меньше, чем тысячелетие. Медиа-революция, основанная на глубоком, но простом пикселе, не ослабевает. Мы все еще едем на волне.