Всё, что нужно знать про ИИ в чипсетах на примере Huawei Kirin 980

Содержание

Введение

Большинство потребителей абсолютно не интересуются тем, какой чипсет стоит в их смартфонах. То же самое касается и компьютеров. Попробуйте человеку, не следящему за рынком техники, задать вопрос, какой процессор у него в ноутбуке. Вполне вероятно, что у него в голове всплывет завершающий слоган любой рекламы компьютеров с характерным звуком «Intel Inside».

К слову, это очень мощная рекламная кампания, въевшаяся в голову многих потребителей. Больше всего от неё бесятся в AMD, когда люди даже про ноутбуки на AMD по инерции отвечают Intel Inside (особенно это характерно для США). Вспомнив, что процессор от Intel, человек, возможно, даже вспомнит название i5 или i7, а вот про поколение процессора можно даже не спрашивать. Там тёмный лес. У AMD, несмотря на все усилия, уже много лет ситуация сложная: обычный потребитель сумел запомнить название компании, а вспомнить имя процессора или выстроить хотя бы приблизительную иерархию – это невыполнимая задача.

На рынке мобильных систем на чипе (SoC – system on chip) царит в целом схожая картинка. Всем известно, что Qualcomm – это хорошо, MediaTek – это плохо, а ещё есть Apple, у которой совсем другие процессоры. А про то, что Samsung делает собственные чипсеты, или то, что Huawei стала лидером в области ИИ в чипсетах, многие и не подозревают.

Что, как и почему?

Mobile-Review.com читает продвинутая публика, но на всякий случай ответим на базовый вопрос – почему в компьютерах процессор, а в смартфонах SoC. Разница заключается в том, что компьютер состоит из процессора, видеокарты, звуковой карты, которые соединяются с материнской платой по шине и, по сути, являются отдельными устройствами. В противовес этому есть система на чипе, включающая в себя сразу всё – и звук, и свет, и воду, и газ с электричеством (аудио, видео, процессор, флэш-память, Analog to Digital Converter – ADC и т.д.). Основное преимущество SoC – это компактные размеры.

Большинство современных смартфонов работают на архитектуре ARM, принадлежавшей Arm Holding. Холдинг, в свою очередь, занимается разработками и лицензирует сторонних игроков рынка (Apple, Huawei, Samsung, Qualcomm, MediaTek). Позволяя за скромные отчисления пользоваться своими наработками. При этом Arm Holding занимается только исследованиями, от прямых продаж компания отказалась, поэтому прийти и купить чипсет у Arm Holding нельзя. Производители попроще предпочитают пользоваться услугами Qualcomm и MediaTek, бизнес которых и строится на создании непосредственно чипсетов и их дальнейшей перепродажи.

А вот сильные игроки, такие, например, как Samsung, Apple и Huawei, имеют лаборатории, финансовые ресурсы, талантливых инженеров и занимаются собственными дизайнерскими модификациями, дорабатывая и улучшая продукцию Arm Holding.

На рынке, помимо дизайнерских предприятий, существуют и контрактные заводы, которые занимаются не исследованиями, а только производством. Хорошим примером такого завода является Тайваньская Полупроводниковая Производственная компания, больше известная под аббревиатурой TSMC.

Некоторые, как, например, Samsung, пытаются подмять весь производственный цикл и не только делают дизайн чипсетов, но и самостоятельно их производят, инвестируя в заводы. С одной стороны, это правильная позиция, так как позволяет для своих продуктов получать максимально низкую цену. С другой, это опасно, так как при снижении продаж компания рискует столкнуться с недозагрузкой мощностей, что приведет к удорожанию производства. В последнее время Samsung как раз и испытывает спад продаж, так что, возможно, как раз из-за этого новый Exynos 9 Series 9820 делают по технологии 8 нм, а не 7 нм, как все остальные правильные производители. Как говорится, разницу в 1 нм невооруженным глазом можно увидеть, только если смотреть в Excel-таблицу костов.

В Apple и Huawei имеют собственные дизайн-команды, но производство предпочли отдать на откуп сторонним фабрикам. Как раз, кстати, оба игрока и пользуются услугами TSMC. Именно на этом предприятии производятся чипы для iPhone’ов и самые современные чипсеты от Huawei – HiSilicon Kirin 980.

В отличие от Samsung, у Huawei всё хорошо: компания на подъёме, поэтому Kirin 980 выполнен по стандарту 7 нм.

Что нового и важного в Huawei Kirin 980?

На текущий момент Kirin 980 – это первый коммерческий 7 нм чип для смартфонов на базе Android. Чтобы понять размеры чипсета, можно на бумаге нарисовать квадратик со стороной 8.6 мм. На этой поверхности разместилось 6,9 миллиарда транзисторов.

Для сравнения, предыдущий процессор Kirin 970 по технологии 10 нм имел размеры 9.75 × 9.92 мм, и помещалось там «всего» 5,5 миллиарда транзисторов. К слову, это достаточно высокая технология, так как у той же Apple это 4.3 млрд транзисторов.

Некоторые могут подумать: делов-то – купить у Arm Holding лицензию и прицепить свою бирку. Однако всё намного сложнее. На одном из мероприятий в Huawei рассказали про трудозатраты на разработку. Компания шла к новому чипсету 36 месяцев, в R&D центрах над этим работали более 1000 только старших экспертов (не считая младших), а всего было создано более 5000 инженерных прототипов.

У перехода на новую технологию всегда есть несколько плюсов. Например, если сравнить новый Kirin 980 с 970, то налицо рост производительности на 75%, при этом энергоэффективность выросла на 58%. К слову, именно для таких значительных результатов и нужны собственные дизайнерские лаборатории, так как просто переход с 10 нм на 7 нм даёт увеличение энергоэффективности только на 40%.

Энергоэффективность достигается за счёт продуманной работы всех внутренних составляющих чипсета. Чтобы продемонстрировать разницу, возьмем чип от Apple – A12 Bionic, так как он сделан также на заводе TSMC по технологии 7 нм и номинально содержит такое же количество транзисторов. Однако в решении Apple используется 6 ядер – 2 высокопроизводительных ядра и 4 энергоэффективных ядра. В то время как у Huawei получилось реализовать 8-ядерную комбинацию – 2 турбо-ядра, 2 высокопроизводительных ядра и 4 малых энергоэффективных ядра.

Про чипсеты и искусственный интеллект

Однако, создавая новые быстрые чипсеты, производители столкнулись с проблемой грамотного распределения мощности. Оптимальным решением видится использование искусственного интеллекта.

Тема ИИ уже заезжена, так как производители сами виноваты. Они упоминали искусственный интеллект везде, где только могли, не удосужившись предварительно объяснить покупателям, что это значит. Ведь большинство, когда речь идёт про ИИ, представляют, что у них в смартфоне живет Робокоп или Google Assistant с Siri подрабатывают не только голосовыми помощниками, но за и производительностью смартфонов следят. И это характерно не только для обывателей. Когда мы искали авторов для Mobile-Review, одним из заданий было написать заметку на тему «зачем нужен ИИ в смартфонах». И на почту мне обрушился поток из рассказов-фантазий про будущее и кофе в постель, возможности интеллектуальной беседы и угадывания желаний.

Про производительность

Однако таких продвинутых ИИ нет и ещё долго не будет, а SoC с поддержкой ИИ означает, что чипсет умеет самостоятельно догадываться о том, сколько мощности нужно на ту или иную задачу, а также он умеет находить закономерности в поведении пользователя и подстраиваться под них. Звучит просто, но вещь очень важная. Самый простой вариант — это замедление всех процессов в ночное время. Тот же Kirin 980 отслеживает, в какое время вы перестаете пользоваться смартфоном, и блокирует все лишние процессы. Например, если неожиданно ночью какая-то программа из-за глюка, допущенного разработчиком, случайно активирует GPS поиск, то наутро пользователь увидит значительно разрядившийся смартфон. В то время как «умный» чип блокирует программу, ибо не нужна она в данный момент времени.

Соответственно, в случае с Kirin 980 используется ещё и новый алгоритм работы – 3-уровневая энергетически эффективная архитектура. Схематически работу нового чипсета в зависимости от нагрузки можно изобразить так:

Особенно хорошо у искусственного интеллекта получается проявить себя в области гейминга. И опять же речь не про то, что компьютерные противники стали умнее. Kirin 980 оснащен графическим модулем Mali-G76, который имеет на 46% более высокую производительность и на 178% более высокую энергоэффективность.

Прирост в области энергоэффективности значителен. Это как раз во многом и достигается благодаря ИИ. Разрешите процитировать с официального сайта Huawei: «Модуль поддерживает инновационную технологию интеллектуального планирования модуляции тактовой частоты. Этот механизм прогнозирует уровень нагрузки на процессор, в реальном времени анализируя частоту смены кадров, плавность изображения и данные, поступающие от сенсорного экрана. Такая технология планирования повышает точность предсказания нагрузки, формируемой каждым кадром на 30% по сравнению с традиционными методами прогнозирования, в особенности на игровых сценариях. Это позволяет эффективно увеличить среднюю частоту смены кадров и значительно снизить эффект джиттера и зависания во время игр».

Про камеры

Ещё одна важная область – это камеры. Есть производители, как, например, Samsung, которые пытаются зацепить аудиторию, выпуская аппараты с четырьмя камерами. Реальной потребности в этом никакой нет, так как Google Pixel с одной камерой снимает гораздо лучше большинства решений с кучей объективов. Это потому, что сейчас на первый план как раз и выходят возможности искусственного интеллекта, который самостоятельно достраивает картинку по имеющимся у него деталям и знаниям об окружающем мире.

В этом плане мне нравится, что придумали в Huawei. У них ИИ, мощный алгоритм для фото, и они ещё сделали несколько камер. Результат отличный. Huawei P20 Pro уже больше полугода лидер в рейтинге DxOMark, да и отрыв довольно значительный. И пока что ни у кого из ближайших преследователей не получилось дотянуться. Признаться, рассчитывал, что новый Galaxy Note выбьет P20 Pro, а потом надеялся на новый iPhone. Очень интересно было бы увидеть результаты нового Google Pixel 3, у которого по-прежнему всего 1 камера, так как если он выиграет, то это будет новая ступень в области развития ИИ и алгоритмов фотообработки. Ну и, разумеется, интересно, какой результат покажет Huawei Mate 20 Pro, так как если P20 Pro работает на предыдущем поколении чипсета, то Mate 20 Pro – это Kirin 980. Вопрос, смогут ли за 110 баллов перебраться, или нет.

Если описывать словами, как работает ИИ в фотокамере, то получится примерно следующее: «…фирменный процессор обработки изображений (ISP) четвёртого поколения, поддерживающий многокамерные конфигурации. Его пиксельная пропускная способность на 46% превышает показатели предыдущего поколения. Цветопередачу и полутона теперь можно регулировать по зонам, кроме того, процессор оснащён новой функцией воспроизведения цветов в режиме HDR, которая способна управлять контрастом изображения, подсвечивая объекты в различных частях кадра» и «благодаря двойному нейромодулю и высокой вычислительной мощности, Kirin 980 поддерживает интеллектуальное распознавание лиц, объектов, сегментацию изображений, перевод в реальном времени и другие функции, которые исполняются непосредственно на мобильном устройстве». Процессор умудряется распознавать 4500 изображений в минуту, и это нужно, чтобы «…Kirin 980 позволяет получать чёткие и яркие снимки танцующих людей или спринтеров на дистанции, прорисовывая суставы и линии в реальном времени». Мне очень нравится фраза про рисование суставов в реальном времени, то есть если размахивал сильно руками и камера не успела отловить движение, то чипсет с ИИ просто пририсует.

Заключение

В заключение хочется сказать, что, выбирая новый смартфон, следует уделять внимание тому, поддерживает ли он на аппаратном уровне ИИ. Многие производители используют простые решения, считая, что смогут решить все вопросы софтом. Это не так. Рассказ про ИИ получился на примере Kirin 980 из-за того, что сегодня именно в Huawei делают наиболее продвинутые ИИ-решения. Речь идёт не количество «виртуальных попугаев» в синтетических тестах производительности, а про использование смартфона в жизни. В Huawei, кстати, своё лидерство прекрасно понимают, и компания ведет достаточно интересную политику. Она не продаёт свои чипсеты другим игрокам рынка (например, Samsung продаёт). В одном из недавних интервью старший директор по продуктам Боди Джи сказал, что компания рассматривает свои чипсеты не как продукт, а как интеллектуальную собственность, выделяющую Huawei на рынке и дающую преимущество перед конкурентами.

Процессор Kirin 980: 7-ми нанометровое китайское чудо

Изюминкой топовых китайских смартфонов последнего поколения стал прогрессивный процессор Kirin 980. Производитель процессора компания Huawei анонсировала его на выставке IFA как инновационный продукт, превосходящий по своим возможностям признанного фаворита Qualcomm.

Что же такого лучшего в Kirin 980?

• графический процессор Mali-G76;
• два нейросетевых модуля;
• переход на техпроцесс 7 нм;
• переход на ядра Cortex-A76;
• поддержка скоростной оперативной памяти LPDDR4X 2133 МГц;
• 21 — встроенный модем с возможность скоростной передачи данных 1,4 Гбит/с.

Действительно ли этот мощный пакет последних технологических новинок поднял Kirin 980 выше основного соперника Qualcomm Snapdragon 845? Стоит разобраться по порядку.

Об играх и графике.

Kirin 980 работает с GPU Mali-G76. Это реально новый подход к решению графических задач, а не доработка старого Mali. Если сравнивать с предыдущей версией Kirin 970 и GPU Mali-G72, то можно увидеть, что новый Kirin быстрее на 46% и энергоэффективнее на 178%. Оценить эти красивые цифры можно, если немного вспомнить историю графики Mali, достаточно уязвимое и болезненное место всех смартфонов на системе Android. Предыдущие серии процессора Mali Т600-800 строились на одной архитектуре Midgard с внесением в течение 3-х лет некоторых не принципиальных изменений. Смартфоны с этим графическим ускорителем (Xiaomi Redmi Note 4, Samsung Galaxy S7) не могли похвастаться хорошей игровой производительностью, особенно это было заметно на играх с «тяжелой» графикой и большим количеством спецэффектов. В 2016 году вышла принципиально обновленная версия процессора Mali G71 (он знаком нам в смартфонах Huawei P10 и Samsung Galaxy S8) и улучшенная версия Mali G72 (Huawei P20 и Galaxy S9). При разработке этих графических ускорителей Huawei не ставил задачу получить игровой смартфон, основная задача была добиться высокой скорости загрузки и работы приложений Android. При всем при том Mali G72 в комплекте с мощными ядрами основного процессора и Full HD разрешением оказался более пригодным для активных игр.

В целом, вся линейка процессоров Mali уступает в производительности аналогичным графическим процессорам Apple и Adreno, что хорошо видно в различных рейтингах. На это влияет архитектура процессора в целом, а также количество и мощность ядер.

После 2018 года Huawei решили заняться и игровой продуктивностью своих процессоров, добавив технологию GPU Turbo, повысив с ее помощью частоту Mali. Опытным игрокам известно, что и компьютерные и смартфонные игры не могут постоянно «летать». В определенные игровые моменты, связанные с просчетом сложных визуальных спецэффектов или прорисовки большого числа объектов, игра может «притормаживать», после чего возвращается к нормальной скорости работы. Технология GPU Turbo научила процессор выравнивать скорость работы игры, делая замедление во время сложных графических построений менее заметным. Для этого два нейросенсора Kirin анализируют работу графики в нормальный период и на пике активности и как бы «резервируют» избыточную мощность при нормальной работе, чтобы использовать ее в период пиковой нагрузки на графику. Пока технология работает не без ошибок, но уже явно заметно преимущество процессоров Kirin в этом вопросе перед ближайшими конкурентами, не имеющими такой хитрой системы. Благодаря интеллектуальному перераспределению ресурсов GPU Turbo позволяет добиться хорошей игровой производительности даже при значительном дефиците мощности. Однако не все игры воспринимают такое вмешательство благосклонно — сетевые игры могут воспринять выравнивание частоты кадров как следствие использования игроком не совсем честных приемов и блокировать игрока. Компании Huawei пришлось договариваться с разработчиками крупнейших игр для адаптации их к GPU Turbo. На данный момент с этой системой корректно работают такие игры как Rules of Survival, Vainglory, NBA 2K18, PUBG и Mobile Legends. Другие игры технологию GPU Turbo пока не поддерживают, а значит графический ускоритель при их запуске будет работать в обычном режиме, возможно даже на 10-12% медленнее Snapdragon 845.

Мощь своей новой и значительно улучшенной графической подсистемы компания Huawei продемонстрировала на примере известной игры NBA 2K18. Она славится среди спортивных симуляторов своим графическим реализмом с качественной проработкой всех деталей, таких как шрамы на теле спортсмена, или капельки пота, скатывающиеся во время тренировки. Все это требует от смартфона значительных графических ресурсов.

Для сравнения, игра была запущена одновременно на двух устройствах: первое устройство на процессоре Kirin 980, второе на Snapdragon 845. Основным показателем для сравнения служил средний FPS (частота смены кадров в секунду, для справки, минимальная требуемая частота 30 кадров\сек, а наиболее комфортная для игр 60 FPS или кадров\сек.). Процессор Kirin 980 выдавал среднюю частоту 59,3, а Snapdragon 845 всего лишь 48,5 с периодическими провалами до 20-30 FPS, что критично. Замер энергозатратности показал, что Kirin 980 экономичнее расходует заряд, в отличие от Snapdragon 845 (43,7 мВт против 64,5 мВт на один кадр). Так что китайцы, заявляя что смартфоны на базе Kirin будут на 32% энергоэффективнее конкурентов на Snapdragon 845, а значит меньше греться и дольше работать автономно, не солгали ни на грош.

Производительность и ядра

В целом изменений в Mali-G76 много и они значительны.

Важную роль в достижении мобильными процессорами энергоэкономичности и быстродействия играет технология производства процессора. Самый распространенный сегодня 10-нм процесс. Kirin 980 — первый процессор для массового производства, изготовленный с использованием 7-нм техпроцесса, что высветило новый вектор развития в эволюции чипов.

С переходом на техпроцесс 7-нм общая производительность процессора выросла на 20%, а способность к энергосбережению на целых 40%. Увеличилось количество транзисторов до 6,9 млрд на одном квадратном сантиметре, против 3 млрд в Kirin 950 и 5,5 млрд в Kirin 970. Этот результат был достигнут благодаря более высокой плотности расположения транзисторов.

Исследования нового техпроцесса Huawei начали более 3-х лет назад, собрав лучших спецов по системному проектированию. Только такая команда могла решить задачу с учетом особых требований массового производства. В процессе подготовки Kirin 980 к производству все компоненты и системы чипсета был множество раз протестированы. Это позволило производителю дать пользователям мобильных устройств гарантии на бесперебойную работу устройства при разных условиях и режимах использования.

Заметное повышение производительности произошло из-за перехода на обновленные ядра Cortex-A76, вышедшие всего несколько месяцев назад. Они почти в 2 раза производительнее ядер старого поколения. Сравнивая работу процессоров Kirin 980 и 970, можно убедиться, что новый процессор занимают туже площадь на микросхеме, но при этом быстрее и экономичнее на 30%, а искусственный интеллект решает задачи лучше в 2,7 раз.

Новинкой стала и схема использования этих производительных ядер. В предыдущих версиях ядра задействовались по схеме big.LITTLE, в Cortex-A76 схему можно обозначить как big+middle+little. Ядра в процессоре работаю на разных частотах: 2 ядра с частотой 2,6 ГГц, 2 «средних» с пониженной до 1,92 ГГц частотой и четыре основных 1,8 ГГц. Компания-разработчик утверждает, что такая схема позволяет эффективно распределять нагрузку. Для понимания процесса приведем примеры:

• прослушивание музыки потребует задействовать одно маленькое ядро;
• плавная работа приложения, такого как Facebook, требует задействовать три мелких и одно среднее ядро;
• при работе ресурсоемких 3D-игр задействуется весь комплект ядер.

Надо отметить, что рутинные задачи (звонки, интернет-серфинг, использование камеры и т. п.) не требует использовать ресурсы высокопроизводительных ядер. Такая экономичная схема очень положительно отражается на длительности автономной работы смартфона. Замеры показывают, что общая энергоэффективность процессора Kirin 980 выросла на убедительные 58% и теперь в комплексных тестах вроде GeekBench Kirin уверенно превосходит своего соперника Qualcomm Snapdragon 845.

Это заметно при запуске приложений: на устройствах с процессором Kirin 980 для запуска Facebook требуется ровно 1 секунда, против 1,3 секунд на смартфонах с Snapdragon 845. Может и не самый заметный случай, но «дьявол кроется в деталях».

Эксперимент с ядрами компании Huawei решительно удался, в отличие от Qualcomm, пытавшихся разработать ядра собственного производства в Snapdragon 835 с доработкой в Snapdragon 845. Потраченные значительные средства на разработку вылились в разницу в 15%. Huawei, использовав в своем процессоре классику — ядра Cortex, сэкономленные средства направил на улучшение камер и разработку новых алгоритмов для работы прошивки, и не прогадал.

Процессоры и искусственный интеллект

Пару лет назад, когда китайцы презентовали процессор Kirin 970, заведомо отстающий по производительности, экономичности и работе графики от Snapdragon 835. Некоторые восприняли это как провал, не придав значение презентации технологии искусственного интеллекта, реализованной в нейрочипе нового процессора. Время показало, что появление управляющих нейрочипов важнее высоких показателей в бенчмарках. Ядра и мощь компания Huawei успешно нарастила в Kirin 980, догнав и перегнав по некоторым параметрам конкурентов, а вот в области использования в процессорах искусственного интеллекта компания оказалась впереди всех конкурентов, задав вектор развития смартфонов в ближайшие годы. В 2018 году Samsung в Exynos 9810 и MediaTek в Helio P60 сделали попытку внедрить AI, но явно не дотянули до уровня Huawei.

Qualcomm также не остался в стороне, заявив, что еще в 2016 году встроили в Snapdragon 820 специальный чип Hexagon 680, предназначенный для построения дополненной (виртуальной) реальности и улучшения фотографий. Все это так, но Qualcomm продает комплектующие, а не готовые устройства. Как использовать «железо» решают производители смартфонов. Возможность предоставленная Hexagon 680 осталась мало востребованной. На тот момент производители HTC, Samsung и LG были заняты доработкой программной оболочки под новый Android. Новая оболочка, плюс технические возможности процессора Snapdragon 820 (игровой графический ускоритель, Wi-Fi/4G и 4 мощных ядра для управления всем этим) показалось им достаточным для нового флагмана и не стали заморачиваться прокачкой возможностей нейронных сетей для улучшения фото и видео, распознавания лиц и предметов. Поэтому мы признаем, что Qualcomm дал инструмент для развития искусственного интеллекта смартфонов, но заставить производителей его оценить и развивать ему не удалось. Производители забеспокоились об упущенной возможности только тогда, когда на рынок ворвался Kirin 970. Поняв свое отставание, они сделали ряд попыток выровнять ситуацию. Так LG сумел вдогонку выпустить новую прошивку для не свежего V30, а для его продвижения организовали конференцию и масштабную рекламную кампанию. Остальные производители, оценив, как притягательны возможности AI в смартфоне для пользователя стали активно искать свой путь во внедрении нового тренда.

Справедливости ради надо сказать, что попытка заставить работать искусственный интеллект в Snapdragon 820/821 все же была. И сделал это Google в серии смартфонов Pixel и Pixel 2. ИИ позволил Pixel делать прекрасные снимки и видео с помощью обычных сенсорных одинарных камер, без привлечения супер оптики Carl Zeiss или Leica. Для этого он заставил возможности процессора работать на полную катушку благодаря искусственному интеллекту. На презентации смартфонов Pixel Google сделал акцент на качестве получаемых снимков и возможностях мобильной фотографии, но не афишировал, что позволило ему так настроить обычные камеры.

Huawei и искусственный интеллект

Попытки внедрить искусственный интеллект в смартфоны были и до Huawei, так почему именно Kirin 980 отводят роль пионера использования ИИ в смартфонах и так много говорят об этом процессоре.

Qualcomm в свой Snapdragon фактически добавил дополнительный универсальный цифровой сопроцессор, предоставив производителям устройств самим решать, как его использовать и использовать ли вообще. Какой бы смысл не вкладывал Qualcomm изначально в этот сопроцессор, не в его силах навязать свое видение сборщикам конечного продукта. Он предоставляет возможности своего «железа», а компании выпускающие готовые устройства имеют собственное видение: «на чужие плечи свою голову не приставишь».

Сильной стороной Huawei оказалось в полном цикле производства: компания одновременно является изготовителем и процессоров и конечного продукта (смартфона и ПО). Они создавали свой процессор точно зная для чего он им нужен, как он будет использоваться и какие возможности должен предоставить. Другими словами, внедрение в процессор дополнительных нейрочипов было осмысленным.

В свой процессор Kirin 980 китайские Да Винчи в довесок к мощным 8-ми ядрам установили целых два нейрочипа. Сделано это было для более продуктивного распределения нагрузки при решении задач искусственным интеллектом по «двухъядерной» схеме. Два нейросенсора позволяют устройству эффективно распознавать объекты при съемке, их мощности хватает на то, чтобы улучшать не только фотографии, но и качество видеосъемки в реальном времени. ИИ способен буквально «разобрать фото на пиксели», проанализировать сюжет, сцену, освещение, выбрать оптимальный режим съемки и обработать для получения максимального результата в доли секунды.

Эффективно разделение труда и при рутинной нагрузке. Два нейрочипа берут на себя труд распознавания лица хозяина при включении, профилактическую очистку памяти смартфона, сортировку фотографий (еда, пейзаж, портрет или питомцы) и другую мелкую работу, освобождая от этих задач основные полноценные ядра процессора.

Специально для этого процессора Huawei разработал фирменную систему ISP 4.0 технологически улучшенную обработку изображений. Пиксельная пропускная способность увеличилась на 46%, что дает процессору возможность оперировать с большим количеством камер. Это возможность была блестяще реализована в недавно вышедшем флагмане Huawei Mate 20Pro, имеющем 3 камеры сзади (40Мп, 20Мп, 8Мп) и селфи-камеру на 24 Мп. Камеры имеют разное фокусное расстояние, что позволяет делать даже качественные макроснимки насекомых и мелких предметов. Технология позволяет также улучшить цветопередачу и значительно снизить шумы. Как результат — четкие снимки и плавное видео даже не в лучших условиях съемки.

Фото и видеосъемка для современных смартфонов являются одними из ключевых функций, поэтому разработчики Kirin уделили связанным с ними возможностям большое внимание. Помимо инструментов для работы с четкостью и цветом кадра, производители существенно повысили точность автофокуса. Улучшился алгоритм нахождения и распознавания в кадре лиц: процент безошибочности составляет 97,4%. Новая цепочка обработки кадров позволяет снизить задержку при обработке на 33%.

Предложенная в Kirin 980 двухъядерная система нейропроцессоров создает комфортную среду для разработчиков и расширяет потенциальные возможности приложений с использованием искусственного интеллекта.

Перечислим основные задачи, решаемые новыми NPU в устройствах на базе Kirin 980:

1. Подавление шумов во время съемки. Это очень важная функция для получения качественных фото, в том числе и при недостаточном освещении, что бывает часто. Хорошее фото должно быть детализированным, а возможности оптики камер смартфона ограничены. Вот здесь и работают сопроцессоры, непрерывно вычисляя и корректируя картинку, пока основные процессоры «захватывают» ее с камеры и подают на экран. Маленьким трудягам достается самое сложное. Во-первых, сгладить пятна шума на фотографии, компенсировав вычислениями недостаток освещенности, при этом сохранить четкость. Во-вторых, корректируют и достраивают кадр в условиях недостаточной видимости.
   Как это работает? Вы фотографируете белую машину ночью. Тени падают по-разному, что-то видно хорошо, а, например, колесо пропало в тени. Задача нейрочипов сравнить картинку с камеры со своими базами и распознать предмет. При 100% уверенности, что предмет распознан правильно, ИИ может дорисовать контур предмета или плохо просматриваемую деталь. В нашем примере это колесо — его можно высветлить и выровнять, приблизив по качеству к корпусу машины, а полученные при осветлении дефекты изображения исправить. Если этот сценарий не сработал, то включается сценарий номер два.
2. Улучшенный НDR. Это функция знакома нам по кнопке переключения режима съемки в меню камеры в смартфоне. Задача HDR — «вытянуть» качество фотографии в том случае, если возможностей (диапазона) камеры не хватает для получения четкого снимка. Например в ясный день вы пытаетесь снять сосновый лес. Вариантов два: черный лес на фоне чистого голубого неба или абсолютно белое небо и естественный зеленый лес. Оба варианта неудовлетворительны и не могу передать красоту пейзажа. Именно механизм HDR может спасти ситуацию. Как это работает? За долю секунды камеры делает целую серию снимков с несколько разными режимами съемки. Полученные снимки (черный лес-голубое небо, зеленый лес-белое небо и промежуточные варианты) анализируются и склеиваются в детализированное и качественное фото.
   Функция давно привычная пользователям, при чем тут искусственный интеллект, спросите вы? В количестве и качестве. Обычный HDR склеивает фото из трех кадров: светлый, темный и средний. Этого часто не хватает для выравнивания кадра, а больше стандартные процессоры просто не тянули, ведь на них еще и фоновые задачи, типа определить ваше местоположение для привязки кадра и т. п. Растянуть во времени нельзя — у вас чуть дрогнет рука и вся картинка поплывет.
   В процессоре Kirin 980 процесс получения, распознавания и анализа снимков разделен между ядрами процессора. Основное ядро занято задачей получить на малую долю секунды как можно больше снимков с разными параметрами съемки. За сортировку, анализ и конечный результат отвечают нейропроцессоры, каждый из которых работает в своем диапазоне яркости. Этот механизм в полной мере был реализован в топовом устройстве Huawei Mate 20, который значительно превышает конкурентов по качеству фотографий.
3. Интеллектуальный и быстрый автофокус. Контроль автофокусировки камеры также отдан нейропроцессорам. Естественно, наводят они фокус не на первый попавшийся объект, а с пониманием. Сопроцессоры способны в доли секунды выделить центральный объект, сравнить со своими эталонами и распознать что перед ними — человек, предмет, животное и т.п. «Узнав» объект съемки, включаются специфические алгоритмы анализа. Так, распознав человека, ИИ анализирует где у него руки-ноги, его движение, постоянно подстраивая фокус просчитывая ситуацию вперед. Особенно это важно в режимах динамичной съемки спортсменов или резвящихся детишек. Такое понимание ситуации в кадре позволяет нейросенсорам корректнее работать с фокусировкой: «увидев» танцующего человека они не переключат фокусировку на выступившую на передний план ногу, а будут продолжать удержать в фокусе объект целиком.
4. Виртуозная работа по схеме фигура-фон. Развитый ИИ с самообучением позволяет процессору в реальном времени распознавать предметы и людей с высокой точностью, быстро автоматически каталогизировать фотографии с последующим быстрым поиском. Возможность ИИ разделять основной объект съемки и фон изначально была просто побочным продуктом умного автофокуса. «Узнав» объект или человека, просчитав движение и руки-ноги, сенсоры начинают понимать, что именно они снимают. Анализируя кадр, нейропроцессоры четко разделяют на картинке людей, землю, небо, ближний и дальний фоны, окружающие объекты. Распознавание настолько четкое, что процессор «в уме» может вырезать основной объект из фона, а фон полностью заменить на другой или размыть. Мощность Kirin 980 настолько высока, что тоже самое он способен просчитать для видео, сделав замену прямо во время съемки в режиме реального времени. Красота! У этих возможностей есть и практическое применение для рядового пользователя. Представьте ситуацию. Вы пошли с приятелями в бар или еще куда, а жене сказали, что задержитесь на совещании. Жена, конечно, беспокоится и названивает для прояснения ситуации. Вы в ответ сбрасываете на WhatsApp селфи или даже видео, меняя фон на узнаваемый интерьер офиса (слава нейропроцессорам!), с подписью: «Дорогая, извини! Говорить не могу — шеф вещает. Перезвоню.» Ну и кто вас заподозрит?
   Huawei реализовал эту возможность в своем последнем флагмане Mate 20Pro, опередив конкурентов. Интеллектуальные возможности были объединены с тремя разнофокусными камерами. В этом смартфоне любители мобильных съемок получили широкие возможности улучшения и украшения фото, ранее доступные только в фоторедакторах типа Photoshop.

Потенциал этих технологий далеко не исчерпан, это только первая ласточка.

Некоторое разочарование испытываешь при оценке возможностей видеозаписи, реализованных в процессоре Kirin. Да, Kirin виртуозно работает с камерами, интеллектуально обрабатывает снимки, просчитывает фоны, но не способен записать видео в разрешении 4К частотой 60 кадров/секунду (вот Samsung S9 прекрасно с этим справляется). Не очень хорошо обстоит дело со стабилизацией (шумы по краям и артефакты) видео, в отличие от того же Samsung. Вспомним, что привычная съемка 4К появилась в смартфонах еще в 2013 году. Этот недостаток серьезно диссонирует с интеллектуальными «наворотами» нового процессора.

Из позитива отметим еще раз онлайн-эффекты доступные при съемке видео благодаря умению нейропроцессоров вырезать фигуру из фона. Выделив движущуюся фигуру можно наслаждаться «киношными» фишками в реальном времени: размыть или поменять фон, обесцветить фон и оставить цвет только на фигуре. Раньше это было возможно только после обработки видео в специальных программах-редакторах. Алгоритм пока ошибается — на это влияет контрастность фона, иногда алгоритм сбивается на появившийся на первом плане похожий объект, но в целом результат впечатляет.

«Дай нам Бог, чтобы наши желания совпадали с нашими возможностями»

Скоростной Wi-Fi и 4G

Еще недавно покупка смартфона с 4G практически не имела смысла: он-то 4G поддерживал, только самого-то 4G и не было в наличии. Из современных парадоксов: в России технология 4G появилась сначала на периферии. В Красноярске, Курске, Томске, Хабаровске, Владимире 4G интернет был, а в Москве нормально работать не мог. Это лирика.

Новый Kirin 980 со встроенным модемом Cat.21 готов к обмену данными со скоростью 1400 Мбит/с и 1700 Мбит/с через Wi-Fi ( Snapdragon 845 1200 Мбит/с и 1083 Мбит/с соответственно). Китайцы уверяют, что это лучшие показатели среди существующих смартфонов. У Kirin 980 нет встроенной поддержки нового поколения 5G сетей, но он готов их поддерживать вместе с Balong 5000 — высокоскоростным модемом. Это совсем не значит, что эти фантастические скорости смогут поддерживать все смартфоны, имеющие на своем борту Kirin 980. Это только программа-максимум. Да и внешние сети должны иметь соответствующие технические возможности. А то как в старом кино про женитьбу Бальзаминова: «Взять-то он взял бы, да кто же ему даст?»).

В реальности у нас был такой пример. Были выпущены Huawei три мобильных устройства: P10, P10 Plus и Honor 9 на базе Kirin 960 Скорость работы по LTE и Wi-Fi у них ощутимо отличалась. Весь комплект антенн смогли запихнуть только в 5,5” увеличенный корпус P10 Plus. Скорость передачи данных в Honor 9 искусственно замедлили — «по статусу не положено, ну не флагман же — 30-40 Мбит/с хватит».

Поддержка скоростной оперативной памяти

Ждем запредельные скорости работы ОЗУ во флагманских линейках Huawei и низкого уровня задержки при обмене данными. Процессор поддерживает скоростную память LPDDR4X 2133 МГц. Показатели полосы пропускания (до 23,1 Гбайт/с) и задержки (до 138 нс) лучше аналогичных показателей у ближайшего конкурента Snapdragon 845.

Это очень важно при активной загрузке процессора, например, в онлайн-играх с тяжелой графикой, большим количеством динамичных объектов и спецэффектов. Не приятно, если пуля прилетит со стороны объекта, который ваш смартфон просто не успел прорисовать. Для работы приложений, фото и видео это не столь важно.

Есть у быстрой «оперативки» и обратная сторона, о которой знает любой продвинутый компьютерщик: при росте частоты увеличиваются задержки работы ОЗУ. Поэтому мы не будем ждать чудес в большинстве смартфонов, построенных на новых Киринах.

Стойкий сигнал GPRS

Kirin 980 оснащен двухчастотным модулем GPRS. Huawei уверяет, что это гарантирует стойкий сигнал при неблагоприятных условиях, например в грозу или внутри помещения. Значит смартфон сможет более быстро и с меньшей погрешностью определять ваши координаты. Первопроходцем в этой технологии был Xiaomi в смартфоне Mi 8, но Mi 8 оснащался этой функцией дополнительно, она не шла в комплекте с процессором.

Дополнительно (не в комплекте) Kirin 980 способен поддерживать 5G-модем, но для этого в корпусе смартфона должно найтись пространство для еще одного чипа и антенн. Qualcomm в этой возможности опередил Huawei на целый год и анонсировал Snapdragon 855, с 5G-модемом в комплекте.

Выводы: плюсы и минусы процессора Kirin 980

Процессор Kirin 980 радует гармоничным сочетанием современных технологий, обещающих нам интересные и продвинутые решения в будущих флагманский новинках компании Huawei.

• Процессорная мощность. На данный момент это самый мощный процессор из всех существующих. Можно утверждать, что Kirin 980 превосходит даже Apple A11: скорость работы такая же, но Kirin заметно энергоэффективнее.
• Игровая производительность оставляет желать лучшего. По этому параметру Kirin 980 успешно догнал Snapdragon 845 (хотя иногда отстает на 10-15%) при этом экономит энергию на 30%. А ведь в ближайшее время выходит следующий Snapdragon, который ожидаемо будет гораздо быстрее и эффективнее в игровом процессе.
• GPU Turbo — очень полезная функция для улучшения игрового процесса. Китайцы уверяют, что она позволяет Kirin 980 отрабатывать в 3D играх лучше последнего Snapdragon. К сожалению, на данный момент всего 3-4 игры со своей стороны поддерживают эту функцию.
• Автономность. Словосочетание «энергоэффективный Кирин» до недавнего времени вызывало смех у знатоков. Китайцы сделали настоящий рывок в этом вопросе. В столь значимом улучшении сыграли роль два основных фактора: переход процессора на стандарт 7 нм и технология включения ядер не постоянно, а по мере необходимости. Нагрузка на ядра контролируется искусственным интеллектом минимизируя потребление ими энергии «в холостую». Этим процессор выгодно отличается от подхода Samsung, сделавшим акцент на ядра «круче, чем у конкурентов» и совершенно забыв об автономности аккумулятора, поддерживающего эту мощь.
• Искусственный интеллект: здесь Huawei бесспорный первопроходец и лидер. Возможности слаженной работы двух нейросенсоров впечатляют и распаляют фантазию в предвкушении новых «фишек». Наблюдать за его развитием будет гораздо интереснее, нежели сравнивать баллы в рейтингах Antutu и Geekbench.
• Качество фотосъемки. Эффективный улучшенный HDR и интеллектуальный автофокус дают надежду увидеть в смартфонах построенных на Kirin 980 на лучшее качество съемок при недостаточном освещении, отличные детализацию и цветопередачу.
• Съемка видео. Здесь пока все грустно — древние 4K HDR не впечатляют, а более качественное видео с частотой 60 кадров в секунду процессор обрабатывать не умеет. Впрочем, Huawei другого и не обещал, у него не было в планах догонять в этом вопросе ближайших конкурентов Samsung Galaxy S9 и iPhone X. Из фишек только возможность менять или размывать фон видеозаписи прямо во время съемки, но это вопрос не качества съемки, а возможностей к обработке видео искусственным интеллектом.
• Беспроводная связь. Обещанные суперскорости 4G и Wi-Fi пока не имеют внешней поддержки со стороны сетей и роутеров. Это хороший задаток на будущее, но есть опасность, что эти скорости мы сможем использовать только в отдаленном будущем, когда суперсовременный сегодня Кирин станет такой же архаичной древностью, как сегодня почти забытые кнопочные телефоны.
• Скоростная ОЗУ. Основное разочарование процессора. Если на качество видео разработчик просто забил, оставив как было, то оперативную память постарались разогнать до весьма красивых цифр. И да, при этом ожидаемо увеличились и задержки передачи данных. Разгон памяти не добавил прогресса видеозаписи и не сильно улучшил игровую производительность. В этом Кирин едва догнал основного конкурента, а в ближайшее время рискует откатиться назад после выхода нового Snapdragon 855. Стоила ли игра свеч?Оставим это на совести производителя.

В целом при всех недостатках Kirin 980 можно назвать лучшим за всю историю китайским процессором. Недолгое время он будет и лучшим мировым процессором для смартфонов, до тех пор, пока не выйдут новые Snapdragon 855 или Apple A12. Процессор задал вектор развития смартфонного интеллекта, в нем заложен грамотный баланс мощности и энергоэкономичностью. Процессор прекрасно справляется с приложениями, но по-прежнему не очень игровой. Первая ласточка на базе этого процессора Mate 20 Pro уже прилетела и можно увидеть своими глазами первую практическую реализацию заложенных в процессоре возможностей. И, конечно, ждем Snapdragon 855 от Qualcomm.