Как найти подходящую модель

Тюнинг, или подбор параметров, является незаменимой частью при подборе модели Machine Learning, поскольку с одними параметрами модель может показывать высокие результаты, а с другими — низкие. Сегодня мы расскажем вам о выборе наилучшей модели в Spark с помощью кросс-валидации и разбиения на тренировочную и тестовую выборки. Читайте в этой статье: как работает кросс-валидация в Spark, какие параметры принимает и как метод разбиения на тренировочную и тестовую выборки помогает найти лучшую модель быстрее.

Выбор лучшей модели

Важной задачей Machine Learning является выбор модели (model selection) — поиск наилучшей модели или параметров в рамках данной задачи. Этот процесс также называется тюнингом (tuning). Тюнинг может выполняться для отдельных алгоритмов машинного обучения, например, линейной регрессии, или для конвейеров (Pipeline), которые включают несколько алгоритмов. Пользователи могут настраивать весь конвейер сразу, а не каждый элемент отдельно (больше о конвейерах тут).

В Spark-модуле MLlib поддерживаются таких инструменты тюнинга как: кросс-валдиация (CrossValidator) и разбиение на тренировочную и проверочную выборки (TrainValidationSplit). Для их работы требуются следующие объекты:

• Estimator. Это может быть алгоритм или конвейер( Pipeline)
• Набор ParamMaps. Параметры на выбор, иногда называемые «сеткой параметров» для поиска
• Evaluator — метрика для измерения того, насколько хорошо подобранная модель работает с тестовыми данными

На более высоком уровне эти инструменты выбора модели работают следующим образом:

• Они разделяют входные данные на отдельные наборы данных для обучения и тестирования (валидации)
• Для каждой комбинации параметров модель сначала обучается, а затем оценивается с помощью Evaluator
• Отбирается самая эффективную модель, т.е. та, у которой высокая точность

В качестве Evaluator (метрики) в Spark может выступать RegressionEvaluator в задачах регрессии, BinaryClassificationEvaluator в задачах бинарной классификации или MulticlassClassificationEvaluator в задачах многоклассовой классификации. Метрика по умолчанию, используемая для выбора наилучшего ParamMap, может быть переопределена методом setMetricName.

Для построения набора параметров можно использовать ParamGridBuilder. По умолчанию наборы параметров из набора оцениваются последовательно, но вычисления можно выполнять параллельно. Это достигается установкой параметра parallelism со значением 2 или более (значение 1 для последовательного обучения). Значение параллелизма следует выбирать осторожно, чтобы максимизировать обучение без превышения ресурсов кластера, а большие значения не всегда могут привести к повышению производительности.

Кросс-валидация

При кросс-валдиации, или перекрестной проверки по K блокам, данные разделяются на K блоков, один из которых используются для валидации, а остальные для обучения. Этот процесс происходит иттеративно так, что каждый из K блоков успевает быть протестированным. В конечном итоге считается среднее по K блокам.

В Spark для кросс-валидации используется класс CrossValidator. Чтобы оценить конкретный набор параметров ParamMap, CrossValidator вычисляет среднее значение из K моделей для каждой комбинации параметров.

Пример кросс-валидация в Spark

В следующем примере демонстрируется использование CrossValidator для выбора модели на основе конвейера. Конвейер состоит из следующей процедура:

1. сначала датасет разбивается на токены (Tokenizer)
2. находится частота токенов в документе (HashinTF)
3. эти частоты передаются в логистическую регрессию (LogisticRegression) для решения задачи бинарной классификации.

Мы также определяем сетку параметров (ParamGridBuilder), в которую передаем возможные значения параметров hashingTF и логистической регрессии. Всего получается 9 возможных пар: (10, 0.1), (10, 0.05), …, (1000, 0.01).

Полученный конвейер машинного обучения, сетка параметров и метрика передаются кросс-валидации (CrossValidator) c K=3. Таким образом, получается 9*3 = 27 итераций обучения и валидации. Поэтому на больших датасетов кросс-валидация в Spark может выполняться достаточно долго.

from pyspark.ml import Pipeline
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import BinaryClassificationEvaluator
from pyspark.ml.feature import HashingTF, Tokenizer
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder


training = spark.createDataFrame([
    (0, "a b c d e spark", 1.0),
    (1, "b d", 0.0),
    (2, "spark f g h", 1.0),
    (3, "hadoop mapreduce", 0.0),
    (4, "b spark who", 1.0),
    (5, "g d a y", 0.0),
    (6, "spark fly", 1.0),
    (7, "was mapreduce", 0.0),
    (8, "e spark program", 1.0),
    (9, "a e c l", 0.0),
    (10, "spark compile", 1.0),
    (11, "hadoop software", 0.0)
], ["id", "text", "label"])

# Конвейер:
tokenizer = Tokenizer(inputCol="text", outputCol="words")
hashingTF = HashingTF(inputCol=tokenizer.getOutputCol(), outputCol="features")
lr = LogisticRegression(maxIter=10)
pipeline = Pipeline(stages=[tokenizer, hashingTF, lr])

# Сетка параметров
paramGrid = ParamGridBuilder() 
    .addGrid(hashingTF.numFeatures, [10, 100, 1000]) 
    .addGrid(lr.regParam, [0.1, 0.05, 0.01]) 
    .build()

# Кросс-валидация
crossval = CrossValidator(
    estimator=pipeline,
    estimatorParamMaps=paramGrid,
    evaluator=BinaryClassificationEvaluator(),
    numFolds=3
)
cvModel = crossval.fit(training)

По окончании обучения Spark выбирает модель с наибольшей точностью. На ней уже можно выполнить тестирование модели на данных, которые не видела до этого модель. Пример кода для проведения тестирования модели машинного обучения в Spark:

test = spark.createDataFrame([
    (4, "spark i j k"),
    (5, "l m n"),
    (6, "mapreduce spark"),
    (7, "apache hadoop")
], ["id", "text"])

prediction = cvModel.transform(test)
prediction.show(truncate=False)

+---+---------------+--------------+----------+
|id |text           |probability   |prediction|
+---+---------------+--------------+----------+
|4  |spark i j k    |[0.126,0.874] |1.0       |
|5  |l m n          |[0.995,0.005] |0.0       |
|6  |mapreduce spark|[0.307,0.693] |1.0       |
|7  |apache hadoop  |[0.804,0.196] |0.0       |
+---+---------------+--------------+----------+

Разбиение на тренировочную и тестовую выборки с обучением

В дополнение к кросс-валидации в Spark есть класс TrainValidationSplit для разбиения на обучающую с поддержкой тюнинга и обучения. TrainValidationSplit оценивает каждую комбинацию параметров только один раз, поэтому, возвращаясь к предыдущему примеру, будет всего 9 итераций, а не 27. Следовательно, этот способ явно будет быстрее.

TrainValidationSplit имеет те же самые аргументы, что и CrossValidator, но у него нет параметра numFolds, поскольку выполняется один раз. Вместо numFolds, у него есть аргумент trainRatio, который определяет долю тренировочной выборки. Обучим модель машинного обучения на тех же данных, с той же сеткой параметров. Пример кода для обучения и валидации модели Machine Learning в Spark выглядит следующим образом:

from pyspark.ml.tuning import TrainValidationSplit

tvs = TrainValidationSplit(
    estimator=pipeline,
    estimatorParamMaps=paramGrid,
    evaluator=BinaryClassificationEvaluator(),
    # 80% данных на обучения, 20% на валидацию
    trainRatio=0.8
)

tvs_model = tvs.fit(training)

И также протестируем полученную наилучшую модель на других данных:

prediction = tvs_model.transform(test)
selected = prediction.select("id", "text", "probability", "prediction")
selected.show(truncate=False)

+---+---------------+-------------+----------+
|id |text           |probability  |prediction|
+---+---------------+-------------+----------+
|4  |spark i j k    |[0.258,0.742]|1.0       |
|5  |l m n          |[0.918,0.082||0.0       |
|6  |mapreduce spark|[0.432,0.568]|1.0       |
|7  |apache hadoop  |[0.677,0.323]|0.0       |
+---+---------------+-------------+----------+

Еще больше подробностей о выборах статистической модели, кросс-валдиации в Spark вы узнаете на специализированном курсе по машинному обучению «Машинное обучение в Apache Spark» в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.

Записаться на курс

Смотреть раcписание

Источники

1. https://spark.apache.org/docs/latest/ml-classification-regression.html

[adrotate banner=»2″]

С тех пор, как два года назад мы писали о поиске моделей в интернете, многое изменилось, и в том числе наше представление о том, какой должна быть эта статья.

Мы добавили несколько новых ресурсов, а также убрали устаревшие и не актуальные сайты. Теперь мы считаем это лучшим списком ресурсов по поиску моделей в интернете.

Fashionbank

Fashionbank.ru был и остается специализированным и лучшим сайтом для поиска моделей, как на коммерческих условиях, так и для ТФП. На сайте зарегистрировано очень много действительно профессиональных и опытных моделей, которых не нужно учить, как встать перед камерой.

На Fashionbank почти нет модного “социального” функционала, это скорее радует, чем расстраивает. В любом случае модель можно добавить в закладки, чтобы было легко связаться с ней позже.

Не смотря на массу конкурентов, сайт до сих пор остается самым удобным и качественным для поиска моделей и визажистов.

Fashionkids

Fkids.ru – это ответвление от fashionbank, которое ориентировано на поиск моделей младше 18-ти лет.

Разделение сайтов произошло из-за очень большого количества детей-моделей, которые были на Fashionbank. Если вам для съемки нужен ребенок, здесь вы найдете массу подходящих кандидатов.

Качество и удобство работы ресурса такое же, как у fashionbank.

ЖЖ

Сообщество «Ищу модель» – главное сообщество в ЖЖ, ориентированное на поиск моделей. Проблема в том, что в сообществе мало профессиональных моделей, а большинство участниц сообщества имеют опыт только любительских съемок.

Для поиска моделей на коммерческие съемки “Ищу модель” – не самое удачное место, зато если вы ищите TFP моделей – это сообщество то, что вам нужно.

P.S.

Но где бы вы ни искали модель, для коммерческих съемок или TFP, есть вещи, о которых важно помнить всегда:

Модель релиз. Всегда подписывайте договор с моделью. О том, зачем это делать и почему это так важно, читайте в нашей статье.

Для тех, кто только недавно увлекся фотографией, мы подготовили “Большую подборку сайтов для фотографов”. Здесь вы найдете массу полезных ресурсов по фотографии и обработке фото.

О сайтах, куда ходить за моделями не стоит:

ВКонтакте

В соцсети ВКонтакте существует масса групп, посвященных поиску фотографов и моделей. Как показывает наш опыт, вероятность найти здесь интересную модель – скорее исключение, чем правило. Многие из тех, кто сидит в группах, неопытные и вообще не представляют, что такое серьезная фотосессия. Искать модель ВКонтакте – долго и непрактично.

Napodiume.ru

Napodiume.ru – очередная социальная сеть для фотографов и моделей. В отличие от Face.ru, “Наподиуме” ничего действительно интересно предложить фотографам и моделям не может. Тусоваться там нет смысла, а отклики на кастинги весьма посредственны.

Пара советов по поиску фотомоделей

• Попросите модель прислать разноплановые фотографии себя. Дело в том, что есть «ракурсные» модели, т.е. люди, которые выгодно и интересно смотрятся только в определенных ракурсах.
• Оговорите заранее возможность продажи и публикации фотографий. Будет очень неприятно, если прямо перед съемкой выяснится, что модель против продажи ее фотографий и сорвет тем самым съемку.
• Часто во время поиска модели в интернете можно увидеть аббревиатуру TFP в описании условий съемки. TFP — это сокращение от Time For Print — «время за фотографии». То есть, фотограф не платит модели за съемку, а модель — получает фотографии, не оплачивая услуги фотографа. Это самый распространенный вариант бесплатного сотрудничества моделей и фотографов. Но снимая TFP, с моделью необходимо подписывать договор — «модель релиз». В ином случае у вас могут возникнуть проблемы при продаже или реализации фотографий. Узнать, как правильно составить модель релиз и скачать шаблоны уже готовых договоров, можно в нашей статье.

Выбор смартфона – задача, с которой современный человек сталкивается регулярно. Устройства со временем выходят из строя, устаревают морально, и их необходимо менять. О том, на что обратить внимание и как найти подходящую модель в 2022 году, читайте в статье. 

В статье рассказывается:

Мобильный телефон сегодня – практически вещь первой необходимости. Потому вопрос, как выбрать хороший смартфон, всегда актуален. На самом деле, имея представление об основных характеристиках данного аппарата и понимая, какие из них для вас наиболее важны, определить для себя подходящий вариант не составит особого труда.

С Халвой сотрудничает более 250 тысяч магазинов-партнеров. Например, «Ситилинк»: здесь вы можете купить Apple IPhone 12 64 GB за 59 590 руб. Кешбэком вы вернете назад 3575 рублей, а с подпиской «Халва.Десятка» — 5959 рублей.

Бюджет: дешевый или дорогой смартфон

Перед тем как выбирать телефон, вы должны четко определиться, что конкретно вы хотите от телефона и для чего он вам нужен. Цены на смартфоны сильно варьируются в зависимости от начинки устройства.

Если вам хочется играть в новейшие игры, делать красивые фотографии или использовать телефон для съемки видео — скорее всего, придется раскошелиться. Если вам достаточно иногда с него звонить, использовать как навигатор и смотреть видео на ютубе, то вкладывать много денег в устройство просто нет смысла. 

Операционная система

Как выбрать недорогой, но хороший смартфон? Какую марку? Эти вопросы консультанты в магазинах цифровой техники слышат много раз за день. Однозначного ответа на них быть не может. Все зависит от важных для конкретного покупателя критериев. Но, изучив материалы этой статьи, сделать выбор любому человеку будет гораздо легче.

Самый важный параметр при выборе смартфона — не размер экрана, мощность процессора или разрешение камеры, а его ОС (операционная система).

На сегодняшний день самыми распространенными являются две операционные системы: Android (Google) и iOS (Apple). Каждая из них имеет свои плюсы и минусы.

Главное достоинство Android — это обилие бесплатного программного обеспечения, возможность глубокой кастомизации (т. е. изменения массового товара под потребности конкретного пользователя), большое разнообразие моделей (от простых недорогих до супермощных аппаратов). 

Минусами являются недостаточная поддержка производителем устаревших моделей, а устаревают они довольно быстро, а также хромающая оптимизация софта.

Достоинства и недостатки этих двух операционных систем прямо противоположны. Там, где у Android недостаток — у iOS достоинство. Американская компания поддерживает обеспечение смартфонов не один год после выпуска. А главными ее преимуществами являются высокая оптимизация программного обеспечения и удобство уникальной экосистемы Apple.

К недостаткам можно отнести сложность со скачиванием и передачей информации. В отличие от Android, тут не получится быстро «скинуть» пару фильмов в дорогу, скачать с любого источника музыку и видео. Для этого предусмотрены специальные программы. 

Если изначально две эти ОС были диаметрально разными, то со временем они стали сближаться, компании перенимают друг у друга лучшие решения.

Процессор

Процессоры для смартфонов производит множество компаний. Ведущими являются Apple, Samsung, Qualcomm, MediaTek и HiSilicon.

Производители «заманивают» покупателей мощными многоядерными процессорами, пользуясь их неосведомленностью в данном вопросе. На деле важным оказывается не столько количество ядер, сколько мощность конкретного ядра, выраженная в его частоте.

Из всех процессоров предпочтительнее всего выбирать Qualcomm Snapdragon. Устройства, работающие на нем, меньше подвержены нагреванию, медленнее других расходуют заряд батареи, отлично обрабатывают фотографии, под них оптимизировано большее количество игр и приложений.

Процессоры имеют различные серии. Самая мощная у Snapdragon – восьмисотая (8xx). Чипсеты серии 7xx почти так же мощны и быстры, а от 4xx до 6xx подойдут только для аппаратов среднего и низкого ценового сегмента.

У Samsung самыми производительными чипсетами являются прошлогодний Exynos 990 и новые 1080 и 2100. Из HiSilicon Kirin схожи с ними по производимости модели 980, 985 и 990, у MediaTek самые прогрессивные — чипы Dimensity 800 и 1000, а на устройствах среднего сегмента чаще встречаются чипы серии Helio.

У устройств компании Apple, существующих на рынке, нет проблем с производительностью. А самые мощные процессоры – в последних моделях смартфонов.

Диагональ экрана

Эти два понятия неразрывно связаны. Чем больше диагональ, тем выше должно быть разрешение экрана. Классическими вариантами являются: HD (720p), Full HD (1080p) и 2K (1440p).

Но со временем появилось множество других вариантов и их разновидностей со знаком «+». Например, Quad HD+ (версия QHD) в зависимости от соотношения сторон может включать в себя следующие разрешения:

• 2880 × 1440;

• 2960 × 1440;

• 3040 × 1440;

• 3168 × 1440;

• 3200 × 1440.

Но качество картинки зависит не столько от разрешения, сколько от плотности пикселей (PPI), то есть от количества пикселей на дюйм длины экрана. Чем этот показатель выше, тем четче изображение. 

Производители стремятся максимально увеличить эту характеристику, но на самом деле при плотности ниже 300 PPI человеческий глаз способен разглядеть отдельные квадратики пикселей, а начиная с 300 PPI — нет. Получается, что гонка за этим показателем — просто маркетинговый ход.

Показатель PPI и его соотношение с ценой смартфона: 300 — 350 PPI — комфортная для восприятия картинка (недорогие аппараты); 400 — 450 PPI — довольно высокий показатель (смартфоны среднего ценового сегмента); от 500 PPI и выше — это уже флагманские значения.

Дисплей: IPS, TFT, AMOLED

На сегодняшний день на рынке представлены смартфоны с дисплеями трех типов: TN, IPS и OLED, а также их разновидностями.

• TN — самый бюджетный вариант. Выдает изображение низкого качества, имеет плохие углы обзора картинки.

• IPS — на сегодняшний день это самый распространенный тип дисплеев. Он выдает довольно яркие цвета и хорошие углы обзора. Технологии OLED он уступает в яркости, контрастности и энергоэффективности, зато у него лучше проработаны фоновые участки, переходы изображения выглядят более различимо.

• OLED — дисплеи на органических диодах. Обладают большей яркостью, выдают сочную картинку и глубокий черный цвет благодаря отключению светодиодов. Первые модели имели слишком яркие кислотные цвета, с современными аппаратами такой проблемы нет.

Если изначально OLED-дисплеи были прерогативой флагманов, то сейчас их можно встретить в смартфоне практически любой ценовой категории.

Какой же смартфон лучше выбрать, с экраном IPS или OLED? Здесь все зависит от ваших предпочтений. Если вам нравятся более спокойные картинки, выбирайте первый вариант, а любителям максимальной яркости подойдет второй.

Еще один важный параметр — частота кадров. Производители участвуют в настоящей гонке технологий, стремясь увеличить эту характеристику. 

Стандартом является параметр 60 Гц, это значит, что за одну секунду изображение на экране смартфона может поменяться 60 раз. Для спокойной работы (просмотра фильмов, не слишком мощных игр и т. д.) этого значения вполне достаточно.

Однако сейчас появляются модели с большей частотой обновления экрана: 90, 120, 144 и даже 240 Гц. Что же меняется с ростом этой цифры? При увеличении «герцовки» в динамичных сценах картинка будет приятнее, плавнее, особенно это важно для ультрасовременных игр, которые поддерживают данную технологию.

Флагманы давно перешагнули рубеж частоты обновления в 90 Гц. Сейчас стандарт для них – 120 Гц. Но нужно ли это простому обывателю? Каждый решает сам, по каким параметрам выбирать смартфон. Стоит почитать отзывы пользователей и определиться, нужна ли та или иная функция и стоит ли переплачивать за нее.

Камеры смартфона

Уже много лет стандартом является наличие в смартфонах сразу нескольких камер. 

Идеальным стал набор из основной (широкоугольной) камеры, сверхширокоугольной (которая вмещает в кадр большее пространство) и камеры, оснащенной оптическим зумом. Этот набор идеален, потому что с его помощью можно качественно запечатлеть практически любой момент. Но такая комбинация есть у моделей с ценой дороже средней.

Более дешевые модели имеют только основную и фронтальную камеры, иногда к ним добавляется сверхширокоугольная, но качество ее оставляет желать лучшего.

В погоне за высоким качеством фотографий не стоит выбирать смартфон по количеству мегапикселей. Для многих будет открытием, но камеры с разрешением 48, 64 или 108 Мп снимают по умолчанию в разрешении 12–16 Мп, объединяя несколько пикселей вместе. Гораздо больше на качество снимков влияют алгоритмы их обработки, срабатывающие в момент сохранения фотографии.

Если оценивать смартфоны по качеству фото, то преимущественными будут бренды Google, Apple, Samsung и Huawei (Honor). Но все это относится к дорогим смартфонам. В дешевых устройствах нередко указывают, что над качеством снимков также трудится искусственный интеллект и улучшает сделанные снимки, однако результат будет на любителя.

Современные смартфоны могут быть оснащены фронтальными камерами с вырезами трех видов: полуовал, круглое отверстие в экране, «челка» (вырез в виде трапеции). Сейчас такую камеру можно встретить лишь у Apple и еще пары моделей смартфонов.

Емкость батареи

Понятно, что чем больше емкость аккумулятора, тем лучше. Но всем ли важна эта характеристика? Кто-то часто играет на смартфоне в игры, смотрит фильмы, пользуется несколькими приложениями одновременно.

В этом случае нужен аккумулятор с хорошей емкостью. А для тех, кто звонит, общается в чатах, редко заходит в интернет, потребность в дорогом аккумуляторе невелика. 

Стандартным параметром является емкость от 3000 мАч, более дорогостоящие модели оснащены аккумулятором с емкостью 4000 мАч, а есть и телефоны с батареей мощностью от 5000 мАч и выше.

За актуальными акциями по карте «Халва», которые помогут выгодно приобрести бытовую технику, можно следить здесь.

Раньше большинство смартфонов имели съемные аккумуляторы, которые в случае поломки можно было заменить. Сейчас же в основном все устройства монолитны, извлечь аккумулятор простому пользователю не представляется возможным. Особенно это касается смартфонов с металлическим водонепроницаемым корпусом.

Звук

На этот параметр редко обращают внимание при выборе устройства, но он не менее важен, чем все остальные. Конечно, вы, скорее всего, будете слушать музыку только в наушниках, а для просмотра видео на ютубе подойдут почти любые динамики, но есть моменты, на которые стоит обратить внимание. 

• Грамотно выбирайте акустическую систему. Чтобы звук был качественным, ваши динамики должны поддерживать как низкие, так и высокие частоты. Сабвуфер тоже не помешает — он повышает объем выводимого аудиосигнала.

• Обратите внимание на стерео. Стереоэффект играет большую роль. Его можно получить, соединив несколько динамиков вместе, что создает более объемный звук. Все процессы, связанные со звуком, в телефона обрабатываются процессором. Поэтому сложно добиться хорошего звучания в сочетании со слабеньким процессором. Для оптимальной обработки звука подойдет тактовая частота от 1300 до 1700 МГц.

• Усилитель. Он отвечает не только за громкость, но и в том числе за качество звука. Главный параметр усилителя — выходная мощность. Чем она выше, тем более плотного звука можно достичь. Наиболее мощные динамики выдают не менее 150 МВт.

• Также не стоит игнорировать старые добрые индивидуальные настройки звука. Вы можете скачать специальные приложения-плееры с эквалайзером и выставить ползунки так, как хочется именно вам. Например, никто не помешает вам послушать классическую музыку с выставленными на максимум басами.

Оперативная память

Оперативная память влияет на плавность и многозадачность работы системы. Чем она выше, тем комфортнее пользоваться устройством.

Помимо объема памяти, важен тип ОЗУ. В смартфонах Apple операционной памяти немного меньше, чем у конкурентов, однако на скорость работы iOS и комфорт пользователей это никак не влияет. Такого эффекта производители достигают благодаря качественной оптимизации софта.

• Объем ОЗУ 2 Гб — минимальная величина, необходимая для работы даже самого дешевого смартфона.

• Объем памяти 3–4 Гб — используется в смартфонах среднего класса.

• 6–12 Гб оперативной памяти — параметр самых современных мощнейших флагманов.

Встроенная память

Как правильно выбрать объем внутренней памяти смартфона? Тут все зависит от того, какие у вас цели, много ли файлов храните в своем устройстве, играете ли в игры и т. д. Минимальный объем памяти в недорогих моделях составляет 32 Гб, смартфоны средней ценовой категории имеют 64 Гб, а топовые модели – 128, 256 Гб и более.

Дополнительные функции

На сегодняшний день в смартфонах можно найти огромное количество самых разных функций. Обычно самые удобные и крутые из них располагаются в более дорогом сегменте устройств, но некоторые из них можно найти и в более дешевых телефонах. 

Самые популярные:

• разблокировка телефона по отпечатку пальца;

• распознавание лица;

• защита от пыли и влаги.

И если первыми двумя уже сложно кого-то удивить, потому что эти функции есть чуть ли не в каждом девайсе, то мощная защита от пыли и влаги — это уже большое преимущество. 

Материал корпуса

В отделке смартфона используется множество материалов: от стекла и металла до кожи и дерева. Если аппарат имеет повышенную защиту от внешних воздействий, то это в основном сталь и резина. 

Хотя основой является легкий прочный и недорого стоящий пластик, для придания ему более привлекательного внешнего вида производители пользуются различными фишками: сочетают различные текстуры поверхностей (например, матовые и глянцевые), используют яркие и нестандартные цвета.

Пользователи, которым важна в первую очередь функциональность, не обратят внимания на такие уловки, но любители необычного дизайна и эксклюзивных вещей точно не останутся равнодушными.

Как же выбрать качественный смартфон с подходящими характеристиками, чтобы он отвечал всем вашим требованиям и не выходил за рамки запланированного бюджета? 

Если вы используете данный гаджет в основном для звонков, общения в мессенджерах, просмотра фильмов и прослушивания музыки, то не обязательно гнаться за новомодными фишками и новинками рынка. С таким набором требований справится даже недорогое устройство. 

Когда же простого аппарата с минимальными возможностями мало, можно выбрать один из параметров в ущерб другим, менее важным для вас. Например, производительный процессор вместо четырех камер с высоким разрешением. 

Если же вам нужны качественные снимки, а также вы любите расслабиться за современной игрой на смартфоне, придется неплохо потратиться на дорогую модель.

С каждым годом люди все больше привыкают к смартфонам, они стали для многих неотъемлемой частью жизни. В них мы общаемся с близкими, снимаем самые важные и ценные моменты на видео, фотографируем своих детей, слушаем любимую музыку, смотрим фильмы, читаем книги, работаем… всего не перечесть. 

Покупая такую важную вещь, стоит подойти к выбору ответственно, подумать, что в вашем смартфоне должно быть обязательно, а без чего можно обойтись. 

Если идеальный для вас смартфон оказался дороже, чем вы рассчитывали, – не расстраивайтесь. С картой «Халва» вам доступна беспроцентная рассрочка до 10 месяцев. Забирайте свой лучший телефон прямо сейчас, а платите за него в ближайшие месяцы небольшими равными частями. И никаких переплат!

Выбор модели машинного обучения

  Перевод

  Ссылка на автора

Часть искусства, часть науки выбора идеальной модели машинного обучения.

Количество блестящих моделей может быть огромным, что означает, что люди часто обращаются к тем, кому доверяют больше всего, и используют их для решения всех новых задач. Это может привести к неоптимальным результатам.

Сегодня мы узнаем, как быстро и эффективно сузить пространство доступных моделей, чтобы найти те из них, которые с наибольшей вероятностью будут наиболее эффективны для вашего типа проблемы. Мы также увидим, как мы можем отслеживать производительность наших моделей с использованием весов и уклонов и сравнивать их.

Вы можете найти сопроводительный код Вот,

Что мы покроем

• Выбор модели в конкурентной науке о данных против реального мира
• Королевский гул моделей
• Сравнение моделей

Давайте начнем!

В отличие от Властелина колец, в машинном обучении нет ни одного кольца (модели), чтобы управлять ими всеми. Различные классы моделей хороши для моделирования базовых шаблонов различных типов наборов данных. Например, деревья решений хорошо работают в тех случаях, когда ваши данные имеют сложную форму:

В то время как линейные модели работают лучше всего, когда набор данных линейно разделим:

Прежде чем мы начнем, давайте немного углубимся в несоответствие между выбором моделей в реальном мире и конкурентной наукой о данных.

Выбор модели в конкурентной науке о данных против реального мира

Как сказал Вильям Форхиес в своем Сообщение блога «Соревнования Kaggle подобны гонкам формулы для науки о данных. Победители вытесняют конкурентов с четвертого знака после запятой и, как и гоночные машины Формулы 1, не многие из нас приняли бы их за ежедневных гонщиков. Количество выделенного времени и иногда экстремальные методы не подходят для среды производства данных ».

Модели Kaggle действительно похожи на гоночные автомобили, они не созданы для повседневного использования. Реальные модели производства больше похожи на Lexus — надежные, но не кричащие.

Соревнования Kaggle и реальный мир оптимизируются под самые разные вещи, с некоторыми ключевыми отличиями:

Определение проблемы

Реальный мир позволяет вам определить вашу проблему и выбрать показатель, который определяет успех вашей модели. Это позволяет оптимизировать более сложную функцию полезности, чем просто единичную метрику, где соревнования Kaggle идут с одной заранее определенной метрикой и не позволяют эффективно определять проблему.

метрика

В реальном мире мы заботимся о выводах и скоростях обучения, ограничениях ресурсов и развертывания и других показателях производительности, тогда как в соревнованиях Kaggle единственное, что нас волнует, — это один показатель оценки. Представьте, что у нас есть модель с точностью 0,98, которая требует очень много ресурсов и времени, а другая — с точностью 0,95, которая намного быстрее и требует меньше вычислительных ресурсов. В реальном мире для многих доменов мы могли бы предпочесть модель точности 0,95, потому что, возможно, мы больше заботимся о времени вывода. В соревнованиях Kaggle не имеет значения, сколько времени потребуется для обучения модели или сколько графических процессоров ей требуется, чем выше точность, тем лучше.

Интерпретируемость

Точно так же в реальном мире мы предпочитаем более простые модели, которые легче объяснить заинтересованным сторонам, тогда как в Kaggle мы не обращаем внимания на сложность модели. Интерпретируемость модели важна, потому что она позволяет нам предпринимать конкретные действия для решения основной проблемы. Например, в реальном мире, глядя на нашу модель и видя корреляцию между особенностью (например, выбоины на улице) и проблемой (например, вероятность автомобильной аварии на улице), более полезна, чем повышение прогноза точность на 0,005%.

Качество данных

Наконец, в соревнованиях Kaggle наш набор данных собирается и спорется за нас. Любой, кто занимался наукой о данных, знает, что в реальной жизни это почти никогда не происходит. Но способность собирать и структурировать наши данные также дает нам больший контроль над процессом обработки данных.

стимулы

Все это стимулирует огромное количество времени, затрачиваемое на настройку наших гиперпараметров для извлечения последних падений производительности из нашей модели и, иногда, изощренных методологий инженера функций. Несмотря на то, что соревнования Kaggle являются отличным способом обучения науке данных и проектированию функций, они не учитывают реальные проблемы, такие как объяснение модели, определение проблемы или ограничения развертывания.

Королевский гул моделей

Пришло время начать выбор моделей!

Выбирая наш начальный набор моделей для тестирования, мы хотим помнить о нескольких вещах:

Выберите разнообразный набор начальных моделей

Различные классы моделей хороши для моделирования различных типов базовых шаблонов в данных Поэтому хорошим первым шагом является быстрое тестирование нескольких различных классов моделей, чтобы узнать, какие из них наиболее эффективно отражают базовую структуру вашего набора данных! В рамках нашего типа проблемы (регрессия, классификация, кластеризация) мы хотим попробовать сочетание моделей на основе дерева, экземпляра и ядра. Выберите модель из каждого класса, чтобы проверить. Мы расскажем больше о различных типах моделей в разделе «модели для тестирования» ниже.

Попробуйте несколько разных параметров для каждой модели

Хотя мы не хотим тратить слишком много времени на поиск оптимального набора гиперпараметров, мы хотим попробовать несколько различных комбинаций гиперпараметров, чтобы у каждого класса моделей была возможность работать хорошо.

Выберите сильнейших соперников

Мы можем использовать самые эффективные модели этого этапа, чтобы дать нам представление о том, в какой класс моделей мы хотим углубиться. Панель инструментов «Веса и уклоны» покажет вам класс моделей, которые лучше всего подходят для вашей задачи.

Погрузитесь глубже в модели в лучших классах моделей.

Затем мы выбираем больше моделей, относящихся к лучшим классам моделей, которые мы включили в шорт-лист выше! Например, если кажется, что линейная регрессия работает лучше всего, было бы неплохо также попробовать регрессию лассо или гребня.

Исследуйте гиперпараметрическое пространство более подробно.

На этом этапе я бы посоветовал вам потратить некоторое время на настройку гиперпараметров для ваших моделей-кандидатов. (В следующем посте этой серии мы углубимся в интуицию о выборе лучших гиперпараметров для ваших моделей.) В конце этого этапа у вас должны быть самые эффективные версии всех ваших самых сильных моделей.

Делая окончательный выбор — Kaggle

Выберите окончательные представления от разных моделей.В идеале мы хотим выбрать лучшие модели из более чем одного класса моделей. Это потому, что если вы сделаете свой выбор только из одного класса моделей, а он окажется неправильным, все ваши представления будут работать плохо. Соревнования Kaggle обычно позволяют вам выбрать более одной заявки для финального представления. Я бы порекомендовал выбирать прогнозы, сделанные вашими самыми сильными моделями из разных классов, чтобы добавить некоторую избыточность в ваши представления.

Таблица лидеров — это не ваш друг, ваши результаты перекрестной проверки.Самое важное, что нужно помнить, это то, что публичный список лидеров не ваш друг. Выбор моделей исключительно на основе ваших общедоступных рейтинговых таблиц приведет к переобучению набора данных обучения. И когда личный список лидеров раскрывается после окончания соревнования, иногда вы можете увидеть, что ваш рейтинг сильно падает. Вы можете избежать этой маленькой ловушки, используя перекрестную проверку при обучении ваших моделей. Затем выберите модели с лучшими показателями перекрестной проверки вместо лучших результатов в таблице лидеров. Делая это, вы противодействуете переобучению, измеряя производительность своей модели по нескольким наборам проверки, а не только по одному подмножеству тестовых данных, используемых публичной таблицей лидеров.

Делая окончательный выбор — Реальный мир

Ресурсные ограничения.Разные модели используют разные типы ресурсов, и знание правильности развертывания моделей на IoT / мобильном устройстве с небольшим жестким диском и процессором или в облаке может иметь решающее значение.

Время тренировки против времени прогноза против точности.Знание того, какие показатели вы оптимизируете, также важно для выбора правильной модели. Например, автомобили с самостоятельным вождением нуждаются в молниеносном прогнозировании, а системы обнаружения мошенничества должны быстро обновлять свои модели, чтобы быть в курсе последних фишинговых атак. Для других случаев, таких как медицинская диагностика, мы заботимся о точности (или площади под кривой ROC) гораздо больше, чем время обучения.

Сложность против объяснимости Компромисс.Более сложные модели могут использовать на порядок больше функций для обучения, а для прогнозирования требуется больше вычислений, но при правильном обучении можно получить действительно интересные шаблоны в наборе данных. Это также делает их запутанными и труднее объяснить, хотя. Знание того, как важно легко объяснить модель заинтересованным сторонам, а не просто захватить некоторые действительно интересные тенденции, в то время как отказ от объяснения является ключом к выбору модели.

Масштабируемость.Знание того, насколько быстро и насколько велика ваша модель для масштабирования, может помочь вам сузить выбор.

Размер обучающих данных.Для действительно больших наборов данных или тех, которые имеют много функций, нейронные сети или расширенные деревья могут быть отличным выбором. Принимая во внимание, что меньшие наборы данных могут лучше обслуживаться логистической регрессией, наивным байесовским или KNN.

Количество параметров.Модели с большим количеством параметров дают вам большую гибкость для получения действительно высокой производительности. Однако могут быть случаи, когда у вас нет времени, необходимого, например, для обучения параметров нейронной сети с нуля. Модель, которая хорошо работает из коробки, была бы подходящим вариантом в этом случае!

Сравнение моделей

Веса и уклоны позволяет отслеживать и сравнивать производительность ваших моделей с одной строкой кода.

После того, как вы выбрали модели, которые хотели бы попробовать, обучите их и просто добавьтеwandb.log ({‘Score’: cv_score})для регистрации вашего модельного состояния. После того, как вы закончили обучение, вы можете сравнить свои модели в одной простой панели!

Вы можете найти код, чтобы сделать это эффективно Вот, Я призываю вас раскошелиться это ядро и играть с кодом!

Вот и все, теперь у вас есть все инструменты, необходимые для выбора подходящих моделей для вашей задачи!

Выбор модели может быть очень сложным, но я надеюсь, что это руководство проливает свет и дает вам хорошую основу для выбора моделей.

Во второй части, «Вихревой тур по моделям машинного обучения», мы углубимся в модели ML, когда вы должны их использовать!

Если у вас есть какие-либо вопросы или пожелания, не стесняйтесь чирикать мне!