Доказать что множество выпукло

Доказать что множество выпукло

Задачи Выпуклый анализ (примеры)

Пример 1. Доказать выпуклость множества .

Пусть , т. е. , . Тогда для любого имеем

. Следовательно, , , т. е. множество X выпукло.

Пример 2. Найти минимальное число A, при котором множество выпукло.

Как видно из рис. , при A= -31/27 множество X будет выпукло.

Пример 3. Доказать, что множество является выпуклым конусом. Изобразить этот конус.

Очевидно, что множество X — конус. Докажем, что X выпуклый конус. Действительно, для любых имеем (неравенство Коши-Буняковского и неравенство между средним арифметическим и средним геометрическим).

Т. е. . Таким образом, X — выпуклый конус.

Сечением конуса плоскостью является круг . Если , то получаем конус .

Пример 4. Записать уравнение гиперплоскости, отделяющей точку от множества , которое задается системой уравнений

Очевидно, что среди неравенств, задающих множество X, третье неравенство в точке не выполняется. Поэтому в качестве разделяющей (не строго) гиперплоскости можно взять гиперплоскость .

Пример 5. Записать уравнение гиперплоскости, опорной к множеству

Функция является строго выпуклой, т. к. матрица вторых производных , а, значит, множество X выпукло. Тогда опорной гиперплоскостью к множеству X в точке Является, очевидно, касательная плоскость к границе множества X в точке , т. е. . Имеем и .

Пример 6. Записать уравнение гиперплоскости, разделяющей выпуклые множества , .

Ясно, что множества и пересекаются (касаются) в единственной точке . Поэтому разделяющей гиперплоскостью будет касательная прямая к графику функции в точке , т. е. прямая .

Выпуклые множества и выпуклые функции

Непустое множество называется выпуклым, если при всех , .

Функция , определенная на выпуклом множестве , называется выпуклой, если

при всех , . Если при всех , , неравенство (11) выполняется как строгое, то называется строго выпуклой.

Функция , определенная на выпуклом множестве , называется сильно выпуклой с константой , если

Ниже приведены необходимые и достаточные условия выпуклости и сильной выпуклости дифференцируемых функций. Для краткости формулировок выпуклые функции рассматриваются как сильно выпуклые с параметром .

Теорема 9 (Первый дифференциальный критерий сильной выпуклости)

Пусть функция дифференцируема на выпуклом множестве . Тогда для того, чтобы была сильно выпуклой с параметром на , необходимо и достаточно выполнения условия:

Теорема 10 (Второй дифференциальный критерий сильной выпуклости)

Пусть функция непрерывно дифференцируема на выпуклом множестве . Тогда для того, чтобы была сильно выпуклой с параметром на , необходимо и достаточно выполнения условия:

Теорема 11 (Третий дифференциальный критерий сильной выпуклости)

Пусть дважды непрерывно дифференцируема на выпуклом множестве , причем внутренность множества не пуста ( ). Тогда для того, чтобы была сильно выпуклой с параметром на , необходимо и достаточно выполнения условия:

37. Показать, что множество выпукло тогда и только тогда, когда при всех . Здесь — алгебраическая сумма множеств ( ).

38. Являются ли выпуклыми множествами следующие множества на плоскости:

а) круг с центром в начале координат;

в) часть круга , получающаяся из него путём вырезания сектора, лежащего в правом квадранте.

39. Верно ли, что объединение и пересечение двух выпуклых множеств выпукло?

40. Пусть — выпуклые множества, — произвольные числа. Доказать, что множество выпукло.

41. Перечислить все выпуклые множества, принадлежащие числовой прямой .

42. Показать, что следующие множества являются выпуклыми:

а) — прямая, проходящая через точку в направлении ;

в) — луч, выходящий из точки в направлении ;

с) — гиперплоскость с нормалью ( ) ;

— порождаемые гиперплоскостью с нормалью ( ) полупространства. Здесь .

43. Показать, что множество , где — некоторая матрица размера ( ) со строками , , является выпуклым.

44. Показать, что множество является выпуклым. Здесь , — заданные числа.

Точка выпуклого множества называется крайней, если её нельзя представить в виде

45. Определить все крайние точки множества , заданного в задаче 44.

46. Определить все крайние точки множества , где .

47. Указать все крайние точки множества , определённого в задаче 42.

В задачах 48-53 множество предполагается выпуклым.

48. Доказать, что функция — выпукла, если выпукла и .

49. Доказать, что функция — выпукла, если выпукла, .

50. Проверить, что функция — выпукла на .

51. Пусть — выпуклые функции на множестве . Доказать, что функция — выпукла на .

52. Пусть — выпуклые функции на множестве , , и хотя бы при одном функция строго (сильно) выпукла, . Доказать, что — строго (сильно) выпукла на .

53. Доказать, что функция — выпукла на , если функции , , выпуклы на .

54. Пусть — выпуклая функция на выпуклом множестве . Показать, что при всех , для которых .

55. Доказать, что функция сильно выпукла на , .

56. Доказать, что строго вогнутая функция может достигать своего минимального значения только в крайних точках выпуклого множества , на котором она определена.

57. Найти максимальное значение функции при выполнении ограничений:

58. Пусть функция — непрерывная, монотонно неубывающая функция на отрезке . Показать, что функция является выпуклой на отрезке .

  1. Проверить, что функция выпукла на .

называется выпуклой, если — выпуклое множество, а выпуклая функция на .

60. Доказать, что в выпуклой задаче любое её локальное решение является также и глобальным.

61. Пусть функция выпукла на и дифференцируема в точке . Доказать, что если , то — точка минимума функции на .

62. Известно, что выпуклая задача (12) имеет решение. Доказать, что тогда множество её решений выпукло, если при этом строго выпукла на , то решение задачи (12) единственно.

Условия оптимальности

Пусть — множество направлений убывания функции в точке , а — множество возможных направлений относительно множества в точке . Напомним, что вектор задаёт направление убывания функции в точке , если при всех достаточно малых , и возможное направление относительно множества в точке , если точка при всех достаточно малых .

63. Доказать, что если — локальное решение задачи (3) без каких-либо предположений на множество и функцию , то .

64. Пусть в задаче (12) множество выпукло, а функция — дифференцируема в точке . Доказать, что тогда, если — локальное решение задачи (12), то

если же выпукла на и выполняется (13), то — глобальное решение задачи (12).

65. Доказать, что если ( — внутренняя точка множества ), то (13) эквивалентно условию .

66. Пусть множество имеет вид , где , (если или , то соответствующий знак неравенства в задании множества следует понимать как строгий). Доказать, что тогда условие (13) эквивалентно условию: для любого

67. Пусть множество имеет вид , ( соответствует случаю ). Доказать, что тогда (13) эквивалентно условиям:

68. Решить задачу:

69. Решить задачу:

70. Пусть — дифференцируемая сильно выпуклая функция на . Показать, что при любом решение уравнения на существует и единственно.

71. Пусть — дифференцируемая выпуклая функция на . Показать, что при любом решение уравнения на существует и единственно.

Напомним необходимое условие оптимальности (Принцип Лагранжа) в задаче математического программирования (1).

Теорема 12 (Принцип Лагранжа)

Пусть в задаче (1) множество — выпукло, функции дифференцируемы в точке , функции непрерывно дифференцируемы в некоторой окрестности точки . Если — локальное решение задачи (1), то существует число и вектор не равные нулю одновременно и такие, что

Используемые здесь обозначения пояснены после формулировки задачи (1) на странице 3, а числа , также как в классической задаче на условный экстремум, называются множителями Лагранжа.

Теорема 13 (Достаточное условие оптимальности)

Пусть в задаче (1) множество выпукло, функции выпуклы на и дифференцируемы в точке , функции линейны. Если при и некотором выполняются условия (14), (15), то — глобальное решение задачи (1).

Теорема 14 (Условия регулярности)

Пусть в задаче (1) множество выпукло, функции дифференцируемы в точке , функции выпуклы на , функции линейны. Предположим, что дополнительно выполняется хотя бы одно из следующих условий:

1) ограничения-равенства отсутствуют ( ) и существует точка такая, что при всех ;

2) , функции линейны.

Тогда, если — локальное решение задачи (1), то существует такой, что при будут выполнены условия (14), (15).

Условие 1) теоремы называется условием регулярности Слейтера.

Теорема 15 (Теорема Куна-Таккера в дифференциальной форме)

Пусть в дополнение к условиям теоремы 14 функция выпукла на . Тогда точка является решением задачи (1) в том и только том случае, если существует вектор такой, что при выполняются условия (14), (15).

1. Очевидно, что данная задача — задача выпуклого программирования.

2. Условия регулярности Слейтера выполнено, следовательно, функция Лагранжа регулярная:

  1. Выпишем необходимые условия:

Пусть , тогда , но данная точка не удовлетворяет ограничению задачи. Отсюда следует, что . Система перепишется в виде:

Разрешая систему, получим:

4. Для задачи выпуклого программирования необходимые условия оптимальности являются и достаточными (теорема 13), то есть — глобальное решение задачи.

72. Опираясь на решение задач 65-67, конкретизировать условие (14) в случае, когда и когда имеет вид, указанный в задачах 66, 67.

Проекцией точки на множество D называется точка , ближайшая к среди всех точек из D. Иными словами, является решением задачи проектирования

Заметим, что понятие проекции точки на множество используется в численных методах условной оптимизации, основанных на идее проектирования очередной точки, вырабатываемой методом решения безусловной задачи, на допустимое множество задачи с ограничениями.

Доказать следующие утверждения для произвольной точки .

73. Если — сфера, то .

74. Если — координатный параллелепипед, то

75. Если — неотрицательный октант, то .

76. Если — гиперплоскость ( ), то .

77. Если — полупространство ( ), то .

78. Если — аффинное множество, причём строки матрицы линейно независимы, то , где — транспонированная матрица, .

79. Решить задачу:

80. Доказать, что решением задачи выпуклого программирования

81. Показать, что других решений, кроме , в задаче 80 нет.

82. Доказать, что решением задачи выпуклого программирования

83. Показать, что других решений, кроме , в задаче 82 нет.

84. Используя необходимые условия оптимальности (14), (15), разработать численный метод отыскания решения задачи

  1. Доказать, что если , — положительные числа, причём , то .

95. Показать, что если дифференцируемы в точке и — локальное решение задачи (17), то существуют числа , такие, что

Предполагая, что в задаче (1) , обозначим через точную нижнюю грань целевой функции задачи (1) на её допустимом множестве: . Вектор называется вектором Куна-Таккера задачи (1), если при всех .

Двойственной к задаче (1) называется задача

При этом задача (1) называется прямой. Предполагая, что , обозначим через .

96. Показать, что в задаче (18) множество выпукло, а функция вогнута на .

97. Показать, что для любых и справедливо неравенство . Если , , то .

Теорема 16 (Теорема существования вектора Куна-Таккера)

Пусть в задаче (1) множество выпукло, функции выпуклы на , функции линейны. Предположим, что дополнительно выполняется хотя бы одно из следующих условий:

1) ограничения равенства отсутствуют ( ) и существует точка такая, что ;

2) , функции линейны, множество .

Тогда вектор Куна-Таккера задачи (1) существует.

Теорема 17 (Теорема двойственности)

Пусть вектор Куна-Таккера задачи (1) существует. Если значение прямой задачи (1) конечно ( ) в частности, если она имеет решение, то множество решений двойственной задачи (18) непусто и совпадает с множеством векторов Куна-Таккера задачи (1). При этом справедливо соотношение двойственности

98. Показать, что если вектор Куна – Таккера задачи (1) существует, а допустимое множество двойственной задачи непусто, то она имеет решение. Если же , то .

построить двойственную и найти её решение. Убедится в справедливости соотношения (19).

Теорема 18 (Теорема Куна-Таккера в форме двойственности).

Пусть вектор Куна-Таккера задачи (1) существует. Тогда точка является решением задачи (1) в том и только том случае, если существует вектор такой, что справедливо соотношение двойственности

Множество векторов , удовлетворяющее (20), совпадает с множеством решений двойственной задачи (18) или же с множеством векторов Куна-Таккера прямой задачи (1).

100. Решить задачу:

Литература

1. Давыдов Н.А., Коровкин П.П., Никольский В.Н. Сборник задач по математическому анализу. –М.: Просвещение, 1964.

2. Лидский В.Б., Овсянников Л.В., Тулайков А.Н., Шабунин М.И. Задачи по элементарной математике. –М.: Наука, 1965.

3. Алексеев В.М., Галеев Э.М., Тихомиров В.М. Сборник задач по оптимизации. –М.: Наука, 1984.

4. Сухарев А.Г., Тимохов А.В., Федоров В.В. Курс методов оптимизации.

5. Морозов В.В., Сухарев А.Г., Федоров В.В. Исследование операций в задачах и упражнениях. –М.: Высшая школа, 1986.

Линейные нормированные пространства , страница 2

§ 22. Выпуклые множества в линейных нормированных пространствах

Пусть х и у — две точки в линейном пространстве R. Назовем отрезком, соединяющим точки х и у, совокупность всех точек вида где

Определение. Множество М в линейном пространстве R называется выпуклым, если, каковы бы ни были две точки х, у, принадлежащие М, соединяющий их отрезок также принадлежит М. Выпуклое множество называется выпуклым телом, если оно содержит хотя бы одну внутреннюю точку, т. е. если оно целиком содержит некоторую сферу.

Примеры. 1. В трехмерном евклидовом пространстве куб, сфера, тетраэдр, полупространство являются выпуклыми телами, а треугольник, плоскость, отрезок — выпуклыми множествами, но не выпуклыми телами.

2. Сфера в линейном нормированном пространстве всегда является выпуклым множеством (и одновременно выпуклым телом). Действительно, рассмотрим, для простоты записи, единичную сферу S:

Пусть две какие-либо точки, принадлежащие этой сфере:

3. Пусть R — совокупность векторов на плоскости. Введем в R следующие не совпадающие между собой нормы:

Посмотрим, какой будет единичная сфера для каждой из этих норм. В случае — это круг радиуса 1, в случае — квадрат с вершинами (1, 1), в случае — квадрат с вершинами (0, 1); (1, 0); ( – 1, 0); (0, – 1). Если рассмотреть единичную сферу, соответствующую норме и увеличивать р от 1 до то эта «сфера» будет непрерывно деформироваться от квадрата, соответствующего до квадрата, соответствующего . Если бы мы положили

при р > 1, то множество не было бы выпуклым (например, при это была бы внутренность астроиды). Это иное выражение того факта, что при р < 1 «норма» (1) не удовлетворяет условию 3 определения нормы.

4. Рассмотрим несколько более сложный пример. Пусть Ф — множество точек

из удовлетворяющих условию

Это выпуклое множество в не являющееся выпуклым телом. Действительно, если и где и то в силу неравенства Коши-Буняковского (гл. II),

Покажем, что Ф не содержит никакой сферы. Так как Ф симметрично относительно начала координат, то, если бы Ф содержало какую-либо сферу оно содержало бы и сферу симметричную с относительно начала координат. Тогда Ф, будучи выпуклым, содержит все отрезки, соединяющие точки сфер и а следовательно, и сферу S того же радиуса, что и с центром в начале координат. Но если бы Ф содержало некоторую сферу радиуса r с центром в нуле, то на каждом луче, выходящем из нуля, имелся бы отрезок, целиком принадлежащий Ф. Однако на луче, определяемом вектором нет, очевидно, ни одной точки, кроме нуля, принадлежащей Ф.

Упражнения. 1) Доказать компактность множества Ф. Доказать, что никакое компактное выпуклое множество в не может быть выпуклым телом.

2) Доказать, что Ф не содержится ни в каком подпространстве, отличном от всего

3) Доказать, что фундаментальный параллелепипед в (см. пример 3 § 16) является выпуклым множеством, но не выпуклым телом.

Установим простейшие свойства выпуклых множеств.

Теорема 1. Замыкание выпуклого множества есть снова выпуклое множество.

Доказательство. Пусть М — выпуклое множество, [М] — его замыкание и х, у — две произвольные точки из [М]. Пусть, далее, произвольное положительное число. В М найдутся такие точки а, b, что и Тогда для любых неотрицательных и таких, что точка принадлежит М, так как М выпукло. Так как произвольно, то отсюда следует, что т. е. [М] также выпукло.

Теорема 2. Пересечение любого числа выпуклых множеств есть выпуклое множество.

Доказательство. Пусть и все выпуклые множества. Пусть, далее, х и u— две произвольные точки из М. Эти точки х и у принадлежат всем Тогда отрезок, соединяющий точки х и у, принадлежит каждому а следовательно, он принадлежит и М. Таким образом, М действительно выпукло.

Так как пересечение замкнутых множеств всегда замкнуто, то отсюда следует, что

пересечение любого числа замкнутых выпуклых множеств есть замкнутое выпуклое множество.

Русские Блоги

CMU Convex Optimization (Выпуклая оптимизация) Примечание 1. Выпуклое множество и выпуклая функция

CMU выпуклая оптимизация отмечает выпуклый набор и выпуклая функция

После периода обучающих заданий я планирую подвести итоги. Основное содержание основано на заметках, сделанных в курсе Convex Optimization, предложенном Райаном Тибширани из CMU. Я выбрал только часть контента и сделал здесь заметки. Спасибо, Райан Тибширани заОфициальный веб-сайтСодержание курсов, выполненных в, является открытым исходным кодом. Большое спасибо, Хан ЛунфэйцзайКурс выпуклой оптимизации CMUНа основе китайских заметок на китайском я сделал много ссылок на контент. Талантливый и мелкий, забыл просветить меня.

1. Выпуклое множество

1.1 Основные понятия

Определение: Для данного множества $ C \ substeq \ mathbb ^ n $ оно называется выпуклым, если выполняются следующие условия

$ x, y \ in C \ Rightarrow tx + (1-t) y \ in C $ для любого $ 0 \ leq t \ leq 1 $

Интуитивно вы можете использовать рисунок ниже, чтобы помочь понять. Предполагая, что наши переменные находятся в двумерном пространстве, $ x, y $ являются двумерными пространственными переменными, а вектор, представленный жирной линией, равен $ tx + (1-t ) y $, $ t Диапазон значений $ составляет $ [0,1] $, поэтому независимо от того, как t изменяется, вектор $ tx + (1-t) y $ всегда будет попадать в пространство наборов $ x $ и $ y $.

Затем, исходя из определения, мы также можем узнать ситуацию с невыпуклыми множествами: левая часть рисунка ниже — это выпуклые множества, а правая — невыпуклые множества.

Если суммировать выпуклый набор в одном предложении, линия между любыми двумя точками в наборе все еще остается в наборе.

1.2 Простой пример выпуклого множества

  • Выпуклая оболочка (выпуклая оболочка): любые $ k $ элементов в заданном наборе $ x_1, . x_k \ in \ mathbb ^ n $, любая линейная комбинационная форма:

$ \ theta_1 x_1 + . + \ theta_k x_k, \ theta_i \ leq, i = 1, . k $ и $ \ sum_ ^ \ theta_i = 1 $. Она называется выпуклой оболочкой множества и выражается как $ conv (C) $. Выпуклая оболочка всегда выпуклая. Интуитивно можно предположить, что выпуклая оболочка — это внешняя оболочка коллекции, окруженная самыми внешними элементами.На следующем рисунке показаны два примера выпуклых оболочек:

  • Пустые множества, точки и линии — все это выпуклые множества.
  • Нормальный шар: Нормальный шар с радиусом $ r $ равен: $ \ left \ $
  • Гиперплоскость: для любых $ a, b $, $ \ left \ $
  • Полупространство: $ \ left \ $
  • Аффинное пространство: $ \ left \ (x: Ax = b \ right \) $
  • Многогранник (Многогранник): $ \ left \ $, рисунок ниже — многогранник

Примечание. Является ли коллекция $ \ left \ $ также многогранником?

Ответ: Да. Поскольку для любого $ Cx = d $ его можно записать как $ Cx \ leq d $ и $ -Cx \ leq -d $, что согласуется с формой $ Ax \ leq b $.

Определение: Для данного $ C \ in \ mathbb ^ n $, удовлетворяющее $ x \ in C \ Rightarrow tx \ in C $, называется конусом для любого $ t \ geq 0 $.

Выпуклый конус: $ x_1, x_2 \ in C \ Rightarrow t_1 x_1 + t_2 x_2 \ in C $, для любых $ t_1, t_2 \ geq 0 $ все выполняется, тогда множество $ C $ называется выпуклым конусом. Очевидно, выпуклый конус — это своего рода конус.

Нормальный конус: $ \ left \ $, который имеет место для одной нормы и двух норм. На следующем рисунке для создания трехмерного изображения используются разные $ t $:

Нормальный конус: для любого множества $ C $, любой точки в множестве $ x \ in C $, определение:

Его значение относится к точкам в Нормальном конусе и точкам в множестве $ C $. Внутреннее произведение всегда больше, чем внутреннее произведение любой точки в наборе и точки Нормального конуса. Как показано ниже:

1.4 Некоторые характеристики выпуклых множеств

  • Теорема о разделяющей гиперплоскости: у двух непересекающихся выпуклых множеств всегда есть гиперплоскость, которая может их разделять. Если $ C \ bigcap D = \ varnothing $, то всегда есть такие $ a, b $, что Have:

$ C \ substeq \ left \ $, $ D \ substeq \ left \ $. Как показано ниже:

  • Поддерживающая теорема о гиперплоскости: в точке на границе выпуклого множества должна быть поддерживающая гиперплоскость, проходящая через эту точку, то есть, если все $ C $ — непустые выпуклые множества, $ x_0 \ in $ bd $ (C ) $, Тогда должна быть гиперплоскость $ a $ такая, что $ C \ substeq \ left \ $. Как показано ниже:

1.5 Операция по сохранению выпуклости

  • Пересечение: Множество, образованное пересечением любого выпуклого множества, по-прежнему выпукло.
  • Масштабирование и перенос. Предполагая, что $ C $ — выпуклое множество, тогда $ aC + b = \ left \ $ также выпукло для любых $ a, b $.
  • Аффинное отображение и Предвидеть Отображение (аффинные изображения и прообразы): если $ f (x) = Ax + b $ — выпуклое множество, то $ f (C) = \ left \ $ равно также выпуклое. Если $ D $ — выпуклое множество, то $ f ^ (- 1) (D) = \ left \ $ также выпукло.

1.6 Примеры операций выпуклого множества и выпуклого сохранения

Набор условной вероятности: $ U и V $ — это соответственно $ \ left \ $ и $ \ left \ Набор двух случайных величин на $. $ C \ substeq \ mathbb ^ $ — это совместное множество распределения $ U, V $. Для каждого $ p \ in C $ определите совместное распределение вероятностей $ p_ = \ mathbb

(U = i, V = j) $. D — соответствующее условное распределение вероятностей. Для каждого $ q \ in D $ определите $ q_ = \ mathbb

(U = i | V = j) $. Если предположить, что $ C $ — выпуклое множество, то D должно быть выпуклым множеством. Простое доказательство того, что аффинные изображения и прообразы можно использовать в операции выпуклого сохранения, $ D = \ ^ : q_ = > >>>> \> $

2. Выпуклая функция

2.1 Основные понятия

Определение: Учитывая отображение $ f: \ mathbb ^ n \ rightarrow \ mathbb $ и dom $ (f) \ substeq \ mathbb ^ n $ — выпуклое множество, то

$ f (tx + (1-t) y) \ leq tf (x) + (1-t) f (y) $ для любого $ 0 \ leq t \ leq 1 $ и любых $ x, y \ in dom (f ) $. Как показано ниже:

Как видно из рисунка выше, значение функции $ f $ всегда ниже прямой линии, соединяющей $ f (x) $ и $ f (y) $.

  • Строго выпуклый: для любых $ x \ neq y $ и $ 0 <t <1 $ существует $ f (tx + (1-t) y) <tf (x) + (1-t) f (y) $. Короче говоря, $ f $ более изогнута, чем линейная функция.
  • Сильно выпуклый: для параметра $ m> 0 $: $ f- \ frac || x || ^ 2_2 $ по-прежнему является выпуклой функцией. Короче говоря, $ f $ более искривлен, чем общая квадратичная функция.
  • Сильно выпуклая $ \ Rightarrow $ Строго выпуклая $ \ Rightarrow $ выпуклая

2.2 Пример выпуклой функции

  • Функция одной переменной:

Например, экспоненциальная функция $ e ^ $ выпукла для любого a, а степенная функция $ x ^ a $ выпукла, когда $ a \ geq 1 или a \ leq 0 $, когда $ 0 \ leq a \ leq 1 Когда $ невыпукло, логарифмическая функция $ log x $ невыпуклая

  • Аффинная функция:

$ a ^ Tx + b $ — выпуклая и невыпуклая функция.

  • Квадратичная функция:

$ \ frac x ^ TQx + b ^ Tx + c $ выпукло, когда $ Q \ successq 0 $ (полуположительно определенное)

  • Функция потерь наименьших квадратов (потеря наименьших квадратов):

$ || y-Ax || _2 ^ 2 $ всегда выпукло, потому что развернутое $ A ^ TA $ всегда положительно полуопределенное

  • Норма:

Любая норма $ || x || $ всегда выпукла, а норма $ \ ell_p $ определяется как: $ \ parallel x \ parallel_p = (\ overset n >) ^ $, для любого $ p \ geq1 $, $ \ parallel x \ parallel _ = max | x_i | $.

Спектральная норма: $ \ parallel X \ parallel_ = \ sigma_1 (X) $,

  • Функция индикатора:

Если $ C $ выпуклый, то его индикаторная функция: $ I_C (x) = \ left \ 0 & x \ in C \\\ infty & x \ not \ in C \ end \ right. $ — выпуклая функция.

  • Макс функция:

$ f (x) = max \ left \ $ — выпуклая функция

2.3 Некоторые характеристики выпуклых функций

  • Характеристика надграфика: функция $ f $ является выпуклой тогда и только тогда, когда ее надграфик $ epi (f) = \ left \ ((x, t) \ in dom (f) \ times \ mathbb (R): f (x ) \ leq t \ right \> $ — выпуклое множество, как показано на следующем рисунке:

  • Характеристика первого порядка: если предположить, что $ f $ дифференцируемо всюду, то $ f $ является выпуклой функцией тогда и только тогда, когда $ dom (f) $ выпукла и существует: $ f (y) \ geq f (x) + \ nabla f (x) ^ T (yx) $ Для всех $ x, y \ in dom (f) $.

Примечание: как доказать характеристики первого порядка выпуклых функций?

Ответ: Исходя из определения выпуклой функции, $ f (ty + (1-t) x) \ leq tf (y) + (1-t) f (x) \ quad \ Rightarrow \ quad \\ f (t (yx ) + x) + f (x)) \ leq t (f (y) -f (x)) + f (x) \ quad \ Rightarrow \ quad \\ \ frac \ leq frac \ quad \ Rightarrow \ quad \\ \ lim_ \ frac

  • Признак второго порядка: если функция дифференцируема второго порядка, то $ f $ выпукла тогда и только тогда, когда $ dom (f) $ выпукло, и для всех $ x \ in dom (f) $ существует $ \ nabla ^ 2f (х) \ successq0 $
  • Неравенство Йенсена: если $ f $ выпукло и $ X $ — случайная величина, поддерживаемая $ dom (f) $, то $ f (\ mathbb [x]) \ leq \ mathbb [f (x )) $

2.4 Операция сохранения выпуклости

  • Неотрицательная линейная комбинация

$ f_1, . f_m $ — все выпуклые функции, поэтому для любых $ a_1, . a_m \ geq0 $ все $ a_1f_1 + . + a_mf_m $ выпуклые.

  • Поэтапная максимизация

Если $ f_s $ выпукло для любого $ s \ in S $, то $ f (x) = max_ f_s (x) $ — выпуклая функция.

  • Частичная минимизация

Если $ g (x, y) $ — выпуклая функция в любых $ x, y $ и $ C $ выпукла, то $ f (x) = min_ g (x, y) $ — это выпуклая функция.

2.5 Доказательство примера выпуклой функции

Функция логарифмической суммы-экспонирования: функция "мягкого максимума": для заданных $ a_i, b_i, i = 1, . k $, $ g (x) = log (\ sum_ ^ e ^ ) $. Его гладкая аппроксимация равна $ max_ (a_i ^ Tx + b_i) $.

Итак, чтобы доказать выпуклую функцию, прежде всего, мы знаем, что аффинные функции являются выпуклыми функциями, а функцию суммы можно рассматривать как $ f (x) = log (\ sum_ ^ e ^ ) $ и $ h (x) = a_i ^ Tx + b_i $ составная функция. Следовательно, нужно только доказать, что $ f (x) $ — выпуклая функция.

Перепишите приведенную выше формулу как $ \ nabla ^ 2f (x) = diag (z) -zz ^ T $, где $ z_i = e ^ (x_i) / (\ sum_ (l = 1) ^ (n) e ^ ) $. Это матрица с преобладанием по диагонали, поэтому это положительно полуопределенная матрица, поэтому она удовлетворяет свойству второго порядка. Доказано, что исходная формула является выпуклой функцией.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *