Структуры

Объединение двух последовательностей с одним и тем же типом элемента.

Повернутый вид коллекции.

Производное значение со стертым типом.

Тип AnyDerivative пересылает свои операции к произвольному базовому производному значению, соответствующему Differentiable и AdditiveArithmetic , скрывая особенности базового значения.

Многомерный массив элементов, который представляет собой обобщение векторов и матриц до потенциально более высоких измерений.

Общий параметр Scalar описывает тип скаляров в тензоре (например, Int32 , Float и т. д.).

Функция отката, которая выполняет транспонирование трансляции двух Tensors .

Контекст, в котором хранится локальная контекстная информация, используемая API глубокого обучения, например слоями.

Используйте Context.local для получения текущего локального контекста потока.

Примеры:

• Установите текущую фазу обучения на обучение, чтобы такие слои, как BatchNorm вычисляли среднее значение и дисперсию при применении к входным данным.

  Context.local.learningPhase = .training

• Установите текущую фазу обучения на вывод, чтобы такие слои, как Dropout не выпадали из единиц измерения при применении к входным данным.

  Context.local.learningPhase = .inference

Одномерный слой свертки (например, временная свертка по временному ряду).

Этот слой создает фильтр свертки, который свертывается с входными данными слоя для создания тензора выходных данных.

Двумерный слой свертки (например, пространственная свертка изображений).

Этот слой создает фильтр свертки, который свертывается с входными данными слоя для создания тензора выходных данных.

Трехмерный слой свертки для пространственной/пространственно-временной свертки изображений.

Этот слой создает фильтр свертки, который свертывается с входными данными слоя для создания тензора выходных данных.

Одномерный транспонированный слой свертки (например, временная транспонированная свертка изображений).

Этот слой создает фильтр свертки, который транспонируется сверткой с входными данными слоя для создания тензора выходных данных.

Двумерный транспонированный слой свертки (например, пространственно транспонированная свертка изображений).

Этот слой создает фильтр свертки, который транспонируется сверткой с входными данными слоя для создания тензора выходных данных.

Трехмерный транспонированный слой свертки (например, пространственно транспонированная свертка изображений).

Этот слой создает фильтр свертки, который транспонируется сверткой с входными данными слоя для создания тензора выходных данных.

Двумерный слой глубинной свертки.

Этот слой создает отдельные фильтры свертки, которые свертываются с входными данными слоя для создания тензора выходных данных.

Слой для добавления заполнения нулями во временном измерении.

Слой для добавления нулей в пространственные измерения.

Слой для добавления заполнения нулями в пространственных/пространственно-временных измерениях.

Одномерный отделимый слой свертки.

Этот слой выполняет глубинную свертку, которая действует отдельно на каналы, за которой следует точечная свертка, которая смешивает каналы.

Двумерный разделимый слой свертки.

Этот слой выполняет глубинную свертку, которая действует отдельно на каналы, за которой следует точечная свертка, которая смешивает каналы.

Выровненный слой.

Слой выравнивания выравнивает входные данные при применении, не влияя на размер пакета.

Слой изменения формы.

Слой, содержащий пользовательскую дифференцируемую функцию.

Значение динамического типа TensorFlow, которое можно создать из типов, соответствующих TensorFlowScalar .

Представляет потенциально большой набор элементов.

Dataset можно использовать для представления входного конвейера как набора тензоров элементов.

Тип, позволяющий перебирать элементы набора данных.

Структура, подобная двум кортежам, соответствующая TensorGroup и представляющая кортеж из двух типов, соответствующих TensorGroup .

Плотно связанный слой нейронной сети.

Dense реализует операцию activation(matmul(input, weight) + bias) , где weight — это матрица весов, bias — вектор смещения, а activation — поэлементная функция активации.

Этот слой также поддерживает трехмерные весовые тензоры с двумерными матрицами смещения. В этом случае первое измерение обоих рассматривается как размер пакета, который соответствует первому измерению input , и используется пакетный вариант операции matmul(_:_:) , таким образом используя разные вес и смещение для каждого элемента. во входной партии.

Устройство, на котором можно разместить Tensor .

Выпадающий слой.

Отсев заключается в случайном присвоении части входных единиц значения 0 при каждом обновлении во время обучения, что помогает предотвратить переобучение.

GaussianNoise добавляет шум, выбранный из нормального распределения.

Добавленный шум всегда имеет нулевое среднее значение, но имеет настраиваемое стандартное отклонение.

GaussianDropout умножает входные данные на шум, выбранный из нормального распределения со средним значением 1,0.

Поскольку это уровень регуляризации, он активен только во время обучения. Во время вывода GaussianDropout проходит через входные данные без изменений.

Выпадающий слой Альфа.

Alpha Dropout — это Dropout , который сохраняет среднее значение и дисперсию входных данных в исходных значениях, чтобы обеспечить свойство самонормализации даже после этого исключения. Alpha Dropout хорошо подходит для масштабированных экспоненциальных линейных единиц, случайным образом устанавливая для активации отрицательное значение насыщения.

Источник: Самонормализующиеся нейронные сети: https://arxiv.org/abs/1706.02515 .

Слой внедрения.

Embedding фактически представляет собой таблицу поиска, которая отображает индексы из фиксированного словаря в векторные представления фиксированного размера (плотные), например [[0], [3]] -> [[0.25, 0.1], [0.6, -0.2]] .

Пустая структура, представляющая пустые TangentVector для слоев без параметров.

Пара первого и второго моментов (т. е. среднее и дисперсия).

Двумерный морфологический слой расширения

Этот слой возвращает морфологическое расширение входного тензора с помощью предоставленных фильтров.

Двумерный морфологический эрозионный слой

Этот слой возвращает морфологическую эрозию входного тензора с помощью предоставленных фильтров.

Ленивый выбор элементов в заданном порядке из некоторой базовой коллекции.

Коллекция самых длинных непересекающихся смежных фрагментов некоторой Base коллекции, начиная с ее первого элемента и имеющих некоторую фиксированную максимальную длину.

Все элементы этой коллекции, за исключением последнего, имеют count batchSize , за исключением случаев Base.count % batchSize !=0 , в этом случае count последнего пакета равен base.count % batchSize.

Слой пакетной нормализации.

Нормализует активации предыдущего слоя в каждой партии, т. е. применяет преобразование, которое поддерживает среднюю активацию близкой к 0 , а стандартное отклонение активации близкое к 1 .

Ссылка: Пакетная нормализация: ускорение глубокого обучения сети за счет уменьшения внутреннего ковариатного сдвига .

Слой, который применяет нормализацию слоя к мини-пакету входных данных.

Ссылка: Нормализация слоев .

Слой, который применяет групповую нормализацию к мини-пакету входных данных.

Ссылка: Нормализация групп .

Слой, который применяет нормализацию экземпляра к мини-пакету входных данных.

Ссылка: Нормализация экземпляров: недостающий ингредиент для быстрой стилизации .

Состояние для одного шага одного веса внутри оптимизатора.

Доступ к глобальному состоянию осуществляется через StateAccessor .

[String: Float] но к элементам можно получить доступ, как если бы они были членами.

Оптимизатор, работающий с одной группой параметров.

Типобезопасная оболочка вокруг значения индекса Int для локальных значений оптимизатора.

Типобезопасная оболочка вокруг значения индекса Int для глобальных значений оптимизатора.

Типобезопасная оболочка вокруг значения индекса Int для значений состояния оптимизатора.

Создает ParameterGroupOptimizer . Это используется по существу на уровне одного веса в модели. Сопоставление групп параметров, выбранных с помощью ( [Bool] с Оптимизатором Группы Параметров), определяет окончательный оптимизатор.

Максимальный уровень пула для временных данных.

Максимальный уровень объединения пространственных данных.

Максимальный уровень объединения пространственных или пространственно-временных данных.

Средний уровень объединения временных данных.

Средний уровень объединения пространственных данных.

Средний уровень объединения пространственных или пространственно-временных данных.

Глобальный средний уровень объединения временных данных.

Глобальный средний уровень объединения пространственных данных.

Глобальный средний уровень объединения пространственных и пространственно-временных данных.

Глобальный максимальный уровень пула для временных данных.

Глобальный максимальный уровень объединения пространственных данных.

Глобальный максимальный уровень объединения пространственных и пространственно-временных данных.

Слой дробного максимального объединения пространственных данных. Примечание. FractionalMaxPool не имеет реализации XLA, что может влиять на производительность.

PythonObject представляет объект в Python и поддерживает динамический поиск членов. Любой доступ к члену, например object.foo будет динамически запрашивать среду выполнения Python для члена с указанным именем в этом объекте.

PythonObject передается и возвращается из всех вызовов функций Python и ссылок на члены. Он поддерживает стандартные арифметические операции Python и операторы сравнения.

Внутри PythonObject реализован как указатель с подсчетом ссылок на PyObject API Python C.

Оболочка PythonObject , позволяющая вызывать вызовы методов. Исключения, создаваемые функциями Python, отображаются как ошибки Swift и выдаются.

Оболочка PythonObject , обеспечивающая доступ к членам. Операции доступа к членам возвращают Optional результат. При сбое доступа к участнику возвращается nil .

Интерфейс для Python.

PythonInterface позволяет взаимодействовать с Python. Его можно использовать для импорта модулей и динамического доступа к встроенным типам и функциям Python.

Генератор случайных чисел со стиранием типа.

Тип AnyRandomNumberGenerator перенаправляет операции генерации случайных чисел базовому генератору случайных чисел, скрывая его конкретный базовый тип.

Реализация SeedableRandomNumberGenerator с использованием ARC4.

ARC4 — это поточный шифр, генерирующий псевдослучайный поток байтов. Этот PRNG использует начальное число в качестве ключа.

ARC4 описан в книге Шнайера Б. «Прикладная криптография: протоколы, алгоритмы и исходный код на C», 2-е издание, 1996 г.

Отдельный генератор не является потокобезопасным, но отдельные генераторы не имеют общего состояния. Генерируемые случайные данные имеют высокое качество, но не подходят для криптографических приложений.

Реализация SeedableRandomNumberGenerator с использованием Threefry. Салмон и др. SC 2011. Параллельные случайные числа: так же просто, как 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf .

Эта структура реализует 20-раундовый ГПСЧ Threefry2x32. Он должен быть заполнен 64-битным значением.

Отдельный генератор не является потокобезопасным, но отдельные генераторы не имеют общего состояния. Генерируемые случайные данные имеют высокое качество, но не подходят для криптографических приложений.

Реализация SeedableRandomNumberGenerator с использованием Philox. Салмон и др. SC 2011. Параллельные случайные числа: так же просто, как 1, 2, 3. http://www.thesalmons.org/john/random123/papers/random123sc11.pdf .

Эта структура реализует 10-раундовый ГПСЧ Philox4x32. Он должен быть заполнен 64-битным значением.

Отдельный генератор не является потокобезопасным, но отдельные генераторы не имеют общего состояния. Генерируемые случайные данные имеют высокое качество, но не подходят для криптографических приложений.

Входные данные для рекуррентной нейронной сети.

Выход в рекуррентную нейронную сеть.

Базовая ячейка RNN.

Ячейка LSTM.

Ячейка ГРУ.

Слой, последовательно составляющий два или более других слоев.

Примеры:

• Создайте простую двухслойную модель перцептрона для MNIST:

let inputSize = 28 * 28
let hiddenSize = 300
var classifier = Sequential {
     Dense<Float>(inputSize: inputSize, outputSize: hiddenSize, activation: relu)
     Dense<Float>(inputSize: hiddenSize, outputSize: 3, activation: identity)
 }

• Создайте автоэнкодер для MNIST:

var autoencoder = Sequential {
    // The encoder.
    Dense<Float>(inputSize: 28 * 28, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 3, activation: relu)
    // The decoder.
    Dense<Float>(inputSize: 3, outputSize: 12, activation: relu)
    Dense<Float>(inputSize: 12, outputSize: 64, activation: relu)
    Dense<Float>(inputSize: 64, outputSize: 128, activation: relu)
    Dense<Float>(inputSize: 128, outputSize: imageHeight * imageWidth, activation: tanh)
}

ShapedArray — многомерный массив. Он имеет форму типа [Int] и определяет размеры массива, а в качестве хранилища использует внутренний TensorBuffer .

Непрерывный фрагмент экземпляра ShapedArray или ShapedArraySlice .

ShapedArraySlice обеспечивает быстрые и эффективные операции с смежными фрагментами экземпляров ShapedArray . Экземпляры ShapedArraySlice не имеют собственного хранилища. Вместо этого они предоставляют представление о хранилище своего базового ShapedArray . ShapedArraySlice может представлять два разных типа срезов: массивы элементов и подмассивы.

Массивы элементов — это подразмерные элементы ShapedArray : их ранг на единицу меньше, чем у их базы. Срезы массива элементов получаются путем индексации экземпляра ShapedArray с помощью единственного индекса Int32 .

Например:

    var matrix = ShapedArray(shape: [2, 2], scalars: [0, 1, 2, 3])
    // `matrix` represents [[0, 1], [2, 3]].

    let element = matrix[0]
    // `element` is a `ShapedArraySlice` with shape [2]. It is an element
    // array, specifically the first element in `matrix`: [0, 1].

    matrix[1] = ShapedArraySlice(shape: [2], scalars: [4, 8])
    // The second element in `matrix` has been mutated.
    // `matrix` now represents [[0, 1, 4, 8]].

Подмассивы — это непрерывный диапазон элементов в ShapedArray . Ранг подмассива такой же, как и у его основания, но его ведущим измерением является счетчик диапазона срезов. Срезы подмассива получаются путем индексации ShapedArray с помощью Range<Int32> , который представляет диапазон элементов (в ведущем измерении). Такие методы, как prefix(:) и suffix(:) , которые внутренне индексируют диапазон, также создают подмассив.

Например:

    let zeros = ShapedArray(repeating: 0, shape: [3, 2])
    var matrix = ShapedArray(shape: [3, 2], scalars: Array(0..<6))
    // `zeros` represents [[0, 0], [0, 0], [0, 0]].
    // `matrix` represents [[0, 1], [2, 3], [4, 5]].

    let subarray = matrix.prefix(2)
    // `subarray` is a `ShapedArraySlice` with shape [2, 2]. It is a slice
    // of the first 2 elements in `matrix` and represents [[0, 1], [2, 3]].

    matrix[0..<2] = zeros.prefix(2)
    // The first 2 elements in `matrix` have been mutated.
    // `matrix` now represents [[0, 0], [0, 0], [4, 5]].

StringTensor — это многомерный массив, элементами которого являются String s.

TensorHandle — это тип, используемый ops. Он включает тип Scalar , который внутренние компоненты компилятора могут использовать для определения типов данных параметров при их извлечении в тензорную программу.

Структура, представляющая форму тензора.

TensorShape — это тонкая оболочка вокруг массива целых чисел, представляющих размеры фигуры. Все типы тензоров используют TensorShape для представления своей формы.

TensorVisitorPlan приближается к [WritableKeyPath<Base, Tensor<Float>] но более эффективен. Это полезно для написания универсальных оптимизаторов, которые хотят сопоставить градиенты, существующие веса и индекс, который можно использовать для поиска вспомогательно сохраненных весов. Это немного более эффективно (~ в 2 раза), но могло бы быть и лучше, поскольку позволяет компенсировать несколько более высокие накладные расходы (дополнительное разыменование указателя) и отсутствие необходимости выполнять работу O(глубина_дерева), которая требуется с простым списком для отслеживания каждого отдельного KeyPath.

Слой повышения дискретизации для одномерных входных данных.

Слой повышения дискретизации для двумерных входных данных.

Слой повышения дискретизации для трехмерных входных данных.

Собирает правильные счетчики прогнозов и общие суммы потерь.