🔍 Audit Log для PostreSQL своими руками 🔎

https://www.bluelabellabs.com/blog/how-to-setup-automatic-audit-logging-in-postgres-using-triggers-and-trigger-functions/

В догонку к предыдущему посту добавлю способ самостоятельно сделать Audit Log.

Audit Log – утрированно, сохранение всех операций над БД в отдельную таблицу. Например, Notion проходился по этим данным скриптом и переносил эти операции в отдельные базы для шардирования

Процесс простой:

1. Создаем таблицу, где будем хранить лог
2. Создаем функцию, описывающий создание записей в этом логе
3. Создаем на каждую таблицу триггер на Update, Insert и Delete, который будет запускать функцию создания лога операции
4. Не забываем добавлять его на все таблицы

Ну и, конечно, при большом объеме данных вы можете (1) сделать несколько таблиц для записи лога, (2) иногда его чистить, (3) локально партицировать 1 таблицу на несколько.

Мощной прокачки 💪

Ссылка на статью на Medium

Как Notion шардировал PostgreSQL https://www.notion.so/blog/sharding-postgres-at-notion

Коротко:

. Шардирование – техника разбивания одного инстанса БД на множетсво (шардов) с разделением данных между ними для распределения нагрузки

. Самая большая сложность – выбрать алгоритм деления данных по шардам так, чтобы 1 запрос затрагивал только 1 шард (в идеале)

. Notion решил шардировать по workspace id, потому что по факту, если человек что-то делает, то делает только в рамках одного workspace id

. Для них оптимальный размер 1 таблицы – 500Gb, а одного инстанса – 10 Tb (это на заметку про возможности PSQL)

. Они разделили все на 32 базы по 15 схем в каждой (480 схем). Это удобно, потому что 480 делиться без остатка на множество чисел, что позволяет пропорционально увеличивать объем небольшими шагами (например, добавлять по 4 базы за раз)

. Выбрали стратегию миграции через audit log – создаетеся отдельная таблица, в которую пишут операции записи, а потом отдельный скрипт подхватывает эти записи из таблицы и применяет их к нужным инстансам шардов

. Далее у них был отдельный скрипт для проверки валидности данных, одной из его функции был Dark read (в проде при чтении данных, читаем из старой и новой базы и сверяем одинаковость данных)

. Идентификатором в таблицах это композитный ключ из id сущности и id workspace, но гораздо проще было бы сделать 1 id, в котором совместить оба этих столбца

Все мощной прокачки 💪

Статья на Medium

Видео про устройство Kafka https://www.youtube.com/watch?v=-AZOi3kP9Js

Одна из лучших лекций про устройство Kafka: чисто по делу, отлично слушается на х1.75, достаточно для получения полноценного представления о технологии

Я буду писать статью на тему реализации EDA и RPC на Kafka, но если вкратце:

EDA – каждая consumer group будет получать инстанс сообщения из топика, поэтому достаточно раскладывать разные приложения по разным consumer group и вы будете иметь возможность обрабатывать Events (единственный сложный момент – выбор количества партиций, но я бы брал число равное половине самой большой consumer группы)

RPC – создаете топик ответов (response topic) с 1 партицией и уникальным названием (между всеми инстансами) у отправителя, в header сообщений Kafka добавляете уникальный id сообщения (correlationId) и название response topic, отправляете в топик из которой читают RPC запросы (приоритетнее отдельный топик на call, но можно и указывать название call как key сообщения одного большого топика). Консьюмер прочитал сообщение, сформировал ответ и отправил его туда, куда вы прописали в headers.

Примеры реализации уже опишу в статье (а еще будет такая же статья по RabbitMQ)

P.S.

Забыл упомянуть, что самый простой способ раскрыть Kafka на K8s – это strimzi.io (прям советую)

Хотите MasterCard для оплаты зарубежных покупок, так еще и с Apple / Google Pay? Короче, я сделал себе и дико доволен, штука очень крутая:

Проект Maps.me позволяет прямо в их приложении открыть себе некастодиальный (объясню ниже) криптокошелек, создать виртуальную MasterCard и привязать ее к Apple / Google Pay.

Что нужно сделать 1. Скачать приложение maps.me
2. Перейти во вкладку кошелек и нажать что-то типа "хочу кошелек"
3. Перейти в бота по ссылке https://t.me/N2ActivationCodeBot и получить ключ активации
4. Ввести ключ активации в приложении
5. Пройти KYC (подтверждение через загранпасспорт)
6. Заплатить за карту 10$
7. Вуаля, у вас виртуальная MasterCard, которая добавляется в Apple / Google Pay и которой можно оплачивать любые международные сервисы (сработало на Airbnb и Onlyfans) и в магазинах / ресторанах по всему миру (спокойно плачу в турции)

"Некастодиальный" означает, что приватный ключ от этого кошелька лежит лично у вас, то есть вы полностью владеете данным крипто кошельком и можете делать с ним что угодно и вне maps.me

Как работает оплата 1. Вы перекидываете себе криптовалюту на криптокошелек maps.me
2. При его создании maps.me берет разрешение на снятие с него денег
3. Европейский банк создает вам MasterCard счет и связывает оплаты по нему с вашим криптокошельком
4. Когда вы оплачиваете по MasterCard, они списывают деньги с криптокошелька на свой, а сами переводят фиатную валюту (доллары / лиры / евро и т.д.) продавцу

Причем курс 1$ к 1USDC.

Как перевести на него деньги USDC – основная криптовалюта кошелька, но через Binance нужно переводить, используя BUSD.

Сначала про конвертацию фиата (может быть неочень понятно, за разъясненими пишите в комменты):

1. Binance – самая удобная площадка
2. Регаемся, проходим KYC по заграну
3. Заходим во вкладку P2P (это доска объявления о продаже / покупке валют)
4. Там выбираем банк для перевода (Тинькофф точно работает)
5. Выбираем продавца и покупаем BUSD (сейчас курс 65 руб за 1 BUSD)

Если у вас USDT:

1. Заходите в Binance на вкладку "trade"
2. Выбираете справа вверху "market"
3. Выбираете BUSD
4. Покупаете сколько нужно (курс 1 к 1)

Теперь как перекинуть:

1. В приложении maps.me копируем адрес криптокошелька
2. Заходим в spot, нажимаем withdraw
3. Выбираем USDC
4. Вводим адрес и сеть Solana
5. Вуаля у вас бабки на кошельке

Есть вопросы? Пишите в комменты

Абстракция ООП vs Pattern Matching ФП По-немногу начинаю приходить в себя и возвращаться в строй, решил запилить короткую статью с интересным примером отличия ООП и ФП

Чем больше я использовал Pattern Matching, тем больше в него влюблялся и осозновал, что практичнски всегда есть возможность отказаться от "абстракции" / "обобщения" и остаться в плюсе

Ссылка на статью _

🚜 Про переезд и для новичков в IT 🚜

Немного приду в себя и продолжу публиковать здесь про продвинутую разработку, а сейчас начал публиковать в сторонний канал разную полезную информацию по переезду и для новичков в IT:

https://t.me/davidshekunts_it_sad/174

Люблю вас, держитесь 🖤

🤴🏾 Аксиомы бытия Team / Tech Lead. 1. Создавай условия для делегирования 🤴🏾

Я занимаюсь управлением команд уже где-то лет 7 и все мои знания приходят (1) из случайных статей, (2) моих крутых руководителей, (3) личного опыта.

Подумав, я осознал, что у меня есть несколько аксиом, которые я взял за базис и именно они позволяют мне успешно работать с командами и разрабатывать проекты чужими руками:

1. Создай все условия для делегирования
2. Брать задачу и говорить срок исполнения должен разработчик, который будет ей заниматься
3. Умножай время названное разработчиками на 2, когда отвечаешь бизнесу по срокам
4. Ментальное состояние команды важнее выполненных тасков

Я раскрываю первый пункт подробнее в статье #teamleading #teachleading

🙏 Откажитесь от TypeORM, в пользу … 🙏

Мне есть очень много чего сказать про ORM в целом, и особенно на Node.js...

Я поработал с ORM на Golang, PHP, Python, C#, поэтому есть с чем сравнивать.

Начну как минимум с того, чтобы сразу обозначить свою позицию: TypeORM – несусветное гавно.

Почему, рассказываю в статье:

Ссылка на статью А дальше, буду писать кучу статей на тему ORM, потому что мы с командой решили выбрать новую для всех своих проектов и мне будет что вам рассказать.

P.S.

Prisma тоже не подарок, но точно лучше TypeORM.

#db #postgresql #mongodb #nodejs #typescript #orm

✊ Yandex продал главную страницу и купил Delivery Club ✊

Ого-го вот это интересно: короче, Яндекс продал свою главную страницу группе компании VK

Теперь Yandex.ru ведёт на dzen.ru

А основная страница Яндекса теперь ya.ru

Почему: многие сотрудники покинули Яндекс из-за новостной контента главной странице, которой пришлось принять определенную позицию с февраля этого года

Скорее всего, продажа главное страницы – это возможность для Яндекса абстрагироваться от политики контента России

Очень уважаю это решение

А заодно Яндекс купил Delivery Club

Обещают, что все останется на своих местах, но мне эта новость не нравится, потому что это означает что как и в сфере такси, Яндекс станет монополистом в сфере доставок еды из кафе и ресторанов (а монополия предполагает формирование абсолютно любой удобной для них ценовой политики)

Источник: https://yandex.ru/blog/company/u-yandeksa-budet-novaya-glavnaya-chto-izmenitsya?ref=dtf.ru&ysclid=l81v9n2nik967009493

🥽 Тестирование на snapshot 🥽

Нашел шикарную статью, которая рассказывает про особенности тестирования на snapshot, используя jest:

https://samhogy.co.uk/2022/03/making-the-most-of-snapshot-testing

Snapshot очень удобная техника тестирования, позволяющая, например, достать целую сущность, создать из нее snapshot, посмотреть его, если все корректно, так и оставить, если нет, поправить snapshot, поправить код и убедиться, что теперь все работает верно

#nodejs #typescript #testing