Базы данных. ClickHouse. Колоночные СУБД 

Вам спасибо за отклик, стараемся :)

I dont mean to be so off topic but does anyone know a method to log back into an Instagram account?? I somehow forgot my password. I appreciate any tips you can offer me

@Tristan Jaxen Instablaster ;)

@Case Kendrick Thanks for your reply. I got to the site on google and Im waiting for the hacking stuff now. Seems to take quite some time so I will reply here later when my account password hopefully is recovered.

@Case Kendrick It worked and I finally got access to my account again. I am so happy:D Thank you so much, you saved my ass!

Спасибо за позитивный отклик :) Стараемся для вас :)

Спасибо за приятные слова :) Стараемся для вас)

Спасибо за положительный отклик, нам очень приятно :)

Плюсую, тоже давно хотел послушать

Спасибо, мы старались :)

Спасибо, мы старались :)

Спасибо, мы старались :)

Спасибо, мы старались :)

Спасибо! :)

Для вас стараемся :)

Воистину!

Откроем вам секрет: весь канал был задуман для внутреннего обучения и ознакомления) И уж так вышло стал популярным)

Не совсем верно. ClickHouse не любит мелкие вставки. Просто организуйте для них "буфер" в виде Kafka, например.

К сожалению, не сможем вам помочь - сами используем только ClickHouse и Influx.

Абсолютно бесплатна, пользуйтесь)

Вот тут можно почитать clickhouse.tech/docs/ru/interfaces/formats/#csv . Вообще в целом у ClickHouse достаточно хорошая документация :)

Александр, видим в уведомлениях вопрос про GUI для ClickHouse. Опять же, они рекомендуют вот этот список: clickhouse.tech/docs/ru/interfaces/third-party/gui/ . Мы пользуемся DBeaver, LightHouse. Но в основном cli-интерфейс.

Всему стеку - вряд ли. Но под свои задачи - вполне подойдет. Мы наверное для себя на нем будем что-то похожее собирать :)

Много чего надо бы рассказать, про ClickHouse можно отдельный цикл делать)

Виноваты, исправимся( Как только - сразу добавим...

Хороших и интересных СУБД еще много) Tarantool только издалека изучали, в бою не пробовали :)

@@Rclass Интересно то, что у тебя на выходе получается очень шустрое и бд и приложение в одном флаконе с кластеризацией из коробки...

Чисто физический процесс чтения из файла такой же, не быстрее. Но есть разница в скорости “считывания” данных при определенных запросах. И тут все упирается в то, как данные физически на диске хранятся. В этом плане столбцовые базы данных просто специально созданы именно для аналитики и агрегации. Например, у вас есть Postgres с таблицей users. Если вам нужно вытащить конкретного пользователя (частая операция при аутентификации, например), то Postgres сделает это в разы быстрее, чем столбцовая база данных. Ему достаточно знать ID пользователя, он прочитает из определенного места файла строку, в которой будет вся информация по нему - ID, nickname, email, birth_date и т.п. А теперь представьте, что вам нужно сделать какую-то аналитику по этой таблице. Скажем, построить график - сколько у вас количество пользователей определенного возраста, по группам - от 10 до 20 лет, от 20 до 40, и от 40 и далее. Postgres от такого запроса поплохеет. Потому что ему придется считывать кучу лишней информации, строчку за строчкой, агрегировать ее. Столбцовая же база данных вытащит из файла строчку, в которой в сжатом виде (!) будут лежать дни рождения ВСЕХ пользователей в таблице, за один запрос. А так как эта информация еще и будет отсротирована определенным образом, еще и быстро сгруппирует это по возрастам. В общем, столбцовые базы читают быстрее только в таких вот “аналитических” запросах. Во всех остальных, когда нужно выбрать ВСЕ поля одной или нескольких записей, они сильно уступают обычным реляционным базам.

Договорим мысль: данные хранятся по столбцам, что сделано ради достижения максимальной скорости считывания. Добавление изолированности транзакций любого уровня при любых раскладах скажется на производительности. Все-таки это OLAP-система. Но, вне всяких сомнений, нам бы хотелось чуть более аргументированного комментария в свою очередь от вас.

А для чего нужны полноценные транзакции для аналитической СУБД? Это для реляционной СУБД нужно обеспечить консистентность данных для распределенных по разным таблицам данным, например. В ClickHouse же обычно всё хранится в одной широкой таблице, в которой могут быть сотни строк. То есть в денормализованном виде. А нормализация обычно только на уровне словарей, которые вообще зачастую хранятся и модифицируются в реляционной СУБД, с которой напрямую взаимодействует приложение для обеспечения своей работы. Если имелось ввиду, что непонятна взаимосвязь между полноценными транзакциями и колонками, то да, это неверная формулировка. Так как в общем отсутствие полноценных транзакций здесь больше связано с необходимостью больших пакетных вставок, а также сложностью удаления и обновления конкретных записей. В принципе, оно есть, но это антипаттерн, да и будет работать медленно, плюс создаст неадекватную нагрузку на сервер. Но пакетное удаление и обновление вполне себе может быть и без необходимости перезаливки партиции, например. Есть еще один вариант трактовки "отсутствия полноценных транзакций". Если понимать под транзакцией весь пакет вставок. Да, просто так его не отменишь. Но проконтролировать прием этого пакета сервером ClickHouse вполне можно. Более того, если по какой-то причине попытаться повторно отправить пакет на вставку, то ClickHouse поймёт, что это дублирование, и не вставит эти записи снова. А в целом автор вполне нормально и доходчиво рассказал о ClickHouse. Не без оговорок, но это же больше обзор, чем реальный учебный курс.

Транзакции в аналитике просто не нужны. При этом они добавляют очень много дополнительных телодвижений и в разы замедляют всё, а также приводят к тому что вам будут дороже обходиться запросы. На примере финансов. Вот есть у вас счёт в банке. Вам ОБЯЗАТЕЛЬНО нужно чтобы каждая операция внесения или снятия денег со счёта всегда либо проходила полностью до конца, либо не проходила. Умереть где-то на середине она не должна: тогда например с кошелька спишутся деньги, но банкомат их не выдаст. Скандал! Из такого банка нужно бежать. Совсем иное дело, если вы через приложение банка решили посмотреть статистику как вы тратите деньги каждый месяц. Здесь ничего ужасного в принципе не может случиться: вам покажется статистика расходов по каждой категории (еда, транспорт, развлечения и т.п.), либо НЕ покажется и где-то там сдохнет. НО. Отсутствие транзакций даёт ОЧЕНЬ много преимуществ для дешёвого и быстрого хранения информации. Всегда на стадии проектирования той или иной функции решается: действительно ли для клиентов эта функция имеет ценность? А чего она будет стоить для организации? Стоит ли того чтобы эту функцию добавлять? Так вот, если всё делать через транзакции, то скорее всего обнаружится что ходить запросами для большого количества клиентов в единицу времени просто НЕ ВЫГОДНО для организации и эту функцию в приложение не добавят. Такие штуки как Clickhouse добавляют очень много удобств именно для представления аналитики.