Тёмный

Индексы баз данных - Почему так быстро - проще некуда 

Програмысли Влог
Подписаться 11 тыс.
Просмотров 15 тыс.
50% 1

Поддержать меня: boosty.to/mflenov
Базы данных могут использовать различные структуры данных для индексации, но чаще всего наверно можно увидеть B-Tree, B+Tree и Hash. Hash достаточно популярный, потому что используется не только в базе данных. Деревья распространены, но не так сильно.
В этом видео я поговорю в теории о индексах. Это не конкретная реализация какой-то базы, а общая теория.
Текстовая версия доступна здесь
www.flenov.info/story/show/In...

Опубликовано:

 

26 май 2021

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 66   
@Dev-lessons
@Dev-lessons 3 месяца назад
Поддержать меня на Бусти и получить доступ к доп контенту: boosty.to/mflenov Обо мне: www.flenov.ru Мой ИТ блог www.flenov.info Телеграм: t.me/mflenov Twitter: twitter.com/flenov Инстаграм: instagram.com/mflenov/ Мой просто блог blo.moe
@rrrrain
@rrrrain 2 месяца назад
Удивительно 20 лет назад читал вашу книгу по делфи и учился программировать, а сейчас вот случайно нашел на ютубе. Спасибо Вам
@user-hw9nc8np3c
@user-hw9nc8np3c 2 года назад
Кайф! Гораздо понятнее чем в универе рассказывали) спасибо!
@Dev-lessons
@Dev-lessons 2 года назад
Спасибо
@manOfPlanetEarth
@manOfPlanetEarth 2 года назад
@@Dev-lessons 28:45 о каком каждом третьем говорите, если выбрали каждого четвертого??🤔 ну, камон, серьезно.
@Dev-lessons
@Dev-lessons 2 года назад
@@manOfPlanetEarth Я же программист и все нумерую с нуля. Ты считаешь это так важно с нуля или единицы / третий или четвертый? Это же пример
@manOfPlanetEarth
@manOfPlanetEarth 2 года назад
@@Dev-lessons 1. но потом ты разбиваешь второй уровень, выбирая действительно каждого третьего и говоря "каждого третьего", а не "каждого второго". так куда делась твоя нумерация с нуля? да, я считаю очень важным, чтобы был порядок и единообразие в речи и действиях. а то тут с нуля, там с единицы. тут я программист, а тут я уже и не программист. вот именно, что раз ты программист, то должен понимать важность правильности каждого символа и слова. кодишь, поди, не от балды, а все четко и выверенно? все по синтаксису языка? а че так? типа только в примерах можно на похуях вещать?🙂 тогда не надо было делать аннотации красным про "Баранова" и "Воронова". Но ты сделал. Потому что стараешься сделать нормально и в примере. А тут рогом упёрся. Зачем? 2. Почему бы сразу не сказать, в чем же особенности В- и В+ деревьев? Чай, не обезьяны смотрят - поймут, кругозор расширят😉 3. Кластерный индекс - это что же, таблица срослась с индексом?🤔 Очень интересно. В майкрософт sql можно делать такой индекс? И вообще, в любой субд можно? Смотрел я у тебя самый первый видос про гит: было видно, что без плана и потому очень слабенько вышло: сумбурно и не информативно. Вот решил глянуть про индексы, почтить память, так сказать, о давней работе с sql. Послевкусие получше, чем после гит. Вы способны на большее. Составляйте план на листочке. Продумывайте примеры, нюансы, вносите их в план. Тогда всё будет чётко как у дьячего. Это же ваш след в этом мире.
@TbIPDblM
@TbIPDblM Год назад
Годный туториал на пальцах с применением сложных терминов понятный даже ёжикам !
@Cre0w
@Cre0w 2 года назад
Шикарный урок. Для повторения теории отлично изложено. Особенно схемы помогают восприятию.
@Dev-lessons
@Dev-lessons 2 года назад
Спасибо, судя по просмотрам не зря старался
@johndorian361
@johndorian361 2 года назад
Спасибо. Наглядно и понятно.
@iMarina12345
@iMarina12345 11 месяцев назад
Двойка по литературе вам в любом случае. Пушкин Александр, не Сергей 😂. Но за видео спасибо. Всё понятно объясняете
@sanix183
@sanix183 Год назад
Вы великолепны в обьяснении!
@user-jb7xp6ms3j
@user-jb7xp6ms3j 2 года назад
Все просто и понятно, спасиб
@magomedmagomedov9168
@magomedmagomedov9168 2 года назад
Пушкин не Леонид и не Сергей, он Александр😀
@glebkolobov
@glebkolobov 2 года назад
Александр Сергеевич😀
@Dev-lessons
@Dev-lessons 2 года назад
Точно, я же говорил, двойку мне нужно по литературе
@vc7057
@vc7057 Год назад
Я тоже поржал на этом моменте )))))
@art_urlamp6147
@art_urlamp6147 Год назад
Рофл конкретный)
@demiurgich
@demiurgich 2 года назад
Да-да. Очень понравилось! Я перестал бояться индексов. Хочу поскорее начать их использовать. Давай продолжение такой важной темы, пожалуйста! Спасибо!
@Dev-lessons
@Dev-lessons 2 года назад
Уже записано, скоро будет
@valeriik9135
@valeriik9135 2 года назад
Спасибо большое за видео. все очень помогает разложить по полкам и, в частности, показывает удачный способ объяснить материал другим людям. Миш, подскажи, планируется ли видео по БД где объясняется практическое применения понятия схем БД, зачем делить на схемы, преимущества, недостатки, опыт из твоей практики?
@Dev-lessons
@Dev-lessons 2 года назад
Не планировал, но теперь задумался - что может действительно стоит. Добавил в план.
@BorgerKat
@BorgerKat 7 месяцев назад
Спасибо. Очень доступно.
@nikolayn4022
@nikolayn4022 2 года назад
Спасибо, всё понятно) блок-схемы очень помогают в понимании)
@Dev-lessons
@Dev-lessons 2 года назад
Спасибо
@valarg5756
@valarg5756 2 года назад
Спасибо большое, теперь жду практику индексов на нашей базе Лигуа)))
@Dev-lessons
@Dev-lessons 2 года назад
Обязательно будет
@kl45gp
@kl45gp Год назад
офигенный пример
@user-gj4wf1uu8s
@user-gj4wf1uu8s 11 месяцев назад
красавчик, всё разжевал. спасибо
@alexzir
@alexzir 2 года назад
Спсибо! Доступно очень!
@Dev-lessons
@Dev-lessons 2 года назад
Спасибо
@leskhanmuratuly5374
@leskhanmuratuly5374 Год назад
Ничего не понятно, но очень интересно)
@user-zk8dc8dx2y
@user-zk8dc8dx2y 2 года назад
По теории супер, я наконец понял как работают индексы. Спасибо 👍 А планируется ли урок как реализовать подобное на практике в MySQL?
@Dev-lessons
@Dev-lessons 2 года назад
Есть в планах даже на ближайшее время
@denisdd5885
@denisdd5885 Год назад
Золотой человек
@Dev-lessons
@Dev-lessons Год назад
Спасибо
@user-nu9sz8dp1z
@user-nu9sz8dp1z 2 года назад
23:00 512 байт - размер физического сектора носителя, например SD-карты сектор - минимально адресуемая единица памяти накопителя файловая система использует кластеры из одного или более секторов. размер кластера (кол-во секторов) задаётся при форматировании. секторы в кластере расположены последовательно, что ускоряет к ним доступ. справедливо для файловых систем FAT
@Dev-lessons
@Dev-lessons Год назад
При форматировании ты зайдёшь логическое разбиение диска. ты Можешь задать размер блока 8кб, но это не значит, что диск будет читать сразу по 8, он может физически читать два по 4кб.
@user-nu9sz8dp1z
@user-nu9sz8dp1z Год назад
@@Dev-lessons физически читает по секторам
@Dev-lessons
@Dev-lessons Год назад
@@user-nu9sz8dp1z это я и говорил в видео и ты тоже правильно написал. Есть физический сектор, а есть логический - форматирование. Я просто добавил это к твоему комментарию.
@AndriiKuftachov
@AndriiKuftachov 2 года назад
Про блоки, может там и есть какие-то физические лимиты, но основные лимиты логические, которые ты настраиваем на уровне операционной системы, как для жёсткого диска, так и для оперативной памяти. Логика в том, что чтение из оперативной памяти, а тем более из диска - это медленная операция, выгоднее прочитать побольше, чтобы потом уже с этим разбираться поближе к процессору, а надежде, что нужные данные окажутся рядом.
@Dev-lessons
@Dev-lessons 2 года назад
У файловой системы есть размеры блока и если использовать NTFS, то это будет. 4 кб, поэтому хранить по одному числу не выгодно, их желательно группировать в блоки, потому что они блоками будут храниться в файловой системе и блоками читаться support.microsoft.com/en-us/topic/default-cluster-size-for-ntfs-fat-and-exfat-9772e6f1-e31a-00d7-e18f-73169155af95 Где-то натыкался, что SSD именно есть дисковый лимит.
@Dev-lessons
@Dev-lessons 2 года назад
engineering.linkedin.com/blog/2016/05/designing-ssd-friendly-applications-for-better-application-perfo#:~:text=The%20smallest%20updating%20unit%20in,in%20at%20least%204KB%20reading.
@AndriiKuftachov
@AndriiKuftachov 2 года назад
@@Dev-lessons это детали реализации, на которые мы не можем закладываться. Минимальное, на что мы можем рассчитывать - это наша файловая система, а это настройки ОС. Хотя, согласен, что копаться в таком должен DBA, и нам белым людям, программистам, нечего там делать 🤣.
@Dev-lessons
@Dev-lessons 2 года назад
@@AndriiKuftachov Так ведь все просто - файловая система любит 4кб и SSD читает по 4 кб, так что как программисты ради оптимизации мы должны хранить данные не по 2кб, а как минимум 4.
@AndriiKuftachov
@AndriiKuftachov 2 года назад
@@Dev-lessons по-моему, мы как программисты давно мало чего храним в файлах 🤠. А вот внутренняя реализация работы с файловой системой базы данных - это слишком высокие материи. Но мой посыл в том, что если это не спецификация SSD, а похоже, что этот всеми э всё-таки не спецификация, то заложившись на микрооптимизациб, можно потом получить проблемы, если завтра какой-то из производителей поменяет размер ячейки.
@ruslanadamovich7505
@ruslanadamovich7505 Год назад
Если сделать вычисляемое поле от длинного, которое "возьмет" первые три-четыре символа - насколько ефективен будет поиск по индексу ? Например, товар 'олддлобблпстпорпопололпол' сокращен на 'олдд' и это поле - индекс....ну и вопрос уникальности тогда возникает Как быть ?
@jorge.gancho
@jorge.gancho 2 года назад
Правильный способ изложения материала. По сути собес - смотрят как рассуждает человек
@IgorGallemar
@IgorGallemar 2 года назад
Первый!!!
@codingfox
@codingfox Год назад
"Плоский" индекс вроде называют плотным)
@glebkolobov
@glebkolobov 2 года назад
А если индекс по более, чем одна колонка, как индекс строится?
@Dev-lessons
@Dev-lessons 2 года назад
То же самое, просто представь, что данные отсортированы по двум колонкам. Например, фамилия и имя. Сначала сортируется по фамилии, а для тех, у кого фамилия одинаковая сортируется по имени. И потом по этому делу строится дерево.
@user-fq4pc7fm2z
@user-fq4pc7fm2z 2 года назад
так я и не понял, как в реальной жизни это делать. Если база данных в 0,5млн записей например, что тоже вручную вот так разбивать?
@Dev-lessons
@Dev-lessons 2 года назад
Ты просто создаешь индекс, ничего вручную делить ненужно, а в видео рассказывается как работают внутри индексы на основе B деревьев
@victoryjun
@victoryjun 2 месяца назад
В 1990 году нам говорили, что такой поиск называется "метод дихотомии". Не прошло даже 30 лет и уже он стал "бинарным". Почему?
@Dev-lessons
@Dev-lessons 2 месяца назад
Не знаю, в программировании всегда он назывался двоичным или бинарным поиском. Гугланул и вижу есть понятие метод дихотомии, но не вижу ни одной ссылки связанной с ИТ. А вот двоичный поиск тут же указывает именно на ИТшную тему.
@victoryjun
@victoryjun 2 месяца назад
@@Dev-lessons когда я учился в институте, еще и интернета то НЕ БЫЛО! Что вы там искали в тырнете то? :)
@Dev-lessons
@Dev-lessons 2 месяца назад
@@victoryjun Я сейчас проверил, что в интернете пишут. Когда я учился интернета тоже не было, но уже тогда называли бинарным
@victoryjun
@victoryjun 2 месяца назад
@@Dev-lessons странно, но я алгоритмы изучал на ЕС1420 (комп занимал место в 3-х комнатах) на языке Fortran и тогда алгоритм "бинарным" не называли. ЭТО НЕ ЛОГИЧНО! там ни чего бинарного НЕТ. Бинарный вид - это "0" или "1". Спрашивается с "какого боку" деление пополам стало вдруг "бинарным". Делится интервал на отрезки равной величины. Ни чего бинарного там нет.
@dmitriys5353
@dmitriys5353 Год назад
+
@glebfadeev9782
@glebfadeev9782 Год назад
как мне больно смотреть как вы с тачпадом мучаетесь
@Dev-lessons
@Dev-lessons Год назад
У Surface тач пад очень маленький и когда микрофон перекрывает доступ к нему и пользоваться неудобно. Но когда микрофон не мешает ещё терпимо
@leonid_konoplin
@leonid_konoplin Год назад
можно ли записать такое же видео про View в БД?
@Dev-lessons
@Dev-lessons Год назад
Именно про индексы или в целом про представления? О представлениях я говорил тут: ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-KUu4TZjcSWg.html
Далее
Базы данных B-tree
19:28
Просмотров 23 тыс.
IF YOU BLINK, YOU LOSE  👁️
00:36
Просмотров 5 млн
LA FINE 😂😂 @arnaldomangini  @PANDABOI
00:20
Просмотров 2,6 млн