007. За гранью Intel и Linux - необычные процессоры и операционные системы - Дмитрий Завалишин 

Супер! Очень много философии. Это как раз то, чего реально не хватает -- понимать идею, а не фигачить код.

Присутствовал, было прямо очень отлично, спасибо Дмитрию!

неимоверно круто! прям вот очень спасибо за новую картину мира ))

нереально огромное спасибо :)

Как я понял ОС Фантом: файлы мы заменяем на персистентные объекты (потому что файлы -- плохо, это лишняя абстракция). Эти персистентные объекты живут в системе всегда. Рядом с ними запускаются программные треды ("программы"), которые вместо malloc тоже создают себе персистентные объекты (потому что если выделять память обычным способом, то программа не будет персистентной). Получается, что объекты-файлы и объекты, созданные программой для оперативного использования (аналог RAM в обычной модели) живут рядом и неотличимы друг от друга. В отличие от привычных нам сред исполнения, при завершении персистентной программы выделенные программой объекты не освобождаются разом, а ожидают сборки мусора. И сборка мусора их даже соберёт, пожалуй (хотя это явно медленнее, чем просто освобождение памяти в обычной системе), но только если ссылки на эти объекты не были переданы и использованы где-нибудь извне. Возможный проблемный сценарий: программа запустилась, поработала, наплодила временных объектов, что-то передала в другую программу (в рамках IPC), и завершилась. А переданный объект (по ошибке) тащил за собой большой граф объектов, которые по логике должны были умереть при завершении процесса. Но процесс завершил выполнение, а существенная часть его данных продолжает жить.То есть произошла утечка персистентной памяти. Аналогом этого в обычном мире можно считать ситуацию, когда программа во время выполнения сгенерировала где-то в файловой системе временный файл и забыла его удалить. Как бороться с этим в существующих системах -- понятно: нужно отслеживать заполненность диска, и при необходимости подчищать за программами вручную (или изолировать приложение, выдав ему квоту на диск). Что же можно сделать с этим в персистентной ОС -- неясно. Можно предположить, что будет введено какое-то разделение между просто персистентной памятью (которая всё же удаляется при завершении процесса) и персистентной-персистентной памятью, которая остаётся в системе навсегда. Но в этом случае мы приходим примерно туда же, откуда начали: у нас будет "RAM" (пусть теперь и персистентная, с возможностью мгновенного рестарта) и "файлы" (которые по сути и представляют собой персистентные объекты + API для работы с ними). Можно сделать квотирование ресурсов для приложения, но тогда неясно, кому приписывать объекты, находящиеся в совместном доступе. Но тут можно что-то придумать, и тогда мы придём к более или менее понятной модели, где есть долговременная и оперативная память (обе персистентные), но есть и перезапуск процессов. Если же подумать в сторону "вечных" процессов (чтобы не собирать/разбирать состояние из файлов), то тут тоже возникают вопросы об утечках памяти. Состояние программ в RAM очень сложное, и почти в любой программе есть утечки, но это нивелируется периодическим их перезапуском. В "вечном" же режиме утечки памяти приведут к тому, что память рано или поздно закончится. И кажется, нет понятного способа починить эту проблему, кроме перезапуска. Таким образом, мы опять возвращаемся к модели, где есть разделение между оперативной и долговременной памятью, и нужно заниматься сборкой/разборкой состояния.

Спасибо огромное. Отлично всё рассказал! Отличный лектор!

Качественное, интересное видео. Понятное. Спасибо

Здорово!Дмитрий, Спасибо Вам огромное, за столь удивительное путешествие в безбрежном пространстве океана продуктивной и необходимой информации. Благодарность за подачу, разжевывание материала, юмор, харизму и грамотную толковость!! !👍👍👍

Круто! Неполный, но хороший дайджест по истории программирования с выходом на то, что сейчас живёт. 90% того, что не выжило или не упоминается или вскользь. Нормально. Цель не историография, а как и что надо развивать и развивается. 99% кодеров не воспримут такую инфу. Ну, что-же - c'est la vie!

Зашел посмотреть в 11 часов вечера, лег спать в час ночи))) Оч интересно послушать

очень редкое видео по IT действительно интересное и даже в чём то полезное, спасибо лектору

интересная история на одном дыхании в его то возрасте. Похвально! Молодым только учиться и учиться

Очень здорово ! Я впечатлен ! Спасибо большое !

Ну вот! На самом интересном месте...

Лекция на уровне школьного кружка моего 8-ого класса - 1967 год. Отпад! Посмотри на календарь!

ааа.. эээ... что за кастрация? дядько явно не закончил... дайте дослушать умного человека... а ещё было бы не плохо ссылочку на весь плей лист... в котором ещё минимум 6 частей...

Крутой дядя, за пятнадцать минут раскидал про операционные системы

Спасибо!

6:45 Убираем на уровне языка программирования адресную арифметику и возможность "влезть" в чужие данные и убираем сразу целый класс проблем. Таким путём пошли разработчики языка и одноимённой системы Oberon. Современная реинкарнация данного языка - Active Oberon, пошла ещё немного дальше. Для эффективного использования многоядерного железа примитивы многопоточности и синхронизации встроили прямо в язык, реализовав активные объекты и мониторы. На Active Oberon даже операционка написана - A2 OS

1 3 - й э т а ж - и вправду эпическая картина, да куда понятнее Матрицы. Фильм снят в старо-классическом стиле Голливуда (как понимаю), но с современной мыслью.

Интересно было бы узнать подробности про Plan 9 и причины её неудач.

скольким людям дядя Дима не дал нормально выспаться :-)

Очень поддерживаю про "знаешь контракт". Я то же самое писал о котлин в котором эти контракты поубивали во многом что бы "мало писать, так короче" и потому, котлин это одноразовый код. Писал давненько об этом же. Но маркетинг и реклама у котлина божественные. Вообще спасибо за выступление, прям приятно послушать. Редко слышу людей, понимающих почему java такая и это не просто так!

удивлен что на Яндексе есть такие проффи. Спасибо

Слушал словно мёд пил

Ой, а эти куллстори про мусорный лисп и его победу. Взяли какой-то локальный междусобойчик, где какой-то инвалид что-то нагадил на си. Сам формулировка ситуации уже нелепа. Что значит си? Нету никакого си. Есть программист+си. Си - это средство выражения. Если взять два языка, пусть это будет русский и язык племени мамба-джамба, но при этом в ситуации с русским взять какого-то дауна, а в мамба-джамбе рядового дошколёнка. Далее сообщить "смотри те какой русский плохой - выражением на нём страдает". Мощность не определяется в отрыве от человека.

пхпшники видео обрезали

Спасибо! Интересно. Остроумным школьникам с "лентача" было бы полезно про Эльбрус послушать

Дмитрий Завалишин пишет книги? Хотелось бы его мысли проглотить. Спасибо за данный цикл. Все очень интересно.

Вот попробуйсте сейчас пошутить про "войну и немцев"

😂😂😂😂😂😂😂 Яндекс и Ельбрус. Вот это ржака😂😂😂😂😂😂

Теги в Intel iMAX-432 не нужны, этим их решение элегантнее. Указатели от данных он отличает по тому, с какой стороны они лежат, в типы не указательных данных они аппаратно не различали, это как раз у старых Эльбрусов делается.

про Фантом - на 56 минуте

Настоящий Русский Роб Пайк.

Интересно, сервопривод у камеры на сколько ресурс исчерпал за лекцию. Это ж два часа ездил туда-сюда за постоянно топчущимся рассказчиком . Я уже через минуту перестал в экран смотреть, дико отвлекает.

траффика что-то мало на видео )

тяжело дядьке такое чудо рожать

51:30 а теперь еще и arm

Очень интересная лекция. Спасибо! На 26 минуте прямо чувствуется скрипт: он реальный псих, если увидит иероглифы в фреймворках, то реально подойдет и заколбасит.

1:10:29 еще один пример таких «вечных» программ- смарт-контракты в блокчейновых сетях.

По сути всё проблемы происходят от реализации алгоритма последовательных операций дедушки фон Неймана. Современные многоядерные процессоры принципиально ничего не меняют. Да и прграммы не всегда используют такую возможность. Тупиковость ситуации усугубляется гигагерцовым пределом, когда топология чипов не может работать на сверхвысоких частотах с приемлемым энергопотреблением. Выход один. Параллельная архитектура когда вместо одного 64 битного процессора использовать 64 однобитных. Правда придётся переписать всё существующее программное обеспечение. Но игра стоит того.

Грамотный дед,интересно.

А что за система мбокс?

Заметил тенденцию не краткости инженеров которые занимались чем-то крупным, к примеру ОС Windows и ее компоненты, а результат как и в большинстве видео материалах о разработке, находится в конце видео => просмотр длинного видео врядли станет полезным в полном объеме, по тому же принципу работает система обучения ВУЗ-ов, которая фактически должна работать от обратного ( от противного или от результата )

Дай бог памяти, Эльбрус 3-й точно знал тип адресуемого объекта

2:00:20 А кто понял, о чем речь? Я не знаю такой фичи в идее. Или это какой-то плагин?

1:31:09 За луа обидно всё же

зачем пускать тот же самый Linux в защищённое пространство

Это случилось за -1 месяц до матрицы!

Я уже устал приводить примеры. Идём сюда и берём revcomp, либо куда-либо ещё и смотрим на лисп-откровения. А где же они? А их нет. Потому что одно дело каких-то клоунов запартных разводить, а другое дело конкурировать с кем-то реальным. И показывать что-то реальное.

анотации есть в шарпе.

Мне идея PhantomOS нравится. Её б дополнить гипервизором, цены б ей не было.

Тут можно Дмитрию вопросы задать? Как работает адресное пространство для процессов в ОСях с тегированием? Всмысле, оно начинается с нуля для каждого процесса или с абсолютного физического значения? И еще, как работают эти инты/поинтеры? Всмысле, где хранятся теги - в регистрах или где то в оперативке? И если в оперативке, то как они загружаются в регистры? И вообще, значение поинтера с тегом относится к какому то большому блоку памяти или (к каждой ячейке памяти?!) Ведь в первом случае, как осуществляется защита от переполнения, как контролируется выход за блок памяти? А второй вариант какой то слишком бредовый..

А вы случайно не можете выкладывать по 1 видео с конференций/презентаций/митапов в день? По моему так интереснее нежели все сразу. Positive technologies так делают

128 микроядер зацикленно выполняют микрокоды.....

Любое упоминание скрепного "эльбруса" способно испортить любую хорошую лекцию.

любой необработанный эксепшен и все это ляжет

Не думал, что доживу до начала попыток реализации операционной системы, модель которой я разработал в 1993 году, правда у реализаторов всё ещё очень жидко и по детски, но уже лучше, чем ничего. В любом случае, было интересно послушать и вспомнить дела минувших дней. ;)

Где можно скачать Фантом ОС?

Какой только бред не несут около-компьютерные специалисты. Интересно на каком автор работал компьютере, где не было операционной системы. Ему бы надо с ассемблеров начать. Слушать - просто жуть.

Странное мнение насчёт аннотаций. Это наоборот скорее костыль. Если ширина картинки должна быть 20px, не надо давать возможность запихнуть картинку другой ширины, а не намекать на то, что надо 20. К тому же, если это не для компилятора, зачем это добавлять в язык, если это можно делать тоже самое в комментариях или препроцессорах? Насчёт checked exceptions тоже странное мнение, вроде все более-менее единодушно решили, что вреда больше чем пользы. В коде на Kotlin аннотаций намного меньше, чем в Java, потому что самые нужные вещи (nullability, override, mutability) вляются частью языка, а не аннотациями. А checked exceptions вообще нет. На Go смотреть не очень интересно, это такая очень скучная рабочая лошадка, сажаем так). Ну там есть какие-то идеи типо каналов, горутин и *необычной* обработки ошибок, но в целом ничего особо интересного. Лучше посмотреть на Kotlin или Swift или что-нибудь поэкзотичнее типо Elixir. P.S лекция интересная, я почему-то прокомментировал 5 минутный отрезок Q&A

так же невероятная чушь про локфри и про какие-то иммутабельные структуры данных. Таких структур нет и он сам же дальше говорит "добавляем". Что ты собрался добавлять в то, куда ничего нельзя добавить? Правильно - тебя поимела пропаганда. Потому как то, что тебе впарили под иммутабельным откровением - это банальные мутабельные структуры. Он там в фп узнал о деревьях. Да ты чё, гений. Несколько буферов существовали ещё тогда, когда об фп(это вообще новодел из 90) никто не знал даже. Привет та же графика. По поводу локфри. Никаким образом тебе никакое локфри не поможет. И никакой жопой оно никуда не масштабируется. При этом он даже сам об этом говорит. То, что "масштабируется" имеет такие проблемы, что толку от этого никакого нет. В большинстве случаев локфри - это просто юзерспейс-локи. Масштабируемость сводится не к тому, чтобы выкинуть мусорный мутекс. Это мало что даёт - это уже тысячи раз доказано практикой. Даёт именно нормальная организация, когда ты не как однопоточная макака долбишь из всех потоков в один список.

Такого нудного рассказа о процессорном ядре я ещё не слышал

"Война и немцы" , "закон Мура сдох, закопали, все". Осталось добавить "можем повторить".

обучите linux , удачи linux уже 8% на десктопах , linux % вырастет я Владислав

вот почему ясень дно глючное, тем более сервисы! монстр кастыльный!

назойливая реклама "Байкала"

У него прям очень плохо с методичкой. Какая-то ява, которая является мусорным мусором и на которой не написано ни одной сложной программы. Она существует в своём мире - легиси поверх откатов сана. Вот и сводится всё к формашлёпсу, либо обмазыванием тех самых аннотаций. жвм такой же мусорный мусор. Каким образом это бездарное может вообще сравниваться с ллвм? Не говоря уже об гцц. Про аннотация - есть везде. Максимально примитивная херня. Были в си ещё до явы. Жс, пистон, да даже раст(но там это сишные атрибуты ворованные, а не жаба-аннотации). К тому же аннотации все хейтят в силу того, что они никак не влияют на тайплевел и всё это должно выражаться на уровне него. Про С++ - полнейшая чушь. С++ сформировался как язык с прихода последнего стандарта. То, что он понимает под С++ - это си с классами, который в массе своей до сих пор живут в конце 90/начале 00. Про фп такая же чушь. Замыкания и прочее не имеют никакого отношения к фп.

Автор не понимает о чем говорит и допускает много ошибок в повествовании, и это Яндекс!

Полезненькие танцы с бубном, но я сделал лучше. И ничто ни с чем не пресекается, если не надо. А главное это ничто можно добавлять и добавлять и добавлять. Но классно, что такая проблема не только у меня возникла - значит не зря я парился.

понимаю скучающих парней в первом ряду_))

Пример программиста остановившегося в развитии. Каждый наверное через такое проходил что только освоился какой то системе программирования полюбил ее, пригрелся к ней, как тут же выходит новый стандарт языка в котором нихрена уже непонятно, или новый язык или фреймворк, и тогда встает дилема или все по новой то есть осваивать инструмент дотумкивать как эти темплейты и лямбды в плюсах работают или оставаться в уютном мирке.

Какого он как в проруби, весь интерес после 5 минут его ходьбы пропал

Православный фантазёр. Помню, как 5 лет назад, такие умники выливали тонны православных помоев на Иллона Маска...

болтовня все это, лучшеб делом занимался.