Тёмный

Роман Таранов (Сбер) - Темная сторона Java 

JPoint, Joker и JUG ru
Подписаться 55 тыс.
Просмотров 6 тыс.
50% 1

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
Спикер расскажет о кейсе, с которым его команда столкнулась при решении проблем промышленной эксплуатации высоконагруженной системы. Причиной проблем и главной темой доклада стало применение нативных функций.
Роман попробует развеять миф о том, что в Java не надо следить за памятью. Выясним, что не вся память, используемая Java, во власти GC.

Опубликовано:

 

30 сен 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 32   
@onehalf_
@onehalf_ Год назад
Мы написали свой велосипед. 6000 потоков - нормальная ситуация. Да-да, конечно, у России свой особый путь. )) Я так понимаю, JVM на серваке с не менее чем десятком Xeon по 52 core (ну надо же на чем то всю эту тьму потоков исполнять)?. )) Проблема не в потоках JVM м GC непосредственно, проблема в нативных потоках, переключении контекста и фрагментации памяти на уровне ОС. Проблема фрагментации памяти частично решается заменой менеджера хип памяти в Linux. В целом доклад поверхностный и в проблеме, походу, до конца не разобрались.
@ghostl3r
@ghostl3r Год назад
Да проще там проблема, просто забыли про off-heap память jvm.
@vasiliigulevich9202
@vasiliigulevich9202 Год назад
@@ghostl3r Потрясающе. 30 минут одной фразой. Демонстрирует квалификацию. Любой нормальный мониторинг сразу такую ситуацию обнаруживает, чем всё это время занимались совершенно непонятно.
@Max-wn2gd
@Max-wn2gd 7 месяцев назад
Что ты несёшь? Причем тут РФ? А что им делать, как не писать "велосипед", если альтернатив нет ? Поражают такие альтернативно одаренные... Ещё и напыщенности хоть отбавляй. Мда
@Psyjewnaut
@Psyjewnaut 11 месяцев назад
Это не тёмная стороны явы, это тёмная сторона программистов сбера, которые на собесах спрашивают принципы солид и знание документации
@alexeialexei7910
@alexeialexei7910 7 месяцев назад
Как же в точку!
@romanzaripov3481
@romanzaripov3481 11 месяцев назад
Доклад проточная вода, никакой конкретики
@ma3ai29
@ma3ai29 10 месяцев назад
30 минут ни о чем видимо, доклад (на "отстань") ради доклада, чтобы сбер не просто так был первым в списке спонсоров презентация - "топ": ни одной метрики, ни параметров и каких-либо величин ответы на вопросы тоже шедевральны: 26:50 "ну.. э.. списка библиотек четкого нет.. э.. ну вот.. спринг.. э.." 27:41 "э.. точных замеров нет.. " 28:22 "э.. ну этот вопрос не до конца ясен.. четкого понимания нет.." з.ы. вообще такое ощущение, что и проблема выдуманная ради того, чтобы хоть что-то рассказать на JPoint-е
@alexeialexei7910
@alexeialexei7910 7 месяцев назад
Парню нужно было выступить, чтобы выполнить KPI и получить премию. Ну что вы пристали...
@mrkandreev
@mrkandreev Год назад
Страшно, очень страшно! Мы не знаем что это такое, если бы мы знали что это такое, мы не знаем что это такое!
@ZhekaKozlov
@ZhekaKozlov 11 месяцев назад
А где это Spring использует JNI? Первый раз слышу.
@jonua
@jonua 7 месяцев назад
Я правильно понимаю, что некоторые люди заплатили деньги за то, что бы это послушать?
@redneck_prm5429
@redneck_prm5429 7 месяцев назад
сверхкритичный финансовый процессинг, а на мониторинге нету алертов на занятость свопа? это прям эпик фэйл, особенно с учётом того, что на осознание проблемы ушли месяцы.
@pashnyovv
@pashnyovv 11 месяцев назад
дивився б це відео, не було б ніяких чорних сторін Андрей Паньгин - Память Java процесса по полочкам
@efimovta
@efimovta 3 месяца назад
Спасибо за доклад, интерено послушать такие кейсы
@Петр-в2с
@Петр-в2с Год назад
обрыв логов, внезапное падение, непостоянство падений. Что же может быть? По моему ответ очевиден на первом же признаке - тупо OOM. Вот и весь кейс. Ну и своп должен быть, лучше всего не меньше половине реальной ОЗУ (для СП). Плюс мониторинг использования ОЗУ в ОС. Плюс ОЗУ под линукс не освобождается джавой, если она сожрала память, то все она ее не отдаст. Сам участвовал в подобных расследованиях. Разрабам, не работавшим с "кровавым" энтерпрайзом, это наверное непривычно)) Кстати память сверх выделенной кучи, джава ест дай бог в энтепрайзе, поскольку нативный API используется самой джавой, например при обработке блобов. Свободную ОЗУ лучше держать равным >=0,5 от Xmx.
@vladimir.kravets
@vladimir.kravets Год назад
OOM по xmx все таки выдаст эксепшен в логи, а вот когда снаружи linux прихлопнет jvm, там да, обрыв логов симптом весьма характерный. В остальном это конечно какой то испанский стыд для sre, что не определяется, что залезли в своп, что работал oom killer, что в мониторах не видели общую память сервера.
@savrikbot
@savrikbot 7 месяцев назад
Спасибо, интересно было послушать, но чувствуется, что до конца в итоге толком не разобрались. Но, будем иметь ввиду о таким особенностях
@sergeng-gd5ev
@sergeng-gd5ev 10 месяцев назад
Спасибо, очень интересный доклад. Не знал про эту особенность нативных функций.
@bananasba
@bananasba Год назад
Была проблема , очень давно, рвались подключения к сервису, выглядело как сетевая ошибка, а на самом деле из-за ошибки в jni падал замертво тред на другой стороне, при этом сервис работал как ни в чем не бывало, а джава тихонько писала дамп себе в папочку.
@mherarsh
@mherarsh 11 месяцев назад
Сталкивался с тем жён не .net core )))
@pashnyovv
@pashnyovv 11 месяцев назад
maloc
@sjavaoradev
@sjavaoradev Год назад
а какие библиотеки вы использовали ?
@ievgenmajor3301
@ievgenmajor3301 Год назад
Не православньіе, от англосаксов
@viaznin
@viaznin Год назад
Слушать конечно было интересно, но не хватает конкретики, за полчаса доклада относительно полезной инфы - смотрите за ресурсами машины, играйтесь с JVM параметрами и читайте логи до конца. Качество полезности точно не "уровня Сбера", как неоднократно выразился докладчик
@alice_love_
@alice_love_ 11 месяцев назад
По-моему, наоборот. Как раз таки такой уровень и есть в сбере.
@sokhinnikita1493
@sokhinnikita1493 Год назад
Немного странно что контейнер с приложенькой катастрофически аффектил хост систему. Ведро линукса должно было килять контейнер при первых признаках утечки памяти.
@SergeyStsiborsky
@SergeyStsiborsky 11 месяцев назад
там нет контейнера
@rudinandrey
@rudinandrey Год назад
ух ))) детектив, прослушал на одном дыхании
@ZhekaKozlov
@ZhekaKozlov 11 месяцев назад
Надеюсь, это был сарказм
@rudinandrey
@rudinandrey 11 месяцев назад
@@ZhekaKozlov нет, почему сарказм, люблю такие истории. Сам в таких периодически участвую. С бубном даже танцую :)
Далее
Это нужно попробовать
00:42
Просмотров 437 тыс.
Это нужно попробовать
00:42
Просмотров 437 тыс.