NAS for 20 HDDs. Part 5. Changing motherboard again, Testing 10 Gbps, Home Assistant on NAS 

killer feature of IPMI - это возможность подключать образы флоппи-диска или ISO-шки. То есть, система лежит, лезьть на антресоль за домашним серваком неохота, тянуть вниз эту дуру на 15 кг с дисками. (А наверху он потому что там пыли меньше). И вот запускаешь java-клиент, цепляешь ISO-шку через Virtual Storage и грузишься с неё (Live CD). Ну и разбираешься что там случилось с основной ОС. Если на домашнем сервере стоят нормальные фильтры на вдув, то тогда сервер достается только чтобы заменить/почистить фильтры - раз в год. А больше причин его трогать и нет - всё можно делать удаленно.

Шикарно! Любимая рубрика! Надеюсь, будет время подробно рассказать про Home Assistant (подключение разных устройств с разными протоколами). Благодарю за труд!

Спасибо за обзор. Качественный монтаж, не скучно, и в целом есть что на ус мотать)

Спасибо, всегда с большим интересом смотрю ваши ролики.

Спасибо огромное за интересный контент! Всегда с удовольствием смотрю Ваш канал! Спасибо!!

Очень интересно и полезно. Большое спасибо, Руслан 🙂!

Как всегда здравствуй, смотрим ,лайкаем)))

Благодарю! Очень интересно.

Огромное спасибо за профессионально (во всех отношениях и даже в эстетическом) сделанный материал! Прям вдохновлён и думаю приступить к построению своего хранилища. Скажите, нет ли у вас новостей по данному проекту в связи с прошествии ещё одного года использования? Уверен многом будет интересно увидеть продолжение этой серии, даже еси Вы просто поделитесь новостями и мыслями. Спасибо!

спасибо, интересно было

Привет! Спасибо за видео, как обычно на высоте. А будет ли на канала обзор Mac OS? Фишки, опыт, эмоции, полезные советы?

*Купил новую мать 2011* тут я упал со стула! Крайне рад, что вы решили проблему! Эх, IPMI на китай мамках это анрил. Свой загрузочный ссд можно вернуть в 1й pcie слот, через переходник *pcie to m2*, брал на алике. П.С. Отдельный респект за саунд ;Р

Спасибо за ролик)

Эх, комп собрал за 2 штуки баксов. Надо дом строить, и мечтаю теперь о большом насе. Сейчас стоит старый пк, и там 15 дисков крутится, хочется норм корпус и мать и ссд 😂

По поводу лицензии на ipmi, умельцы уже провели реверсинжениринг и в инете можно найти генератор ключей

охуенный сериал про домашний сервак ждем новых эпизодов!

Ну, наконец-то купил х10 от супермикро. Для ссд можно купить переходник м2 в pci-e слот.

@Michael, да подтверждаю практикой. С завода нет поддержки ECC. Дано: - Корпус Fractal Design Define R4 - вентиляторы 2 на вдув 700 об/мин, 1 на выдув 700 об/мин. - Xeon E5-2620 v3 @ 2.40GHz - 4 планки Samsung 8Gb ECC - система стоит на зеркале из китайских SATA SSD KLLISRE 60GB Пулы: - Зеркало из 2 x MG08ADA800E , быстрый, ну очень быстрый 😁винт , и холодный - средняя Т~33° + к этому пулу включен кэш SAMSUNG_256EVO970PLUS - Стрип из 2х зеркал: 2 x SeagateEXOS_ST6000NM0115-1YZ110 холодный - средняя Т~36° и 2 х SeagateEnterprise_ST6000NM0024-1HT17Z как и положено=горячущие - средняя Т~39-42° + к этому пулу включен кэш какой-то SSD SATA на 256Gb - ну и для Джейлов и "системной периодики" отдельно отведен = KINGSTON SA400S37240G Мать: Huananzhi X99-ZD4 с завода есть 4х канал но нет поддержки ECC - печалька. TrueNAS так и показывает на заглавной в разделе память. Запросил у производителя прошивку с включенным ECC - прошил. TrueNAS стал уже показывать память с поддержкой ECC. Биос с гитхаба от Кошака пока что не шил. Турбобуст не нужен пока что. Стоит задача как и у всех = УТОПТАТЬ ТИШИНУ И ЭНЕРГОПОТРЕБЛЕНИЕ.

результат супер вышел! прям промышленное решение для малого бизнеса. доработать бы связку диски - проц -сеть. иопсы поднять. чтобы можно было с виртуализацией юзать. а то системы хранения ну оч дорогие.

Я тоже только собрал себе новый домашний сервер. Раньше был xpenology 6 с home assistant контейнером но там есть ряд ограничений и обновление странное. Перешёл на proxmox с отдельной виртуалкой на SSD для home assistant и отдельной виртуалкой для мультимедиа и файлов xpenology 7. Пробовал truenas но он больше для офиса подходит из-за усиленной безопасности и довольно мудрёной настройки. В офисе пару серверов хранения бэкапов на нём по NFS с дедуплекацией. Jail проброс портов связь хранения, ну не для дома это

35:12 - Так начинается прощание с миникомпьютерами и клубками проводов))

дома собрал себе тоже сервак, накатил CasaOS и Nextcloud, в CasaOS поставил HandBrake приложение, для авто конвертации прокси, заливаю через приложение на IOS nextcloud видосики с айфона в 4к, они автоматом конвертятся в прокси, а по локалки работаю с проксями, потом просто заменяю на оригиналы 4к. Nextcloud использую как хранилище через https с ssl, чтоб клиентам отправлять файлы и видео

А как на момент записи ролика обстояли дела с уходом дисков в спящий режим штатными средствами? Без скрипта...

Подскажите пожалуйста, у вас с Мака по протоколу самба хождение по папкам быстрое идет ? И поиск файлов к примеру? У меня с винды все летает, а с мак ужасно тупит. Поиском вообще пользоваться не вариант.

Просьба еще глянуть NFS. Интересно как там со скоростями. Спасибо

У меня встал вопрос сбора сетевого хранилища и выбора ОС. Но во FreeNas есть вопрос, можно ли обойтись без форматирования жёстких дисков и рейда? Будет один диск на 2тб и хочу также подключить к этому серверу локальный принтер, который хочу расшарить и чтобы могли печатать и сканировать документы. Также хранить файлы для просмотра тех же фильмов на смарт тв)

Шикарно

на алике есть платы переходники с nvme на ssd (для себя взял, так как на старой матери нет m2 разьема, а в будущем планирую менять мать)

Почему был выбран именно Home Assistant, а не MajorDoMo? например?

Я изначально поставил Home Assistant на свой самосборный NAS, но быстро отказался от такого решения. Причина в том, что обслуживание NAS по любой причине оставляет тебя без умного дома на это время. Да и смешение функциональности увеличивает риски отказа. Поэтому я применил SRP и HA переехал на выделенный комп, который занимается исключительно умным домом. Плюс в контейнерном варианте супервизор HA вечно негодует, он желает единолично всем править.

Для больших скоростей надо включать Jumbo Frame. Плюс, имеет смысл настроить количество и размер аппаратных очередей для сетевых адаптеров, сделать привязку к конкретным ядрам. Так же, в линуксе есть ещё настройки так называемого бюджета и поллера. Этим можно повлиять, сколько сетевых пакетов будет обработано за один вызов обработчика прерывания.

Спасибо большое за труд! Не могли бы Вы подсказать ссылку на скрипт и описание к скрипту который позволяет смотреть температуру и останавливать диски. Или видео может снимите я думаю много кому было бы интересно!

Прошу подсказать, как настроить HA для работы на TrueNas с USB стиком. Ничего не получается, а Вы говорите, что гуглится за 3 минуты...

Красота какая

Если используете Plex, советую поставить видеокарту для аппаратного кодирования и декодирования, а так же настроить временные папки в оперативную память. И все таки нужен SSD для кэширования записи

Подскажите пожалуйста где можно найти саунд из видео?

интересно как себя покажет на wifi. с ноутом быть привязанным к проводному адаптеру как-то не айс

Проблема в низкой скорости копирования в том что используется всего 1 ядро ЦПУ, а тк у Вас ЦПУ слабенький то он является узким местом в данном случае... Тоже сталкивался с такой проблемой, тут важна частота на 1 ядро в выборе ЦПУ! Спасибо за Ваши видео и удачи!

Сразу напишу, ваши ролики про сервер пересматривал раз по 50, вам респект. Здравствуйте Руслан. Прекрасно понимаю что из за сложившихся обстоятельств вы сейчас не уделяете время YouTobe, но если есть возможность, не могли бы мне подсказать, конфигурация вашего сервера осталась та же?, я уже давно собрал себе сервер на системе TrueNAS Core но длительное время так и не могу рационально распределить все диски и флешки (то бишь: Что пустить под Cache, что пустить под Logs и т.д. ), прекрасно понимаю, что для дома наверное половины и не надо, но это вот мой личный как-бы так сказать заскок, хочется из мелочи выжать максимум. В наличии имею: HDD 3,5 - 3Tb x1 шт. (Используется как MEDIA для хранения фильмов и музыки) Model - ST3000DM001-1ER166 HDD 3,5 - 1Tb x2 шт. (RAID - Mirror) - Model - GB1000EAMYC (Использую для важных файлов) HDD 2,5 - 1Tb x2 шт. (RAID - Mirror) - Model - ST1000LM049-2GH172 (Использую под облако NextCloud и виртуальные машины) SSD 2.5 - 60Gb x1 шт. - Model - KINGSTON_SV300S37A60G (Не могу определится, под какие нужды его можно использовать) SSD 2.5 - 120Gb x1 шт. (Используется для установки приложений Jails) - Model - PNY_CS900_120GB_SSD USB SSD - 32Gb x1 шт. (Пока что используется как загрузочный носитель) USB SSD - 60Gb x1 шт. (Использую так же как и вы, для хранения всех настроек) В перспективе есть план доукомплектовать еще 4-мя SSD или HDD но не знаю пот какие нужды, возможно вы что посоветуете, куда-то добавить или в качестве чего-то установить (Log, Cache или что-то в этом роде) Буду очень благодарен за любую подскажу, даже если будет информация не от автора видео.

для NVMe дисков есть на али дешевые адаптеры - PCI-E => 2xNVMe. И скорее всего даже загрузка будет работать с него.

У меня на X10DRi в супер доктор не показывает информацию по винчестерам в рейде, особо не разбирался пока.

привет, у вас случайно нет видео, как вы разварачивали TrueNAS с настройками и установкой. ? очень интересно.

А ну и отсутствие M2 на плате давно не проблема. 5-10 баксов и pci-e переходник на базе. При чем есть и под 1 и под 2 и вроде под 4 накопителя сразу. Единственное не у всех хорошо разведены дифпары и очень много ошибок на линиях (железо само это разруливает) и может проседать скорость, а то и вообще не достигаться заявленных. Тут надо гуглить. Но я 3 штуки разных пробовал и ни на одном не достиг заявленных скоростей. Сую в порт на плате и скорости тут же становятся заявленными.

Фантастический клёвый перфекционизм! Аж голова "кругом". И сколько же навскидку по деньгам такое чудо выходит? (не считая затрат своего времени).

Реле скорей всего сщелкает не на материнке, а в БП. У меня БП корсар тоже щелкает (именно как элетромеханическое реле) при включении/выключении ПК

Доброго дня вам. Я не нашел видео у вас, в котором вы перешли с можордомо на Хоум ассистент. Ранее вы говорили что Хоум ассистент убивает карты памяти, соответственно и SSD тоже умрёт быстро. Какие основные причины были перейти на другую платформу умного дома? Каковы результаты? И можно ли использовать телеграмм бот на Хоум ассистенте?

Привет. иногда просматриваю ваш канал... , Для нормального управления IPMI BMi - установите java, IPMI v2.0, пропишите все данные для управления, SUPERMICRO серверные платы - использую с 2003 года - (стабильные, надежные, не глюковые) правда покупаю лицензии к платам(важно обновлять вовремя). Удачи!!!

Веб-нтерфейс во время перезагрузки отваливается из-за того, что используете порт в режиме разделения. Чтобы в таком режиме попасть в БИОС, можночерез консольный клиент сказать IPMIке, чтобы при следующей перезагрузке зашла в БИОС. Интерфейс всё равно отвалится, но когда связь восстановится, можно будет отредактировать настройки БИОС. Что касается хрома, то последняя версия хрома какая-то кривая, она почему-то использует TLSv1, который много где уже отключён. Возможно, дело в этом.

Осталось собрать кластер из трех нод на ceph )

На тему IPMI, как говорят коллеги о HP, если с сервером какая то проблема - обновляй ILO :).

Я в компьютерах особо не понимаю но, я как понимаю такое хранилище можно пристроить для хостинга чего нибудь, например сайты, игровые сервера и т.п?

Ну наконец-то на супермикру перешли. Купите intel s3700 или s3500.на 128-256гб бу под систему и прочее, абсолютно неубиваемые серверные ссд, хватит на всю жизнь. Vga из-за kvm, он простой как сапог

спасибо за интересный материал! себе собрал попроще уже более 10 лет назад. сейчас ищу замену материнки, поэтому штудирую материалы, где только найду :) подскажите, пожалуйста, что за вентилятор установлен на raid-контроллер ? у меня вот такой LSI 9265-8i, греется до 60-62 градусов. хочется охладить еще сильнее.

Привет! Дружище скорость измеряется в битах (ботах), а объем(размер файла) в Байтах. 60,5ГБ * 1024 = 61952МБ * 8(размер байта в битовом представлении) = 495616Мб / 145сек ~ 3418Мб/с ~ 3,3(4) Гб/с

расскажите пожалуйста, зачем такие мощности? и очень интересны сценарии применения умного дома.

По поводу отвала веб морды у ipmi я вообще удивился что вы через кабель для сервера смогли на него попасть. 2 интернет разъема 1 это разъем сервера 2 это разъем ipmi. У нас на всех серверах так. У меня к сожалению нет доступа к железу. Но поключать ipmi надо отдельным кабелем, это факт.

10:03 обратите внимание на Нижний синий правый порт его через переходник вроде можно до тайп си подтянуть (кстати переходники дешёвые в три ёмкости две массы) на 10 гб тоже.

На таком процесоре (2630lv3) кто пытался ставить XPENOLOGY? что получилось если да? какой загрузчик?

посмотрев все ваши 5 роликов понял что это слишком и просто напихал в старый комп 4 жёстких дисков и включаю только когда нужно скинуть файлы или забрать что не будь.

А как там с ребилдом массива? Сколько это времени может занять? Я в прошлых роликах писал, что ceph будет более лучшим выбором, так как там в целом система строить хранилище по каждому диску. И система может работать и при сбойных дисках. А в raid5 проблема с ребилдом, время много проходит пока массив соберётся. Все это время у тебя нет возможности использовать систему.

Руслан, тебе поможет или iscsi (как ты сказал) или SMD Direct, но дома его сложно реализовать, нужны коммутаторы с поддержкой RDMA, если это ROCE v2, а IWARP сетевушки шиш найдешь куда пропал? где наш умный дом?

Вряд ли скорость СМБ влияет. Да, она жрет конечно, но не настолько. На скоростях гигабита - 100% никак, причем я тоже с мака на домашний сервер постоянно копирую. У меня не ТруНАС, сервер на аппаратном RAID-5 8 дисков, WinSrv 2012. Чтение с массива - под 600 гбайт в сек на сервере (и то упор был в ССД наверное, массив может больше), запись поменьше. Т.е. была бы у меня сеть 10гбит - проверил бы, но думаю упор идет в скорость массива. Пора мне тоже покупать сетевухи на 10гбит....

Для портов на передней панели есть переходничек с USB 3.0 на USB 2.0, на том же ebay

Здравствуйте, а зачем Вы переходите на macOS? Чисто из-за софта или есть какие-то специфические причины? Спасибо, смотрю каждый ваш ролик, прекрасный монтаж, полезная инфа)

давай 6 часть, с файбер ченел и афа-хранилкой)

Что за корпус?

Привет! Подскажи, пожалуйста, а что это за скрипт на остановку HDD в бездействии? Как он называется, где его можно найти? Спасибо.

На самом деле, просто нужно было более старый биос на китайскую плату зашить. В новых биосах китайских односокетных плат ECC не поддерживается. Дело было не в плате, а в биосе

В 2022 уже есть смысл PiKVM городить вместо BMC. В сети опубликован однострочник генерирующий халявные ключи Supermicro из мака BMC.

Где купить расширить в корпус для жёстких или где купить такой корпус?

Звездец конечно, как даже под вентилятором чипы контроллера греются. И это при софтовом рейде. Думалось, что можно прилепить радиатор побольше и пассивом обойтись. Также, если возможно, просветите с следующем ролике остановку шпинеделй. При активной самбе, там постоянно какая-то сетевая активность будет от бродкастов клиентов. Интересно, насколько это работает. Если захочется делать бэкапы с нескольких домашних машин ночью. (ps: количество раскруток шпинделя за день можно увидеть в смарте).

Сколько оперативки сейчас используете и какое общее дисковое пространство сейчас у вас?

У TrueNas усть версия Scale, со встроенным kubernetes (кажется k3s а не k8s). Если не хочется возиться с kubernetes, можно одним скриптом в автозагрузке, превратить kubernetes в Docker Compouse. После чего, разворачивать там чего угодно. К слову, TrueNas Scale не на FreeBsd, а на Debian.

На какую камеру снимаешь, если не секрет?

Интересно, есть ли поддержка Intel Optane на такой материнке? Можно удобно сделать с ним кэш и не бояться внезапных выключений сервера во время его работы

hp обычно всегда делали что бы можно только их продукции подключать на плату

думаю сликом жирно для TrueNas, такая конфигурация и режим использования. Как вариант - поставил виртуалку -ProxMox. там создал машину с TrueNas, HomeAssistant, и т.д. И в Proxmox сформировал storage ZFS 30TB и отдал TrueNas. В случае обслуживания hassio не падает. Raid под контролем у ProxMox. Также остальнве виртуалки под контроллем, и удаленным обслуживанием. вся система сидит на отдельном SSD 256.

Что с энергопотреблением? ;) На счет сжатия, если не ошибаюсь, используется алгоритм lz4 (по умолчанию), он оч эффективен в отношении процессоров время и коэффициент сжатия. Измерять скорость копирования на/с zfs занятие "такое себе" используется кэш в памяти, диски, выделенные под кэш, если таковые настроены И так далее

Загрузочные флешки для FreeNas деградируют быстро (как расходник), может рассмотрите ещё один usb ssd под систему?

Я бы диски установил через один, вибрации меньше передавались да и не грели бы они друг друга, по поводу ipmi у супермикры есть такие приколы, советую обновить прошивку bmc благо на сайте они в свободном доступе. А поводу миникомпов я всегда был против, проще собрать дома сервачок и хранить все на нем щас благо куча систем виртуализации и контейнеров

1) Меня одного смущает просажанная линия 12v при таком низком энергопотреблении (видно в мониторинге через IPMI) ? 2.1) Понять что является слабым местом - SMB или массив очень просто! Заходишь в web gui -> Командный интерпретатор -> копируешь с одного массива на другой данные, а скорость смотришь через Отчёты (в соседнем окне) 2.2) Чисто для справки у меня в пике при копировании с забитого массива на пустой было 1 с хвостиком Гигабайт в секунду оба массивы это шесть 10 tb дисков в RAID-Z (он же по сути RAID 5) 2.3) Так же ты забыл что ZFS ЛЮБЫЕ операции с данными проводит через оперативную паять и далеко не сразу ее очищает, так что данные нужны разные для копирования с сервера и загрузки на сервер 3) на iSCSI никакой оперативной памяти не напасёшься этот протокол ест ее как не в себя !!! 3.1) и да, данные которые лежат на сервере в iSCSI LUN доступны только через этот протокол и не как иначе, что добавляет лишнюю головную боль при определенных сценариях!

такой ты рукастый и продуманный!!! но как ты наносишь термопасту - руки оторвать. столько пузырьков!!! такая похабщина)))) в центр проца делаешь аккуратный холмик, прижимаешь кулером и эта шляпа без полостей начинает выдавливаться по всей соприкасающейся поверхности. что сложного?

Блин, заказал себе HUANANZHI X99 F8D, в описании написано что поддерживает ECC REG оперативку, теперь интересно работает или эта функция вообще

А почему smb? На Unix нормально работает NFS. Интересно было посмотреть на скорости при копировании по SSH.

17:30 IPMI не реализует видеоадаптер, а берет уже обработанный сигнал с видеочипа. И не понятно почему тест проходил на SMB, ведь TrueNAS поддерживает родной маковский протокол шаринга. Если уж тестировать Microsoft протоколы, то хотя бы с одной стороны был Windows

Скорость 400мбайт на 10 дисках это что-то запредельное. Может просто купи hp smart array p420+ ты удивишься на сколько он быстрее

Не заметил в видео RAID был?

Чувак, возвращайся с видосиками, очень скучаем😢

IPMI реализован на Java. а с Java браузеры работают плохо. надо и в браузере добавлять узлы в надежные и в самой джаве разрешать узлы. плюс хром вообще по умолчанию не поддерживает уже Java. IE или Edge рулит. тоже постоянно испытываю проблемы с доступом к вебке админки серверов.

Видео интерестное спасибо за контент, но как же все это дорого для того кто чисто для себя использует сервак по типу Sinology

трэк Janic - Let You Go?

Plex периодически сканирует библиотеки так, что расмещение его на отдельном ssd не решает проблему пробуждения дисков, если библиотеки находятся на этих дисках

с одной стороны конечно круто, а с другой вот мы уже и превысили стоимость готовых решений)

2:35 Ну капец - тот случай, когда сначала надо было делать правильно (по инструкции к серверам).

16:40 перепрошить BIOS бесплатно из под IPMI не получится Supermicro преусмотрела и продает ключ для вашего MAC/SN платы, но можно в интернетах найти скрипт который генерирует этот ключ и вроде бы до сих пор актуален

"меняю мать".. родителей не выбирают) вспомнился ролик из прошлой жизни и фраза, что выбираю мебель из икеи, т.к. всегда можно докупить и заменить...

Хотел было спросить "зачем память с ЕСС". Ниже в комментариях прочитал, что это полезно для софтового RAID. У меня есть домашний QNAP на 6 дисков. В нем память - обычный SODIMM. NAS раз в неделю запускает скраббинг. Ошибок не находит. Вот теперь думаю, переживать по поводу "исправности данных" или нет.

А почему перешёл именно на макбук? В чем конкретно для тебя плюсы мак ос?

Я для дома склоняюсь больше в сторону ARM архитектуры в виду ее низкого энергопотребления или x86 процессоров с TDP 10-12 Ватт. С количеством диском и их типом (HDD/SSD) в этом плане тоже вопрос актуальный

Сколько лет прошло, а IPMI у Supermicro остается таким же простеньким по функционалу, страшненьким и с теми же глюками виртуальной консоли. Для сравнения посмотрите аналогичные вещи например у HP или Dell, называются iLo и iDRAC соответственно. Небо и земля на мой взгляд.