Дисковый массив iSCSI SAN, кластер на Windows Server 2008 R2 и Hyper-V

KDvr> Кто-нибудь уже имел счастье видеть вживую и работать с iSCSI SAN? А Hyper-V в MS Windows Server 2008 R2?
KDvr> В первую очередь интересует работа таких дисковых массивов в связке с MS Windows Server 2008 R2.
KDvr> Вопросов очень много. Литературы очень мало.
KDvr> Как делать наиболее оптимально?
KDvr> Как строить структуру сети?
KDvr> Чем лучше соединять свич для приватной iSCSI сети с самим дисковым массивом (оптоволокно или витая пара 10ГБит)?
KDvr> Как строить отказоустойчивость с точки зрения массива (RAID50 или RAID5 + RAID5 + 2HotSpare)?
KDvr> Отказоустойчивость с точки зрения обвязки (два свича для приватной iSCSI сети и два контроллера)?
KDvr> Если делать кластер из двух серверов на MS Windows Server 2008 R2, то как делать отказоустойчивое окружение? Имеется ввиду оптимальный набор компонентов и их соединение друг с другом.
KDvr> Вообще мысль изначальная была в построений системы виртуализации серверов и клиентов на основе Hyper-V в MS Windows Server 2008 R2. Кто-нибудь видел вживую? Как работает? Отзывы (плевания?).
KDvr> Обязательно-ли в качестве точки доступа к LUN iSCSI SAN использовать сервер или можно подключать прямо к клиентам? Можно-ли в таком случае настроить права доступа средствами дискового массива или лучше делать через домен?
KDvr> Буду очень благодарен за любую информацию.


по виндам не скажу

из того что сейчас в работе (скоро сдача в продакшен, пока доделывается)

лефтхэнды (пара HP 4300 , итого 4 узла\полки) по iSCSI c линухами работают (шапка оракловая на пролиантах) ну и собственно ораклы

осложненно тем что нужно было вписаться в только что оборудованные серверные, особо инвестировать в сеть не было возможности

в идеале конечно нужно делать параллельно независимую сеть и привязывать её 10G линками к ядру
физика - голосую за оптику, она универсальна, хоть через этажи её прокидывай и кроссы

SFP-10G-SR/ SFP-10G-SR в каталисты
HP BLc 10Gb SR SFP+ Opt в пролианты
HP 5m Multi-mode OM3 LC/LC FC Cable (или другие мультимодные патчкорды LC-LC 50/125)


в каждой из двух серверных один сервер + два узла, в ядро сети (45е каты свежие) установлены 10G карты (по две в каждый каталист) , все компоненты привязаны 2 оптическими линками (по 1 карте)
была идея взять отдельные свитчи топ-он-зе-рэк но решили финально что если упадёт ядро то сервера полюбому будут не интересны ))
ядра этажей соеденины 10G оптикой между супервизорами каталистов
узлы лефтхэнда и сервера находятся в простом серверном вилане


по деталям настройки лефтхэндов можно поднять доку, не помню чем там закончились препитии с настройкой, помоему собрали все 4 узла в 1 массив который должен жить при смерти любых двух узлов (в наихудшем сценарии минус целиком одна серверная) , на нём сделали разделы под оба сервера + вмварную систему (параллельно делается)
на самих полках страйпсеты с избыточностью и спейрами (RAID 5)
предполагается что будет быкапиться снэпшотами которые скидываются на леточку тоже подключенную по 10G

по виртуализации - вмвара рулит (про виндовую хиперви ничего не скажу - просто не видел живьём), в детали не вникал (можно копнуть) но в общем люди занимающиеся вмварой довольны тем что им отдаётся по iSCSI от лефтхэндов

насчёт раздачи iSCSI напрямую пользователям - лично мне сомнительно, это же блочное устройство, оно само по себе домены и ACL не поддерживает, оно вообще на более низком уровне работает. Только если искать что-то что имеет встроенную самбу и умеет в домен добавляться, но это уже не iSCSI будет а обычный файлосервер...

зы перечитал, это не реклама лефтхэнда есичо

KDvr> Кто-нибудь уже имел счастье видеть вживую и работать с iSCSI SAN?
У нас стоит D-link 3200
На Win 2003 Ent. Нельзя делать iSCSI диски динамическими, отваливаются постоянно. Обычные (основной том) диски работают без претензий.

KDvr> Чем лучше соединять свич для приватной iSCSI сети с самим дисковым массивом (оптоволокно или витая пара 10ГБит)?
У нас медь 100 Мбит. 8 портов.
KDvr> Как строить отказоустойчивость с точки зрения массива (RAID50 или RAID5 + RAID5 + 2HotSpare)?
В системе (Dlink) поддерживается только RAID5. Т.е зависит от самого SAN.
KDvr> Отказоустойчивость с точки зрения обвязки (два свича для приватной iSCSI сети и два контроллера)?
Не было такой задачи. SAN используется как хранилище бекапов.
Все идет в основной сетке, для iSCSI нет выделенной сети.
KDvr> Если делать кластер из двух серверов на MS Windows Server 2008 R2, то как делать отказоустойчивое окружение? Имеется ввиду оптимальный набор компонентов и их соединение друг с другом.
Моя думать как всегда, два свича, два порта. Мультипас (Multipath).
KDvr> Обязательно-ли в качестве точки доступа к LUN iSCSI SAN использовать сервер
Да. В винде для доступа к томам нужно ставить приблуду iSCSI чего-то там. Она идет для серверных ОС.

KDvr> Чем лучше соединять свич для приватной iSCSI сети с самим дисковым массивом (оптоволокно или витая пара 10ГБит)?
ИМХО - пофиг, не те расстояния. Но оптика ИМХО отработанней.

KDvr> Как строить отказоустойчивость с точки зрения массива (RAID50 или RAID5 + RAID5 + 2HotSpare)?
Как в обычном массиве. Если интересует скорость - то RAID10 возможно придётся.

KDvr> Обязательно-ли в качестве точки доступа к LUN iSCSI SAN использовать сервер или можно подключать прямо к клиентам?
В смысле - подключать к хосту или прямо к виртуалкам? Я бы второе сделал, нафиг лишний уровень вмешивать.
KDvr> Можно-ли в таком случае настроить права доступа средствами дискового массива или лучше делать через домен?
Зависит что массив умеет. У меня стоит простенький - так он при разрешении доступа сразу все назначенные на порт луны отдаёт. Не очень удобно.

KDvr>> Обязательно-ли в качестве точки доступа к LUN iSCSI SAN использовать сервер или можно подключать прямо к клиентам?
Dem_anywhere> В смысле - подключать к хосту или прямо к виртуалкам? Я бы второе сделал, нафиг лишний уровень вмешивать.


Все зависит от конкретных задач. Если все VM подразумевают собственный экземпляр с boot from SAN, то логично пробрасывать LUN к виртуалкам. Если подразумевается управление ресурсами средствами гипервизора, то в таком случае необходимо выделять ресурсы ему. К тому же надо учитывать возможности дискового массива, на сколько LUN'ов при требуемом уровне RAID его можно нарезать.


У меня вообще вот какой вопрос, а на сколько 10Gb iSCSI решение будет дешевле 8Gb FC?

KDvr> Чем лучше соединять свич для приватной iSCSI сети с самим дисковым массивом (оптоволокно или витая пара 10ГБит)?

Пофиг. При смешанной сети крайне желательно для iSCSI выделить свой VLAN. Возможно применение STP.

KDvr> Как строить отказоустойчивость с точки зрения массива (RAID50 или RAID5 + RAID5 + 2HotSpare)?
KDvr> Отказоустойчивость с точки зрения обвязки (два свича для приватной iSCSI сети и два контроллера)?

KDvr> Если делать кластер из двух серверов на MS Windows Server 2008 R2, то как делать отказоустойчивое окружение? Имеется ввиду оптимальный набор компонентов и их соединение друг с другом.

Типично два независящих свитча с двумя парами адаптеров в каждом сервере. многие ко многим.

Если сервер физически один, то два сетевых адаптера и два изолированных коммутатора.

В большинстве случаев достаточно RAID5 + резервное копирование.


KDvr> Обязательно-ли в качестве точки доступа к LUN iSCSI SAN использовать сервер или можно подключать прямо к клиентам? Можно-ли в таком случае настроить права доступа средствами дискового массива или лучше делать через домен?

Надо понимать что на уровне SAN не возможно обеспечить контроль доступа пользователей. Без кластерной фс не получится совместное использование одного диска несколькими клиентами.

KDvr> Я вот такую схемку родил. Годится в грубом приближении?

Сорри, картинка либо мелкая, либо огромная и не желает печататься (почему-то ..)

KDvr> Я вот такую схемку родил. Годится в грубом приближении?

О, да. Забыл. Мы еще включали один их томов SAN-овского массива в виндовозовский кластер. В виде общего ресурса (для узлов). Вполне работало даже после аварийного отключения по питанию.

KDvr>> Я вот такую схемку родил. Годится в грубом приближении?
Floyd> Сорри, картинка либо мелкая, либо огромная и не желает печататься (почему-то ..)

Формат да, большой. Я просто не думал, что кто-нибудь захочет распечатывать. Ну, можно вставить как картинку в какой-нибудь редактор или в PDF конвертнуть. Могу и я конечно в PDF...

Схемка в PDF...

KDvr> Схемка в PDF...

В плане избыточности доступа к системе хранения все выглядит отлично, как оно будет работать хрен его знает.

Быть может, линк между двумя коммутаторами лишний. Я бы его либо убрал, либо перестраховался с помощью STP.

KDvr> Кто-нибудь может просветить на тему, а как примерно тоже самое, что описано выше, будет работать под управлением системы виртуализации VMWare? И вообще, на чем она базируется? Linux?

KDvr> Зачем ей тогда в качестве платформы Windows Server 2008 R2 Datacenter?


Если ты говоришь о гипервизоре ESX(i), то да - это Linux, только как всегда допиленный. ESX штука очень умная и гибкая, позволяющая работать с системами хранения, распределять ресурсы, двигать виртуалки и даже иметь некий high availability вариант конфигурации (очень похожий на оракловый standby).

Винда нужна для инсталляции vSphere, решения для управления множеством гипервизоров с множеством виртуальных хостов. Кстати, это единственный продукт за который vmware берет деньги.

iscsi multipath ESX так же поддерживает.

Вот примерчик, для представления как оно выглядит.