분노의다운힐 2023-01

시놀로지 커널에서 X550 드라이버를 일부러 빼놔서 그럴겁니다. lspci -v 해보시면 X550이 나올텐데, kernel driver in use 항목이 있는지 살펴보세요.

Greeneyes 2023-01

lspci -v 해봤습니다.
위 사진처럼 나오면 방법이 없는걸까요?

화정큐삼 2023-01

저 커널은 Tinycore 의 커널입니다.
I219-V 가지고 시놀로지 설치하시고 SSH 포트 여시고
SSH 로 시놀로지 접속하셔서 lspci -v 를 하셔야 합니다.
시놀로지 커널을 보셔야 합니다.

Greeneyes 2023-01

0000:00:00.0 Class 0600: Device 8086:191f (rev 07)
        Subsystem: Device 1849:191f
        Flags: bus master, fast devsel, latency 0
        Capabilities: [e0] Vendor Specific Information: Len=10 <?>

0000:00:02.0 Class 0300: Device 8086:1912 (rev 06)
        Subsystem: Device 1849:1912
        Flags: bus master, fast devsel, latency 0, IRQ 11
        Memory at de000000 (64-bit, non-prefetchable) [size=16M]
        Memory at c0000000 (64-bit, prefetchable) [size=256M]
        I/O ports at f000 [size=64]
        Expansion ROM at <unassigned> [disabled]
        Capabilities: [40] Vendor Specific Information: Len=0c <?>
        Capabilities: [70] Express Root Complex Integrated Endpoint, MSI 00
        Capabilities: [ac] MSI: Enable- Count=1/1 Maskable- 64bit-
        Capabilities: [d0] Power Management version 2
        Capabilities: [100] Process Address Space ID (PASID)
        Capabilities: [200] Address Translation Service (ATS)
        Capabilities: [300] Page Request Interface (PRI)

0000:00:14.0 Class 0c03: Device 8086:a12f (rev 31) (prog-if 30)
        Subsystem: Device 1849:a12f
        Flags: bus master, medium devsel, latency 0, IRQ 125
        Memory at df130000 (64-bit, non-prefetchable) [size=64K]
        Capabilities: [70] Power Management version 2
        Capabilities: [80] MSI: Enable+ Count=1/8 Maskable- 64bit+
        Kernel driver in use: xhci_hcd

0000:00:14.2 Class 1180: Device 8086:a131 (rev 31)
        Subsystem: Device 1849:a131
        Flags: bus master, fast devsel, latency 0, IRQ 11
        Memory at df14e000 (64-bit, non-prefetchable) [size=4K]
        Capabilities: [50] Power Management version 3
        Capabilities: [80] MSI: Enable- Count=1/1 Maskable- 64bit-

0000:00:16.0 Class 0780: Device 8086:a13a (rev 31)
        Subsystem: Device 1849:a13a
        Flags: fast devsel, IRQ 11
        Memory at df14d000 (64-bit, non-prefetchable) [disabled] [size=4K]
        Capabilities: [50] Power Management version 3
        Capabilities: [8c] MSI: Enable- Count=1/1 Maskable- 64bit+

0000:00:17.0 Class 0106: Device 8086:a102 (rev 31) (prog-if 01)
        Subsystem: Device 1849:a102
        Flags: bus master, 66MHz, medium devsel, latency 0, IRQ 124
        Memory at df148000 (32-bit, non-prefetchable) [size=8K]
        Memory at df14c000 (32-bit, non-prefetchable) [size=256]
        I/O ports at f090 [size=8]
        I/O ports at f080 [size=4]
        I/O ports at f060 [size=32]
        Memory at df14b000 (32-bit, non-prefetchable) [size=2K]
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [70] Power Management version 3
        Capabilities: [a8] SATA HBA v1.0
        Kernel driver in use: ahci

0000:00:1c.0 Class 0604: Device 8086:a114 (rev f1)
        Flags: bus master, fast devsel, latency 0, IRQ 122
        Bus: primary=00, secondary=01, subordinate=01, sec-latency=0
        I/O behind bridge: None
        Memory behind bridge: df000000-df0fffff [size=1M]
        Prefetchable memory behind bridge: 00000000d0000000-00000000d02fffff [size=3M]
        Capabilities: [40] Express Root Port (Slot+), MSI 00
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [90] Subsystem: Device 1849:a114
        Capabilities: [a0] Power Management version 3
        Capabilities: [100] Null
        Capabilities: [140] Access Control Services
        Capabilities: [220] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn-, PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: pcieport

0000:00:1d.0 Class 0604: Device 8086:a118 (rev f1)
        Flags: bus master, fast devsel, latency 0, IRQ 123
        Bus: primary=00, secondary=02, subordinate=02, sec-latency=0
        I/O behind bridge: None
        Memory behind bridge: None
        Prefetchable memory behind bridge: None
        Capabilities: [40] Express Root Port (Slot+), MSI 00
        Capabilities: [80] MSI: Enable+ Count=1/1 Maskable- 64bit-
        Capabilities: [90] Subsystem: Device 1849:a118
        Capabilities: [a0] Power Management version 3
        Capabilities: [100] Null
        Capabilities: [140] Access Control Services
        Capabilities: [220] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn-, PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: pcieport

0000:00:1f.0 Class 0601: Device 8086:a148 (rev 31)
        Subsystem: Device 1849:a148
        Flags: bus master, medium devsel, latency 0

0000:00:1f.2 Class 0580: Device 8086:a121 (rev 31)
        Subsystem: Device 1849:a121
        Flags: bus master, fast devsel, latency 0
        Memory at df144000 (32-bit, non-prefetchable) [size=16K]

0000:00:1f.3 Class 0403: Device 8086:a170 (rev 31)
        Subsystem: Device 1849:d892
        Flags: bus master, fast devsel, latency 32, IRQ 11
        Memory at df140000 (64-bit, non-prefetchable) [size=16K]
        Memory at df120000 (64-bit, non-prefetchable) [size=64K]
        Capabilities: [50] Power Management version 3
        Capabilities: [60] MSI: Enable- Count=1/1 Maskable- 64bit+

0000:00:1f.4 Class 0c05: Device 8086:a123 (rev 31)
        Subsystem: Device 1849:a123
        Flags: medium devsel, IRQ 16
        Memory at df14a000 (64-bit, non-prefetchable) [size=256]
        I/O ports at f040 [size=32]
        Kernel driver in use: i801_smbus

0000:00:1f.6 Class 0200: Device 8086:15b8 (rev 31)
        Subsystem: Device 1849:15b8
        Flags: bus master, fast devsel, latency 0, IRQ 126
        Memory at df100000 (32-bit, non-prefetchable) [size=128K]
        Capabilities: [c8] Power Management version 3
        Capabilities: [d0] MSI: Enable+ Count=1/1 Maskable- 64bit+
        Capabilities: [e0] PCI Advanced Features
        Kernel driver in use: e1000e

0000:01:00.0 Class 0200: Device 8086:1563 (rev 01)
        Subsystem: Device 8086:0000
        Flags: fast devsel, IRQ 16
        Memory at d0000000 (64-bit, prefetchable) [size=2M]
        Memory at d0200000 (64-bit, prefetchable) [size=16K]
        Expansion ROM at df000000 [disabled] [size=512K]
        Capabilities: [40] Power Management version 3
        Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
        Capabilities: [70] MSI-X: Enable- Count=64 Masked-
        Capabilities: [a0] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [140] Device Serial Number 9f-b3-11-ff-ff-08-00-00
        Capabilities: [150] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [160] Single Root I/O Virtualization (SR-IOV)
        Capabilities: [1a0] Transaction Processing Hints
        Capabilities: [1b0] Access Control Services
        Capabilities: [1c0] Latency Tolerance Reporting
        Capabilities: [1d0] Secondary PCI Express

0001:01:00.0 Class 0106: Device 1b4b:9215 (rev 11) (prog-if 01)
        Flags: fast devsel

0001:02:00.0 Class 0106: Device 1b4b:9215 (rev 11) (prog-if 01)
        Flags: fast devsel

0001:08:00.0 Class 0106: Device 1b4b:9235 (rev 11) (prog-if 01)
        Flags: fast devsel

화정큐삼 2023-01

DS3622xs+ 에서 해보신거죠?
{
    "name": "ixgbe",
    "alias": "pci:v00008086d00001563sv*sd*bc*sc*i*"
},
IRQ 16 으로 잡힌 0000:01:00.0 Class 0200: Device 8086:1563 (rev 01) 가 X550 입니다.

Kernel driver in use 라는 문구가 역시 안보이네요.
그런데, 바닐라 ixgbe.ko 가 깨져버려서 그럴수도 있다는 생각이 문득 드네요.

DS3617xs 로도 한번더 시험해 주실수 있나요?

화정큐삼 2023-01

서버포럼에도 올렸지만 노하우 공유차원에서 여기에도 올리겠습니다.

ixgbe 드라이버 충돌만 없다면 시놀로지 홈페이지에서 확인된 랜카드 호환 지원리스트를 참조하시는게 좋을것 같습니다.
DS918+ 는 별도 네트워크 카드를 장착할수 없는 모델로 나와서 헤놀에서는 지원이 불투명합니다.
될수도 있고 안될수도 있는 상황이라 유저 시험테스트에 의존해야 하는데, 데이터가 너무 부족한 상태입니다.

DS3622xs+ 는 X520-SR2 까지는 지원하는데 X550은 목록에 없네요.
오히려 구형인 DS3617xs 에서는 X550-T2 가 지원된다고 나와 있습니다.

https://www.synology.com/ko-kr/compatibility?search_by=products&model=DS3622xs%2B&category=network_interface_cards&p=1&change_log_p=1

https://www.synology.com/ko-kr/compatibility?search_by=products&model=DS3617xs&category=network_interface_cards&p=1&change_log_p=1

Greeneyes 2023-01

DS3617xs 올렸지만 역시 올라오지 않네요 ㅜㅜ
lspci -v 해봤는데 .. 방법이 없는건가보네요

화정큐삼 2023-01

진행사항이 궁금하신 분들도 계실것 같아서 서버포럼에서 Greeneyes 과 진행하고 있는 링크도 공유 드립니다.
지금 제가 M SHELL 에서  ixgbe.ko 파일을 조정을 좀 해보고 있습니다.
ARPL fabio님이 바닐라  ixgbe.ko 를 침범한 수정된  ixgbe.ko 을 만드신것 같아 보여서 일단 오리지널로 돌려서 시험중입니다.
https://svrforum.com/nas/630503

분노의다운힐 2023-02

오 뭔가 진행되고 있는 것이 있나 보네요. 일단 제가 쓰고 있는 DS920+랑 공개된 DS920+용 kernel을 한번 살펴봤는데, ixgbe 드라이버는 빠져있는 것이 맞습니다. 그래서 ixgbe만 module로 enable해서 한번 컴파일해봤습니다. 아래 자료실 게시물에 첨부된 두 ko를 다운받으시고:
https://www.2cpu.co.kr/PDS/14727
DS920+ 헤놀 상태에서 ssh 접속해서 scp로 일단 /tmp 같은 임시 디렉토리 아래에 두 ko를 복사합니다. 그리고 아래와 같은 순서로 insmod 해보세요:
$ sudo insmod /tmp/mdio.ko
$ sudo insmod /tmp/ixgbe.ko
이후에 장치 인식이 되었는지, 동작은 잘 하는지 보시면 될 것 같습니다. X550이 없어서 실제로 동작하는지 까지는 테스트를 못해봤습니다. 제 DS920+에서 insmod가 잘 되는 것만 확인했습니다. 혹시 시놀로지 놈들이 뭔가 장난을 쳐놨다면 kernel fault나 panic이 발생할 가능성도 있습니다.

화정큐삼 2023-02

DS920+ 드라이버 감사합니다.
DS920+ 의 바닐라 드라이버는 용량이 상당히 크네요?

어제 서버포럼에서 댓글로 ZEMA 님 (Greeneyes님) 과 시험을 계속해갔는데요.

DS3622xs+ 는 원래부터 10GB 랜포트가 달려서 나오는 제품이라 내장 바닐라 드라이버가 제일 확실하게 동작되는 드라이버라고 알고 있습니다.

그래서 지금까지 레드필에서 컴파일된 ixgbe 드라이버가 불필요한 상황인데, pocopico님과 fabio님의 부주의로 자꾸 오버라이트가 되고 있는 상황 같습니다.
pocopico 님은 알고 계서도 수정을 안해주시고 있고, fabio님 은 ARPL 통합모듈에 제 요청으로 어느시점에서는 싹다 지웠다가,
중간에는 이 바닐라 드라이버가 대신 들어가 있었습니다.(v1.50), 최근에는 v1.62 까지 나온 상황인데, 수정된 ixgbe 가 바닐라 드라이버대신 다시 들어간 상태라
ARPL 과 M SHELL 이 같은 통합드라이버를 사용하는 상황에서 인텔 10G 랜카드 동작은 검증이 안된상황 같습니다.

ARPL 쪽에서 ixgbe 신규 드라이버에 대한 피드백이 있어야 하는데, 유저도 많지 않고해서 제가 헤놀포럼의 최근 댓글을 봤는데도 딱히 없었던것 같습니다.
아래 이 댓글에 DS3622xs+ 의 바닐라 드라이버로 복원해서 요청도 했었고, 아예 DS3622xs+ 에서 바닐라 드라이버가 동작되도록 M SHELL 용 통합모듈의 버전을 v1.50 로 맞춰드리고
바닐라 드라이버가 잘 들어간것까지 확인했습니다만, 역시 X550-T1 은 동작 불가했습니다
.
insmod 로 레드필 ixgbe를 주입한 로그를 확인해봤는데, 주입 자체는 에러가 없었습니다.

댓글에 보시면 바닐라 드라이버는 414,115 바이트 였습니다.
https://svrforum.com/nas/630503#comment_632879

X550-T2 가 공식지원되는 DS3617xs에 바닐라 드라이버가 혹시 있을까 확인해 봤는데 DS3622xs+와 똑 같은 바닐라 드라이버가 들어가 있었습니다.
DS3617xs 에도 수정된 레드필 ixgbe 가 대신 주입되긴했지만 역시 X550-T1 은 동작하지 않았습니다.

현재 상황에서는 제가 인텔 10G 랜카드가 하나 있어야 할 상황 같아서 계속 알아보고 고민중입니다.
X520 듀얼 정도 구입했으면 하는데, 최근에 장터에 잠깐 보이긴했는데 바로 어떤 회원님이 구입해 가셨네요.^^

분노의다운힐 2023-02

파일이 큰 건 모듈 컴파일까지만 한 결과를 업로드해서 그런 것 같습니다. 디버그 정보가 strip되지 않은 것 같습니다..

Greeneyes 2023-02

insmod: ERROR: could not insert module /tmp/ixgbe.ko: File exists
이렇게 나오는데 덮어쓰는 방법이 있나요?

++
댓글을 보니 이미 같은 파일이었던 모양이군요 ㅜㅜ

분노의다운힐 2023-02

같은 파일이 아니라 이미 insmod된 ixgbe.ko가 있다는 의미입니다.
sudo rmmod ixgbe
sudo rmmod mdio
실행하고 다시 /tmp 아래의 ko들로 insmod 하신 후에:
lspci -d 8086:1563 -k
ifconfig -a
두 명령의 실행 결과가 궁금합니다.

Greeneyes 2023-02

위 명령어는 되는데 mdio에서 사용중이라 삭제가 안된다고 합니다.
rmmod: ERROR: Module mdio is in use by: bnx2x

분노의다운힐 2023-02

bnx2x는 브로드컴 10GbE인데.. 그게 왜 있을까요.. 뭐 상관없습니다. 그렇다면 mdio는 놔두고 ixgbe만 다시 insmod 해서 위에 말씀드린 두 명령 결과 알려주세요.

Greeneyes 2023-02

1. lspci -d 8086:1563 -k

01:00.0 Class 0200: Device 8086:1563 (rev 01)
        Subsystem: Device 8086:0000



2. ifconfig -a

eth0      Link encap:Ethernet  HWaddr 70:85:C2:05:44:CE
          inet addr:192.168.1.86  Bcast:192.168.1.255  Mask:255.255.255.0
          inet6 addr: fdf1:e73c:7ea7:1:7285:c2ff:fe05:44ce/64 Scope:Global
          inet6 addr: fe80::7285:c2ff:fe05:44ce/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:302132 errors:0 dropped:0 overruns:0 frame:0
          TX packets:63150 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:238471100 (227.4 MiB)  TX bytes:11658421 (11.1 MiB)
          Interrupt:16 memory 0xdf100000-df120000

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:48278 errors:0 dropped:0 overruns:0 frame:0
          TX packets:48278 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1
          RX bytes:6653132 (6.3 MiB)  TX bytes:6653132 (6.3 MiB)

sit0      Link encap:IPv6-in-IPv4
          NOARP  MTU:1480  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

분노의다운힐 2023-02

insmod가 정상적으로 되었는데도 probe가 안되는 모양이네요? X550-T2가 있는데, 제가 직접 해보고 뭔가 찾게되면 말씀드릴께요.

Greeneyes 2023-02

네. 감사합니다. PCI 슬롯 두 군데 모두 동일한 결과네요.

분노의다운힐 2023-02

X550-T2가 사무실에 있어서 어제 가져왔습니다. 저는 TX1310 M1으로 해봤는데, 그냥 잘 잡혀서 좀 당혹스럽습니다:

[  36.761465] ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
[  36.852047] ixgbe 0000:01:00.0: 31.504 Gb/s available PCIe bandwidth (8 GT/s x4 link)
[  37.007272] ixgbe 0000:01:00.0 eth1: MAC: 4, PHY: 3, PBA No: H86377-005
[  37.013994] ixgbe 0000:01:00.0: xx:xx:xx:xx:xx:xx
[  37.018746] ixgbe 0000:01:00.0 eth1: Enabled Features: RxQ: 8 TxQ: 8 FdirHash vxlan_rx
[  37.032209] ixgbe 0000:01:00.0 eth1: Intel(R) 10 Gigabit Network Connection
[  37.414450] ixgbe 0000:01:00.1: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
[  37.505132] ixgbe 0000:01:00.1: 31.504 Gb/s available PCIe bandwidth (8 GT/s x4 link)
[  37.664187] ixgbe 0000:01:00.1 eth2: MAC: 4, PHY: 3, PBA No: H86377-005
[  37.670914] ixgbe 0000:01:00.1: xx:xx:xx:xx:xx:xx
[  37.675670] ixgbe 0000:01:00.1 eth2: Enabled Features: RxQ: 8 TxQ: 8 FdirHash vxlan_rx
[  37.689206] ixgbe 0000:01:00.1 eth2: Intel(R) 10 Gigabit Network Connection

ixgbe.ko가 로딩되서 probe까지 잘 됐고요. lspci에서도 관련 드라이버가 ixgbe로 표시됩니다:

0000:01:00.0 Class 0200: Device 8086:1563 (rev 01)
        Subsystem: Device 8086:0001
        Kernel driver in use: ixgbe
0000:01:00.1 Class 0200: Device 8086:1563 (rev 01)
        Subsystem: Device 8086:0001
        Kernel driver in use: ixgbe

ifconfig -a 명령으로도 확인이 가능했습니다:

eth1      Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
          inet addr:169.254.86.51  Bcast:169.254.255.255  Mask:255.255.0.0
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

eth2      Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

특별히 한 것이 없습니다. TX1310 M1 첫번째 슬롯(PCIe 3.0 x8)에 X550-T2를 꽂은 상태로 헤놀로지를 설치했습니다. 화정큐삼님이 링크하신 사이트에서 헤놀로지 설치방법을 찾아서:

https://svrforum.com/nas/538436

그대로 따라했을 뿐인데요.

Greeneyes 2023-02

감사합니다. X550-T2가 잘잡힌다면 X550-T1도 무리없이 잡혀야할텐데요
아무래도 메인보드가 의심되는데
변경가능하면 변경해서 테스트해보겠습니다.