Sie sind nicht angemeldet.

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

301

Mittwoch, 24. Mai 2017, 16:15

NUMA

Ah, und noch was: Zur NUMA-Geschichte: Das platzt, hutze. Grund ist, daß ich jetzt Statements von einem x265 Kernentwickler (Herrn Pradeep Ramachandran) bekommen habe, die klarstellen, daß dieses Verhalten zumindest unter Linux leider bekannt ist, also der Leistungsverlust beim Splitten von NUMA Pools. So gesehen ist der NUMA Support leistungstechnisch komplett sinnlos. Allerdings habe ich auch gelernt, daß man unter allen 64-bit Betriebssystemen nie mehr als 64 CPUs pro Prozess nutzen kann, es sei denn man erzeugt Prozessgruppen und/oder NUMA Pools. Für 32-bit sind's 32 CPUs. S.u.

Unter Windows gibt es das zusätzliche Problem, daß man bei aktivem NUMA scheinbar keinen Prozeß starten kann, der Threads über ALLE Numa Knoten (=Sockel!) spawned.

Hier muß eine Applikation also Threadgruppen bzw. NUMA Pools erzeugen. In jedem "Pool" gibt es einen separaten 32/64 Bits breiten Bitvektor, der die entsprechende Anzahl von CPUs innerhalb des Pools ansprechen kann. Darüber existiert ein weiterer Adressierer, der individuelle Pools bzw. Threadgruppen anspricht. Weil's im Pool ein Bitvektor ist, heißen 64 Bit hier eben nicht 264, sondern wirklich genau 64.

Die x265 Entwickler MUSSTEN also NUMA Pools unterstützen, um in der Zukunft überhaupt mehr als 64 CPUs ansprechen zu können, bzw. auf Windows auch, um überhaupt mehrere Sockel auf NUMA Systemen ansprechen zu können.

Laut Entwickler trifft x265 hierbei immer die bestmögliche Entscheidung, also NUMA Pools immer auf Windows, und niemals auf Linux, es sei denn es sind zuviele CPUs da, und es geht nicht mehr ohne.

Soviel dazu. Werde in diesem Bereich also NICHT eingreifen, mit Ausnahme von Haiku OS, weil dort muß ich, weil die Detektion der CPU Anzahl fehlschlägt.

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

Grindhavoc

Unstoppable

Beiträge: 9 038

Wohnort: Where absurdity dwells...

Beruf: ITSE / Admin

  • Nachricht senden

302

Mittwoch, 24. Mai 2017, 17:41

64 CPUs oder Kerne? Also zählt bspw. auch ein HyperThreading-Kern?

303

Mittwoch, 24. Mai 2017, 18:58

Das ist mal krankes Zeug :spitze:

Gibts jetzt eigentlich eine aktuellere Beta, die man mal durchjagen könnte, oder bist da noch beim Feintuning der Videosettings? Du hattest ja mal irgendwo einen Link zu deinem FTP gepostet, könntest den im Startpost mit eintragen?

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

304

Mittwoch, 24. Mai 2017, 20:49

Beta

@666psycho: Am FTP liegen aktuell keine Public Releases, die nicht im ersten Post wären, deswegen steht er (noch!) nicht drin. Kommt noch. Und jo, die Settings sind noch nicht optimal angepaßt!

Ich habe aktuell ein wenig Zeit für macOS Sierra verbraten, hier funktionierte der Bootstrapper super (langsam, weil noch nicht viele Binärpakete in Homebrew, aber er hat alles fehlende super nachkompiliert, dauert nur etwas). Der eigentliche Benchmark jedoch hat Schwächen in meiner Apple Unterstützung (und enorme Seltsamkeiten in Mac OS X' Speicherverwaltung) aufgedeckt.

Das hat etwas Zeit gekostet, aber Mac OS X / macOS ist das zweite große, kommerzielle Desktop OS, daher wollte ich neben Windows 10 halt auch Sierra unterstützt wissen, auch wenn ich persönlich die Nutzung beider Betriebssysteme nur wenig gutheiße. Unterstützt gehören's trotzdem.

@Grindhavoc: Hier sind logische CPUs gemeint, es zählen also auch HT/SMT CPUs. Sprich: 32 echte Kerne mit HT = 64, und er "steht an". Das bedeutet eine Reihe von Dingen (nicht nur für x265 übrigens, aber eben auch dafür):
  1. Der "klassische" XP x64 / Vista x64 / Server 2008 x64 Build für Windows kann nicht mit mehr als 64 logischen CPUs umgehen. Aus, Ende. Mit etwas Pech gehen sogar nur 32, je nach Implementierung in Windows, das weiß ich noch nicht so genau.
  2. Der Build für alles andere außer Windows und Linux (FreeBSD/OpenBSD/NetBSD/DragonFly BSD/TrueOS/NetBSD UNICES, Mac OS X/macOS, Solaris und Haiku OS) kann NUMA genauso wenig, auch WENN diese Betriebssysteme sowas prinzipiell können sollten, Beispiel Solaris. x265 wird diese Implementierungen nach aktuellen Erkenntnissen niemals unterstützen, womit auch diese Systeme bei 64 CPUs ihr Ende finden dürften. Soweit ich das sehe gleicht es einem Wunder, daß ich x265 überhaupt so "leicht" drauf adaptieren konnte, viele dieser Systemen waren komplett ungetestet und absolut nicht unterstützt.
  3. Bitte installiert die NUMA Libraries auf Linux, wenn ihr Manycore habt.
  4. Fazit: Nur >=Windows 7, >=Server 2008 R2 und Linux mit libnuma können den Benchmark auf >64 logische CPUs hochskalieren, so wie ich das aktuell verstehe!

Edit 21:46: Ich habe immer noch NULL Support für RISC/VLIW drin. :(

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von »GrandAdmiralThrawn« (24. Mai 2017, 21:40)


hutzeputz

VA Clan Enemy Territory

Beiträge: 12 746

Wohnort: Ebersdorf.

Beruf: Tz Ma

  • Nachricht senden

305

Donnerstag, 25. Mai 2017, 17:46

Ich finde das richtig heftig die Arbeit und zeit die du Investierst! Und beobachte es mit großen Interesse auch aus dem Urlaub heraus. Logge mich halt auf dem Server ein und dann hier auf die HP. Mit Gewohnten Desktop arbeiten ist schon schön und hat seinen wert. Und mit meinen 2 PCs können wir auch einen richtig guten Leistungsunterschied test machen. Da nur die CPUs unterschiedlich sind.
x200-21U

3dfx-voodoo.de

Windows Sever 2008 R2 Standart / 2x AMD Opteron 2419EE 6-Core / 8x 4 GB PC2-6400R ECC REG / MSI K9ND Speedster2

Ut Cache Cleaner 3

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

306

Freitag, 26. Mai 2017, 21:33

Fun

Hmm, Arbeit ist wie Streß: Distress und Eustress. Es gibt eben zwei Arten: Die, die du machen mußt, und die die du machen willst!

Die, die du machen willst, fühlt sich nicht Mal wie Arbeit an, sondern wie Spaß! ;) So gesehen ist die Zeit auch kein Verlust. ;)

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

hutzeputz

VA Clan Enemy Territory

Beiträge: 12 746

Wohnort: Ebersdorf.

Beruf: Tz Ma

  • Nachricht senden

307

Samstag, 27. Mai 2017, 17:38

Hmm, Arbeit ist wie Streß: Distress und Eustress. Es gibt eben zwei Arten: Die, die du machen mußt, und die die du machen willst! Die, die du machen willst, fühlt sich nicht Mal wie Arbeit an, sondern wie Spaß! ;) So gesehen ist die Zeit auch kein Verlust. ;)
Das sehe ich auch so, das es kein Verlusst ist! Die Zeit ist sehr gut verbracht hier ;) :)
x200-21U

3dfx-voodoo.de

Windows Sever 2008 R2 Standart / 2x AMD Opteron 2419EE 6-Core / 8x 4 GB PC2-6400R ECC REG / MSI K9ND Speedster2

Ut Cache Cleaner 3

Maniac81

Rocket Launcher

Beiträge: 460

Wohnort: Ostholstein

Beruf: Groß- und Außenhandelskaufmann

  • Nachricht senden

308

Freitag, 9. Juni 2017, 18:00

@GAT ist das hier normal? Ich habe im Taskmanager mal die Anzeige auf Numa geändert.

Es scheinen mir immer nur 2 Numa Nodes gleichzeitig zu laufen. (Alpha 5, mit 2 x Opteron 6234, davon hat ja jeder 2 Nodes)



Edit, ab so ca. 70 Frames scheint er doch alle 4 Nodes auszulasten.
Edit 2 ich sehe gerade, ich hätte die Beta 1 laden sollen, das benche ich denn Morgen nochmal, Alpha 5 läuft gerade.

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »Maniac81« (9. Juni 2017, 19:51)


  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

309

Freitag, 9. Juni 2017, 20:28

NUMA

Mir ist nicht ganz klar, warum du überhaupt 4 NUMA Knoten haben sollst?! Macht das in irgendeiner Form Sinn? Weil normal hast lokalen RAM ja pro Sockel.. Oder sind da zwei komplett getrennte Dies mit getrennten Speichercontrollern in jeder CPU, und die müssen selber über Hypertransport miteinander reden, anstatt direkt?

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

Maniac81

Rocket Launcher

Beiträge: 460

Wohnort: Ostholstein

Beruf: Groß- und Außenhandelskaufmann

  • Nachricht senden

310

Freitag, 9. Juni 2017, 20:38

Bei den Interlagos CPUs sollten (so weit ich mich erinnern kann) 2 Dies auf einer CPU sein, so dass es mit 4 Nodes hinkommt.
Im Bios kann ich mir auch Informationen für 4 Nodes ansehen.

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

311

Freitag, 9. Juni 2017, 20:48

Windows

Ok, macht Sinn. Antwort habe ich aber auf die prinzipielle Frage keine. Es sollten die gesamten CPUs ausgelastet werden, mit 32 Kernen unter Linux hat das auch vorzüglich funktioniert. Da ist auch (für Windows) kein besonderer Hickhack drinnen soweit ich das jetzt im Kopf habe, also das sollte x265 Standardverhalten sein. 24 Kerne wären eigentlich ein Klacks, wenn sich 32 schon so fein ausfahren lassen.

?(

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

Maniac81

Rocket Launcher

Beiträge: 460

Wohnort: Ostholstein

Beruf: Groß- und Außenhandelskaufmann

  • Nachricht senden

312

Freitag, 9. Juni 2017, 20:50

Im Moment läuft er ja noch, jetzt geht es auch über alle Kerne/Numa Knoten, nur zu Anfang halt nicht wirklich.
Irgendwie merkwürdig die Sache.

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

313

Freitag, 9. Juni 2017, 20:59

ffmpeg->x265 Pipe Buffer

Es ist nicht ganz abnormal, daß es eine Zeit dauert bis er Gas gibt. Das liegt daran, daß es braucht, bis der Input Buffer gefüllt ist. Am Anfang baut sich der erst Mal eine Weile auf, und in dieser Phase bleibt die Last geringer. Das konnte ich auch am 32-CPU System unter Linux so beobachten. Nach einer Zeit ist der Buffer prall gefüllt, und dann geht's erst richtig los. Das muß ich so auch noch in der Readme vermerken.

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

Maniac81

Rocket Launcher

Beiträge: 460

Wohnort: Ostholstein

Beruf: Groß- und Außenhandelskaufmann

  • Nachricht senden

314

Freitag, 9. Juni 2017, 21:04

Ok, denn ist ja alles OK.

Edit Hier das Ergebnis mit Alpha 5:

7:31:37.053 | Maniac81 | 2/12/12 | Opteron 6234 2,40Ghz| Asus KGPE-D16 | AMD SR5690 | 64GB DDR ECC Reg 1333 | Win 8.1 x64 Prof.

Beta 1 läuft gerade

Edit2 hier das Ergebnis der Beta1

7:31:16.326 | Maniac81 | 2/12/12 | Opteron 6234 2,40Ghz| Asus KGPE-D16 | AMD SR5690 | 64GB DDR ECC Reg 1333 | Win 8.1 x64 Prof.
»Maniac81« hat folgende Dateien angehängt:
  • RESULTS.txt (3,17 kB - 18 mal heruntergeladen - zuletzt: 19. September 2017, 17:04)
  • RESULTSBeta1.txt (3,17 kB - 8 mal heruntergeladen - zuletzt: 15. September 2017, 06:23)

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »Maniac81« (10. Juni 2017, 14:51)


Maniac81

Rocket Launcher

Beiträge: 460

Wohnort: Ostholstein

Beruf: Groß- und Außenhandelskaufmann

  • Nachricht senden

315

Samstag, 17. Juni 2017, 11:01

Sry für den Doppelpost. Hier das X265 Ergebnis mit den beiden Opteron 6282 SE:

04:17:24.422| Maniac81 | 2/16/16 | Opteron 6282SE 2,60Ghz | Asus KGPE-D16 | AMD SR5690 | 64GB DDR ECC Reg 1333 | Win 8.1 x64 Prof.

Ist schon ne krasse Steigerung zu den beiden 6234, so viel hätte ich nicht gedacht!
»Maniac81« hat folgende Datei angehängt:
  • RESULTS.txt (3,02 kB - 7 mal heruntergeladen - zuletzt: 25. Juli 2017, 00:28)

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

316

Samstag, 17. Juni 2017, 11:33

Win64

Das legt nahe, daß der x265er im Vergleich zum alten x264er Test in der Tat besser (=also so wie es sich gehört) skaliert, und die 32 Kerne nach der "Warmlaufphase" auch wirklich hinreichend belastet.

Hast vielleicht hin und wieder im Taskmanager zugeschaut, was die CPU Auslastung angeht? Rein aus Neugierde. Ist immerhin die erste 32-Kern Box mit MS Windows auf der des gelaufen ist.

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!

Maniac81

Rocket Launcher

Beiträge: 460

Wohnort: Ostholstein

Beruf: Groß- und Außenhandelskaufmann

  • Nachricht senden

317

Samstag, 17. Juni 2017, 11:52

Die CPU Auslastung war in der Tat besser als im 264er Benchmark!
Das sah ganz ordentlich aus!

  • »GrandAdmiralThrawn« ist der Autor dieses Themas

Beiträge: 13 233

Wohnort: A-8600, Bruck an der Mur, ÖSTERREICH

Beruf: UNIX Administrator

  • Nachricht senden

318

Samstag, 17. Juni 2017, 15:15

32C

Alles klar, dann funktioniert der Windows NUMA Code schon Mal sauber (anders als unter Linux). Das deckt sich dann alles mit den Aussagen der Entwickler. Danke für's Testen!

Stolzer Besitzer eines 3dfx Voodoo5 6000 AGP Prototypen:
  • 3dfx Voodoo5 6000 AGP HiNT Rev.A-3700 (defekt)
[http://wp.xin.at] - No RISC, no fun!

QotY: Girls Love, BEST Love; 2017 - The second Coming; The second great Year of Yuri!