ffmpeg und explodierende serverload

brabbelj

brabbelj

Doppel-As
Hi,
ich betreibe einen Konvertierungsdienst der es erlaubt flv-Videos in ein Format seiner Wahl zu konvertieren.

Jetzt weiß ich ja das encoding sehr rechen aufwendig ist, deswegen suche ich nach Lösungen wie man die ganze Geschichte Server schonender aufziehen kann.

Da ist mir die Idee gekommen „sheduling“ zu betreiben, allerdings habe ich davon eher weniger Ahnung.

Deswegen wollte ich fragen wie die Geschichte Funktioniert.

Meine Serverstruktur ist momentan folgende

All in One

Ich plane eine Struktur in der ich einen Webserver habe und 2 Convertserver besitze die Convertserver werden jeweils 2x 2,66 GHZ Prozessoren besitzen.

Hier ist mal ein ps -A log
Code:
#ps -A
  PID TTY          TIME CMD
    1 ?        00:00:01 init
    2 ?        00:00:00 migration/0
    3 ?        00:00:00 ksoftirqd/0
    4 ?        00:00:00 migration/1
    5 ?        00:00:00 ksoftirqd/1
    6 ?        00:00:00 events/0
    7 ?        00:00:00 events/1
    8 ?        00:00:00 khelper
    9 ?        00:00:00 kthread
   13 ?        00:00:00 kblockd/0
   14 ?        00:00:00 kblockd/1
   15 ?        00:00:00 kseriod
   88 ?        00:01:02 pdflush
   89 ?        00:00:00 pdflush
   90 ?        00:01:01 kswapd0
   91 ?        00:00:00 aio/0
   92 ?        00:00:00 aio/1
  241 ?        00:00:00 kirqd
  325 ?        00:00:00 ata/0
  326 ?        00:00:00 ata/1
  327 ?        00:00:00 ata_aux
  368 ?        00:00:00 scsi_eh_0
  369 ?        00:00:00 scsi_eh_1
  386 ?        00:00:00 scsi_eh_2
  387 ?        00:00:00 scsi_eh_3
  743 ?        00:00:00 khubd
  954 ?        00:00:00 md0_raid1
  958 ?        00:01:44 md1_raid1
 1033 ?        00:02:41 kjournald
 1209 ?        00:00:00 udevd
 1525 ?        00:00:00 kpsmoused
 1673 ?        00:00:00 kmirrord
 2231 ?        00:00:05 syslogd
 2237 ?        00:00:00 klogd
 2283 ?        00:00:00 mysqld_safe
 2320 ?        00:00:13 mysqld
 2321 ?        00:00:00 logger
 2375 ?        00:00:00 spamd
 2391 ?        00:01:59 clamd
 2404 ?        00:00:00 spamd
 2405 ?        00:00:00 spamd
 2484 ?        00:00:01 freshclam
 2492 ?        00:00:00 courierlogger
 2493 ?        00:00:00 authdaemond
 2499 ?        00:00:00 authdaemond
 2500 ?        00:00:00 authdaemond
 2501 ?        00:00:00 authdaemond
 2502 ?        00:00:00 authdaemond
 2503 ?        00:00:00 authdaemond
 2507 ?        00:00:00 courierlogger
 2508 ?        00:00:00 couriertcpd
 2521 ?        00:00:00 courierlogger
 2522 ?        00:00:00 couriertcpd
 2529 ?        00:00:00 couriertcpd
 2537 ?        00:00:00 courierlogger
 2544 ?        00:00:00 courierlogger
 2545 ?        00:00:00 couriertcpd
 2714 ?        00:00:00 exim4
 2740 ?        00:00:03 sshd
 2789 ?        00:00:00 mdadm
 2815 ?        00:00:00 cron
 2851 tty1     00:00:00 getty
 2853 tty2     00:00:00 getty
 2854 tty3     00:00:00 getty
 2855 tty4     00:00:00 getty
 2857 tty5     00:00:00 getty
 2858 tty6     00:00:00 getty
  559 ?        00:00:00 pure-ftpd
32741 ?        00:00:02 apache2
16511 ?        00:00:20 apache2
17913 ?        00:00:02 apache2
19205 ?        00:00:17 apache2
19325 ?        00:00:17 apache2
19383 ?        00:00:23 apache2
19581 ?        00:00:20 apache2
19954 ?        00:00:21 apache2
20090 ?        00:00:17 apache2
20097 ?        00:00:23 apache2
20393 ?        00:00:14 apache2
20661 ?        00:00:21 apache2
20970 ?        00:00:06 apache2
20972 ?        00:00:10 apache2
20993 ?        00:00:11 apache2
21137 ?        00:00:20 apache2
21332 ?        00:00:20 apache2
21453 ?        00:00:15 apache2
21517 ?        00:00:18 apache2
21527 ?        00:00:16 apache2
21529 ?        00:00:19 apache2
21603 ?        00:00:18 apache2
21879 ?        00:00:21 apache2
21884 ?        00:00:18 apache2
21989 ?        00:00:19 apache2
21996 ?        00:00:15 apache2
22035 ?        00:00:23 apache2
22114 ?        00:00:23 apache2
22118 ?        00:00:10 apache2
22179 ?        00:00:16 apache2
22181 ?        00:00:14 apache2
22184 ?        00:00:22 apache2
22296 ?        00:00:22 apache2
22316 ?        00:00:14 apache2
22552 ?        00:00:13 apache2
22566 ?        00:00:07 apache2
22567 ?        00:00:08 apache2
22569 ?        00:00:18 apache2
22571 ?        00:00:20 apache2
22612 ?        00:00:20 apache2
22613 ?        00:00:21 apache2
22629 ?        00:00:08 apache2
22739 ?        00:00:18 apache2
22747 ?        00:00:23 apache2
22760 ?        00:00:18 apache2
28091 ?        00:00:15 apache2
28122 ?        00:00:19 apache2
28230 ?        00:00:14 apache2
 7368 ?        00:00:00 sh
 7369 ?        00:06:33 ffmpeg
 8988 ?        00:00:00 sh
 8989 ?        00:06:27 ffmpeg
10605 ?        00:00:00 sh
10606 ?        00:05:49 ffmpeg
12476 ?        00:00:00 sh
12477 ?        00:05:24 ffmpeg
13112 ?        00:00:00 sh
13113 ?        00:05:00 ffmpeg
14100 ?        00:00:00 sh
14101 ?        00:05:38 ffmpeg
17531 ?        00:00:00 sh
17532 ?        00:03:04 ffmpeg
18001 ?        00:00:00 sh
18002 ?        00:03:01 ffmpeg
18970 ?        00:00:00 sh
18971 ?        00:02:47 ffmpeg
19080 ?        00:00:00 sh
19081 ?        00:02:54 ffmpeg
19686 ?        00:00:00 sh
19687 ?        00:02:32 ffmpeg
20316 ?        00:00:00 sh
20317 ?        00:02:11 ffmpeg
20525 ?        00:00:00 sh
20526 ?        00:02:21 ffmpeg
21262 ?        00:00:00 sh
21263 ?        00:01:53 ffmpeg
23125 ?        00:00:00 sh
23126 ?        00:01:25 ffmpeg
23129 ?        00:00:00 sh
23130 ?        00:01:28 ffmpeg
23998 ?        00:00:00 sshd
24007 pts/1    00:00:00 bash
24066 ?        00:00:02 apache2
24077 ?        00:00:01 apache2
24081 ?        00:00:02 apache2
24199 ?        00:00:00 sh
24200 ?        00:01:02 ffmpeg
24569 ?        00:00:00 sh
24570 ?        00:01:00 ffmpeg
24701 ?        00:00:00 sh
24702 ?        00:01:02 ffmpeg
24739 ?        00:00:00 sh
24740 ?        00:00:51 ffmpeg
24927 ?        00:00:00 sh
24928 ?        00:00:52 ffmpeg
25036 ?        00:00:00 sh
25037 ?        00:00:45 ffmpeg
25340 ?        00:00:00 sh
25341 ?        00:00:42 ffmpeg
25519 ?        00:00:01 apache2
25558 ?        00:00:00 apache2
25583 ?        00:00:00 apache2
25586 ?        00:00:01 apache2
25588 ?        00:00:00 apache2
25777 ?        00:00:00 sh
25778 ?        00:00:31 ffmpeg
25931 ?        00:00:00 sh
25932 ?        00:00:30 ffmpeg
25965 ?        00:00:00 sh
25966 ?        00:00:32 ffmpeg
26031 ?        00:00:00 sh
26032 ?        00:00:33 ffmpeg
26047 ?        00:00:00 sh
26048 ?        00:00:34 ffmpeg
26055 ?        00:00:00 apache2
26180 ?        00:00:00 sh
26181 ?        00:00:28 ffmpeg
26283 ?        00:00:00 sh
26284 ?        00:00:26 ffmpeg
26289 ?        00:00:00 sh
26290 ?        00:00:27 ffmpeg
26339 ?        00:00:00 sh
26340 ?        00:00:26 ffmpeg
26475 ?        00:00:00 sh
26476 ?        00:00:20 ffmpeg
26533 ?        00:00:00 sh
26534 ?        00:00:24 ffmpeg
26562 ?        00:00:00 sh
26563 ?        00:00:24 ffmpeg
26616 ?        00:00:01 apache2
26621 ?        00:00:00 apache2
26624 ?        00:00:00 apache2
26630 ?        00:00:00 sh
26631 ?        00:00:23 ffmpeg
26636 ?        00:00:00 sshd
26640 ?        00:00:00 sftp-server
26683 ?        00:00:00 sh
26684 ?        00:00:21 ffmpeg
26699 ?        00:00:00 sh
26700 ?        00:00:18 ffmpeg
26920 ?        00:00:00 sh
26921 ?        00:00:19 ffmpeg
26922 ?        00:00:00 sh
26923 ?        00:00:16 ffmpeg
27085 ?        00:00:00 apache2
27090 ?        00:00:00 apache2
27092 ?        00:00:00 sh
27093 ?        00:00:13 ffmpeg
27109 ?        00:00:00 sh
27110 ?        00:00:13 ffmpeg
27112 ?        00:00:00 apache2
27153 ?        00:00:00 apache2
27184 ?        00:00:00 apache2
27218 ?        00:00:00 sh
27219 ?        00:00:13 ffmpeg
27240 ?        00:00:00 apache2
27243 ?        00:00:00 apache2
27292 ?        00:00:00 apache2
27327 ?        00:00:00 sh
27328 ?        00:00:11 ffmpeg
27334 ?        00:00:00 apache2
27363 ?        00:00:00 apache2
27381 ?        00:00:00 sh
27382 ?        00:00:12 ffmpeg
27406 ?        00:00:00 sh
27407 ?        00:00:09 ffmpeg
27415 ?        00:00:00 apache2
27416 ?        00:00:00 apache2
27417 ?        00:00:00 apache2
27437 ?        00:00:00 sh
27438 ?        00:00:09 ffmpeg
27475 ?        00:00:00 sh
27476 ?        00:00:07 ffmpeg
27491 ?        00:00:00 apache2
27501 ?        00:00:00 apache2
27513 ?        00:00:00 apache2
27525 ?        00:00:00 apache2
27537 ?        00:00:00 sh
27538 ?        00:00:08 ffmpeg
27548 ?        00:00:00 apache2
27559 ?        00:00:00 apache2
27564 ?        00:00:00 apache2
27565 ?        00:00:00 apache2
27567 ?        00:00:00 sh
27568 ?        00:00:08 ffmpeg
27570 ?        00:00:00 sh
27571 ?        00:00:06 ffmpeg
27573 ?        00:00:00 sh
27574 ?        00:00:08 ffmpeg
27600 ?        00:00:00 apache2
27606 ?        00:00:00 apache2
27608 ?        00:00:00 apache2
27609 ?        00:00:00 apache2
27610 ?        00:00:00 apache2
27676 ?        00:00:00 apache2
27681 ?        00:00:00 apache2
27682 ?        00:00:00 apache2
27683 ?        00:00:00 sh
27684 ?        00:00:07 ffmpeg
27689 ?        00:00:00 sh
27690 ?        00:00:05 ffmpeg
27691 ?        00:00:00 sh
27692 ?        00:00:06 ffmpeg
27693 ?        00:00:00 sh
27694 ?        00:00:07 ffmpeg
27697 ?        00:00:00 apache2
27725 ?        00:00:00 sh
27726 ?        00:00:05 ffmpeg
27732 ?        00:00:00 sh
27733 ?        00:00:07 ffmpeg
27747 ?        00:00:00 sh
27748 ?        00:00:05 ffmpeg
27754 ?        00:00:00 apache2
27755 ?        00:00:00 sh
27756 ?        00:00:04 ffmpeg
27757 ?        00:00:00 apache2
27764 ?        00:00:00 apache2
27767 ?        00:00:00 apache2
27769 ?        00:00:00 apache2
27778 ?        00:00:00 sh
27779 ?        00:00:05 ffmpeg
27782 ?        00:00:00 sh
27783 ?        00:00:04 ffmpeg
27788 ?        00:00:00 sh
27789 ?        00:00:04 ffmpeg
27793 ?        00:00:00 apache2
27798 ?        00:00:00 sh
27799 ?        00:00:04 ffmpeg
27808 ?        00:00:00 sh
27809 ?        00:00:03 ffmpeg
27813 ?        00:00:00 sh
27814 ?        00:00:02 ffmpeg
27836 ?        00:00:00 sh
27837 ?        00:00:05 ffmpeg
27841 ?        00:00:00 apache2
27842 ?        00:00:00 apache2
27849 ?        00:00:00 sh
27850 ?        00:00:05 ffmpeg
27851 ?        00:00:00 sh
27852 ?        00:00:04 ffmpeg
27853 ?        00:00:00 sh
27854 ?        00:00:05 ffmpeg
27856 ?        00:00:00 sh
27857 ?        00:00:05 ffmpeg
27858 ?        00:00:00 sh
27859 ?        00:00:05 ffmpeg
27865 ?        00:00:00 sh
27866 ?        00:00:03 ffmpeg
27867 ?        00:00:00 apache2
27868 ?        00:00:00 apache2
27869 ?        00:00:00 apache2
27870 ?        00:00:00 sh
27871 ?        00:00:04 ffmpeg
27872 ?        00:00:00 sh
27873 ?        00:00:05 ffmpeg
27880 ?        00:00:00 apache2
27882 ?        00:00:00 sh
27883 ?        00:00:04 ffmpeg
27889 ?        00:00:00 sh
27890 ?        00:00:04 ffmpeg
27897 ?        00:00:00 sh
27898 ?        00:00:03 ffmpeg
27899 ?        00:00:00 sh
27900 ?        00:00:03 ffmpeg
27906 ?        00:00:00 sh
27907 ?        00:00:03 ffmpeg
27916 ?        00:00:00 sh
27917 ?        00:00:03 ffmpeg
27920 ?        00:00:00 apache2
27922 ?        00:00:00 apache2
27923 ?        00:00:00 apache2
27924 ?        00:00:00 apache2
27925 ?        00:00:00 apache2
27927 ?        00:00:00 apache2
27928 ?        00:00:00 apache2
27929 ?        00:00:00 apache2
27930 ?        00:00:00 apache2
27937 ?        00:00:00 sh
27938 ?        00:00:02 ffmpeg
27957 ?        00:00:00 sh
27958 ?        00:00:02 ffmpeg
27959 ?        00:00:00 sh
27960 ?        00:00:03 ffmpeg
27961 ?        00:00:00 sh
27962 ?        00:00:01 ffmpeg
27963 ?        00:00:00 sh
27964 ?        00:00:01 ffmpeg
27965 ?        00:00:00 sh
27966 ?        00:00:03 ffmpeg
27967 ?        00:00:00 sh
27968 ?        00:00:02 ffmpeg
27971 ?        00:00:00 sh
27972 ?        00:00:04 ffmpeg
27973 ?        00:00:00 sh
27974 ?        00:00:02 ffmpeg
27975 ?        00:00:00 sh
27976 ?        00:00:01 ffmpeg
27977 ?        00:00:00 sh
27978 ?        00:00:03 ffmpeg
27979 ?        00:00:00 apache2
27996 ?        00:00:00 sh
27997 ?        00:00:01 ffmpeg
28001 ?        00:00:00 sh
28002 ?        00:00:02 ffmpeg
28005 ?        00:00:00 sh
28006 ?        00:00:02 ffmpeg
28011 ?        00:00:00 apache2
28016 ?        00:00:00 apache2
28017 ?        00:00:00 apache2
28019 ?        00:00:00 sh
28020 ?        00:00:02 ffmpeg
28026 ?        00:00:00 apache2
28027 ?        00:00:00 apache2
28028 ?        00:00:00 sh
28029 ?        00:00:02 ffmpeg
28032 ?        00:00:00 sshd
28037 ?        00:00:00 sh
28038 ?        00:00:03 ffmpeg
28039 pts/0    00:00:00 bash
28044 ?        00:00:00 sh
28045 ?        00:00:01 ffmpeg
28068 ?        00:00:00 apache2
28069 ?        00:00:00 apache2
28070 ?        00:00:00 apache2
28072 ?        00:00:00 apache2
28076 ?        00:00:00 sh
28077 ?        00:00:01 ffmpeg
28089 ?        00:00:00 sh
28090 ?        00:00:02 ffmpeg
28094 ?        00:00:00 apache2
28095 ?        00:00:00 sh
28096 ?        00:00:00 ffmpeg
28124 ?        00:00:00 sh
28125 ?        00:00:00 ffmpeg
28130 ?        00:00:00 sh
28131 ?        00:00:01 ffmpeg
28198 ?        00:00:00 sh
28199 ?        00:00:00 ffmpeg
28202 ?        00:00:00 sh
28203 ?        00:00:00 ffmpeg
28215 ?        00:00:00 apache2
28216 ?        00:00:00 apache2
28218 ?        00:00:00 apache2
28219 ?        00:00:00 apache2
28221 ?        00:00:00 apache2
28222 ?        00:00:00 apache2
28223 ?        00:00:00 apache2
28224 ?        00:00:00 apache2
28225 ?        00:00:00 apache2
28228 ?        00:00:00 apache2 <defunct>
28229 ?        00:00:00 apache2
28231 ?        00:00:00 apache2
28232 ?        00:00:00 apache2
28233 ?        00:00:00 apache2
28234 ?        00:00:00 apache2
28235 ?        00:00:00 apache2
28236 ?        00:00:00 apache2
28237 ?        00:00:00 apache2
28238 ?        00:00:00 apache2
28239 ?        00:00:00 apache2
28242 ?        00:00:00 sh
28243 ?        00:00:00 ffmpeg
28246 pts/0    00:00:00 ps

der sh unter den ffmpeg Prozess ist ein „mv“ Befehl der über php mit system ausgeführt wird, wenn ich den jetzt mit copy und unlink komplett über php laufen lassen würde. Würde das positiv sein oder negativ?

Ich schiebe hier noch nen paar Logs nach um zu zeigen wie ernst die Lage ist. :D
Code:
top - 00:52:27 up 5 days,  4:20,  2 users,  load average: 100.95, 102.50, 113.76
Tasks: 392 total,  23 running, 369 sleeping,   0 stopped,   0 zombie
Cpu(s): 17.7%us,  0.6%sy,  0.0%ni, 81.0%id,  0.1%wa,  0.4%hi,  0.2%si,  0.0%st
Mem:   2043556k total,  1981536k used,    62020k free,     5512k buffers
Swap:  1999984k total,       52k used,  1999932k free,   899148k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                         
23126 www-data  18   0 15632 8048 1236 R   19  0.4   1:21.91 ffmpeg                                                          
26995 www-data  18   0 14020 6932 1412 R   19  0.3   0:14.70 ffmpeg                                                          
27587 www-data  18   0 14004 6884 1412 R   19  0.3   0:04.39 ffmpeg                                                          
27733 www-data  18   0 14000 6928 1412 R   19  0.3   0:02.11 ffmpeg                                                          
27756 www-data  18   0 14848 7464 1240 R   19  0.4   0:01.01 ffmpeg                                                          
27110 www-data  18   0 15020 7552 1240 R   17  0.4   0:08.91 ffmpeg                                                          
27538 www-data  18   0 14020 6876 1412 R   17  0.3   0:03.49 ffmpeg                                                          
27540 www-data  18   0 13976 6864 1412 R   17  0.3   0:04.59 ffmpeg                                                          
24408 www-data  18   0 16208 8216 1348 R   11  0.4   0:59.62 ffmpeg                                                          
21263 www-data  18   0 14672 7620 1472 R   10  0.4   1:50.96 ffmpeg                                                          
27489 www-data  18   0 14020 6856 1412 R   10  0.3   0:04.46 ffmpeg                                                          
23130 www-data  18   0 16780 8964 1348 R    6  0.4   1:23.12 ffmpeg                                                          
 7369 www-data  18   0 18300 9868 1236 R    4  0.5   6:30.15 ffmpeg                                                          
24740 www-data  18   0 15008 7572 1240 R    4  0.4   0:46.81 ffmpeg                                                          
27825 root      15   0  2496 1244  780 R    4  0.1   0:00.03 top                                                             
    1 root      15   0  1948  664  568 S    0  0.0   0:01.39 init                                                            
    2 root      RT   0     0    0    0 S    0  0.0   0:00.12 migration/0                                                     
    3 root      34  19     0    0    0 S    0  0.0   0:00.02 ksoftirqd/0                                                     
    4 root      RT   0     0    0    0 S    0  0.0   0:00.09 migration/1                                                     
    5 root      34  19     0    0    0 R    0  0.0   0:00.01 ksoftirqd/1                                                     
    6 root      10  -5     0    0    0 S    0  0.0   0:00.00 events/0                                                        
    7 root      10  -5     0    0    0 S    0  0.0   0:00.00 events/1                                                        
    8 root      15  -5     0    0    0 S    0  0.0   0:00.34 khelper                                                         
    9 root      17  -5     0    0    0 S    0  0.0   0:00.00 kthread                                                         
   13 root      10  -5     0    0    0 S    0  0.0   0:00.23 kblockd/0                                                       
   14 root      10  -5     0    0    0 S    0  0.0   0:00.08 kblockd/1                                                       
   15 root      10  -5     0    0    0 S    0  0.0   0:00.00 kseriod                                                         
   88 root      15   0     0    0    0 S    0  0.0   1:02.17 pdflush                                                         
   89 root      15   0     0    0    0 S    0  0.0   0:00.90 pdflush                                                         
   90 root      11  -5     0    0    0 S    0  0.0   1:01.47 kswapd0

Code:
#iostat
Linux 2.6.18-6-k7 (XXX.server4you.de)       03/25/2008

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          17.74    0.00    1.15    0.11    0.00   81.00

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               7.75        86.82      1847.25   38868958  826993100
sdb               8.96      1142.76       812.01  511602058  363528308
md0               0.00         0.03         0.00      12758        132
md1             106.40       194.31       806.05   86992226  360861376

Wie ihr den Logs entnehmen konnte habe ich einen avarage Load von mehr als 100 jetzt liegt es nahe das der apache braucht teilweise mehr als 1min um eine Seite aufzubauen.
 
Du wirst nicht drumrum kommen das Ganze auf mehrere Server zu verteilen. Für Apache kann man das z.B. über das proxy_balancer-Modul regeln.
 

Ähnliche Themen

Problem mit SATA

Problem bei der installation einer Sun Netzwerkkarte

xrandr: cant open display

Mein Server versendet SPAM in Massen

Kernel [unknown ASC/ASCQ]

Zurück
Oben