Linux下高并發(fā)socket最大連接數(shù)所受的各種限制
Linux支持多用戶，各個(gè)用戶對(duì)于自己的文件設(shè)備有自己特殊的權(quán)利，保證了各用戶之間互不影響下面小編就為大家?guī)硪黄狶inux下高并發(fā)socket最大連接數(shù)所受的各種限制(詳解)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
方法步驟
1、修改用戶進(jìn)程可打開文件數(shù)限制
在Linux平臺(tái)上，無論編寫客戶端程序還是服務(wù)端程序，在進(jìn)行高并發(fā)TCP連接處理時(shí)，最高的并發(fā)數(shù)量都要受到系統(tǒng)對(duì)用戶單一進(jìn)程同時(shí)可打開文件數(shù)量的限制(這是因?yàn)橄到y(tǒng)為每個(gè)TCP連接都要?jiǎng)?chuàng)建一個(gè)socket句柄，每個(gè)socket句柄同時(shí)也是一個(gè)文件句柄)?？墒褂胾limit命令查看系統(tǒng)允許當(dāng)前用戶進(jìn)程打開的文件數(shù)限制：
[speng@as4 ~]$ ulimit -n
1024
這表示當(dāng)前用戶的每個(gè)進(jìn)程最多允許同時(shí)打開1024個(gè)文件，這1024個(gè)文件中還得除去每個(gè)進(jìn)程必然打開的標(biāo)準(zhǔn)輸入，標(biāo)準(zhǔn)輸出，標(biāo)準(zhǔn)錯(cuò)誤，服務(wù)器監(jiān)聽 socket，進(jìn)程間通訊的unix域socket等文件，那么剩下的可用于客戶端socket連接的文件數(shù)就只有大概1024-10=1014個(gè)左右。也就是說缺省情況下，基于Linux的通訊程序最多允許同時(shí)1014個(gè)TCP并發(fā)連接。
對(duì)于想支持更高數(shù)量的TCP并發(fā)連接的通訊處理程序，就必須修改Linux對(duì)當(dāng)前用戶的進(jìn)程同時(shí)打開的文件數(shù)量的軟限制(soft limit)和硬限制(hardlimit)。其中軟限制是指Linux在當(dāng)前系統(tǒng)能夠承受的范圍內(nèi)進(jìn)一步限制用戶同時(shí)打開的文件數(shù);硬限制則是根據(jù)系統(tǒng)硬件資源狀況(主要是系統(tǒng)內(nèi)存)計(jì)算出來的系統(tǒng)最多可同時(shí)打開的文件數(shù)量。通常軟限制小于或等于硬限制。
修改上述限制的最簡(jiǎn)單的辦法就是使用ulimit命令：
[speng@as4 ~]$ ulimit -n
上述命令中，在中指定要設(shè)置的單一進(jìn)程允許打開的最大文件數(shù)。如果系統(tǒng)回顯類似于“Operation notpermitted”之類的話，說明上述限制修改失敗，實(shí)際上是因?yàn)樵谥兄付ǖ臄?shù)值超過了Linux系統(tǒng)對(duì)該用戶打開文件數(shù)的軟限制或硬限制。因此，就需要修改Linux系統(tǒng)對(duì)用戶的關(guān)于打開文件數(shù)的軟限制和硬限制。
第一步，修改/etc/security/limits.conf文件，在文件中添加如下行：
speng soft nofile 10240
speng hard nofile 10240
其中speng指定了要修改哪個(gè)用戶的打開文件數(shù)限制，可用'*'號(hào)表示修改所有用戶的限制;soft或hard指定要修改軟限制還是硬限制;10240則指定了想要修改的新的限制值，即最大打開文件數(shù)(請(qǐng)注意軟限制值要小于或等于硬限制)。修改完后保存文件。
第二步，修改/etc/pam.d/login文件，在文件中添加如下行：
session required /lib/security/pam_limits.so
這是告訴Linux在用戶完成系統(tǒng)登錄后，應(yīng)該調(diào)用pam_limits.so模塊來設(shè)置系統(tǒng)對(duì)該用戶可使用的各種資源數(shù)量的最大限制(包括用戶可打開的最大文件數(shù)限制)，而pam_limits.so模塊就會(huì)從/etc/security/limits.conf文件中讀取配置來設(shè)置這些限制值。修改完后保存此文件。
第三步，查看Linux系統(tǒng)級(jí)的最大打開文件數(shù)限制，使用如下命令：
[speng@as4 ~]$ cat /proc/sys/fs/file-max
12158
這表明這臺(tái)Linux系統(tǒng)最多允許同時(shí)打開(即包含所有用戶打開文件數(shù)總和)12158個(gè)文件，是Linux系統(tǒng)級(jí)硬限制，所有用戶級(jí)的打開文件數(shù)限制都不應(yīng)超過這個(gè)數(shù)值。通常這個(gè)系統(tǒng)級(jí)硬限制是Linux系統(tǒng)在啟動(dòng)時(shí)根據(jù)系統(tǒng)硬件資源狀況計(jì)算出來的最佳的最大同時(shí)打開文件數(shù)限制，如果沒有特殊需要，不應(yīng)該修改此限制，除非想為用戶級(jí)打開文件數(shù)限制設(shè)置超過此限制的值。修改此硬限制的方法是修改/etc/rc.local腳本，在腳本中添加如下行：
echo 22158 > /proc/sys/fs/file-max
這是讓Linux在啟動(dòng)完成后強(qiáng)行將系統(tǒng)級(jí)打開文件數(shù)硬限制設(shè)置為22158。修改完后保存此文件。
完成上述步驟后重啟系統(tǒng)，一般情況下就可以將Linux系統(tǒng)對(duì)指定用戶的單一進(jìn)程允許同時(shí)打開的最大文件數(shù)限制設(shè)為指定的數(shù)值。如果重啟后用 ulimit-n命令查看用戶可打開文件數(shù)限制仍然低于上述步驟中設(shè)置的最大值，這可能是因?yàn)樵谟脩舻卿浤_本/etc/profile中使用ulimit -n命令已經(jīng)將用戶可同時(shí)打開的文件數(shù)做了限制。由于通過ulimit-n修改系統(tǒng)對(duì)用戶可同時(shí)打開文件的最大數(shù)限制時(shí)，新修改的值只能小于或等于上次 ulimit-n設(shè)置的值，因此想用此命令增大這個(gè)限制值是不可能的。所以，如果有上述問題存在，就只能去打開/etc/profile腳本文件，在文件中查找是否使用了ulimit-n限制了用戶可同時(shí)打開的最大文件數(shù)量，如果找到，則刪除這行命令，或者將其設(shè)置的值改為合適的值，然后保存文件，用戶退出并重新登錄系統(tǒng)即可。
通過上述步驟，就為支持高并發(fā)TCP連接處理的通訊處理程序解除關(guān)于打開文件數(shù)量方面的系統(tǒng)限制。
2、修改網(wǎng)絡(luò)內(nèi)核對(duì)TCP連接的有關(guān)限制(參考對(duì)比下篇文章“優(yōu)化內(nèi)核參數(shù)”)
在Linux上編寫支持高并發(fā)TCP連接的客戶端通訊處理程序時(shí)，有時(shí)會(huì)發(fā)現(xiàn)盡管已經(jīng)解除了系統(tǒng)對(duì)用戶同時(shí)打開文件數(shù)的限制，但仍會(huì)出現(xiàn)并發(fā)TCP連接數(shù)增加到一定數(shù)量時(shí)，再也無法成功建立新的TCP連接的現(xiàn)象。出現(xiàn)這種現(xiàn)在的原因有多種。
第一種原因可能是因?yàn)長inux網(wǎng)絡(luò)內(nèi)核對(duì)本地端口號(hào)范圍有限制。此時(shí)，進(jìn)一步分析為什么無法建立TCP連接，會(huì)發(fā)現(xiàn)問題出在connect()調(diào)用返回失敗，查看系統(tǒng)錯(cuò)誤提示消息是“Can't assign requestedaddress”。同時(shí)，如果在此時(shí)用tcpdump工具監(jiān)視網(wǎng)絡(luò)，會(huì)發(fā)現(xiàn)根本沒有TCP連接時(shí)客戶端發(fā)SYN包的網(wǎng)絡(luò)流量。這些情況說明問題在于本地Linux系統(tǒng)內(nèi)核中有限制。其實(shí)，問題的根本原因在于Linux內(nèi)核的TCP/IP協(xié)議實(shí)現(xiàn)模塊對(duì)系統(tǒng)中所有的客戶端TCP連接對(duì)應(yīng)的本地端口號(hào)的范圍進(jìn)行了限制(例如，內(nèi)核限制本地端口號(hào)的范圍為1024~32768之間)。當(dāng)系統(tǒng)中某一時(shí)刻同時(shí)存在太多的TCP客戶端連接時(shí)，由于每個(gè)TCP客戶端連接都要占用一個(gè)唯一的本地端口號(hào)(此端口號(hào)在系統(tǒng)的本地端口號(hào)范圍限制中)，如果現(xiàn)有的TCP客戶端連接已將所有的本地端口號(hào)占滿，則此時(shí)就無法為新的TCP客戶端連接分配一個(gè)本地端口號(hào)了，因此系統(tǒng)會(huì)在這種情況下在connect()調(diào)用中返回失敗，并將錯(cuò)誤提示消息設(shè)為“Can't assignrequested address”。有關(guān)這些控制邏輯可以查看Linux內(nèi)核源代碼，以linux2.6內(nèi)核為例，可以查看tcp_ipv4.c文件中如下函數(shù)：
static int tcp_v4_hash_connect(struct sock *sk)
請(qǐng)注意上述函數(shù)中對(duì)變量sysctl_local_port_range的訪問控制。變量sysctl_local_port_range的初始化則是在tcp.c文件中的如下函數(shù)中設(shè)置：
void __init tcp_init(void)
內(nèi)核編譯時(shí)默認(rèn)設(shè)置的本地端口號(hào)范圍可能太小，因此需要修改此本地端口范圍限制。
第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_local_port_range = 1024 65000
這表明將系統(tǒng)對(duì)本地端口范圍限制設(shè)置為1024~65000之間。請(qǐng)注意，本地端口范圍的最小值必須大于或等于1024;而端口范圍的最大值則應(yīng)小于或等于65535。修改完后保存此文件。
第二步，執(zhí)行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統(tǒng)沒有錯(cuò)誤提示，就表明新的本地端口范圍設(shè)置成功。如果按上述端口范圍進(jìn)行設(shè)置，則理論上單獨(dú)一個(gè)進(jìn)程最多可以同時(shí)建立60000多個(gè)TCP客戶端連接。
第二種無法建立TCP連接的原因可能是因?yàn)長inux網(wǎng)絡(luò)內(nèi)核的IP_TABLE防火墻對(duì)最大跟蹤的TCP連接數(shù)有限制。此時(shí)程序會(huì)表現(xiàn)為在 connect()調(diào)用中阻塞，如同死機(jī)，如果用tcpdump工具監(jiān)視網(wǎng)絡(luò)，也會(huì)發(fā)現(xiàn)根本沒有TCP連接時(shí)客戶端發(fā)SYN包的網(wǎng)絡(luò)流量。由于 IP_TABLE防火墻在內(nèi)核中會(huì)對(duì)每個(gè)TCP連接的狀態(tài)進(jìn)行跟蹤，跟蹤信息將會(huì)放在位于內(nèi)核內(nèi)存中的conntrackdatabase中，這個(gè)數(shù)據(jù)庫的大小有限，當(dāng)系統(tǒng)中存在過多的TCP連接時(shí)，數(shù)據(jù)庫容量不足，IP_TABLE無法為新的TCP連接建立跟蹤信息，于是表現(xiàn)為在connect()調(diào)用中阻塞。此時(shí)就必須修改內(nèi)核對(duì)最大跟蹤的TCP連接數(shù)的限制，方法同修改內(nèi)核對(duì)本地端口號(hào)范圍的限制是類似的：
第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_conntrack_max = 10240
這表明將系統(tǒng)對(duì)最大跟蹤的TCP連接數(shù)限制設(shè)置為10240。請(qǐng)注意，此限制值要盡量小，以節(jié)省對(duì)內(nèi)核內(nèi)存的占用。
第二步，執(zhí)行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統(tǒng)沒有錯(cuò)誤提示，就表明系統(tǒng)對(duì)新的最大跟蹤的TCP連接數(shù)限制修改成功。如果按上述參數(shù)進(jìn)行設(shè)置，則理論上單獨(dú)一個(gè)進(jìn)程最多可以同時(shí)建立10000多個(gè)TCP客戶端連接。
3、使用支持高并發(fā)網(wǎng)絡(luò)I/O的編程技術(shù)
在Linux上編寫高并發(fā)TCP連接應(yīng)用程序時(shí)，必須使用合適的網(wǎng)絡(luò)I/O技術(shù)和I/O事件分派機(jī)制。
可用的I/O技術(shù)有同步I/O，非阻塞式同步I/O(也稱反應(yīng)式I/O)，以及異步I/O。在高TCP并發(fā)的情形下，如果使用同步I/O，這會(huì)嚴(yán)重阻塞程序的運(yùn)轉(zhuǎn)，除非為每個(gè)TCP連接的I/O創(chuàng)建一個(gè)線程。但是，過多的線程又會(huì)因系統(tǒng)對(duì)線程的調(diào)度造成巨大開銷。因此，在高TCP并發(fā)的情形下使用同步 I/O是不可取的，這時(shí)可以考慮使用非阻塞式同步I/O或異步I/O。非阻塞式同步I/O的技術(shù)包括使用select()，poll()，epoll等機(jī)制。異步I/O的技術(shù)就是使用AIO。
從I/O事件分派機(jī)制來看，使用select()是不合適的，因?yàn)樗С值牟l(fā)連接數(shù)有限(通常在1024個(gè)以內(nèi))。如果考慮性能，poll()也是不合適的，盡管它可以支持的較高的TCP并發(fā)數(shù)，但是由于其采用“輪詢”機(jī)制，當(dāng)并發(fā)數(shù)較高時(shí)，其運(yùn)行效率相當(dāng)?shù)?，并可能存在I/O事件分派不均，導(dǎo)致部分TCP連接上的I/O出現(xiàn)“饑餓”現(xiàn)象。而如果使用epoll或AIO，則沒有上述問題(早期Linux內(nèi)核的AIO技術(shù)實(shí)現(xiàn)是通過在內(nèi)核中為每個(gè) I/O請(qǐng)求創(chuàng)建一個(gè)線程來實(shí)現(xiàn)的，這種實(shí)現(xiàn)機(jī)制在高并發(fā)TCP連接的情形下使用其實(shí)也有嚴(yán)重的性能問題。但在最新的Linux內(nèi)核中，AIO的實(shí)現(xiàn)已經(jīng)得到改進(jìn))。
綜上所述，在開發(fā)支持高并發(fā)TCP連接的Linux應(yīng)用程序時(shí)，應(yīng)盡量使用epoll或AIO技術(shù)來實(shí)現(xiàn)并發(fā)的TCP連接上的I/O控制，這將為提升程序?qū)Ω卟l(fā)TCP連接的支持提供有效的I/O保證。
內(nèi)核參數(shù)sysctl.conf的優(yōu)化
/etc/sysctl.conf 是用來控制linux網(wǎng)絡(luò)的配置文件，對(duì)于依賴網(wǎng)絡(luò)的程序(如web服務(wù)器和cache服務(wù)器)非常重要，RHEL默認(rèn)提供的最好調(diào)整。
推薦配置(把原/etc/sysctl.conf內(nèi)容清掉，把下面內(nèi)容復(fù)制進(jìn)去)：
net.ipv4.ip_local_port_range = 1024 65536
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_no_metrics_save=1
net.core.somaxconn = 262144
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
這個(gè)配置參考于cache服務(wù)器varnish的推薦配置和SunOne 服務(wù)器系統(tǒng)優(yōu)化的推薦配置。
不過varnish推薦的配置是有問題的，實(shí)際運(yùn)行表明“net.ipv4.tcp_fin_timeout = 3”的配置會(huì)導(dǎo)致頁面經(jīng)常打不開;并且當(dāng)網(wǎng)友使用的是IE6瀏覽器時(shí)，訪問網(wǎng)站一段時(shí)間后，所有網(wǎng)頁都會(huì)打不開，重啟瀏覽器后正常?？赡苁菄獾木W(wǎng)速快吧，我們國情決定需要調(diào)整“net.ipv4.tcp_fin_timeout = 10”，在10s的情況下，一切正常(實(shí)際運(yùn)行結(jié)論)。
修改完畢后，執(zhí)行：
/sbin/sysctl -p /etc/sysctl.conf
/sbin/sysctl -w net.ipv4.route.flush=1
命令生效。為了保險(xiǎn)起見，也可以reboot系統(tǒng)。
調(diào)整文件數(shù)：
linux系統(tǒng)優(yōu)化完網(wǎng)絡(luò)必須調(diào)高系統(tǒng)允許打開的文件數(shù)才能支持大的并發(fā)，默認(rèn)1024是遠(yuǎn)遠(yuǎn)不夠的。
執(zhí)行命令：
Shell代碼
echo ulimit -HSn 65536 >> /etc/rc.local
echo ulimit -HSn 65536 >>/root/.bash_profile
ulimit -HSn 65536
補(bǔ)充：Linux基本命令
1.ls命令：
格式：：ls [選項(xiàng)] [目錄或文件]
功能：對(duì)于目錄，列出該目錄下的所有子目錄與文件;對(duì)于文件，列出文件名以及其他信息。
常用選項(xiàng)：
-a ：列出目錄下的所有文件，包括以 . 開頭的隱含文件。
-d ：將目錄像文件一樣顯示，而不是顯示其他文件。
-i ：輸出文件的i節(jié)點(diǎn)的索引信息。
-k ：以k字節(jié)的形式表示文件的大小。
-l ：列出文件的詳細(xì)信息。
-n ：用數(shù)字的UID,GID代替名稱。
-F : 在每個(gè)文件名后面附上一個(gè)字符以說明該文件的類型，“*”表示可執(zhí)行的普通文 件;“/”表示目錄;“@”表示符號(hào)鏈接;“l”表示FIFOS;“=”表示套接字。
2.cd命令
格式：cd [目錄名稱]
常用選項(xiàng)：
cd .. 返回上一級(jí)目錄。
cd ../.. 將當(dāng)前目錄向上移動(dòng)兩級(jí)。
cd - 返回最近訪問目錄。
3.pwd命令
格式： pwd
功能：顯示出當(dāng)前工作目錄的絕對(duì)路徑。
相關(guān)閱讀：Linux主要特性
完全兼容POSIX1.0標(biāo)準(zhǔn)
這使得可以在Linux下通過相應(yīng)的模擬器運(yùn)行常見的DOS、Windows的程序。這為用戶從Windows轉(zhuǎn)到Linux奠定了基礎(chǔ)。許多用戶在考慮使用Linux時(shí)，就想到以前在Windows下常見的程序是否能正常運(yùn)行，這一點(diǎn)就消除了他們的疑慮。
多用戶、多任務(wù)
Linux支持多用戶，各個(gè)用戶對(duì)于自己的文件設(shè)備有自己特殊的權(quán)利，保證了各用戶之間互不影響。多任務(wù)則是現(xiàn)在電腦最主要的一個(gè)特點(diǎn)，Linux可以使多個(gè)程序同時(shí)并獨(dú)立地運(yùn)行。
良好的界面
Linux同時(shí)具有字符界面和圖形界面。在字符界面用戶可以通過鍵盤輸入相應(yīng)的指令來進(jìn)行操作。它同時(shí)也提供了類似Windows圖形界面的X-Window系統(tǒng)，用戶可以使用鼠標(biāo)對(duì)其進(jìn)行操作。在X-Window環(huán)境中就和在Windows中相似，可以說是一個(gè)Linux版的Windows。
支持多種平臺(tái)
Linux可以運(yùn)行在多種硬件平臺(tái)上，如具有x86、680x0、SPARC、Alpha等處理器的平臺(tái)。此外Linux還是一種嵌入式操作系統(tǒng)，可以運(yùn)行在掌上電腦、機(jī)頂盒或游戲機(jī)上。2001年1月份發(fā)布的Linux 2.4版內(nèi)核已經(jīng)能夠完全支持Intel 64位芯片架構(gòu)。同時(shí)Linux也支持多處理器技術(shù)。多個(gè)處理器同時(shí)工作，使系統(tǒng)性能大大提高。
Linux下高并發(fā)相關(guān)文章：
1.Linux上優(yōu)化Mysql運(yùn)行環(huán)境
3.linux的最大打開文件數(shù)限制修改方法命令是什么