在linux中,curl 命令是一个利用URL规则在命令行下工作的文件传输工具。curl 支持文件的上传和下载,所以是综合传输工具,但习惯性的称curl为下载工具。作为一款强力工具,curl支持包括HTTP、HTTPS、FTP等众多协议,还支持 GET、POST、cookies、认证、从指定偏移处下载部分文件、用户代理字符串、限速、文件大小、进度条等特征,还可以做网页处理流程和数据检索自动化。
一、curl命令安装
默认在linux(ubuntu)下curl没有安装,需要输入sudo apt-get install curl命令安装
二、curl命令语法
curl [option] [url]
(1)option为操作命令,常用命令有:
-A/--user-agent <string> 设置用户代理发送给服务器
-b/--cookie <name=string/file> cookie字符串或文件读取位置
-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中
-C/--continue-at <offset> 断点续转
-D/--dump-header <file> 把header信息写入到该文件中
-e/--referer 来源网址
-f/--fail 连接失败时不显示http错误
-o/--output 把输出写到该文件中
-O/--remote-name 把输出写到该文件中,保留远程文件的文件名
-r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围
-s/--silent 静音模式。不输出任何东西
-T/--upload-file <file> 上传文件
-u/--user <user[:password]> 设置服务器的用户和密码
-w/--write-out [format] 什么输出完成后
-x/--proxy <host[:port]> 在给定的端口上使用HTTP代理
-#/--progress-bar 进度条显示当前的传送状态
(2)url为具体的网页地址
例如://www.gnu.org/software/gettext/manual/gettext.html
三、Curl命令使用方法
1.保存下载文件
(1)下载单个文件
(2)使用-o(小写)参数,可下载到本地并重命名
(3)使用-O(大写)参数,将文件保存到本地并命名为gettext.html
(4)使用重定向功能保存
2.断点续传
curl能够从特定的文件偏移处继续下载,它可以通过指定一个偏移量来下载部分文件:
当文件在下载完成之前结束该进程,使用-C(大写)参数例如:
当文件在下载完成之前结束该进程:
$ curl -O //www.gnu.org/software/gettext/manual/gettext.html3
############## 20.1%
通过添加-C选项继续对该文件进行下载,已经下载过的文件不会被重新下载
curl -C - -O //www.gnu.org/software/gettext/manual/gettext.html7
############### 21.1%
3.测试网页返回值
在脚本中,这是很常见的测试网站是否正常的用
4.指定proxy服务器以及其端口
很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候),幸运的是curl通过使用内置option:-x来支持设置代理
curl -x 192.168.100.100:1080 //www.gnu.org/software/gettext/manual/gettext.html
5.cookie
有些网站是使用cookie来记录session信息。对于chrome这样的浏览器,可以轻易处理cookie信息,但在curl中只要增加相关参数也是。
(1)保存http的response里面的cookie信息,使用-c
有些网站是使用cookie来记录session信息。对于chrome这样的浏览器,可以轻易处理cookie信息,但在curl中只要增加相关参数也是可以很容易的处理cookie,例如:
Cookiec.txt内容如下:
(2)保存http的response里面的header信息。使用 -D
Cookiec.txt内容如下:
6.从FTP服务器下载文件
curl同样支持FTP下载,若在url中指定的是某个文件路径而非具体的某个要下载的文件名,CURL则会列出该目录下的所有文件名而并非下载该目录下的所有文件,例如:
列出public_html下的所有文件夹和文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/
下载xss.php文件
curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/xss.php
7.上传文件到FTP服务器
curl通过 -T 选项可将指定的本地文件上传到FTP服务器上
# 将myfile.txt文件上传到服务器
curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com
# 同时上传多个文件
curl -u ftpuser:ftppass -T "{file1,file2}" ftp://ftp.testserver.com
# 从标准输入获取内容保存到服务器指定的文件中
curl -u ftpuser:ftppass -T - ftp://ftp.testserver.com/myfile_1.txt
8.词典
(1)查询bash单词的含义
(2)列出所有词典
9.传递请求数据
默认curl使用GET方式请求数据,这种方式下直接通过URL传递数据,可以通过 --data/-d 方式指定使用POST方式传递数据,例如:
GET:
curl -u username https://api.github.com/user?access_token=XXXXXXXXXX
POST:
curl -u username --data "param1=value1¶m2=value" https://api.github.com
也可以指定一个文件,将该文件中的内容当作数据传递给服务器端
curl --data @filename https://github.api.com/authorizations
注:默认情况下,通过POST方式传递过去的数据中若有特殊字符,首先需要将特殊字符转义在传递给服务器端,如value值中包含有空格,则需要先将空格转换成%20,如:
curl -d "value%201" //hostname.com
在新版本的CURL中,提供了新的选项 --data-urlencode,通过该选项提供的参数会自动转义特殊字符。
curl --data-urlencode "value 1" //hostname.com
除了使用GET和POST协议外,还可以通过 -X 选项指定其它协议,如:
curl -I -X DELETE https://api.github.cim
上传文件:
curl --form "fileupload=@filename.txt" //hostname/resource