通过JAVA抓取页面时，有些页面会返回401(Unauthorized)响应状态码和www-authenticate响应头来要求客户端进行身份认证。这种认证有两种方式：BASIC和DIGEST，BASIC验证要求客户端对用户名和密码进行BASE64编码后传送给服务器。DIGEST的认证方式的细节比较复杂，会经过一系列的加密，所以很难被破译。
JAVA提供一个用于启用身份认证的类，可以支持HTTP协议中的多个认证方式，这个类是java.net.Authenticator，使用方法如下：
Java 代码
1.package com.xixuyishi;
2.
3.import java.io.BufferedReader;
4.import java.io.InputStream;
5.import java.io.InputStreamReader;
6.import java.net.Authenticator;
7.import java.net.PasswordAuthentication;
8.import java.net.URL;
9.
10.public class RunHttpSpnego {
11.
12. static final String kuser = "username"; // 用户名
13. static final String kpass = "password"; // 密码
14. static class MyAuthenticator extends Authenticator {
15.
16. @Override
17. public PasswordAuthentication getPasswordAuthentication() {
18. return (new PasswordAuthentication(kuser, kpass.toCharArray()));
19. }
20. }
21.
22. public static void main(String[] args) throws Exception {
23. Authenticator.setDefault(new MyAuthenticator());
24. URL url = new URL(args[0]);
25. InputStream ins = url.openConnection().getInputStream();
26. BufferedReader reader = new BufferedReader(new InputStreamReader(ins));
27. String str;
28. while ((str = reader.readLine()) != null)
29. System.out.println(str);
30. }
31.}
只需要创建一个继续自Authenticator的类，并且重写其中的getPasswordAuthentication()方法，将用户名和密码放入方法中，这样在需要使用身份认证的地方实现这个类就可以了。
