[SSLの勉強２]：クライアント証明書と認証

本などで勉強しても全く頭に入らないので、手を動かして理解する。
今回は、クライアントの認証を導入してみる。前回の設定等が済まされた状態を前提とする。

• Mac Book Air
• Mac OS X 10.8.2
• OpenSSL 0.9.8
• Apache 2.2.22
• Google Chrome 24.0.1312

1. クライントの秘密鍵・証明書作成
前回と同じように~/pkiで作業を行う。


$ cd ~/pki
$ mkdir ~/pki/client

まずは、クライアントの秘密鍵の作成。


$ openssl genrsa -des3 -out ~/pki/client/client.key 1024
Generating RSA private key, 1024 bit long modulus
..++++++
.....++++++
e is 65537 (0x10001)
Enter pass phrase for /Users/shu222/pki/client/client.key:
Verifying - Enter pass phrase for /Users/shu222/pki/client/client.key:

次に、クライアントの認証局への署名要求書の作成。


$ openssl req -new -days 365 -key ~/pki/client/client.key -out ~/pki/client/csr.pem
Enter pass phrase for /Users/shu222/pki/client/client.key:
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [JP]:
State or Province Name (full name) [Kobe]:
Locality Name (eg, city) [Chuo-ku]:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (eg, YOUR name) []:noah
Email Address []:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

CAで署名する。クライアント証明書の出来上がり。


$ openssl ca -in ~/pki/client/csr.pem -keyfile ~/pki/demoCA/private/cakey.pem -cert ~/pki/demoCA/cacert.pem -out ~/pki/client/cert.pem
Using configuration from /System/Library/OpenSSL/openssl.cnf
Enter pass phrase for /Users/testuser/pki/demoCA/private/cakey.pem:
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            bd:48:b8:5b:4c:1c:57:12
        Validity
            Not Before: Feb 23 13:55:05 2013 GMT
            Not After : Feb 21 13:55:05 2023 GMT
        Subject:
            countryName               = JP
            stateOrProvinceName       = Kobe
            organizationName          = Internet Widgits Pty Ltd
            commonName                = noah
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Cert Type: 
                SSL Server
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                0A:F6:CB:01:4E:FD:0C:4B:DB:3E:E1:6B:76:9A:C6:63:B8:49:64:57
            X509v3 Authority Key Identifier: 
                keyid:09:18:4F:0E:9D:62:76:25:9D:1D:7F:34:9E:CC:5F:47:C0:DA:41:6B

Certificate is to be certified until Feb 21 13:55:05 2023 GMT (3650 days)
Sign the certificate? [y/n]:y


1 out of 1 certificate requests certified, commit? [y/n]y
Write out database with 1 new entries
Data Base Updated

2. ApacheのSSL設定
Apacheを停止しておく。


$ sudo apachectl stop

httpd-ssl.confに以下の設定を記述する。

認証局の証明書があるディレクトリのパス


SSLCACertificatePath "/Users/testuser/pki/demoCA"

認証局の証明書ファイルのパス


SSLCACertificateFile "/Users/testuser/pki/demoCA/cacert.pem"

クライントの認証方式。{none | optional | require | optional_no_ca}が選択できるよう。


SSLVerifyClient require

証明書チェインにおいて認証局を辿る深さ。今回はオレオレなので１。


SSLVerifyDepth  1

3. ブラウザにクライアント証明書を設定
まず、クライアント証明書をpkcs12形式に変換する。


$ openssl pkcs12 -export -in ~/pki/client/cert.pem -inkey ~/pki/client/client.key -certfile ~/pki/demoCA/cacert.pem -out ~/pki/client/cert.p12

Chromeの場合、メニューバーの「Chrome」→「環境設定...」→一番下にスクロールして「詳細設定を表示...」
→HTTP/SSLのエリアの「証明書の管理」→キーチェーンアクセスが起動→メニューバーの「ファイル」→「読み込む...」
→クライアント証明書のファイル(上の場合だと、cert.p12)を選択して「開く」
これでブラウザはクライアント証明書をサーバに送れるようになる。
ちなみに設定前は、以下のような画面で警告される。

おわり

[SSLの勉強１]：CA構築とサーバ証明書

本などで勉強しても全く頭に入らないので、手を動かして理解する。
いわゆる自己認証・自己証明書作成をやってみる。

• Mac Book Air
• Mac OS X 10.8.2
• OpenSSL 0.9.8
• Apache 2.2.22

1. openssl.cfgの作成
ユーザホームディレクトリにpkiというディレクトリを作成し、そこで作業することとする。


$ mkdir ~/pki
$ cd ~/pki
$ sudo cp /System/Library/OpenSSL/openssl.cnf /System/Library/OpenSSL/openssl.cnf.org
$ vi /System/Library/OpenSSL/openssl.cnf

今回使用したファイルは以下のとおり。

openssl.cfg

#
# OpenSSL example configuration file.
# This is mostly being used for generation of certificate requests.
#

HOME   = .
RANDFILE  = $ENV::HOME/.rnd

oid_section  = new_oids

[ new_oids ]

####################################################################
[ ca ]
default_ca = CA_default  # The default ca section

####################################################################
[ CA_default ]

dir  = ./demoCA
certs  = $dir/certs
crl_dir  = $dir/crl
database = $dir/index.txt
new_certs_dir = $dir/newcerts

certificate = $dir/cacert.pem 
serial  = $dir/serial 
crlnumber = $dir/crlnumber
crl  = $dir/crl.pem
private_key = $dir/private/cakey.pem
RANDFILE = $dir/private/.rand

x509_extensions = usr_cert

name_opt  = ca_default
cert_opt  = ca_default

default_days = 3650
default_crl_days= 30
default_md = sha1
preserve = no

policy  = policy_match

[ policy_match ]
countryName  = match
stateOrProvinceName = match
organizationName = match
organizationalUnitName = optional
commonName  = supplied
emailAddress  = optional

[ policy_anything ]
countryName  = optional
stateOrProvinceName = optional
localityName  = optional
organizationName = optional
organizationalUnitName = optional
commonName  = supplied
emailAddress  = optional

####################################################################
[ req ]
default_bits  = 2048
default_keyfile  = privkey.pem
distinguished_name = req_distinguished_name
attributes  = req_attributes
x509_extensions  = v3_ca 

string_mask = nombstr

[ req_distinguished_name ]
countryName   = Country Name (2 letter code)
countryName_default  = JP
countryName_min   = 2
countryName_max   = 2

stateOrProvinceName  = State or Province Name (full name)
stateOrProvinceName_default = Kobe

localityName   = Locality Name (eg, city)
localityName_default  = Chuo-ku

0.organizationName  = Organization Name (eg, company)
0.organizationName_default = Internet Widgits Pty Ltd

organizationalUnitName  = Organizational Unit Name (eg, section)

commonName   = Common Name (eg, YOUR name)
commonName_max   = 64

emailAddress   = Email Address
emailAddress_max  = 64

[ req_attributes ]
challengePassword  = A challenge password
challengePassword_min  = 4
challengePassword_max  = 20

unstructuredName  = An optional company name

[ usr_cert ]
basicConstraints=CA:FALSE

nsComment   = "OpenSSL Generated Certificate"

subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid,issuer

[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment

[ v3_ca ]
subjectKeyIdentifier=hash

authorityKeyIdentifier=keyid:always,issuer:always

basicConstraints = CA:true

[ crl_ext ]
authorityKeyIdentifier=keyid:always,issuer:always

[ proxy_cert_ext ]
basicConstraints=CA:FALSE

nsComment   = "OpenSSL Generated Certificate"

subjectKeyIdentifier=hash
authorityKeyIdentifier=keyid,issuer:always

proxyCertInfo=critical,language:id-ppl-anyLanguage,pathlen:3,policy:foo

2. CA構築

$ /System/Library/OpenSSL/misc/CA.sh -newca
CA certificate filename (or enter to create)

Making CA certificate ...
Generating a 2048 bit RSA private key
...................................................................+++
....................................................................................................................................+++
writing new private key to './demoCA/private/./cakey.pem'
Enter PEM pass phrase: <== 任意のパスワードを入力
Verifying - Enter PEM pass phrase: <== もう一度入力
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [JP]:
State or Province Name (full name) [Kobe]:
Locality Name (eg, city) [Chuo-ku]:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (eg, YOUR name) []:noah <== ホスト名(FQDN)入力
Email Address []:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:
Using configuration from /System/Library/OpenSSL/openssl.cnf
Enter pass phrase for ./demoCA/private/./cakey.pem:  <== 任意のパスワードを入力
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            a5:f1:29:54:f4:12:9e:c4
        Validity
            Not Before: Feb 20 16:02:51 2013 GMT
            Not After : Feb 20 16:02:51 2016 GMT
        Subject:
            countryName               = JP
            stateOrProvinceName       = Kobe
            organizationName          = Internet Widgits Pty Ltd
            commonName                = noah
        X509v3 extensions:
            X509v3 Subject Key Identifier: 
                40:8C:0E:CF:F6:70:8F:09:83:E0:4A:19:31:63:3A:66:3D:9C:23:0E
            X509v3 Authority Key Identifier: 
                keyid:40:8C:0E:CF:F6:70:8F:09:83:E0:4A:19:31:63:3A:66:3D:9C:23:0E
                DirName:/C=JP/ST=Kobe/O=Internet Widgits Pty Ltd/CN=noah
                serial:A5:F1:29:54:F4:12:9E:C4

            X509v3 Basic Constraints: 
                CA:TRUE
Certificate is to be certified until Feb 20 16:02:51 2016 GMT (1095 days)

Write out database with 1 new entries
Data Base Updated

作業ディレクトリのdemoCAに認証局証明書(cacert.pem)などができている。


$ ls ~/pki/demoCA/
cacert.pem certs  index.txt index.txt.old private
careq.pem crl  index.txt.attr newcerts serial

CAの証明書の中身は以下で確認できる。


$ openssl x509 -in ~/pki/demoCA/cacert.pem -text

3. サーバの秘密鍵作成
サーバ用のディレクトリを作成して作業。パスワード設定のため入力を求められます。


$ mkdir ~/pki/server
$ openssl genrsa -des3 -out ~/pki/server/server.key 1024
$ ls ~/pki/server
server.key

これがサーバの秘密鍵になります。

4. サーバ証明書作成
サーバの証明書に信頼性を持たせるため認証局に署名をしてもらう必要があります。
これによって、そのサーバが本物であることをクライアントに示すことができます。
ここでは、認証局も自前なので一般的になんの信頼性もないサーバ証明書になります。（いわゆるオレオレ）

まずは、署名要求書の作成。CA構築時と全く同じ回答をします。


$ openssl req -new -days 365 -key ~/pki/server/server.key -out ~/pki/server/csr.pem
Enter pass phrase for /Users/testuser/pki/server/server.key:
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [JP]:
State or Province Name (full name) [Kobe]:
Locality Name (eg, city) [Chuo-ku]:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:
Organizational Unit Name (eg, section) []:
Common Name (eg, YOUR name) []:noah
Email Address []:

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

$ ls ~/pki/server/
csr.pem  server.key

このファイルを使って認証局に署名してもらいます。


$ openssl ca -in ~/pki/server/csr.pem -keyfile ~/pki/demoCA/private/cakey.pem -cert ~/pki/demoCA/cacert.pem -out ~/pki/server/cert.pem
Using configuration from /System/Library/OpenSSL/openssl.cnf
Enter pass phrase for /Users/testuser/pki/demoCA/private/cakey.pem:
Check that the request matches the signature
Signature ok
Certificate Details:
        Serial Number:
            bd:48:b8:5b:4c:1c:57:11
        Validity
            Not Before: Feb 23 02:48:56 2013 GMT
            Not After : Feb 21 02:48:56 2023 GMT
        Subject:
            countryName               = JP
            stateOrProvinceName       = Kobe
            organizationName          = Internet Widgits Pty Ltd
            commonName                = noah
        X509v3 extensions:
            X509v3 Basic Constraints: 
                CA:FALSE
            Netscape Cert Type: 
                SSL Server
            Netscape Comment: 
                OpenSSL Generated Certificate
            X509v3 Subject Key Identifier: 
                0B:BB:C9:A4:6F:8D:93:B8:D3:E1:EA:62:C2:30:FD:46:6B:6A:1F:15
            X509v3 Authority Key Identifier: 
                keyid:09:18:4F:0E:9D:62:76:25:9D:1D:7F:34:9E:CC:5F:47:C0:DA:41:6B

Certificate is to be certified until Feb 21 02:48:56 2023 GMT (3650 days)
Sign the certificate? [y/n]:y


1 out of 1 certificate requests certified, commit? [y/n]y
Write out database with 1 new entries
Data Base Updated

一度エラーがでたので、以下の対処を行った。


$ openssl ca -in ~/pki/server/csr.pem -keyfile ~/pki/demoCA/private/cakey.pem -cert ~/pki/demoCA/cacert.pem -out ~/pki/server/cert.pem
<省略>
Certificate is to be certified until Feb 21 02:46:04 2023 GMT (3650 days)
Sign the certificate? [y/n]:y
failed to update database
TXT_DB error number 2
$ mv ~/pki/demoCA/index.txt ~/pki/demoCA/index.txt.old
$ touch ~/pki/demoCA/index.txt

なぜこのエラーがでるのかが、不明。

5. ApacheのSSL設定
最低限の設定しかここではしないため、適宜環境・要件に合わせて読み替えてください。
起動している場合は、Apacheを停止しておく。


$ sudo apachectl stop

Apacheに設定する秘密鍵として、パスワード無しの秘密鍵を現在の秘密鍵から作成しておく。


openssl rsa -in ~/pki/server/server.key -out ~/pki/server/servernopw.key 
Enter pass phrase for /Users/testuser/pki/server/server.key:
writing RSA key

Apacheの設定ファイルを２つ（httpd.conf, httpd-ssl.conf） /etc/apache2/httpd.conf：この行のコメントアウトを外す

Include /private/etc/apache2/extra/httpd-ssl.conf

/etc/apache2/extra/httpd-ssl.conf：以下２行でサーバ証明書と秘密鍵を指定する。


SSLCertificateFile "/Users/testuser/pki/server/cert.pem"
SSLCertificateKeyFile "/Users/testuser/pki/server/servernopw.key"

以下にhttpd-ssl.confを載せておく。


Listen 443

AddType application/x-x509-ca-cert .crt
AddType application/x-pkcs7-crl    .crl

SSLPassPhraseDialog  builtin
SSLSessionCache        "shmcb:/private/var/run/ssl_scache(512000)"
SSLSessionCacheTimeout  300
SSLMutex  "file:/private/var/run/ssl_mutex"

<VirtualHost _default_:443>
DocumentRoot "/Library/WebServer/Documents"
ServerName www.example.com:443
ServerAdmin you@example.com
ErrorLog "/private/var/log/apache2/error_log"
TransferLog "/private/var/log/apache2/access_log"

SSLEngine on
SSLProtocol all -SSLv2
SSLCipherSuite HIGH:MEDIUM:!aNULL:!MD5
SSLCertificateFile "/Users/testuser/pki/server/cert.pem"
SSLCertificateKeyFile "/Users/testuser/pki/server/servernopw.key"

<FilesMatch "\.(cgi|shtml|phtml|php)$">
    SSLOptions +StdEnvVars
</FilesMatch>
<Directory "/Library/WebServer/CGI-Executables">
    SSLOptions +StdEnvVars
</Directory>
BrowserMatch "MSIE [2-5]" \
         nokeepalive ssl-unclean-shutdown \
         downgrade-1.0 force-response-1.0
CustomLog "/private/var/log/apache2/ssl_request_log" \
          "%t %h %{SSL_PROTOCOL}x %{SSL_CIPHER}x \"%r\" %b"
</VirtualHost>

6. 接続確認
ブラウザで接続してみる。
Chromeではこんな感じで警告が出る。「このまま続行」をクリックすると

サイトが表示される。

おわり

備忘録：Macで特定ウィンドウのスクリーンショットを撮るショートカット

忘れてしまう。。。

「コマンド」　+　「Shift」　+　「4」　+　「Space」

これでマウスカーソルがカメラになるので、キャプチャしたいウィンドウを選択する。

おわり

PythonでHTMLパース：リンクとアンカーテキスト抽出

HTMLParserを利用してHTMLのタグ解析を行う。
特定のサイトにあるAタグを抽出して、リンクURLとアンカーテキストの組を作る。

• さくらVPS
• CentOS 6.2
• Python 2.6.6

• ソースコード

#!/usr/bin/env python
# -*- encoding: utf-8 -*-

import re

from urllib import urlopen
from HTMLParser import HTMLParser

class out_link_parser(HTMLParser):
  def __init__(self):
    HTMLParser.__init__(self)
    self.links = {}
    self.linkurl = ''

  # aタグのみ処理を行い、href属性の内容をlinkurlに格納
  def handle_starttag(self, tag, attrs):
    if tag == 'a':
      attrs = dict(attrs)
      if 'href' in attrs:
        self.linkurl = attrs['href']

  # これは書かなくてもよい
  def handle_endtag(self, tag):
    pass

  # linkurlに値が入っている場合のみ、（つまりAタグの場合）
  # urlをキー：アンカーテキストをバリューとしてディクショナリに追加
  def handle_data(self, data):
    if self.linkurl:
      self.links[self.linkurl] = data
      self.linkurl = ''


def main():
  target = 'http://www.python.jp/'
  url = urlopen(target)
  html = url.read()
  parser = out_link_parser()

  # 日本語があるのでUnicodeに変換
  parser.feed(html.decode('utf-8'))
  parser.close()

  for k, v in parser.links.items():
    k_str = k.encode('utf-8')
    # アンカーテキストの先頭／末尾のスペースや改行などを除去
    v_str = re.sub('^[ \n\r\t]+|[ \n\r\t]+$', '', v).encode('utf_8')
 
    # 相対パスやアンカーの場合、ルートのURLを先頭に付与
    if re.match('^/', k_str):
      print "%s: %s" % (re.sub('^/', target, k_str), v_str)
    elif re.match('^#', k_str):
      print "%s: %s" % (re.sub('^#', target + '#', k_str), v_str)
    else:
      print "%s: %s" % (k_str, v_str)
      

if __name__ == '__main__':
  main()

• 実行結果

http://www.python.jp/pyjug/: PyJUGについて
http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2: ソースコード
http://confoo.ca/: CanFoo
http://www.python.jp/psf/donations/: 
http://www.python.org/download/releases/3.3.0/: Python 3.3.0
http://www.python.jp/#content-body: 
http://www.python.org: 公式ウェブサイト
http://www.python.org/psf/donations/: Pythonに募金を！
http://www.python.jp/Zope/: 以前のwww.python.jpサイト
http://pypi.python.org/pypi: Pythonパッケージインデックス
http://www.python.jp/about/: Pythonとは
http://www.python.org/download/releases/2.7.3/: Python 2.7.3
http://code.google.com/p/python-doc-ja/: ドキュメント翻訳プロジェクト
http://www.python.jp/: 
http://docs.python.jp/3.3/: ドキュメント (nightly)
http://python.org/download/releases/3.3.0/: リリース
http://www.python.jp/news/: ニュース
http://www.python.org/ftp/python/3.3.0/Python-3.3.0.tar.bz2: ソースコード
http://www.python.jp/pyjug: Legal Statements
http://docs.python.jp/2.7/: 日本語ドキュメント
http://www.python.jp/download/: ダウンロード
http://www.google.com/calendar/ical/kj670le78ju5alcbt1khect5ks%40group.calendar.google.com/public/basic.ics: Python Calendar Japan
http://www.python.jp/doc/: ドキュメント
http://www.timparkin.co.uk/: design by Tim Parkin
http://www.python.jp/mailman/listinfo/python-ml-jp: Python日本語メーリングリスト
http://www.python.jp/channews.rdf: RSS
https://github.com/tokyo-scipy/archive/tree/master/005: Tokyo.SciPy #5
http://python.org/community/awards/psf-distinguished-awards/: 特別功労賞
http://www.numfocus.org/johnhunter: John Hunter
http://www.python.org/psf/license/: オープンソースライセンス
http://wiki.python.org/moin/Languages: 各国語のPython情報
http://www.python.org/ftp/python/3.3.0/python-3.3.0.msi: Windows インストーラ
http://www.python.jp/#left-hand-navigation: 
http://www.python.org/ftp/python/2.7.3/python-2.7.3.msi: Windows インストーラ
http://www.python.jp/about: Pythonについてもっと詳しく
https://github.com/tokyo-scipy/archive: Tokyo.SciPy

そこそこまともにとれました。

おわり