[Python] HttpConnection(requestsモジュール)でウェブサーバーで接続する方法

こんにちは。明月です。

この投稿はPythonでHttpConnection(requestsモジュール)でウェブサーバーで接続する方法に関する説明です。

ウェブサーバーとブラウザの通信は要請、応答構造でなっています。要請はホストアドレスを含めてページを要請することだし、応答は要請に対して応答メッセージ(ヘッダー)とhtmlをブラウザに送信することです。

ウェブページはブラウザでJavascriptが実行してCSS styleに合わせて画面に見えることですが、ブラウザのレンダリングの役割です。

サーバーとブラウザの間の通信はString(byte[])タイプで送受信することだけです。

ローカルにPHPで簡単な例のソースを作成し、pythonでrequest要請して、応答を受けましょう。

<?php
  error_reporting(E_ALL & ~E_NOTICE);
  // Getタイプの場合、アドレスからパラメータデータを取得する。
  echo "GET - ".$_GET["param"];
?>

import requests

# 接続url
url = 'http://localhost/'
# requestsで直接に接続も可能が、要請事項を扱うためにはセッションを生成する。
with requests.Session() as session:
  # proxy環境の場合、trust_envをFalseですべき。
  # session.trust_env = False
  # getタイプでパラメータのparamにデータを格納して要請する。
  with session.get(url, params = {'param': 'query string test'}) as response:
    # 要請する時のヘッダー(ディクショナリ)
    print("request headers - " + str(session.headers))

    # 応答する時のヘッダー(ディクショナリ)
    print("response headers - " + str(response.headers))
    # byteタイプの応答のボディーのデータ
    print("response content - " + str(response.content))
    # strタイプの応答本文データ
    print("response text - " + str(response.text))
    # 現在のセッションのクッキー設定
    print("response cookies - " + str(response.cookies))
    # 本文エンコードタイプ
    print("response encoding - " + str(response.encoding))
    # 応答成功(200)
    print("response ok - " + str(response.ok))
    # 応答コード
    print("response status_code - " + str(response.status_code))
    # 要請する時のurl
    print("response url - " + str(response.url))

Pythonでウェブサーバーを接続することを簡単です。requestのモジュールからセッションを受け取ります。後、そのセッションでlocalhostを要請して応答する結果を受け取ります。

応答結果はheadersとtext、contentが一番重要なデータです。

textの結果をみれば、paramのキーでquery string testを送ったので、上のPHPソースの結果通りGET - query string testの結果が出ました。

今回はPostタイプでsession値を入れてGetタイプで値を取得する方法を説明します。

<?php	
  // PHPセッションを開始する。(ブラウザでSet-Cookieのsession keyが発給される。)	
  session_start();
  error_reporting(E_ALL & ~E_NOTICE);
  // POSTタイプの場合
  if ($_SERVER["REQUEST_METHOD"] == "POST") {
      // POSTのパラメータのDATAをセッションのDATAに格納する。
      $_SESSION["DATA"] = $_POST["DATA"];
      echo "OK";
  } else {
      // GETタイプの場合にセッションのDATA値を出力する。
      echo $_SESSION["DATA"];
  }
?>

import requests

# 接続URL
url = 'http://localhost/'
# requestsで直接に接続も可能が、要請事項を扱うためにはセッションを生成する。
with requests.Session() as session:	
  # まず、postタイプでDATAパラメータにHello worldの値を入れる。
  with session.post(url, data = {'DATA': 'Hello world'}) as response:
    # strタイプの応答ボディーデータ
    print("response text - " + str(response.text));	
    # 応答ヘッダー
    print("response headers - " + str(response.headers))
    # 応答クッキー
    print("response cookies - " + str(response.cookies))
    	
    # 応答したクッキーの値をcookiesの変数に格納する。
    cookies = response.cookies
    # cookiesをディクショナリタイプを入れてもよい。
    # cookies = {'PHPSESSID': response.cookies["PHPSESSID"]}	
    # 要請したヘッダーをheadersの変数に格納する。
    headers = session.headers
  # 次の要請からは別途でクッキー設定をしなくても、同じセッションならクッキーが保持する。
  with session.get(url) as response:	
    # なので結果はHello worldが出力する。
    print("response text - " + str(response.text))
 	
# ここは上のRequestのセッションと別のセッション。
with requests.Session() as session:
  # セッションを保持すればクッキーを設定すべき。
  with session.get(url, headers= headers, cookies = cookies) as response:
    # なので、結果はHello worldが出力する。
    print("response text - " + str(response.text))

Pythonではrequestsモジュールを使う時、Sessionだけちゃんと管理すれば別にクッキー設定がなくてもセッションの保持が可能です。(C#とJavaと同じ機能があるかどうかしらべなければならないな。)

そうすれば応用でウェブサーバからもloginしてデータを取得することができます。

requestの関数はpost, getのメソッドがるクラスタイプです。

responseは仕様によって様々の関数と変数を使います。下記の表で纏めました。

ウェブサーバーを接続するHttpConnectionオブジェクトはJavaとC#、PHPもあります。筆者のほぼすべての言語で似ているなライブラリが存在します。

個人的にPythonのrequestsモジュールがセッションを保持する方法か、json()関数みたいに自動にjsonタイプを返却する関数や様々な関数やライブラリがもっと楽に構成されています。ローカルスクリプトをよく使う言語でrequestsで情報を自動的に収集するスクレイピングボットやクロリングなどを作成すればいろいろなことで使えるではないかと思います。

link - https://requests.readthedocs.io/en/master/api/

link - https://www.w3schools.com/python/ref_requests_response.asp

link - https://stackoverflow.com/questions/40430799/

ここまでPythonでHttpConnection(requestsモジュール)でウェブサーバーで接続する方法に関する説明でした。

ご不明なところや間違いところがあればコメントしてください。