社で機械学習モデルをセルフホストするとどうかという話題があって、あんまり土地勘がないので調べてみることにした。とりあえずembeddingがしたくて、これにはSentenceTransformersというモジュールを使うといいらしい。multilingual-e5という多言語対応されたモデルがよさそうということで、ひとまず手元のmacbookのCPUだけで動かすとどうなるか、multilingual-e5-small というモデルを試してみた
機械学習モデルの実行のためのエコシステムというのは大変良く整っていて、SentenceTransformersにHugging Faceにホストされているモデルのモデル名を渡すだけで、勝手にダウンロードして実行してくれる。
SentenceTransformersをHTTPリクエストで操作できるOSSみたいなのがあれば良かったが、手軽に見つからなかったのでFlaskでラップすることにした。
import json
import sys
import time
import numpy as np
from flask import Flask, request, jsonify
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("intfloat/multilingual-e5-small")
def embedding(sentence):
prefix = "query:"
embedding_input = prefix + sentence
t1p = time.perf_counter()
embedding = model.encode(embedding_input)
t2p = time.perf_counter()
embedding_list = embedding.tolist()
return {
"prefix": prefix,
"sentence": sentence,
"vector": embedding.tolist(),
"embedding_ms": t2p - t1p
}
app = Flask(__name__)
# flaskで公開する
from flask import Flask, request
app = Flask(__name__)
@app.route("/encode", methods=["POST"])
def encode():
print("ping")
print("request /encode", request)
print(request.json)
target = request.json["sentence"]
ret = embedding(target)
return jsonify(ret)
@app.route("/", methods=["GET"])
def index():
print("ping")
print("request /", request)
return "Hello, World!"
if __name__ == "__main__":
app.run(host="0.0.0.0", port=8080)
これでHTTPリクエストを投げてみると「こんにちは」ぐらいの文字で0.8から1.5秒くらいで帰ってくる感じだった。真面目に計測したとかではないのだけどそれくらいのオーダー。クラウドプロバイダーのCPU/GPUインスタンスだとどれくらいかかるのかなというのが気になる。
というのと、GPUインスタンスを常に立ち上げておくと結構のコストになるので、これはちょい考えものだなあという気持ちになった。バッチ処理で一括で処理できるものは使わない時はとめておけばいいが、リアルタイムにembeddingしてその結果を返すというのが必要だとすると、常に立ち上がってないといけない。