日本のAI企業rinnaが開発したモデルをGoogle Colabで動かしてみる

2025年2月25日 nori 未分類コメントを残す

Google社のGemmaをベースにした日本語対応モデル「rinna/gemma-2-baku-2b-it」をGoogle Colabで検証。

ハードウェアアクセラレータを変更する

画面右上の接続の右横の「▼」 -> 「ランタイムのタイプを変更」をクリック。

Google Colab 接続メニュー

「T4 GPU」に変更して「保存」をクリック。

Google Colab ハードウェアアクセラレータ選択

モデルの読み込みと設定

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "rinna/gemma-2-baku-2b-it"
dtype = torch.bfloat16

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    torch_dtype=dtype,
    attn_implementation="eager",
)

モデルのダウンロードからなので8分くらいかかる。

推論

chat = [
    { "role": "user", "content": "日本で1番高い山を教えて下さい" },
]
prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
outputs = model.generate(
    input_ids,
    max_new_tokens=512,
)

response = tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True)
print(response)

検証結果

回答に30～40秒かかるけど、回答結果の精度は悪くない。

回答例

質問：日本で1番高い山を教えて下さい

日本で一番高い山は富士山です。 

標高は3,776メートルです。

質問：広島のバス会社の売上アップのアイデアをお願いします

広島のバス会社が売上アップを目指すためのアイデアをいくつかご提案します。

**1.  魅力的なサービスと料金プランの提供:**

* **地域密着型ツアーやイベントとの連携:**  広島の観光名所やイベント（例：原爆ドーム、宮島、尾道など）と提携し、バスツアーや割引チケットを販売する。
* **学生割引やシニア割引:** 学生や高齢者向けの割引料金を設定し、利用促進を図る。
* **オンデマンドバスサービス:**  需要に応じて運行するオンデマンドバスを導入し、利便性を向上させる。

**2.  デジタルマーケティングの強化:**

* **アプリ開発:**  路線検索、時刻表、運賃確認、予約機能などを備えたバスアプリを開発し、利用促進と顧客満足度向上を目指す。
* **SNSマーケティング:**  Facebook、Instagram、Twitterなどのソーシャルメディアを活用し、魅力的な写真や動画を投稿し、地域住民や観光客とのエンゲージメントを高める。
* **オンライン広告:**  Google AdWordsやYahoo!プロモーション広告など、オンライン広告を活用し、ターゲットオーディエンスにリーチする。

**3.  顧客体験の向上:**

* **快適な車内環境:**  座席の清掃、シートの交換、Wi-Fiやコンセントの設置など、車内環境を向上させる。
* **パーソナライズされたサービス:**  乗客のニーズや好みに合わせたサービスを提供する。例えば、事前に予約された乗客には、好きな飲み物や軽食を提供する。
* **乗務員の接客向上:**  乗務員の接客マナーや知識を向上させ、顧客満足度を高める。

**4.  地域との連携:**

* **地域イベントへの参加:**  地元の祭りやイベントに積極的に参加し、地域住民との交流を深める。
* **地域企業との提携:**  地元の飲食店や観光施設と提携し、バス利用者への割引や特典を提供する。
* **地域住民への啓発活動:**  バスの利用促進や公共交通機関の重要性を啓発する活動を行う。


これらのアイデアを組み合わせることで、広島のバス会社は競争力を高め、売上アップを図ることが可能となります。

google colabはgoogle社にとって何のメリットがありますか？

Google Colabは、Google社にとって様々なメリットがあります。

**1. Google Cloud Platform (GCP) の利用促進:** Colabは、Google Cloud Platform (GCP) のサービスをより身近に感じてもらうためのツールとして機能します。ユーザーは無料で利用できる環境で、GCPの様々なサービス (Compute Engine、BigQuery、Cloud Storageなど) を試したり、学習したり、開発したりすることができます。

**2. AI/ML分野における競争力強化:** Colabは、機械学習 (ML) や深層学習 (DL) の研究開発を促進するプラットフォームです。Googleは、Colabを通じて、AI/ML分野における競争力を強化し、自社のサービスや製品の向上に役立てています。

**3. 開発者コミュニティの拡大:** Colabは、オープンソースのライブラリやツールへのアクセスを提供し、開発者コミュニティを拡大しています。これにより、Colab上で様々なアプリケーションやサービスが開発され、Googleのエコシステムを強化することができます。

**4. Googleのサービスとの統合:** Colabは、Googleの他のサービス (Google Drive、Google Sheets、Google Searchなど) と統合されており、ユーザーはこれらのサービスをColab上で利用することができます。これにより、データ分析、プレゼンテーション、共同作業など、様々なタスクを効率的に行うことができます。

**5. 教育・研究機関への提供:** Colabは、教育機関や研究機関にも提供されており、学生や研究者がAI/MLの学習や研究に利用することができます。

以上のように、Google ColabはGoogle社にとって、以下のようなメリットをもたらしています。

* GCP の利用促進
* AI/ML分野での競争力強化
* 開発者コミュニティの拡大
* Google サービスとの統合
* 教育・研究機関への貢献


さらに、Colabのオープンソース化により、誰でも自由に利用し、拡張することが可能となり、AI/ML分野の進歩を加速させる可能性を秘めています。

返信を残すコメントをキャンセル