Hideo Joho hideojoho

How to get started with AutoGen 0.2

Environment

Windows 11
Python 3.12.3
Git
OpenAI API Key

Steps

PyTerrier on NTCIR-1

前処理
検索と評価

NTCIR-1 テストコレクション

出典：Kando, et al. (1999). Overview of IR Tasks at the First NTCIR Workshop. In: Proceedings of the First NTCIR Workshop on Research in Japanese Text Retrieval and Term Recognition, August 30 - September 1, 1999, pp.11-44.
概要と入手方法：テストコレクション利用手続き・覚書（研究目的用）

情報検索用テストコレクションとして、文書データ（学会発表データベース著者抄録(1988-1997)=国内65学会の発表論文著者抄録約33万件。半数以上は日英対訳）、検索課題83件(日本語）、正解判定を含みます。日本語検索、日->英の言語横断検索、日->日本語＋英語の検索の実験に使用できます。用語抽出研究用コレクションとして、情報検索用テストコレクションから抽出した日本語文書データ2000件に言語タグを付加したものを含みます。テストコレクション全体をNIIから研究目的で提供します。

Azure VM Command

Settings

Name: [your vm name]
Resource Group: [your resource group]
Region: japaneast
OS: Linux Ubuntu 20.04 LTS
Size: Standard_F4s_v2
- Core: 4

How to disable Ctrl+B shortcut in JupyerLab

Why do we want to do that?
- Because we want to use tmux in the terminal

How?

Top Menu > Settings > Advanced Settings Editor
Copy and paste the following snippet

How to run sparse retrieval on Japanese texts with Pyserini

VM Environments

Java 11.0.13
Maven 3.8.3
Lucene 8.10.1
Python 3.9.2

Get a VM with JDK11 and Maven

日本語リッカート尺度のグラフ生成方法（Python）

環境

Python v3.8
- pandas
- matplotlib
- japanize_matplotlib
- plot_likert

How to create a k8s user and assign a namespace

⚠️ Use it with your own risk

$ bash make-k8s-user.sh USER

From Zero to k8s via Docker Hub

GitHub -> Local -> Docker Hub -> GitHub -> Docker Hub -> k8s

Environment

Windows 10
WSL2 + Docker for Windows
VSCode
GitHub account

⚠️ The following instruction is written on 25 Jul 2020 (= old).

4 steps to get a docker running with GPU on Ubuntu 20.04

Environment

Ubuntu 20.04
CUDA 10.2
Docker Latest

	apiVersion: batch/v1
	kind: Job
	metadata:
	name: indexed-job
	spec:
	completions: 5
	parallelism: 3
	completionMode: Indexed
	template:
	spec: