Japanese AI Evaluation Specialist (Japan)

Opportunity Overview

Handshake is looking for Japanese speakers based in Japan to help make AI responses more personalized. This is not a traditional job — you'll share your own real-world experience using ChatGPT and help evaluate and rank AI responses so future models can better tailor their answers to individual users.

This is an ongoing, project-based opportunity you can take on alongside your current role.

募集概要

Handshakeでは、日本に在住し日本語を話す方を募集しています。AIの応答をよりパーソナライズされたものにするお手伝いをしていただきます。これは従来の仕事とは異なります — あなた自身がChatGPTを使った実際の経験を共有し、AIが生成した応答を評価・比較していただくことで、将来のモデルが個々のユーザーに合わせた回答をより的確に提供できるようになります。

これは継続的なプロジェクト単位の機会であり、現在のお仕事と並行して取り組んでいただけます。

What You'll Do

• Complete tasks on Handshake's annotation platform using your own real-world experience with AI tools

• Compare and evaluate AI-generated responses, sharing your honest preferences and reasoning

• Provide clear written feedback that helps AI better understand and personalize responses for individual users

• Complete tasks at your own pace with no set schedule or minimum hour requirement

業務内容

• Handshakeのアノテーションプラットフォームで、AIツールを使った実際のご自身の経験をもとにタスクを完了する

• AIが生成した応答を比較・評価し、正直な好みとその理由を共有する

• AIが個々のユーザーに合わせて応答をより良く理解・パーソナライズできるよう、明確な文章によるフィードバックを提供する

• 決まったスケジュールや最低作業時間の縛りなく、自分のペースでタスクを完了する

Qualifications

Ideal candidates meet all of the following:

• Location — Based in Japan and able to work remotely in an asynchronous, self-directed capacity

• Language — Fluent in Japanese, both written and spoken, with strong written communication skills for explaining your reasoning clearly. Good working understanding of English (ideally B2 level) as the platform, instructions, and training materials will all be in English.

• AI experience — Prior hands-on experience using ChatGPT or similar AI chat assistants, with enough familiarity to compare responses thoughtfully and articulate what makes one answer better suited to a given user than another

• Judgment — Comfortable forming and defending your own preferences between two AI-generated responses, even when the differences are subtle

応募資格

理想的な候補者は、以下をすべて満たしています:

• 居住地 — 日本に在住しており、非同期・自主的な形でリモート勤務が可能であること

• 言語 — 日本語(読み書き・会話ともに)に堪能で、自分の判断理由を明確に説明できる高い文章力を持っていること。プラットフォーム、指示事項、研修資料はすべて英語で提供されるため、英語を実務レベルで理解できること(できればB2レベル)も必要です。

• AI経験 — ChatGPTまたは類似のAIチャットアシスタントを実際に使用した経験があり、応答を注意深く比較し、あるユーザーにとってどちらの回答がより適切かを説明できるだけの理解があること

• 判断力 — 2つのAI生成応答の違いが微妙な場合でも、自分自身の好みを形成し、それを説明・主張できること

Required for all applicants

• Comfortable sharing your own ChatGPT conversation history for research and product improvement purposes (handled confidentially)

• Strong written communication in Japanese, with good understanding of English

• Ability to work independently in a remote, asynchronous environment

全応募者共通の必須条件

• 研究および製品改善の目的で、自身のChatGPTの会話履歴を共有することに抵抗がないこと(内容は機密として取り扱われます)

• 日本語での高い文章力と、英語の実務レベルの理解力を有すること

• リモート・非同期環境で自主的に業務を遂行できること