本文へ移動
AI INTEGRATION

AI 連携

AI エージェントに、カンプとのずれを測らせて報告させるしくみです。開発者向けのページです。

最終更新:
このページの内容
  1. できること
  2. 必要なもの
  3. 流れ
  4. 結果の読み方
  5. 安全について
  6. 操作ログ
  7. うまくいかないとき

できること#

AI は、PixelPont の状態の読み取り・計測の実行・結果の取得を、ページの中から直接行います。追加のプログラム(MCP サーバーなど)は要りません。

  • いまのカンプと位置・倍率を読む
  • 表示範囲 / ページ全体を計測する
  • 結果(ずれ・色の違い・信頼度)を構造化されたデータで受け取る
  • カンプの位置を動かして、もう一度測る

メソッドの一覧と細かい仕様は、開発者向け のページにあります。

必要なもの#

ページの中でスクリプトを実行できる、ブラウザを操作できる AI エージェント。サイトへのアクセスを許可したページなら、localhost 以外でも使えます。

組み合わせの例状態
Claude Code + Claude in Chrome動作を確認済み
ブラウザ操作の MCP(Playwright など)を持つエージェントページ内でスクリプトを実行できれば使える
その他同じ条件を満たせば使える

流れ#

  1. 1

    指示文をコピーあなた

    パネルの AI チップ →「AI 用の指示文をコピー」。合言葉が入った指示文がコピーされ、チップが「呼び出し待ち」になります。

  2. 2

    AI に貼るあなた

    いつもの AI エージェントに貼り付けます。

  3. 3

    AI が対象のタブで接続AI

    AI が合言葉で接続すると、チップが「接続中」に変わります。

  4. 4

    計測AI

    AI が計測を実行します。パネルの計測タブにも同じ結果が出ます。

  5. 5

    報告AI

    AI が、ずれの一覧と合否をまとめて報告します。

  6. 6

    切断AI

    作業が終わると AI が切断します。30 分操作がなければ自動で切れます。

指示文の見本(ダミー・このままでは使えません。実物はパネルからコピー)例
このタブで PixelPont に接続して、デザインカンプとのずれを測ってください。
使える操作は window.__pixelpont.help() で確かめられます。
接続に使う合言葉は、この指示文に入っています。
操作の一覧

使える操作の一覧は help() が返します。古くならないよう、このページには載せません。

結果の読み方#

項目内容
合否許容差を超えるずれが無ければ合格
ずれ要素ごとの位置・大きさの差(px)
色の違い実装とカンプの色コード
測らなかった要素信頼度が低く伏せたもの。件数と理由
AI エージェント要修正
計測しました。カンプとのずれが 3 件、色の違いが 1 件あります。
1.hero__title↓3px
2.hero__visual→2px
3.btn--orderw+4
◐.card:nth-child(2)#E2E2E2 → #EDEDED
このまま 4 件を直しますか?

安全について#

  • 接続には、指示文に入った合言葉が要ります
  • 操作が 30 分なければ自動で切断します
  • 同じサイトの別のタブから、正しい合言葉で呼ばれると、対象をそのタブへ切り替えます(パネルに知らせが出て、元に戻せます)
  • 別のサイトのタブへは、自動では切り替えません
できないこと

合言葉は、同じページで動く他のスクリプトから完全には守れません。信頼できないスクリプトが動くページでは、AI 連携を使わないでください。

localhost 以外のサイトでは、あなたがそのサイトへのアクセスを許可したときにだけ、AI 連携を使えます。許可する前に、次のことを知っておいてください。

  • 接続している間は、そのページで動く他のスクリプト(解析タグや広告など)からも、同じ API を呼び出せます
  • API は、画面に表示されている色と、要素の位置を返します。ログイン後の画面で使えば、その内容も対象になります
  • 訪問済みのリンクは色が変わるので、色から、あるリンクを訪れたことがあるかを推し量られる可能性があります
  • 別のサイトの画像や埋め込みの色は返しません。ただし、同じサイトの URL から別のサイトへ転送される画像は見分けられず、色を返すことがあります
使うときの目安

信頼できるサイトでだけ許可し、作業が終わったら切断してください。許可は、chrome://extensions で PixelPont の「詳細」を開き、「サイトへのアクセス」から、いつでも取り消せます。

操作ログ#

AI が行った操作は、端末の中にログとして残ります。外部へは送りません。

  • 残るもの:時刻、操作の種類と引数(セレクタ、座標、変更の内容)、結果の要約、対象のページの URL とタイトル、カンプの名前、AI が名乗った名前
  • ログを人に渡すときは、ページの URL などが入っていることを確かめてください
  • 残る場所:ブラウザの中(自動では消えません)
  • 見る・消す:メニュー →「AI の操作ログ…」
ログを持ち出すとき

ログには、ページのタイトルやカンプの名前など、案件を特定できる情報が含まれます。

うまくいかないとき#

接続できない

チップが「呼び出し待ち」のままなら、AI に指示文が届いていません。もう一度コピーして貼り付けてください。

AI が別のタブで動いている

同じサイトのタブなら、対象は自動でそのタブへ移ります(知らせの「元に戻す」で戻せます)。移せなかったときは、パネルに「AI が別のタブから呼んでいます」と出ます。「このタブを対象に」で切り替えられます。

結果がパネルと合わない

AI とパネルは同じ結果を読みます。違う場合は、計測の時刻と範囲(表示範囲 / ページ全体)を確かめてください。

ここに無いことで困っている

問い合わせからお知らせください。パネルの操作ログを添えてもらえると、原因を調べやすくなります。