POST, PUT, DELETEの上限

kintone REST API には、GET, POST, PUT, DELETE それぞれに、1 度に操作できるレコードの上限が設けられています。

2024 年 3 月現在は、以下の通りです。

REST API を使用するたびに kintone.api…と入力したり、エラー処理を作るのは手がかかるため、汎用的な関数やクラスを定義している方も少なくないと思いますが、そういった時に起きてしまいがちなのが、この上限に到達してしまう問題です。

レコードの GET については、cybozu developer network に素敵なコードが掲載されていましたが、POST、PUT、DELETE については乗っていませんでした。

参考：全てのレコードの取得

今回は上記のレコード上限を気にすることなく、一括でレコードの作成ができる関数をご紹介します。

今回紹介するのは POST のパターンだけですが、API のメソッドを変更することで、PUT・DELETE にも対応可能です。

ソースコード

1 つのリクエストを繰り返し、簡単に記述する

こちらが基本のコードです。実行したいレコード数が上限を上回っている場合、先頭から上限分ずつ API を実行し、最後に端数を実行する仕組みです。

/** REST APIのエンドポイント */
const END_POINT = '/k/v1/';

/** POSTで1度に扱えるレコード上限 */
const LIMIT_POST = 100;

/** 配列を指定したサイズで分割する */
const chunk = (arr, size) =>
  Array.from({ length: Math.ceil(arr.length / size) }, (_, i) =>
    arr.slice(i * size, i * size + size)
  );

const postAllRecords = async (app, records) => {
  const chunked = chunk(records, LIMIT_POST);

  for (const records of chunked) {
    await kintone.api(kintone.api.url(`${END_POINT}records`, true), 'POST', {
      app: app,
      records: records,
    });
  }
};

bulkRequest を使用した場合

前述した POST API のみ使用したパターンでは、エラーが発生した場合に 100 件単位でしかロールバックできません。

ロールバックできる件数を最大化したい場合は、以下の bulkRequest を活用したコードを使用します。

/** REST APIのエンドポイント */
const END_POINT = '/k/v1/';

/** POSTで1度に扱えるレコード上限 */
const LIMIT_POST = 100;

/** 同時に処理できるリクエスト上限 */
const LIMIT_BULK_REQUEST = 20;

/** 配列を指定したサイズで分割する */
const chunk = (arr, size) =>
  Array.from({ length: Math.ceil(arr.length / size) }, (_, i) =>
    arr.slice(i * size, i * size + size)
  );

const bulkRequest = async (requests) => {
  const chunkedRequests = chunk(requests, LIMIT_BULK_REQUEST);

  for (const requests of chunkedRequests) {
    await kintone.api(kintone.api.url(`${END_POINT}bulkRequest`, true), 'POST', { requests });
  }
};

const postAllRecords = async (app, records) => {
  const payloads = chunk(records, LIMIT_POST).map((records) => ({ app, records }));

  const requests = payloads.map((payload) => ({
    method: 'POST',
    api: `${END_POINT}records.json`,
    payload,
  }));

  return bulkRequest(requests);
};

bulkRequest の実行結果はオブジェクト型で、results の中に通常の API の実行結果が配列で格納されています。

bulkRequest を使用していることを意識させないようにするには、返り値を均しておく必要があります。

PUT・DELETE の場合

サンプルでは POST のパターンを紹介しましたが、メソッドを変更するだけで PUT・DELETE にも対応可能です。

注意すべき点は、POST・PUT・DELETE でサンプルコードの引数に当たる_records の内容が変化するということです。

POST の場合は kintone レコードデータの配列でしたが、PUT の場合は以下のように、レコード番号と kintone レコードを格納したオブジェクトの配列となります。

また、DELETE の場合はレコード番号の配列となります。

// PUT
_records = [
  { id: 1, record: kintoneRecord1 },
  { id: 2, record: kintoneRecord2 },
  //...
];

// DELETE
_records = [
  1,
  2,
  3,
  4,
  5, //...
];

注意すべきこと

もし処理の途中で失敗したとしても、データがロールバックしません。

例えば、データを 5,000 件一括で登録する処理を実行し、3,000 件目でエラーが出たとします。

bulkRequest を活用した方法では、

POST リクエストの上限レコード数 × bulkRequest の上限リクエスト数

である 2,000 件以内であれば、失敗してもロールバックしますが、2,000 件目以降でエラーが発生した場合、最初に実行した 2,000 件は削除されません。

これは現段階では API 上で解決することはできないため、よりセキュアな実行を目指すためには、あらかじめデータの整合性をチェックするしかありません。